Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя
Запропонований метод стиснення моделей на основі імітації навчання від декількох вчителів надає можливість зменшити кількість помилок у порівнянні зі звичайним підходом студента-вчителя. Цель статьи — предложить эффективный способ сжатия и обучения модели путем видоизменения способа дистилляции знан...
Збережено в:
| Опубліковано в: : | Управляющие системы и машины |
|---|---|
| Дата: | 2019 |
| Автори: | , |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2019
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/161584 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя / І.В. Стеценко, Ю.С. Талько // Управляющие системы и машины. — 2019. — № 2. — С. 25-31. — Бібліогр.: 8 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1862733149036871680 |
|---|---|
| author | Стеценко, І.В. Талько, Ю.С. |
| author_facet | Стеценко, І.В. Талько, Ю.С. |
| citation_txt | Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя / І.В. Стеценко, Ю.С. Талько // Управляющие системы и машины. — 2019. — № 2. — С. 25-31. — Бібліогр.: 8 назв. — укр. |
| collection | DSpace DC |
| container_title | Управляющие системы и машины |
| description | Запропонований метод стиснення моделей на основі імітації навчання від декількох вчителів надає можливість зменшити кількість помилок у порівнянні зі звичайним підходом студента-вчителя.
Цель статьи — предложить эффективный способ сжатия и обучения модели путем видоизменения способа дистилляции знаний. Методи. Для обеспечения большей точности и меньшего количества ошибок в модели предложен метод сжатия на основе введения регуляризатора, который добавляет гауссовский шум к знаниям учителя в методе студента-учителя (student-teacher training). Результат. Результаты экспериментов свидетельствуют, что при правильном подборе набора данных и уровня шума можно получить уменьшение количества ошибок до 11 процентов. Таким образом, использование предложенного метода привело к ускорению обучения модели студента (за счет того, что обучение, как таковое, уже было проведено ранее). А с помощью регуляризатора уменьшено количество ошибок, которые допускает сеть студента.
Purpose. The purpose of the article is to offer an effective way of compressing and learning the model through the modification of the distillation of knowledge method. Methods. To provide greater accuracy and fewer errors in the model, a compression method is proposed based on the addition of a regularizer that implements the Gaussian noise to the teacher's knowledge in the teacher-student methods. Result. The results of the experiments show that if the data and noise level is selected correctly, it is possible to reduce the number of errors to 11%. Consequently, the use of the proposed method leads to accelerated learning of the student model (due to the fact that the training as such has already been carried out earlier), and using the regularizer, the number of mistakes are done by the student network is reduced.
|
| first_indexed | 2025-12-07T19:35:43Z |
| format | Article |
| fulltext | |
| id | nasplib_isofts_kiev_ua-123456789-161584 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0130-5395 |
| language | Ukrainian |
| last_indexed | 2025-12-07T19:35:43Z |
| publishDate | 2019 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| record_format | dspace |
| spelling | Стеценко, І.В. Талько, Ю.С. 2019-12-14T18:39:43Z 2019-12-14T18:39:43Z 2019 Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя / І.В. Стеценко, Ю.С. Талько // Управляющие системы и машины. — 2019. — № 2. — С. 25-31. — Бібліогр.: 8 назв. — укр. 0130-5395 DOI: https://doi.org/10.15407/usim.2019.02.025 https://nasplib.isofts.kiev.ua/handle/123456789/161584 004.023 Запропонований метод стиснення моделей на основі імітації навчання від декількох вчителів надає можливість зменшити кількість помилок у порівнянні зі звичайним підходом студента-вчителя. Цель статьи — предложить эффективный способ сжатия и обучения модели путем видоизменения способа дистилляции знаний. Методи. Для обеспечения большей точности и меньшего количества ошибок в модели предложен метод сжатия на основе введения регуляризатора, который добавляет гауссовский шум к знаниям учителя в методе студента-учителя (student-teacher training). Результат. Результаты экспериментов свидетельствуют, что при правильном подборе набора данных и уровня шума можно получить уменьшение количества ошибок до 11 процентов. Таким образом, использование предложенного метода привело к ускорению обучения модели студента (за счет того, что обучение, как таковое, уже было проведено ранее). А с помощью регуляризатора уменьшено количество ошибок, которые допускает сеть студента. Purpose. The purpose of the article is to offer an effective way of compressing and learning the model through the modification of the distillation of knowledge method. Methods. To provide greater accuracy and fewer errors in the model, a compression method is proposed based on the addition of a regularizer that implements the Gaussian noise to the teacher's knowledge in the teacher-student methods. Result. The results of the experiments show that if the data and noise level is selected correctly, it is possible to reduce the number of errors to 11%. Consequently, the use of the proposed method leads to accelerated learning of the student model (due to the fact that the training as such has already been carried out earlier), and using the regularizer, the number of mistakes are done by the student network is reduced. uk Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Управляющие системы и машины Интеллектуальные информационные технологии и системы Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя Методы сжатия моделей в глубинном обучении на основе метода студента-учителя Compression Methods of Deep Learning Models Based on Student-Teacher Method Article published earlier |
| spellingShingle | Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя Стеценко, І.В. Талько, Ю.С. Интеллектуальные информационные технологии и системы |
| title | Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| title_alt | Методы сжатия моделей в глубинном обучении на основе метода студента-учителя Compression Methods of Deep Learning Models Based on Student-Teacher Method |
| title_full | Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| title_fullStr | Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| title_full_unstemmed | Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| title_short | Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| title_sort | методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| topic | Интеллектуальные информационные технологии и системы |
| topic_facet | Интеллектуальные информационные технологии и системы |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/161584 |
| work_keys_str_mv | AT stecenkoív metodistisnennâmodeleivglibinnomunavčannínaosnovímetodustudentavčitelâ AT talʹkoûs metodistisnennâmodeleivglibinnomunavčannínaosnovímetodustudentavčitelâ AT stecenkoív metodysžatiâmodeleivglubinnomobučeniinaosnovemetodastudentaučitelâ AT talʹkoûs metodysžatiâmodeleivglubinnomobučeniinaosnovemetodastudentaučitelâ AT stecenkoív compressionmethodsofdeeplearningmodelsbasedonstudentteachermethod AT talʹkoûs compressionmethodsofdeeplearningmodelsbasedonstudentteachermethod |