Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя
Запропонований метод стиснення моделей на основі імітації навчання від декількох вчителів надає можливість зменшити кількість помилок у порівнянні зі звичайним підходом студента-вчителя. Цель статьи — предложить эффективный способ сжатия и обучения модели путем видоизменения способа дистилляции знан...
Gespeichert in:
| Veröffentlicht in: | Управляющие системы и машины |
|---|---|
| Datum: | 2019 |
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2019
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/161584 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя / І.В. Стеценко, Ю.С. Талько // Управляющие системы и машины. — 2019. — № 2. — С. 25-31. — Бібліогр.: 8 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-161584 |
|---|---|
| record_format |
dspace |
| spelling |
Стеценко, І.В. Талько, Ю.С. 2019-12-14T18:39:43Z 2019-12-14T18:39:43Z 2019 Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя / І.В. Стеценко, Ю.С. Талько // Управляющие системы и машины. — 2019. — № 2. — С. 25-31. — Бібліогр.: 8 назв. — укр. 0130-5395 DOI: https://doi.org/10.15407/usim.2019.02.025 https://nasplib.isofts.kiev.ua/handle/123456789/161584 004.023 Запропонований метод стиснення моделей на основі імітації навчання від декількох вчителів надає можливість зменшити кількість помилок у порівнянні зі звичайним підходом студента-вчителя. Цель статьи — предложить эффективный способ сжатия и обучения модели путем видоизменения способа дистилляции знаний. Методи. Для обеспечения большей точности и меньшего количества ошибок в модели предложен метод сжатия на основе введения регуляризатора, который добавляет гауссовский шум к знаниям учителя в методе студента-учителя (student-teacher training). Результат. Результаты экспериментов свидетельствуют, что при правильном подборе набора данных и уровня шума можно получить уменьшение количества ошибок до 11 процентов. Таким образом, использование предложенного метода привело к ускорению обучения модели студента (за счет того, что обучение, как таковое, уже было проведено ранее). А с помощью регуляризатора уменьшено количество ошибок, которые допускает сеть студента. Purpose. The purpose of the article is to offer an effective way of compressing and learning the model through the modification of the distillation of knowledge method. Methods. To provide greater accuracy and fewer errors in the model, a compression method is proposed based on the addition of a regularizer that implements the Gaussian noise to the teacher's knowledge in the teacher-student methods. Result. The results of the experiments show that if the data and noise level is selected correctly, it is possible to reduce the number of errors to 11%. Consequently, the use of the proposed method leads to accelerated learning of the student model (due to the fact that the training as such has already been carried out earlier), and using the regularizer, the number of mistakes are done by the student network is reduced. uk Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Управляющие системы и машины Интеллектуальные информационные технологии и системы Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя Методы сжатия моделей в глубинном обучении на основе метода студента-учителя Compression Methods of Deep Learning Models Based on Student-Teacher Method Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| spellingShingle |
Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя Стеценко, І.В. Талько, Ю.С. Интеллектуальные информационные технологии и системы |
| title_short |
Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| title_full |
Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| title_fullStr |
Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| title_full_unstemmed |
Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| title_sort |
методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя |
| author |
Стеценко, І.В. Талько, Ю.С. |
| author_facet |
Стеценко, І.В. Талько, Ю.С. |
| topic |
Интеллектуальные информационные технологии и системы |
| topic_facet |
Интеллектуальные информационные технологии и системы |
| publishDate |
2019 |
| language |
Ukrainian |
| container_title |
Управляющие системы и машины |
| publisher |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| format |
Article |
| title_alt |
Методы сжатия моделей в глубинном обучении на основе метода студента-учителя Compression Methods of Deep Learning Models Based on Student-Teacher Method |
| description |
Запропонований метод стиснення моделей на основі імітації навчання від декількох вчителів надає можливість зменшити кількість помилок у порівнянні зі звичайним підходом студента-вчителя.
Цель статьи — предложить эффективный способ сжатия и обучения модели путем видоизменения способа дистилляции знаний. Методи. Для обеспечения большей точности и меньшего количества ошибок в модели предложен метод сжатия на основе введения регуляризатора, который добавляет гауссовский шум к знаниям учителя в методе студента-учителя (student-teacher training). Результат. Результаты экспериментов свидетельствуют, что при правильном подборе набора данных и уровня шума можно получить уменьшение количества ошибок до 11 процентов. Таким образом, использование предложенного метода привело к ускорению обучения модели студента (за счет того, что обучение, как таковое, уже было проведено ранее). А с помощью регуляризатора уменьшено количество ошибок, которые допускает сеть студента.
Purpose. The purpose of the article is to offer an effective way of compressing and learning the model through the modification of the distillation of knowledge method. Methods. To provide greater accuracy and fewer errors in the model, a compression method is proposed based on the addition of a regularizer that implements the Gaussian noise to the teacher's knowledge in the teacher-student methods. Result. The results of the experiments show that if the data and noise level is selected correctly, it is possible to reduce the number of errors to 11%. Consequently, the use of the proposed method leads to accelerated learning of the student model (due to the fact that the training as such has already been carried out earlier), and using the regularizer, the number of mistakes are done by the student network is reduced.
|
| issn |
0130-5395 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/161584 |
| citation_txt |
Методи стиснення моделей в глибинному навчанні на основі методу студента-вчителя / І.В. Стеценко, Ю.С. Талько // Управляющие системы и машины. — 2019. — № 2. — С. 25-31. — Бібліогр.: 8 назв. — укр. |
| work_keys_str_mv |
AT stecenkoív metodistisnennâmodeleivglibinnomunavčannínaosnovímetodustudentavčitelâ AT talʹkoûs metodistisnennâmodeleivglibinnomunavčannínaosnovímetodustudentavčitelâ AT stecenkoív metodysžatiâmodeleivglubinnomobučeniinaosnovemetodastudentaučitelâ AT talʹkoûs metodysžatiâmodeleivglubinnomobučeniinaosnovemetodastudentaučitelâ AT stecenkoív compressionmethodsofdeeplearningmodelsbasedonstudentteachermethod AT talʹkoûs compressionmethodsofdeeplearningmodelsbasedonstudentteachermethod |
| first_indexed |
2025-12-07T19:35:43Z |
| last_indexed |
2025-12-07T19:35:43Z |
| _version_ |
1850879396932485120 |