Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах
Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у за...
Збережено в:
| Видавець: | Інститут проблем математичних машин і систем НАН України |
|---|---|
| Дата: | 2016 |
| Автори: | , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Інститут проблем математичних машин і систем НАН України
2016
|
| Назва видання: | Математичні машини і системи |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/113598 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Цитувати: | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. |