Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах
Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у за...
Збережено в:
| Дата: | 2016 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Інститут проблем математичних машин і систем НАН України
2016
|
| Назва видання: | Математичні машини і системи |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/113598 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. |
Репозиторії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-113598 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-1135982017-02-11T03:02:27Z Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах Чернодуб, А.М. Новицький, Д.В. Обчислювальні системи Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у задовільних межах. Для експериментальної перевірки нашого підходу використано спеціальні синтетичні бенчмарки для тестування нейромереж на здатність виявляти довготривалі залежності. Навчена з використанням даного методу рекурентна нейромережа з одиничними затримками може знаходити залежності між подіями в часових послідовностях довжиною до 100 і більше тактів. Эффект исчезновения градиентов является общей проблемой обучения рекуррентных и глубоких нейросетей. В статье разработан метод для оценки вклада каждого обучающего примера из выборки в градиент целевой функции обучения. Предложен новый универсальный метод, который позволяет удерживать норму градиентов в приемлемых пределах. Для экспериментальной проверки нашего подхода использованы специальные синтетические бенчмарки для тестирования нейросетей на способность выявлять долговременные зависимости. Рекуррентная нейросеть с единичной линией задержек, обученная с использованием данного метода, может находить зависимости между событиями во временных последовательностях длиной до 100 и более тактов. Vanishing gradients effect is a common problem for recurrent and deep neural networks. In this paper we construct a method to estimate a contribution of each training example to the norm of the long-term components of the target functions gradient. We propose a novel universal technique that makes the norm of the gradient stay in the suitable range. To check our framework experimentally we use a special synthetic benchmarks for testing RNNs on ability to capture long-term dependencies. Our recurrent network can detect links between events in the (temporal) sequence at the range 100 and longer. 2016 Article Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. 1028-9763 http://dspace.nbuv.gov.ua/handle/123456789/113598 681.513.7 uk Математичні машини і системи Інститут проблем математичних машин і систем НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Ukrainian |
| topic |
Обчислювальні системи Обчислювальні системи |
| spellingShingle |
Обчислювальні системи Обчислювальні системи Чернодуб, А.М. Новицький, Д.В. Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах Математичні машини і системи |
| description |
Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у задовільних межах. Для експериментальної перевірки нашого підходу використано спеціальні синтетичні бенчмарки для тестування нейромереж на здатність виявляти довготривалі залежності. Навчена з використанням даного методу рекурентна нейромережа з одиничними затримками може знаходити залежності між подіями в часових послідовностях довжиною до 100 і більше тактів. |
| format |
Article |
| author |
Чернодуб, А.М. Новицький, Д.В. |
| author_facet |
Чернодуб, А.М. Новицький, Д.В. |
| author_sort |
Чернодуб, А.М. |
| title |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_short |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_full |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_fullStr |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_full_unstemmed |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_sort |
метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| publisher |
Інститут проблем математичних машин і систем НАН України |
| publishDate |
2016 |
| topic_facet |
Обчислювальні системи |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/113598 |
| citation_txt |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. |
| series |
Математичні машини і системи |
| work_keys_str_mv |
AT černodubam metodsemplûvannâdlâborotʹbizefektomzniknennâgradíêntívurekurentnihnejromerežah AT novicʹkijdv metodsemplûvannâdlâborotʹbizefektomzniknennâgradíêntívurekurentnihnejromerežah |
| first_indexed |
2024-03-30T09:27:59Z |
| last_indexed |
2024-03-30T09:27:59Z |
| _version_ |
1796150004810776576 |