Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах
Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у за...
Gespeichert in:
| Veröffentlicht in: | Математичні машини і системи |
|---|---|
| Datum: | 2016 |
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
Інститут проблем математичних машин і систем НАН України
2016
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/113598 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-113598 |
|---|---|
| record_format |
dspace |
| spelling |
Чернодуб, А.М. Новицький, Д.В. 2017-02-10T17:39:35Z 2017-02-10T17:39:35Z 2016 Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/113598 681.513.7 Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у задовільних межах. Для експериментальної перевірки нашого підходу використано спеціальні синтетичні бенчмарки для тестування нейромереж на здатність виявляти довготривалі залежності. Навчена з використанням даного методу рекурентна нейромережа з одиничними затримками може знаходити залежності між подіями в часових послідовностях довжиною до 100 і більше тактів. Эффект исчезновения градиентов является общей проблемой обучения рекуррентных и глубоких нейросетей. В статье разработан метод для оценки вклада каждого обучающего примера из выборки в градиент целевой функции обучения. Предложен новый универсальный метод, который позволяет удерживать норму градиентов в приемлемых пределах. Для экспериментальной проверки нашего подхода использованы специальные синтетические бенчмарки для тестирования нейросетей на способность выявлять долговременные зависимости. Рекуррентная нейросеть с единичной линией задержек, обученная с использованием данного метода, может находить зависимости между событиями во временных последовательностях длиной до 100 и более тактов. Vanishing gradients effect is a common problem for recurrent and deep neural networks. In this paper we construct a method to estimate a contribution of each training example to the norm of the long-term components of the target functions gradient. We propose a novel universal technique that makes the norm of the gradient stay in the suitable range. To check our framework experimentally we use a special synthetic benchmarks for testing RNNs on ability to capture long-term dependencies. Our recurrent network can detect links between events in the (temporal) sequence at the range 100 and longer. uk Інститут проблем математичних машин і систем НАН України Математичні машини і системи Обчислювальні системи Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах Метод семплирования для борьбы с эффектом исчезновения градиентов в рекуррентных нейросетях Sampling method against to the vanishing gradients effect in recurrent neural networks Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| spellingShingle |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах Чернодуб, А.М. Новицький, Д.В. Обчислювальні системи |
| title_short |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_full |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_fullStr |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_full_unstemmed |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_sort |
метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| author |
Чернодуб, А.М. Новицький, Д.В. |
| author_facet |
Чернодуб, А.М. Новицький, Д.В. |
| topic |
Обчислювальні системи |
| topic_facet |
Обчислювальні системи |
| publishDate |
2016 |
| language |
Ukrainian |
| container_title |
Математичні машини і системи |
| publisher |
Інститут проблем математичних машин і систем НАН України |
| format |
Article |
| title_alt |
Метод семплирования для борьбы с эффектом исчезновения градиентов в рекуррентных нейросетях Sampling method against to the vanishing gradients effect in recurrent neural networks |
| description |
Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у задовільних межах. Для експериментальної перевірки нашого підходу використано спеціальні синтетичні бенчмарки для тестування нейромереж на здатність виявляти довготривалі залежності. Навчена з використанням даного методу рекурентна нейромережа з одиничними затримками може знаходити залежності між подіями в часових послідовностях довжиною до 100 і більше тактів.
Эффект исчезновения градиентов является общей проблемой обучения рекуррентных и глубоких нейросетей. В статье разработан метод для оценки вклада каждого обучающего примера из выборки в градиент целевой функции обучения. Предложен новый универсальный метод, который позволяет удерживать норму градиентов в приемлемых пределах. Для экспериментальной проверки нашего подхода использованы специальные синтетические бенчмарки для тестирования нейросетей на способность выявлять долговременные зависимости. Рекуррентная нейросеть с единичной линией задержек, обученная с использованием данного метода, может находить зависимости между событиями во временных последовательностях длиной до 100 и более тактов.
Vanishing gradients effect is a common problem for recurrent and deep neural networks. In this paper we construct a method to estimate a contribution of each training example to the norm of the long-term components of the target functions gradient. We propose a novel universal technique that makes the norm of the gradient stay in the suitable range. To check our framework experimentally we use a special synthetic benchmarks for testing RNNs on ability to capture long-term dependencies. Our recurrent network can detect links between events in the (temporal) sequence at the range 100 and longer.
|
| issn |
1028-9763 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/113598 |
| citation_txt |
Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. |
| work_keys_str_mv |
AT černodubam metodsemplûvannâdlâborotʹbizefektomzniknennâgradíêntívurekurentnihneiromerežah AT novicʹkiidv metodsemplûvannâdlâborotʹbizefektomzniknennâgradíêntívurekurentnihneiromerežah AT černodubam metodsemplirovaniâdlâborʹbyséffektomisčeznoveniâgradientovvrekurrentnyhneirosetâh AT novicʹkiidv metodsemplirovaniâdlâborʹbyséffektomisčeznoveniâgradientovvrekurrentnyhneirosetâh AT černodubam samplingmethodagainsttothevanishinggradientseffectinrecurrentneuralnetworks AT novicʹkiidv samplingmethodagainsttothevanishinggradientseffectinrecurrentneuralnetworks |
| first_indexed |
2025-12-07T13:12:41Z |
| last_indexed |
2025-12-07T13:12:41Z |
| _version_ |
1850855298387935232 |