Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах
Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у за...
Gespeichert in:
| Veröffentlicht in: | Математичні машини і системи |
|---|---|
| Datum: | 2016 |
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Ukrainisch |
| Veröffentlicht: |
Інститут проблем математичних машин і систем НАН України
2016
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/113598 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1862618075615985664 |
|---|---|
| author | Чернодуб, А.М. Новицький, Д.В. |
| author_facet | Чернодуб, А.М. Новицький, Д.В. |
| citation_txt | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. |
| collection | DSpace DC |
| container_title | Математичні машини і системи |
| description | Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у задовільних межах. Для експериментальної перевірки нашого підходу використано спеціальні синтетичні бенчмарки для тестування нейромереж на здатність виявляти довготривалі залежності. Навчена з використанням даного методу рекурентна нейромережа з одиничними затримками може знаходити залежності між подіями в часових послідовностях довжиною до 100 і більше тактів.
Эффект исчезновения градиентов является общей проблемой обучения рекуррентных и глубоких нейросетей. В статье разработан метод для оценки вклада каждого обучающего примера из выборки в градиент целевой функции обучения. Предложен новый универсальный метод, который позволяет удерживать норму градиентов в приемлемых пределах. Для экспериментальной проверки нашего подхода использованы специальные синтетические бенчмарки для тестирования нейросетей на способность выявлять долговременные зависимости. Рекуррентная нейросеть с единичной линией задержек, обученная с использованием данного метода, может находить зависимости между событиями во временных последовательностях длиной до 100 и более тактов.
Vanishing gradients effect is a common problem for recurrent and deep neural networks. In this paper we construct a method to estimate a contribution of each training example to the norm of the long-term components of the target functions gradient. We propose a novel universal technique that makes the norm of the gradient stay in the suitable range. To check our framework experimentally we use a special synthetic benchmarks for testing RNNs on ability to capture long-term dependencies. Our recurrent network can detect links between events in the (temporal) sequence at the range 100 and longer.
|
| first_indexed | 2025-12-07T13:12:41Z |
| format | Article |
| fulltext | |
| id | nasplib_isofts_kiev_ua-123456789-113598 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1028-9763 |
| language | Ukrainian |
| last_indexed | 2025-12-07T13:12:41Z |
| publishDate | 2016 |
| publisher | Інститут проблем математичних машин і систем НАН України |
| record_format | dspace |
| spelling | Чернодуб, А.М. Новицький, Д.В. 2017-02-10T17:39:35Z 2017-02-10T17:39:35Z 2016 Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/113598 681.513.7 Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у задовільних межах. Для експериментальної перевірки нашого підходу використано спеціальні синтетичні бенчмарки для тестування нейромереж на здатність виявляти довготривалі залежності. Навчена з використанням даного методу рекурентна нейромережа з одиничними затримками може знаходити залежності між подіями в часових послідовностях довжиною до 100 і більше тактів. Эффект исчезновения градиентов является общей проблемой обучения рекуррентных и глубоких нейросетей. В статье разработан метод для оценки вклада каждого обучающего примера из выборки в градиент целевой функции обучения. Предложен новый универсальный метод, который позволяет удерживать норму градиентов в приемлемых пределах. Для экспериментальной проверки нашего подхода использованы специальные синтетические бенчмарки для тестирования нейросетей на способность выявлять долговременные зависимости. Рекуррентная нейросеть с единичной линией задержек, обученная с использованием данного метода, может находить зависимости между событиями во временных последовательностях длиной до 100 и более тактов. Vanishing gradients effect is a common problem for recurrent and deep neural networks. In this paper we construct a method to estimate a contribution of each training example to the norm of the long-term components of the target functions gradient. We propose a novel universal technique that makes the norm of the gradient stay in the suitable range. To check our framework experimentally we use a special synthetic benchmarks for testing RNNs on ability to capture long-term dependencies. Our recurrent network can detect links between events in the (temporal) sequence at the range 100 and longer. uk Інститут проблем математичних машин і систем НАН України Математичні машини і системи Обчислювальні системи Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах Метод семплирования для борьбы с эффектом исчезновения градиентов в рекуррентных нейросетях Sampling method against to the vanishing gradients effect in recurrent neural networks Article published earlier |
| spellingShingle | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах Чернодуб, А.М. Новицький, Д.В. Обчислювальні системи |
| title | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_alt | Метод семплирования для борьбы с эффектом исчезновения градиентов в рекуррентных нейросетях Sampling method against to the vanishing gradients effect in recurrent neural networks |
| title_full | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_fullStr | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_full_unstemmed | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_short | Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| title_sort | метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах |
| topic | Обчислювальні системи |
| topic_facet | Обчислювальні системи |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/113598 |
| work_keys_str_mv | AT černodubam metodsemplûvannâdlâborotʹbizefektomzniknennâgradíêntívurekurentnihneiromerežah AT novicʹkiidv metodsemplûvannâdlâborotʹbizefektomzniknennâgradíêntívurekurentnihneiromerežah AT černodubam metodsemplirovaniâdlâborʹbyséffektomisčeznoveniâgradientovvrekurrentnyhneirosetâh AT novicʹkiidv metodsemplirovaniâdlâborʹbyséffektomisčeznoveniâgradientovvrekurrentnyhneirosetâh AT černodubam samplingmethodagainsttothevanishinggradientseffectinrecurrentneuralnetworks AT novicʹkiidv samplingmethodagainsttothevanishinggradientseffectinrecurrentneuralnetworks |