Зображення обкладинки

Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах

Ефект зникнення градієнтів є спільною проблемою навчання рекурентних і глибоких нейромереж. У статті розроблено метод для оцінки внеску кожного прикладу з навчальної вибірки у градієнт цільової функції навчання. Запропоновано новий універсальний метод, який дозволяє утримувати норму градієнтів у за...

Повний опис

Збережено в:

Бібліографічні деталі
Опубліковано в: :	Математичні машини і системи
Дата:	2016
Автори:	Чернодуб, А.М., Новицький, Д.В.
Формат:	Стаття
Мова:	Українська
Опубліковано:	Інститут проблем математичних машин і систем НАН України 2016
Теми:	Обчислювальні системи
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/113598
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Метод семплювання для боротьби з ефектом зникнення градієнтів у рекурентних нейромережах / А.М. Чернодуб, Д.В. Новицький // Математичні машини і системи. — 2016. — № 2. — С. 30-43. — Бібліогр.: 26 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

Схожі ресурси

Вибір нейроемулятора на основі методу керуючих локальних градієнтів у методі нейроуправління з еталонною моделлю
за авторством: Чернодуб, А.М.
Опубліковано: (2012)

Навчання рекурентних нейронних мереж методом псевдорегуляризації для багатокрокового прогнозування часових рядів
за авторством: Чернодуб, А.М.
Опубліковано: (2012)

Гібридний алгоритм узагальненого методу спряжених градієнтів для проблеми власних значень з симетричними розрідженими матрицями
за авторством: Хіміч, О.М., та інші
Опубліковано: (2015)

Метод виділення ознак на основі спільних векторів відносних фазових орієнтацій моментів і моментів Зерніке для розпізнавання образів
за авторством: Чернодуб, А.Н.
Опубліковано: (2010)

Применение метода контролируемого возмущения для модификации нейроконтроллеров в реальном времени
за авторством: Дзюба, Д.А., та інші
Опубліковано: (2011)

Эвристический метод построения Байесовских сетей
за авторством: Терентьев, А.Н., та інші
Опубліковано: (2006)

Новий метод розв’язування задачі про призначення
за авторством: Недобачій, С.І., та інші
Опубліковано: (2010)

Метод побудови областей керованих станів динамічного об’єкта
за авторством: Cемко, В.В.
Опубліковано: (2015)

Метод извлечения обучающих выборок из исходных выборок большого объема для диагностирования и распознавания образов
за авторством: Субботин, С.А.
Опубліковано: (2013)

Метод анализа иерархий при создании базы знаний экспертных систем оценки техногенной опасности
за авторством: Серебровский, А.Н.
Опубліковано: (2008)

Метод Галеркина. Способ параллельной реализации задач математической физики в едином вычислительном потоке
за авторством: Ледянкин, Ю.Я.
Опубліковано: (2012)

Метод вычисления размещения протяженных связей в нейронных ассоциативных сетях с архитектурой «тесного мира»
за авторством: Дехтяренко, А.К.
Опубліковано: (2005)

Удосконалений метод комбінування даних на основі теорії Демпстера-Шейфера за наявності суперечливих даних
за авторством: Альперт, С.І.
Опубліковано: (2018)

Цифро-аналоговий обчислювальний комплекс (ЦАОК) "Альфа-1"для моделювання систем управління складними динамічними об'єктами
за авторством: Караченець, Д.В.
Опубліковано: (2011)

Розв’язування задач з початковими умовами для систем звичайних диференціальних рівнянь на багатоядерному комп’ютері з графічними прискорювачами Інпарком
за авторством: Яковлев, М.Ф., та інші
Опубліковано: (2015)

Перспективи квантових обчислень з використанням надпровідності
за авторством: Войтович, І.Д., та інші
Опубліковано: (2008)

Геометрические методы в теории нейронной ассоциативной памяти: опыт разработки алгоритма кластеризации
за авторством: Новицкий, Д.В.
Опубліковано: (2004)

Восстановление ассоциативной памяти в случае уничтожения части нейронов
за авторством: Новицкий, Д.В.
Опубліковано: (2012)

Інтелектуалізація взаємодії користувача з системою на основі геоінформаційних технологій
за авторством: Білецький, Б.О., та інші
Опубліковано: (2008)

Локалізація значення лінійної функції, заданої на множині сполучень
за авторством: Нагірна, А.М.
Опубліковано: (2014)

О природе интеллекта
за авторством: Резник, А.М.
Опубліковано: (2008)

Хопфилдовские ансамбли в латеральных нейроструктурах коры мозга
за авторством: Резник, А.М.
Опубліковано: (2006)

Аналіз ефективності систем передавання даних з багатопозиційною чм при імпульсних завадах
за авторством: Антонов, В.В., та інші
Опубліковано: (2005)

Розв'язування жорстких диференціальних рівнянь з використанням методу розвинення функцій в ряди нев'язок
за авторством: Теслер, Г.С., та інші
Опубліковано: (2006)

Наближене обчислення 3D коефіцієнтів Фур'є на класі Гьольдера з використанням кусково-сталої сплайн-інтерфлетації
за авторством: Литвин, О.М., та інші
Опубліковано: (2012)

Компьютерная система вероятностно-алгебраического моделирования сложных систем со многими состояниями
за авторством: Сукач, Е.И., та інші
Опубліковано: (2011)

Компьютерная система вероятностно-алгебраического моделирования сложных систем со многими состояниями
за авторством: Сукач, Е.И., та інші
Опубліковано: (2011)

Математичний формалізм взаємодій медичних квантових нанороботів з квантовими нанооб'єктами та їх моделювання на квантових комп'ютерах
за авторством: Войтович, І.Д., та інші
Опубліковано: (2011)

Методики інтеграції програмної архітектури віртуальної лабораторії MolDynGrid з локальними системами керування завданнями HTCondor та PBS
за авторством: Орда, В.В., та інші
Опубліковано: (2017)

Побудова узагальненої структури інформаційної системи організаційного управління
за авторством: Додонов, О.Г., та інші
Опубліковано: (2017)

Применение ПЛИС для схемной реализации модулей программы распределения приложений для PIM-системы
за авторством: Яковлев, Ю.С., та інші
Опубліковано: (2015)

Нейросетевой классификатор для систем безопасности автомобиля
за авторством: Куссуль, М.Э., та інші
Опубліковано: (2004)

Монотонизация разностных схем для уравнения переноса
за авторством: Кивва, С.Л., та інші
Опубліковано: (2007)

Розробка енергозберігаючої системи світлодіодного освітлення для вагонів метро
за авторством: Морозов, А.О., та інші
Опубліковано: (2018)

Операция деления для параллельных вычислительных систем. Ч. 1
за авторством: Ледянкин, Ю.Я.
Опубліковано: (2014)

Ефективність застосування онтологічних моделей для побудови програмних систем
за авторством: Буров, Є.В.
Опубліковано: (2013)

Операция деления для параллельных вычислительных систем. Ч. 2
за авторством: Ледянкин, Ю.Я.
Опубліковано: (2014)

Способ выбора алгоритма разбиения графа для распределенных вычислений
за авторством: Иващенко, В.А., та інші
Опубліковано: (2011)

Применение ПЛИС для построения вычислительных систем и их компонентов
за авторством: Нестеренко, Н.В., та інші
Опубліковано: (2016)

Особенности подхода к выбору ПЛИС для проектирования PIM-систем
за авторством: Палагин, А.В., та інші
Опубліковано: (2012)