Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks
The paper observes the similarity between the stochastic optimal control over discrete dynamical systems and the lear ning multilayer neural networks. It focuses on contemporary deep networks with nonconvex nonsmooth loss and activation functions. The machine learning problems are treated as nonco...
Збережено в:
| Опубліковано в: : | Доповіді НАН України |
|---|---|
| Дата: | 2019 |
| Автор: | |
| Формат: | Стаття |
| Мова: | English |
| Опубліковано: |
Видавничий дім "Академперіодика" НАН України
2019
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/162684 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks / V.I. Norkin // Доповіді Національної академії наук України. — 2019. — № 12. — С. 19-26. — Бібліогр.: 15 назв. — англ. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-162684 |
|---|---|
| record_format |
dspace |
| spelling |
Norkin, V.I. 2020-01-14T13:03:43Z 2020-01-14T13:03:43Z 2019 Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks / V.I. Norkin // Доповіді Національної академії наук України. — 2019. — № 12. — С. 19-26. — Бібліогр.: 15 назв. — англ. 1025-6415 DOI: doi.org/10.15407/dopovidi2019.12.019 https://nasplib.isofts.kiev.ua/handle/123456789/162684 517.2+519.977.58+519.8 The paper observes the similarity between the stochastic optimal control over discrete dynamical systems and the lear ning multilayer neural networks. It focuses on contemporary deep networks with nonconvex nonsmooth loss and activation functions. The machine learning problems are treated as nonconvex nonsmooth stochastic optimization ones. As a model of nonsmooth nonconvex dependences, the so-called generalized differentiable functions are used. A method for calculating the stochastic generalized gradients of a learning quality functional for such systems is substantiated basing on the Hamilton—Pontryagin formalism. This method extends a well-known “backpropagation” machine learning technique to nonconvex nonsmooth networks. Stochastic generalized gradient learning algorithms are extended for training nonconvex nonsmooth neural networks. Простежується аналогія між задачами оптимального керування дискретними стохастичними динамічними системами та задачами навчання багатошарових нейронних мереж. Увага концентрується на вивченні сучасних глибоких мереж з негладкими цільовими функціоналами і зв'язками. Показано, що задачі машинного навчання можуть трактуватися як задачі стохастичного програмування, і для їхнього аналізу застосовано теорію неопуклого негладкого стохастичного програмування. Як модель негладких неопуклих залежностей використано так звані узагальнено диференційовані функції. Обґрунтовано метод обчислення стохастичних узагальнених градієнтів функціонала якості навчання для таких систем на основі формалізму Гамільтона—Понтрягіна. Цей метод узагальнює відомий метод “зворотного просування похибки” на задачі навчання негладких неопуклих мереж. Узагальнені (стохастичні) градієнтні алгоритми навчання поширено на неопуклі негладкі нейронні мережі. Прослеживается аналогия между задачами оптимального управления дискретными стохастическими динамическими системами и задачами обучения многослойных нейронных сетей. Внимание концентрируется на изучении современных глубоких сетей с негладкими целевыми функционалами и связями. Показано, что задачи машинного обучения могут трактоваться как задачи стохастического программирования, и для их анализа применена теория невыпуклого негладкого стохастического программирования. В качестве модели негладких невыпуклых зависимостей использованы так называемые обобщенно дифференцируемые функции. Обоснован метод вычисления стохастических обобщенных градиентов функционала качества обучения для таких систем на основе формализма Гамильтона—Понтрягина. Этот метод обобщает известный метод “обратного распространения ошибки” на задачи обучения негладких невыпуклых сетей. Обобщенные (стохастические) градиентные алгоритмы обучения распространены на невыпуклые негладкие нейронные сети. The work is partially supported by grant CPEA-LT-2016/10003 funded by the Norwegian Agency for International Cooperation and Quality Enhancement in Higher Education (Diku). en Видавничий дім "Академперіодика" НАН України Доповіді НАН України Інформатика та кібернетика Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks Обґрунтування за допомогою формалізму Гамільтона—Понтрягіна методу зворотного просування похибки для навчання неопуклих негладких нейронних мереж Обоснование посредством формализма Гамильтона—Понтрягина метода обратного распространения ошибки для обучения невыпуклых негладких нейронных сетей Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| spellingShingle |
Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks Norkin, V.I. Інформатика та кібернетика |
| title_short |
Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| title_full |
Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| title_fullStr |
Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| title_full_unstemmed |
Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| title_sort |
substantiation of the backpropagation technique via the hamilton—pontryagin formalism for training nonconvex nonsmooth neural networks |
| author |
Norkin, V.I. |
| author_facet |
Norkin, V.I. |
| topic |
Інформатика та кібернетика |
| topic_facet |
Інформатика та кібернетика |
| publishDate |
2019 |
| language |
English |
| container_title |
Доповіді НАН України |
| publisher |
Видавничий дім "Академперіодика" НАН України |
| format |
Article |
| title_alt |
Обґрунтування за допомогою формалізму Гамільтона—Понтрягіна методу зворотного просування похибки для навчання неопуклих негладких нейронних мереж Обоснование посредством формализма Гамильтона—Понтрягина метода обратного распространения ошибки для обучения невыпуклых негладких нейронных сетей |
| description |
The paper observes the similarity between the stochastic optimal control over discrete dynamical systems and the
lear ning multilayer neural networks. It focuses on contemporary deep networks with nonconvex nonsmooth loss and
activation functions. The machine learning problems are treated as nonconvex nonsmooth stochastic optimization
ones. As a model of nonsmooth nonconvex dependences, the so-called generalized differentiable functions are used.
A method for calculating the stochastic generalized gradients of a learning quality functional for such systems is
substantiated basing on the Hamilton—Pontryagin formalism. This method extends a well-known “backpropagation”
machine learning technique to nonconvex nonsmooth networks. Stochastic generalized gradient learning algorithms
are extended for training nonconvex nonsmooth neural networks.
Простежується аналогія між задачами оптимального керування дискретними стохастичними динамічними системами та задачами навчання багатошарових нейронних мереж. Увага концентрується на вивченні
сучасних глибоких мереж з негладкими цільовими функціоналами і зв'язками. Показано, що задачі машинного навчання можуть трактуватися як задачі стохастичного програмування, і для їхнього аналізу застосовано теорію неопуклого негладкого стохастичного програмування. Як модель негладких неопуклих
залежностей використано так звані узагальнено диференційовані функції. Обґрунтовано метод обчислення стохастичних узагальнених градієнтів функціонала якості навчання для таких систем на основі формалізму Гамільтона—Понтрягіна. Цей метод узагальнює відомий метод “зворотного просування похибки” на задачі навчання негладких неопуклих мереж. Узагальнені (стохастичні) градієнтні алгоритми навчання
поширено на неопуклі негладкі нейронні мережі.
Прослеживается аналогия между задачами оптимального управления дискретными стохастическими динамическими системами и задачами обучения многослойных нейронных сетей. Внимание концентрируется на изучении современных глубоких сетей с негладкими целевыми функционалами и связями. Показано, что задачи машинного обучения могут трактоваться как задачи стохастического программирования,
и для их анализа применена теория невыпуклого негладкого стохастического программирования. В качестве модели негладких невыпуклых зависимостей использованы так называемые обобщенно дифференцируемые функции. Обоснован метод вычисления стохастических обобщенных градиентов функционала качества обучения для таких систем на основе формализма Гамильтона—Понтрягина. Этот метод обобщает известный метод “обратного распространения ошибки” на задачи обучения негладких невыпуклых сетей. Обобщенные (стохастические) градиентные алгоритмы обучения распространены на невыпуклые негладкие нейронные сети.
|
| issn |
1025-6415 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/162684 |
| citation_txt |
Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks / V.I. Norkin // Доповіді Національної академії наук України. — 2019. — № 12. — С. 19-26. — Бібліогр.: 15 назв. — англ. |
| work_keys_str_mv |
AT norkinvi substantiationofthebackpropagationtechniqueviathehamiltonpontryaginformalismfortrainingnonconvexnonsmoothneuralnetworks AT norkinvi obgruntuvannâzadopomogoûformalízmugamílʹtonapontrâgínametoduzvorotnogoprosuvannâpohibkidlânavčannâneopuklihnegladkihneironnihmerež AT norkinvi obosnovanieposredstvomformalizmagamilʹtonapontrâginametodaobratnogorasprostraneniâošibkidlâobučeniânevypuklyhnegladkihneironnyhsetei |
| first_indexed |
2025-12-07T18:38:02Z |
| last_indexed |
2025-12-07T18:38:02Z |
| _version_ |
1850875767318118400 |