Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks
The paper observes the similarity between the stochastic optimal control over discrete dynamical systems and the
 lear ning multilayer neural networks. It focuses on contemporary deep networks with nonconvex nonsmooth loss and
 activation functions. The machine learning problems are...
Saved in:
| Published in: | Доповіді НАН України |
|---|---|
| Date: | 2019 |
| Main Author: | |
| Format: | Article |
| Language: | English |
| Published: |
Видавничий дім "Академперіодика" НАН України
2019
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/162684 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks / V.I. Norkin // Доповіді Національної академії наук України. — 2019. — № 12. — С. 19-26. — Бібліогр.: 15 назв. — англ. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1862722745664536576 |
|---|---|
| author | Norkin, V.I. |
| author_facet | Norkin, V.I. |
| citation_txt | Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks / V.I. Norkin // Доповіді Національної академії наук України. — 2019. — № 12. — С. 19-26. — Бібліогр.: 15 назв. — англ. |
| collection | DSpace DC |
| container_title | Доповіді НАН України |
| description | The paper observes the similarity between the stochastic optimal control over discrete dynamical systems and the
lear ning multilayer neural networks. It focuses on contemporary deep networks with nonconvex nonsmooth loss and
activation functions. The machine learning problems are treated as nonconvex nonsmooth stochastic optimization
ones. As a model of nonsmooth nonconvex dependences, the so-called generalized differentiable functions are used.
A method for calculating the stochastic generalized gradients of a learning quality functional for such systems is
substantiated basing on the Hamilton—Pontryagin formalism. This method extends a well-known “backpropagation”
machine learning technique to nonconvex nonsmooth networks. Stochastic generalized gradient learning algorithms
are extended for training nonconvex nonsmooth neural networks.
Простежується аналогія між задачами оптимального керування дискретними стохастичними динамічними системами та задачами навчання багатошарових нейронних мереж. Увага концентрується на вивченні
сучасних глибоких мереж з негладкими цільовими функціоналами і зв'язками. Показано, що задачі машинного навчання можуть трактуватися як задачі стохастичного програмування, і для їхнього аналізу застосовано теорію неопуклого негладкого стохастичного програмування. Як модель негладких неопуклих
залежностей використано так звані узагальнено диференційовані функції. Обґрунтовано метод обчислення стохастичних узагальнених градієнтів функціонала якості навчання для таких систем на основі формалізму Гамільтона—Понтрягіна. Цей метод узагальнює відомий метод “зворотного просування похибки” на задачі навчання негладких неопуклих мереж. Узагальнені (стохастичні) градієнтні алгоритми навчання
поширено на неопуклі негладкі нейронні мережі.
Прослеживается аналогия между задачами оптимального управления дискретными стохастическими динамическими системами и задачами обучения многослойных нейронных сетей. Внимание концентрируется на изучении современных глубоких сетей с негладкими целевыми функционалами и связями. Показано, что задачи машинного обучения могут трактоваться как задачи стохастического программирования,
и для их анализа применена теория невыпуклого негладкого стохастического программирования. В качестве модели негладких невыпуклых зависимостей использованы так называемые обобщенно дифференцируемые функции. Обоснован метод вычисления стохастических обобщенных градиентов функционала качества обучения для таких систем на основе формализма Гамильтона—Понтрягина. Этот метод обобщает известный метод “обратного распространения ошибки” на задачи обучения негладких невыпуклых сетей. Обобщенные (стохастические) градиентные алгоритмы обучения распространены на невыпуклые негладкие нейронные сети.
|
| first_indexed | 2025-12-07T18:38:02Z |
| format | Article |
| fulltext | |
| id | nasplib_isofts_kiev_ua-123456789-162684 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1025-6415 |
| language | English |
| last_indexed | 2025-12-07T18:38:02Z |
| publishDate | 2019 |
| publisher | Видавничий дім "Академперіодика" НАН України |
| record_format | dspace |
| spelling | Norkin, V.I. 2020-01-14T13:03:43Z 2020-01-14T13:03:43Z 2019 Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks / V.I. Norkin // Доповіді Національної академії наук України. — 2019. — № 12. — С. 19-26. — Бібліогр.: 15 назв. — англ. 1025-6415 DOI: doi.org/10.15407/dopovidi2019.12.019 https://nasplib.isofts.kiev.ua/handle/123456789/162684 517.2+519.977.58+519.8 The paper observes the similarity between the stochastic optimal control over discrete dynamical systems and the
 lear ning multilayer neural networks. It focuses on contemporary deep networks with nonconvex nonsmooth loss and
 activation functions. The machine learning problems are treated as nonconvex nonsmooth stochastic optimization
 ones. As a model of nonsmooth nonconvex dependences, the so-called generalized differentiable functions are used.
 A method for calculating the stochastic generalized gradients of a learning quality functional for such systems is
 substantiated basing on the Hamilton—Pontryagin formalism. This method extends a well-known “backpropagation”
 machine learning technique to nonconvex nonsmooth networks. Stochastic generalized gradient learning algorithms
 are extended for training nonconvex nonsmooth neural networks. Простежується аналогія між задачами оптимального керування дискретними стохастичними динамічними системами та задачами навчання багатошарових нейронних мереж. Увага концентрується на вивченні
 сучасних глибоких мереж з негладкими цільовими функціоналами і зв'язками. Показано, що задачі машинного навчання можуть трактуватися як задачі стохастичного програмування, і для їхнього аналізу застосовано теорію неопуклого негладкого стохастичного програмування. Як модель негладких неопуклих
 залежностей використано так звані узагальнено диференційовані функції. Обґрунтовано метод обчислення стохастичних узагальнених градієнтів функціонала якості навчання для таких систем на основі формалізму Гамільтона—Понтрягіна. Цей метод узагальнює відомий метод “зворотного просування похибки” на задачі навчання негладких неопуклих мереж. Узагальнені (стохастичні) градієнтні алгоритми навчання
 поширено на неопуклі негладкі нейронні мережі. Прослеживается аналогия между задачами оптимального управления дискретными стохастическими динамическими системами и задачами обучения многослойных нейронных сетей. Внимание концентрируется на изучении современных глубоких сетей с негладкими целевыми функционалами и связями. Показано, что задачи машинного обучения могут трактоваться как задачи стохастического программирования,
 и для их анализа применена теория невыпуклого негладкого стохастического программирования. В качестве модели негладких невыпуклых зависимостей использованы так называемые обобщенно дифференцируемые функции. Обоснован метод вычисления стохастических обобщенных градиентов функционала качества обучения для таких систем на основе формализма Гамильтона—Понтрягина. Этот метод обобщает известный метод “обратного распространения ошибки” на задачи обучения негладких невыпуклых сетей. Обобщенные (стохастические) градиентные алгоритмы обучения распространены на невыпуклые негладкие нейронные сети. The work is partially supported by grant CPEA-LT-2016/10003 funded by the Norwegian Agency
 for International Cooperation and Quality Enhancement in Higher Education (Diku). en Видавничий дім "Академперіодика" НАН України Доповіді НАН України Інформатика та кібернетика Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks Обґрунтування за допомогою формалізму Гамільтона—Понтрягіна методу зворотного просування похибки для навчання неопуклих негладких нейронних мереж Обоснование посредством формализма Гамильтона—Понтрягина метода обратного распространения ошибки для обучения невыпуклых негладких нейронных сетей Article published earlier |
| spellingShingle | Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks Norkin, V.I. Інформатика та кібернетика |
| title | Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| title_alt | Обґрунтування за допомогою формалізму Гамільтона—Понтрягіна методу зворотного просування похибки для навчання неопуклих негладких нейронних мереж Обоснование посредством формализма Гамильтона—Понтрягина метода обратного распространения ошибки для обучения невыпуклых негладких нейронных сетей |
| title_full | Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| title_fullStr | Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| title_full_unstemmed | Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| title_short | Substantiation of the backpropagation technique via the Hamilton—Pontryagin formalism for training nonconvex nonsmooth neural networks |
| title_sort | substantiation of the backpropagation technique via the hamilton—pontryagin formalism for training nonconvex nonsmooth neural networks |
| topic | Інформатика та кібернетика |
| topic_facet | Інформатика та кібернетика |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/162684 |
| work_keys_str_mv | AT norkinvi substantiationofthebackpropagationtechniqueviathehamiltonpontryaginformalismfortrainingnonconvexnonsmoothneuralnetworks AT norkinvi obgruntuvannâzadopomogoûformalízmugamílʹtonapontrâgínametoduzvorotnogoprosuvannâpohibkidlânavčannâneopuklihnegladkihneironnihmerež AT norkinvi obosnovanieposredstvomformalizmagamilʹtonapontrâginametodaobratnogorasprostraneniâošibkidlâobučeniânevypuklyhnegladkihneironnyhsetei |