Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения
Рассмотрены негладкие невыпуклые задачи динамической оптимизации, оптимального управления (в дискретном времени), в том числе управления с обратной связью, и машинного обучения. Прослежена аналогия между задачами управления дискретными динамическими системами и задачами обучения многослойных нейронн...
Saved in:
| Published in: | Кибернетика и системный анализ |
|---|---|
| Date: | 2020 |
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2020
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/190363 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения / В.И. Норкин // Кибернетика и системный анализ. — 2020. — Т. 56, № 2. — С. 89–107. — Бібліогр.: 59 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1862602970218102784 |
|---|---|
| author | Норкин, В.И. |
| author_facet | Норкин, В.И. |
| citation_txt | Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения / В.И. Норкин // Кибернетика и системный анализ. — 2020. — Т. 56, № 2. — С. 89–107. — Бібліогр.: 59 назв. — рос. |
| collection | DSpace DC |
| container_title | Кибернетика и системный анализ |
| description | Рассмотрены негладкие невыпуклые задачи динамической оптимизации, оптимального управления (в дискретном времени), в том числе управления с обратной связью, и машинного обучения. Прослежена аналогия между задачами управления дискретными динамическими системами и задачами обучения многослойных нейронных сетей с негладкими целевыми функционалами и связями. Обоснованы методы вычисления обобщенных градиентов для таких систем на основе функций Гамильтона - Понтрягина. Градиентные (стохастические) алгоритмы оптимального управления и обучения распространяются на невыпуклые негладкие динамические системы.
Розглянуто негладкі неопуклі задачі динамічної оптимізації, оптимального керування (у дискретному часі), зокрема керування зі зворотним зв'язком, і машинного навчання. Простежено аналогію між задачами керування дискретними динамічними системами та задачами навчання багатошарових нейронних мереж з негладкими цільовими функціоналами та зв'язками. Обгрунтовано методи обчислення узагальнених градієнтів для таких систем на основі функцій Гамільтона Понтрягіна. Градієнтні (стохастичні) алгоритми оптимального керування і навчання поширюються на неопуклі негладкі динамічні системи.
Problems of nonsmooth nonconvex dynamic optimization, optimal control (in discrete time), including feedback control, and machine learning are considered from a common point of view. An analogy between controlling discrete dynamical systems and multilayer neural networks learning problems with nonsmooth functionals and connections is traced. Methods for computing subgradients for such systems based on the Hamilton–Pontryagin functions are developed. Gradient (stochastic) algorithms for optimal control and learning are extended to nonconvex nonsmooth systems.
|
| first_indexed | 2025-11-28T04:10:41Z |
| format | Article |
| fulltext | |
| id | nasplib_isofts_kiev_ua-123456789-190363 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1019-5262 |
| language | Russian |
| last_indexed | 2025-11-28T04:10:41Z |
| publishDate | 2020 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Норкин, В.И. 2023-06-03T13:06:56Z 2023-06-03T13:06:56Z 2020 Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения / В.И. Норкин // Кибернетика и системный анализ. — 2020. — Т. 56, № 2. — С. 89–107. — Бібліогр.: 59 назв. — рос. 1019-5262 https://nasplib.isofts.kiev.ua/handle/123456789/190363 517.2+519.977.58+519.8 Рассмотрены негладкие невыпуклые задачи динамической оптимизации, оптимального управления (в дискретном времени), в том числе управления с обратной связью, и машинного обучения. Прослежена аналогия между задачами управления дискретными динамическими системами и задачами обучения многослойных нейронных сетей с негладкими целевыми функционалами и связями. Обоснованы методы вычисления обобщенных градиентов для таких систем на основе функций Гамильтона - Понтрягина. Градиентные (стохастические) алгоритмы оптимального управления и обучения распространяются на невыпуклые негладкие динамические системы. Розглянуто негладкі неопуклі задачі динамічної оптимізації, оптимального керування (у дискретному часі), зокрема керування зі зворотним зв'язком, і машинного навчання. Простежено аналогію між задачами керування дискретними динамічними системами та задачами навчання багатошарових нейронних мереж з негладкими цільовими функціоналами та зв'язками. Обгрунтовано методи обчислення узагальнених градієнтів для таких систем на основі функцій Гамільтона Понтрягіна. Градієнтні (стохастичні) алгоритми оптимального керування і навчання поширюються на неопуклі негладкі динамічні системи. Problems of nonsmooth nonconvex dynamic optimization, optimal control (in discrete time), including feedback control, and machine learning are considered from a common point of view. An analogy between controlling discrete dynamical systems and multilayer neural networks learning problems with nonsmooth functionals and connections is traced. Methods for computing subgradients for such systems based on the Hamilton–Pontryagin functions are developed. Gradient (stochastic) algorithms for optimal control and learning are extended to nonconvex nonsmooth systems. Pабота частично поддержана грантом CPEA-LT-2016/10003 Норвежского агентства по международному сотрудничеству и повышению качества в высшем образовании (the Norwegian Agency for International Cooperation and Quality Enhancement in Higher Education (Diku)). ru Інститут кібернетики ім. В.М. Глушкова НАН України Кибернетика и системный анализ Системний аналіз Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения Узагальнені градієнти в задачах динамічної оптимізації, оптимального керування та машинного навчання Generalized gradients in dynamic optimization, optimal control, and machine learning problems Article published earlier |
| spellingShingle | Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения Норкин, В.И. Системний аналіз |
| title | Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения |
| title_alt | Узагальнені градієнти в задачах динамічної оптимізації, оптимального керування та машинного навчання Generalized gradients in dynamic optimization, optimal control, and machine learning problems |
| title_full | Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения |
| title_fullStr | Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения |
| title_full_unstemmed | Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения |
| title_short | Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения |
| title_sort | обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения |
| topic | Системний аналіз |
| topic_facet | Системний аналіз |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/190363 |
| work_keys_str_mv | AT norkinvi obobŝennyegradientyvzadačahdinamičeskoioptimizaciioptimalʹnogoupravleniâimašinnogoobučeniâ AT norkinvi uzagalʹnenígradíêntivzadačahdinamíčnoíoptimízacííoptimalʹnogokeruvannâtamašinnogonavčannâ AT norkinvi generalizedgradientsindynamicoptimizationoptimalcontrolandmachinelearningproblems |