Сучасні стохастичні квазіградієнтні алгоритми оптимізації
Стохастична оптимізація стала провідним методом у різних галузях, таких як машинне навчання, нейронні мережі та обробка сигналів. Ці задачі спрямовані на мінімізацію цільової функції із зашумленими та невизначеними даними. Всебічно порівнюються сучасні квазіградієнтні методи стохастичної оптимізації...
Збережено в:
| Дата: | 2024 |
|---|---|
| Автори: | , , |
| Формат: | Стаття |
| Мова: | English |
| Опубліковано: |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine
2024
|
| Теми: | |
| Онлайн доступ: | https://jais.net.ua/index.php/files/article/view/228 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Problems of Control and Informatics |
Репозитарії
Problems of Control and Informatics| id |
oai:ojs2.jais.net.ua:article-228 |
|---|---|
| record_format |
ojs |
| institution |
Problems of Control and Informatics |
| baseUrl_str |
|
| datestamp_date |
2025-03-11T10:46:53Z |
| collection |
OJS |
| language |
English |
| topic |
стохастична оптимізація стохастична апроксимація стохастична негладка оптимізація стохастичний градієнтний спуск стохастичний квазіградієнтний метод адаптивний метод стохастичного градієнта кінцево-різницевий стохастичний градієнт |
| spellingShingle |
стохастична оптимізація стохастична апроксимація стохастична негладка оптимізація стохастичний градієнтний спуск стохастичний квазіградієнтний метод адаптивний метод стохастичного градієнта кінцево-різницевий стохастичний градієнт Norkin, Vladimir Kozyriev, Anton Norkin, Bogdan Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| topic_facet |
стохастическая оптимизация стохастическая аппроксимация стохастическая негладкая оптимизация стохастический градиентный спуск стохастический квазиградиентный метод адаптивный метод стохастического градиента конечно разностный стохастический градиент stochastic optimization stochastic approximation stochastic non-smooth optimization stochastic gradient descent stochastic quasi-gradient method adaptive stochastic gradient method finite-difference stochastic gradient стохастична оптимізація стохастична апроксимація стохастична негладка оптимізація стохастичний градієнтний спуск стохастичний квазіградієнтний метод адаптивний метод стохастичного градієнта кінцево-різницевий стохастичний градієнт |
| format |
Article |
| author |
Norkin, Vladimir Kozyriev, Anton Norkin, Bogdan |
| author_facet |
Norkin, Vladimir Kozyriev, Anton Norkin, Bogdan |
| author_sort |
Norkin, Vladimir |
| title |
Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_short |
Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_full |
Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_fullStr |
Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_full_unstemmed |
Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_sort |
сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_alt |
Modern stochastic quasi-gradient optimization algorithms Современные стохастические квазиградиентные алгоритмы оптимизации |
| description |
Стохастична оптимізація стала провідним методом у різних галузях, таких як машинне навчання, нейронні мережі та обробка сигналів. Ці задачі спрямовані на мінімізацію цільової функції із зашумленими та невизначеними даними. Всебічно порівнюються сучасні квазіградієнтні методи стохастичної оптимізації, ілюструються їхні основні принципи, властивості збіжності та практичні застосування. Вводяться основні поняття градієнтного спуску, стохастичної апроксимації та оптимізації, після чого детально пояснюються методи оптимізації. Поглиблено аналізуються адаптивні стохастичні градієнтні методи, акцентується увага на їхній здатності динамічно змінювати швидкість навчання залежно від структури задачі. Досліджуються узагальнення цих методів на негладкі випадки, описуються проблеми, що виникають при негладких оптимізаційних ландшафтах. Ілюструється застосування вдосконалених методів у контексті задач безумовної оптимізації та демонструється їхня ефективність у прискоренні збіжності та підвищенні точності. Цей порівняльний аналіз має на меті дати дослідникам і практикам глибше розуміння останніх досягнень у стохастичній оптимізації та окреслити шлях для майбутніх інновацій. |
| publisher |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine |
| publishDate |
2024 |
| url |
https://jais.net.ua/index.php/files/article/view/228 |
| work_keys_str_mv |
AT norkinvladimir sučasnístohastičníkvazígradíêntníalgoritmioptimízacíí AT kozyrievanton sučasnístohastičníkvazígradíêntníalgoritmioptimízacíí AT norkinbogdan sučasnístohastičníkvazígradíêntníalgoritmioptimízacíí AT norkinvladimir modernstochasticquasigradientoptimizationalgorithms AT kozyrievanton modernstochasticquasigradientoptimizationalgorithms AT norkinbogdan modernstochasticquasigradientoptimizationalgorithms AT norkinvladimir sovremennyestohastičeskiekvazigradientnyealgoritmyoptimizacii AT kozyrievanton sovremennyestohastičeskiekvazigradientnyealgoritmyoptimizacii AT norkinbogdan sovremennyestohastičeskiekvazigradientnyealgoritmyoptimizacii |
| first_indexed |
2025-10-30T02:48:50Z |
| last_indexed |
2025-10-30T02:48:50Z |
| _version_ |
1847373364153286656 |
| spelling |
oai:ojs2.jais.net.ua:article-2282025-03-11T10:46:53Z Сучасні стохастичні квазіградієнтні алгоритми оптимізації Modern stochastic quasi-gradient optimization algorithms Современные стохастические квазиградиентные алгоритмы оптимизации Norkin, Vladimir Kozyriev, Anton Norkin, Bogdan стохастическая оптимизация стохастическая аппроксимация стохастическая негладкая оптимизация стохастический градиентный спуск стохастический квазиградиентный метод адаптивный метод стохастического градиента конечно разностный стохастический градиент stochastic optimization stochastic approximation stochastic non-smooth optimization stochastic gradient descent stochastic quasi-gradient method adaptive stochastic gradient method finite-difference stochastic gradient стохастична оптимізація стохастична апроксимація стохастична негладка оптимізація стохастичний градієнтний спуск стохастичний квазіградієнтний метод адаптивний метод стохастичного градієнта кінцево-різницевий стохастичний градієнт Стохастична оптимізація стала провідним методом у різних галузях, таких як машинне навчання, нейронні мережі та обробка сигналів. Ці задачі спрямовані на мінімізацію цільової функції із зашумленими та невизначеними даними. Всебічно порівнюються сучасні квазіградієнтні методи стохастичної оптимізації, ілюструються їхні основні принципи, властивості збіжності та практичні застосування. Вводяться основні поняття градієнтного спуску, стохастичної апроксимації та оптимізації, після чого детально пояснюються методи оптимізації. Поглиблено аналізуються адаптивні стохастичні градієнтні методи, акцентується увага на їхній здатності динамічно змінювати швидкість навчання залежно від структури задачі. Досліджуються узагальнення цих методів на негладкі випадки, описуються проблеми, що виникають при негладких оптимізаційних ландшафтах. Ілюструється застосування вдосконалених методів у контексті задач безумовної оптимізації та демонструється їхня ефективність у прискоренні збіжності та підвищенні точності. Цей порівняльний аналіз має на меті дати дослідникам і практикам глибше розуміння останніх досягнень у стохастичній оптимізації та окреслити шлях для майбутніх інновацій. Stochastic optimization has become a leading method in various fields such as machine learning, neural networks training, and signal processing. These problems are aimed at minimizing the objective function with noisy and uncertain data. Such problems are attributed to stochastic programming. The article comprehensively compares modern quasi-gradient methods of stochastic optimization, illustrates their basic principles, convergence properties, and practical applications. First, basic concepts of gradient descent, stochastic approximation and optimization are introduced, and then optimization methods are explained in detail. Extensions of the basic gradient descent such as Nemirovski’s mirror decent, Polyak’s heavy ball (momentum) and Nesterov’s valley step methods are reviewed. Beside these classical methods, adaptive stochastic gradient methods are analyzed in depth; attention is focused on their ability to dynamically change the learning rate and decent directions depending on the structure of the problem and a course of optimization. The nomenclature of adaptive stochastic gradient methods includes AdaGrad, RMSProp, ADAM. Generalizations of these methods to the case of non-smooth objective function are studied; problems arising in non-smooth optimization landscapes are described. These generalizations exploit the idea of smoothing coming back to Steklov (1907) and consist in approximation of the original objective function by a sequence of close smoothed functions. The latter admit approximation of their gradients in the form of finite differences in random directions. The application of these improved methods in the context of unconditional optimization problems is illustrated and their effectiveness in accelerating convergence and increasing accuracy is demonstrated. In particular, our experiments demonstrate a considerable positive effect of smoothing on the behavior of the methods in case of nonsmooth problems. This benchmarking study aims to provide researchers and practitioners with a deeper understanding of recent advances in stochastic optimization and outline a path for future innovation. Стохастическая оптимизация стала ведущим методом в различных сферах, таких как машинное обучение, нейронные сети и обработка сигналов. Эти задачи направлены на минимизацию целевой функции с зашумленными и неопределенными данными. Всесторонне сравниваются современные квазиградиентные методы стохастической оптимизации, иллюстрируются основные принципы, свойства сходимости и практические применения. Вводятся основные понятия градиентного спуска, стохастической аппроксимации и оптимизации, после чего подробно объясняются методы оптимизации. Углубленно анализируются адаптивные стохастические градиентные методы, акцентируется внимание на их способности динамически изменять скорость обучения в зависимости от структуры задачи. Исследуются обобщение этих методов на негладких случаях, описываются проблемы, возникающие при негладких оптимизационных ландшафтах. Иллюстрируется применение усовершенствованных методов в контексте задач безусловной оптимизации и демонстрируется их эффективность в ускорении сходимости и повышении точности. Цель сравнительного анализа – дать исследователям и практикам более глубокое понимание последних достижений в стохастической оптимизации и определить путь для будущих инноваций. V.M. Glushkov Institute of Cybernetics of NAS of Ukraine 2024-03-26 Article Article application/pdf https://jais.net.ua/index.php/files/article/view/228 10.34229/1028-0979-2024-2-6 Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; Том 69 № 2 (2024): Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; 71-83 International Scientific Technical Journal "Problems of Control and Informatics; Том 69 № 2 (2024): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 71-83 International Scientific Technical Journal "Problems of Control and Informatics"; Vol. 69 No. 2 (2024): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 71-83 2786-6505 2786-6491 10.34229/1028-0979-2024-2 en https://jais.net.ua/index.php/files/article/view/228/311 Copyright (c) 2024 Vladimir Norkin, Anton Kozyriev, Bogdan Norkin https://creativecommons.org/licenses/by-nc-nd/4.0 |