Сучасні стохастичні квазіградієнтні алгоритми оптимізації
Стохастична оптимізація стала провідним методом у різних галузях, таких як машинне навчання, нейронні мережі та обробка сигналів. Ці задачі спрямовані на мінімізацію цільової функції із зашумленими та невизначеними даними. Всебічно порівнюються сучасні квазіградієнтні методи стохастичної оптимізації...
Gespeichert in:
| Veröffentlicht in: | Проблеми керування та інформатики |
|---|---|
| Datum: | 2024 |
| Hauptverfasser: | , , |
| Format: | Artikel |
| Sprache: | Ukrainisch |
| Veröffentlicht: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2024
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/211150 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Сучасні стохастичні квазіградієнтні алгоритми оптимізації / В.І. Норкін, А.Ю. Козирєв, Б.В. Норкін // Проблеми керування та інформатики. — 2024. — № 2. — С. 71–83. — Бібліогр.: 35 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1862669175843979264 |
|---|---|
| author | Норкін, В.І. Козирєв, А.Ю. Норкін, Б.В. |
| author_facet | Норкін, В.І. Козирєв, А.Ю. Норкін, Б.В. |
| citation_txt | Сучасні стохастичні квазіградієнтні алгоритми оптимізації / В.І. Норкін, А.Ю. Козирєв, Б.В. Норкін // Проблеми керування та інформатики. — 2024. — № 2. — С. 71–83. — Бібліогр.: 35 назв. — укр. |
| collection | DSpace DC |
| container_title | Проблеми керування та інформатики |
| description | Стохастична оптимізація стала провідним методом у різних галузях, таких як машинне навчання, нейронні мережі та обробка сигналів. Ці задачі спрямовані на мінімізацію цільової функції із зашумленими та невизначеними даними. Всебічно порівнюються сучасні квазіградієнтні методи стохастичної оптимізації, ілюструються їхні основні принципи, властивості збіжності та практичні застосування. Вводяться основні поняття градієнтного спуску, стохастичної апроксимації та оптимізації, після чого детально пояснюються методи оптимізації. Поглиблено аналізуються адаптивні стохастичні градієнтні методи, акцентується увага на їхній здатності динамічно змінювати швидкість навчання залежно від структури задачі. Досліджуються узагальнення цих методів на негладкі випадки, описуються проблеми, що виникають при негладких оптимізаційних ландшафтах.
Stochastic optimization has become a leading method in various fields such as machine learning, neural networks, and signal processing. These problems aim at minimizing the objective function with noisy and uncertain data. The article comprehensively compares modern quasi-gradient methods of stochastic optimization, illustrates their basic principles, convergence properties, and practical applications. Basic concepts of gradient descent, stochastic approximation, and optimization are introduced, followed by detailed explanations of optimization methods. Adaptive stochastic gradient methods are analyzed in depth, focusing on their ability to dynamically adjust learning rates depending on the problem structure. Extensions of these methods to nonsmooth cases are studied, describing challenges in nonsmooth optimization landscapes.
|
| first_indexed | 2026-03-16T13:08:35Z |
| format | Article |
| fulltext | |
| id | nasplib_isofts_kiev_ua-123456789-211150 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Ukrainian |
| last_indexed | 2026-03-16T13:08:35Z |
| publishDate | 2024 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Норкін, В.І. Козирєв, А.Ю. Норкін, Б.В. 2025-12-24T21:35:44Z 2024 Сучасні стохастичні квазіградієнтні алгоритми оптимізації / В.І. Норкін, А.Ю. Козирєв, Б.В. Норкін // Проблеми керування та інформатики. — 2024. — № 2. — С. 71–83. — Бібліогр.: 35 назв. — укр. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/211150 519.95 10.34229/1028-0979-2024-2-6 Стохастична оптимізація стала провідним методом у різних галузях, таких як машинне навчання, нейронні мережі та обробка сигналів. Ці задачі спрямовані на мінімізацію цільової функції із зашумленими та невизначеними даними. Всебічно порівнюються сучасні квазіградієнтні методи стохастичної оптимізації, ілюструються їхні основні принципи, властивості збіжності та практичні застосування. Вводяться основні поняття градієнтного спуску, стохастичної апроксимації та оптимізації, після чого детально пояснюються методи оптимізації. Поглиблено аналізуються адаптивні стохастичні градієнтні методи, акцентується увага на їхній здатності динамічно змінювати швидкість навчання залежно від структури задачі. Досліджуються узагальнення цих методів на негладкі випадки, описуються проблеми, що виникають при негладких оптимізаційних ландшафтах. Stochastic optimization has become a leading method in various fields such as machine learning, neural networks, and signal processing. These problems aim at minimizing the objective function with noisy and uncertain data. The article comprehensively compares modern quasi-gradient methods of stochastic optimization, illustrates their basic principles, convergence properties, and practical applications. Basic concepts of gradient descent, stochastic approximation, and optimization are introduced, followed by detailed explanations of optimization methods. Adaptive stochastic gradient methods are analyzed in depth, focusing on their ability to dynamically adjust learning rates depending on the problem structure. Extensions of these methods to nonsmooth cases are studied, describing challenges in nonsmooth optimization landscapes. uk Інститут кібернетики ім. В.М. Глушкова НАН України Проблеми керування та інформатики Стохастичні системи, нечіткі множини Сучасні стохастичні квазіградієнтні алгоритми оптимізації Modern Stochastic Quasi-Gradient Optimization Algorithms Article published earlier |
| spellingShingle | Сучасні стохастичні квазіградієнтні алгоритми оптимізації Норкін, В.І. Козирєв, А.Ю. Норкін, Б.В. Стохастичні системи, нечіткі множини |
| title | Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_alt | Modern Stochastic Quasi-Gradient Optimization Algorithms |
| title_full | Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_fullStr | Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_full_unstemmed | Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_short | Сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| title_sort | сучасні стохастичні квазіградієнтні алгоритми оптимізації |
| topic | Стохастичні системи, нечіткі множини |
| topic_facet | Стохастичні системи, нечіткі множини |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/211150 |
| work_keys_str_mv | AT norkínví sučasnístohastičníkvazígradíêntníalgoritmioptimízacíí AT kozirêvaû sučasnístohastičníkvazígradíêntníalgoritmioptimízacíí AT norkínbv sučasnístohastičníkvazígradíêntníalgoritmioptimízacíí AT norkínví modernstochasticquasigradientoptimizationalgorithms AT kozirêvaû modernstochasticquasigradientoptimizationalgorithms AT norkínbv modernstochasticquasigradientoptimizationalgorithms |