Сучасні стохастичні квазіградієнтні алгоритми оптимізації

• Date: 2024
• Main Authors: Norkin, Vladimir, Kozyriev, Anton, Norkin, Bogdan
• Format: Article
• Language: English
• Published: V.M. Glushkov Institute of Cybernetics of NAS of Ukraine 2024
• Subjects: стохастична оптимізація; стохастична апроксимація; стохастична негладка оптимізація; стохастичний градієнтний спуск; стохастичний квазіградієнтний метод; адаптивний метод стохастичного градієнта; кінцево-різницевий стохастичний градієнт
• Online Access: https://jais.net.ua/index.php/files/article/view/228
• Journal Title: Problems of Control and Informatics

Стохастична оптимізація стала провідним методом у різних галузях, таких як машинне навчання, нейронні мережі та обробка сигналів. Ці задачі спрямовані на мінімізацію цільової функції із зашумленими та невизначеними даними. Всебічно порівнюються сучасні квазіградієнтні методи стохастичної оптимізації, ілюструються їхні основні принципи, властивості збіжності та практичні застосування. Вводяться основні поняття градієнтного спуску, стохастичної апроксимації та оптимізації, після чого детально пояснюються методи оптимізації. Поглиблено аналізуються адаптивні стохастичні градієнтні методи, акцентується увага на їхній здатності динамічно змінювати швидкість навчання залежно від структури задачі. Досліджуються узагальнення цих методів на негладкі випадки, описуються проблеми, що виникають при негладких оптимізаційних ландшафтах. Ілюструється застосування вдосконалених методів у контексті задач безумовної оптимізації та демонструється їхня ефективність у прискоренні збіжності та підвищенні точності. Цей порівняльний аналіз має на меті дати дослідникам і практикам глибше розуміння останніх досягнень у стохастичній оптимізації та окреслити шлях для майбутніх інновацій.