Сучасні стохастичні квазіградієнтні алгоритми оптимізації

• Дата: 2024
• Автори: Norkin, Vladimir, Kozyriev, Anton, Norkin, Bogdan
• Формат: Стаття
• Мова: English
• Опубліковано: V.M. Glushkov Institute of Cybernetics of NAS of Ukraine 2024
• Теми: стохастична оптимізація; стохастична апроксимація; стохастична негладка оптимізація; стохастичний градієнтний спуск; стохастичний квазіградієнтний метод; адаптивний метод стохастичного градієнта; кінцево-різницевий стохастичний градієнт
• Онлайн доступ: https://jais.net.ua/index.php/files/article/view/228
• Назва журналу: Problems of Control and Informatics

Стохастична оптимізація стала провідним методом у різних галузях, таких як машинне навчання, нейронні мережі та обробка сигналів. Ці задачі спрямовані на мінімізацію цільової функції із зашумленими та невизначеними даними. Всебічно порівнюються сучасні квазіградієнтні методи стохастичної оптимізації, ілюструються їхні основні принципи, властивості збіжності та практичні застосування. Вводяться основні поняття градієнтного спуску, стохастичної апроксимації та оптимізації, після чого детально пояснюються методи оптимізації. Поглиблено аналізуються адаптивні стохастичні градієнтні методи, акцентується увага на їхній здатності динамічно змінювати швидкість навчання залежно від структури задачі. Досліджуються узагальнення цих методів на негладкі випадки, описуються проблеми, що виникають при негладких оптимізаційних ландшафтах. Ілюструється застосування вдосконалених методів у контексті задач безумовної оптимізації та демонструється їхня ефективність у прискоренні збіжності та підвищенні точності. Цей порівняльний аналіз має на меті дати дослідникам і практикам глибше розуміння останніх досягнень у стохастичній оптимізації та окреслити шлях для майбутніх інновацій.