Збіжність методу операторної екстраполяції - Семенов, В.В.; Сірик, Д.С.; Харьков, О.С. (Доповіді НАН України, 2021)
Одним з популярних напрямів сучасного прикладного нелінійного аналізу є дослідження варіаційних нерівностей та розробка методів апроксимації їх розв’язків. Багато актуальних проблем дослідження операцій,
оптимального керування та математичної фізики можуть бути записані у формі варіаційних нерівностей. Негладкі задачі оптимізації можна ефективно розв’язувати, якщо їх переформулювати як сідлові
задачі, а до останніх застосувати сучасні наближені алгоритми розв’язання варіаційних нерівностей. З появою генеруючих змагальних нейронних мереж (generative adversarial network, GAN) стійкий інтерес до застосування та дослідження ітераційних алгоритмів розв’язання варіаційних нерівностей виник і в
середовищі фахівців в галузі машинного навчання. Дана робота присвячена дослідженню двох нових наближених алгоритмів з брегманівською проєкцією для розв’язання варіаційних нерівностей в гільбертовому
просторі. Перший алгоритм, який ми називаємо алгоритмом операторної екстраполяції, отриманий заміною в методі Маліцького—Тама евклідової метрики на дивергенцію Брегмана. Привабливою рисою алгоритму є всього одне обчислення на ітераційному кроці проєкції Брегмана на допустиму множину. Другий
алгоритм є адаптивним варіантом першого, де використовується правило поновлення величини кроку, що
не вимагає знання ліпшицевих констант і обчислень значень оператора в додаткових точках. Для варіаційних нерівностей з псевдомонотонними, ліпшицевими та секвенційно слабко неперервними операторами,
що діють в гільбертовому просторі, доведені теореми про слабку збіжність методів. One of the popular areas of the modern applied nonlinear analysis is the study of variational inequalities and
the development of methods for approximating their solutions. Many important problems of the research of
operations, optimal control theory, and mathematical physics can be written in the form of variational inequalities.
Non-smooth optimization problems can be solved effectively, if they are reformulated as saddle problems,
and modern approximate algorithms for solving the variational inequalities are applied to the obtained saddle
problems. With the advent of generating adversarial neural networks (GANs), the strong interest in the use
and investigation of iterative algorithms for solving the variational inequalities arose in the ML-community.
This paper is devoted to the study of two new approximate algorithms with the Bregman projection for solving
the variational inequalities in a Hilbert space. The first algorithm, which we call the operator extrapolation
algorithm, is obtained by replacing the Euclidean metric in the Malitsky–Tam method with the Bregman divergence.
An attractive feature of the algorithm is only one computation at the iterative step of the Bregman
projection onto the feasible set. The second algorithm is an adaptive version of the first, where the used rule for
updating the step size does not require knowledge of Lipschitz constants and the calculation of operator values
at additional points. For variational inequalities with pseudo-monotone, Lipschitz-continuous, and sequentially
weakly continuous operators acting in a Hilbert space, some weak convergence theorems are proved.