Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений

Предложены два алгоритма метода эллипсоидов для нахождения Lp-решения системы линейных уравнений при двусторонних ограничениях на компоненты решения. Первый алгоритм использует метод Шора, а второй – метод Юдина – Немировского. Показано, что оба алгоритма требуют количества итераций, которое зависит...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2017
Автори: Стецюк, П.И., Стовба, В.А., Мартынюк, И.С.
Формат: Стаття
Мова:Russian
Опубліковано: Інститут кібернетики ім. В.М. Глушкова НАН України 2017
Назва видання:Теорія оптимальних рішень
Онлайн доступ:http://dspace.nbuv.gov.ua/handle/123456789/131449
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений / П.И. Стецюк, В.А. Стовба, И.С. Мартынюк // Теорія оптимальних рішень: Зб. наук. пр. — 2017. — № 2017. — С. 139-146. — Бібліогр.: 5 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id irk-123456789-131449
record_format dspace
spelling irk-123456789-1314492018-03-24T03:03:18Z Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений Стецюк, П.И. Стовба, В.А. Мартынюк, И.С. Предложены два алгоритма метода эллипсоидов для нахождения Lp-решения системы линейных уравнений при двусторонних ограничениях на компоненты решения. Первый алгоритм использует метод Шора, а второй – метод Юдина – Немировского. Показано, что оба алгоритма требуют количества итераций, которое зависит только от числа неизвестных компонент в Lp-решении. Запропоновано два алгоритми методу еліпсоїдів для знаходження Lp-розв’язку системи лінійних рівнянь з двосторонніми обмеженнями на компоненти розв’язку. У першому алгоритмі використовується метод Шора, в другому – метод Юдіна – Немировського. Показано, що кількість ітерацій, яку потребують обидва алгоритми, залежить лише від кількості невідомих компонент у Lp-розв’язку. We propose two algorithms of ellipsoid method to find Lp-solution of linear equations system with two-sided constraints on solution components. The first and the second algorithms use Shor’s and Yudin-Nemirovskii methods accordingly. It is shown, that number of iterations required by each algorithm depends merely on the number of unknown components in Lp-solution. 2017 Article Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений / П.И. Стецюк, В.А. Стовба, И.С. Мартынюк // Теорія оптимальних рішень: Зб. наук. пр. — 2017. — № 2017. — С. 139-146. — Бібліогр.: 5 назв. — рос. 2616-5619 http://dspace.nbuv.gov.ua/handle/123456789/131449 519.85 ru Теорія оптимальних рішень Інститут кібернетики ім. В.М. Глушкова НАН України
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
language Russian
description Предложены два алгоритма метода эллипсоидов для нахождения Lp-решения системы линейных уравнений при двусторонних ограничениях на компоненты решения. Первый алгоритм использует метод Шора, а второй – метод Юдина – Немировского. Показано, что оба алгоритма требуют количества итераций, которое зависит только от числа неизвестных компонент в Lp-решении.
format Article
author Стецюк, П.И.
Стовба, В.А.
Мартынюк, И.С.
spellingShingle Стецюк, П.И.
Стовба, В.А.
Мартынюк, И.С.
Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений
Теорія оптимальних рішень
author_facet Стецюк, П.И.
Стовба, В.А.
Мартынюк, И.С.
author_sort Стецюк, П.И.
title Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений
title_short Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений
title_full Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений
title_fullStr Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений
title_full_unstemmed Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений
title_sort алгоритмы метода эллипсоидов для нахождения lp-решения системы линейных уравнений
publisher Інститут кібернетики ім. В.М. Глушкова НАН України
publishDate 2017
url http://dspace.nbuv.gov.ua/handle/123456789/131449
citation_txt Алгоритмы метода эллипсоидов для нахождения Lp-решения системы линейных уравнений / П.И. Стецюк, В.А. Стовба, И.С. Мартынюк // Теорія оптимальних рішень: Зб. наук. пр. — 2017. — № 2017. — С. 139-146. — Бібліогр.: 5 назв. — рос.
series Теорія оптимальних рішень
work_keys_str_mv AT stecûkpi algoritmymetodaéllipsoidovdlânahoždeniâlprešeniâsistemylinejnyhuravnenij
AT stovbava algoritmymetodaéllipsoidovdlânahoždeniâlprešeniâsistemylinejnyhuravnenij
AT martynûkis algoritmymetodaéllipsoidovdlânahoždeniâlprešeniâsistemylinejnyhuravnenij
first_indexed 2025-07-09T15:28:00Z
last_indexed 2025-07-09T15:28:00Z
_version_ 1837183673801113600
fulltext Теорія оптимальних рішень. 2017 139 ТЕОРІЯ ОПТИМАЛЬНИХ РІШЕНЬ Предложены два алгоритма ме- тода эллипсоидов для нахожде- ния pL -решения системы линей- ных уравнений при двусторонних ограничениях на компоненты решения. Первый алгоритм ис- пользует метод Шора, а второй – метод Юдина – Немировского. Показано, что оба алгоритма требуют количества итераций, которое зависит только от чис- ла неизвестных компонент в pL - решении.  П.И. Стецюк, В.А. Стовба, И.С. Мартынюк, 2017 УДК 519.85 П.И. СТЕЦЮК, В.А. СТОВБА, И.С. МАРТЫНЮК АЛГОРИТМЫ МЕТОДА ЭЛЛИПСОИДОВ ДЛЯ НАХОЖДЕНИЯ pL -РЕШЕНИЯ СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ Введение. Метод эллипсоидов независимо предложили Д.Б. Юдин и А.С. Немировский [1], исходя из методов последовательных от- сечений, Н.З. Шор [2], исходя из субгради- ентных методов с растяжением пространства. Метод эллипсоидов является частным случа- ем субградиентных методов с растяжением пространства в направлении субградиента, которые предложены Н.З. Шором в 1969 го- ду, т. е. за 7 лет до появления метода эллип- соидов. Замечательной чертой метода эллип- соидов есть то, что его скорость сходимости зависит только от размерности пространства переменных n и не зависит от свойств зада- чи. И хотя первоначально метод эллипсоидов был изобретен для минимизации выпуклых функций – он применим для более широкого класса задач, таких как задача выпуклого программирования, задача отыскания седло- вых точек выпукло-вогнутых функций, част- ные случаи задач решения вариационных не- равенств, специальные классы задач линей- ной и нелинейной дополнительности. В статье рассмотрим две алгоритмические реализации метода эллипсоидов для задачи выпуклого программирования, которая свя- зана с нахождением решения системы линей- ных уравнений при двухсторонних ограниче- ниях на переменные. Первая реализация ис- пользует метод эллипсоидов Шора, требую- щий коррекции несимметричной матрицы, а вторая реализация – метод эллипсоидов Юдина и Немировского, требующий коррек- ции симметричной матрицы. П.И. СТЕЦЮК, В.А. СТОВБА, И.С. МАРТЫНЮК 140 Теорія оптимальних рішень. 2017 1. Постановка задачи. Пусть имеется система линейных алгебраических уравнений: Ax b (1) при условиях .l x u  (2) Здесь А m n  -матрица, mb R – m -мерный вектор; ,nl R nu R – n-мерные векторы, такие, что для всех 1, , ,i n ;i iu l nx R – n-мерный вектор неизвестных параметров. Требуется найти такой вектор * ,n px R который является «наилучшим» решением системы (1) – (2) в так называемой pL -норме, т. е. когда норма вектора невязок 1= = ( , , )T my Ax b y y определена следующим образом: 1/ =1 = ( | | ) m p p p i i y yP P , где 1p  . Случай =p  определяется как =1, , = | |max i i m y yP P . Случай = 2p соответствует стандартной евклидовой норме y для вектора невязок. Нахождению «наилучшего» решения системы (1) – (2) поставим в соответ- ствие следующую задачу выпуклого программирования: найти  * *( ) min ( ) np p p p px R f f x f x Ax b      (3) при ограничениях ,l x u  (4) где p R – скалярный параметр, такой, что 1,p  который гарантирует выпук- лость функции ( )pf x . Здесь * px – решение задачи (2) – (3), для удобства будем считать, что оно единственное. Ограничения (4) называют двусторонними огра- ничениями на переменные. Подобные задачи часто встречаются в самых разных областях прикладной математики, например, при обработке результатов наблюдений, построении и анализе различного рода моделей (физических, биологических, экономических, социальных и других), при поиске компромиссных решений в моделях с противоречивыми данными и т. д. Для линейной регрессии задачи (3) – (4) соответствует метод наименьших квадратов ( = 2p ), метод наименьших моду- лей ( =1p ) и минимаксный (чебышевский) метод ( =p  ). Задача (3)– (4) всегда имеет решение. Если ,m n то система линейных уравнений является переопределенной, и если для нее ранг матрицы A равен n , то задача (3) – (4) имеет единственное решение. В общем случае решение задачи (3) – (4) не обязательно будет единственным. В случае его неоднозначности будем находить * px – одно из множества решений, которым соответствует опти- мальное значение функции * pf . АЛГОРИТМЫ МЕТОДА ЭЛЛИПСОИДОВ ДЛЯ НАХОЖДЕНИЯ pL -РЕШЕНИЯ … Теорія оптимальних рішень. 2017 141 2. Метод эллипсоидов и задача (3) – (4). Метод эллипсоидов базируется на использовании в nR эллипсоида минимального объема, который содержит полушар, полученный в результате пересечения n -мерного шара и полупро- странства, проходящего через его центр. Этот эллипсоид имеет сплюснутую форму в направлении нормали к гиперплоскости, которая проходит через центр шара радиуса .r Его параметры (даны на рис. 1) следующие: a – длина меньшей полуоси в направлении нормали, определяющей полушар; b – длина большей полуоси (количество таких полуосей равно 1n ); h – расстояние от центра ша- ра до центра эллипсоида в направлении меньшей из его полуосей. , 1 n a r n   2 , 1 n b r n   . 1 n h r n   РИСУНОК. Эллипсоид минимального объема, содержащий полушар в nR Итерация метода эллипсоидов состоит в переходе от текущего эллипсоида к следующему с постоянным коэффициентом уменьшения их объемов. Этот коэффициент определяется отношением объема эллипсоида с длинами полуосей a и b к объему шара радиуса r в nR и может быть записан в виде 11 2 1 1 1 nn n a b n n q r r n n                 . (5) В работе [3] показано, что 1 exp 1, 2 nq n         (6) следовательно, при больших n коэффициент уменьшения объема хорошо аппроксимируется асимптотической формулой 1 1 2 nq n   . (7) Поэтому, для уменьшения объема эллипсоида, локализующего решение за- дачи, в 10 раз, требуется сделать K итераций, где ln10 = (2ln10) 4.6 . ln n K n n q    (8) П.И. СТЕЦЮК, В.А. СТОВБА, И.С. МАРТЫНЮК 142 Теорія оптимальних рішень. 2017 Чтобы для решения задачи (3) – (4) применить метод эллипсоидов требуется: во-первых – определить градиентное поле ( )g x (способ построения в точке nx R гиперплоскости, локализирующей точку * px в одном из полупространств пространства nR ); во-вторых – выбрать начальный радиус области локализации оптимального решения * px . Удовлетворить эти требования для задачи (3) – (4) не представляет особых проблем. Так, первую часть этих требований можно удо- влетворить, используя лемму. Лемма 1 [4]. Пусть ( )pf x – субградиент функции ( )pf x в точке x ; * * *= max{ , } i j t t t , * =1, , = { }max i ii i n t x u , * =1, , = { }max j jj j n t l x ; * *,i j – значения ,i j (1 , )i j n  , на которых достигаются * *, i j t t ; ke – k -й орт в nE , 1 k n  . Тогда вектор * * * * * * * * * ( ), если 0, ( ) = , если > 0 и > , , если > 0 и , p p i i j j f x t g x e t t t e t t t         удовлетворяет свойству *( ( ), ) 0 для всех n p pg x x x x R   . (9) Лемма 1 означает следующее. Если точка x находится внутри допустимой области, заданной ограничениями (4), то в качестве ( )pg x выбирается ( )pf x – субградиент функции ( )pf x в этой точке, который вычисляется по формуле:  11 1 ( ) = sgn( ) m pp T p j j j j jp j f x Ax b a x b a x b a        , где ja – вектор-строка матрицы A с номером j , 1, ,j m . Если же точка находится вне допустимой области, то выбирается субградиент к максимально нарушенному ограничению вида (4). Выпуклость функции ( )pf x и ограничений (4) для векторного поля ( )pg x гарантирует выполнение свойства (9). Априорную информацию о локализации точки * px в шаре легко обеспечить, если за центр шара выбрать центр параллелепипеда, заданного двусторонними ограничениями на переменные (4), и установить радиус шара таким, чтобы он содержал параллелепипед и имел минимальный объем. Это обеспечивает лемма. Лемма 2 [4]. Если  0 1 = 2 x u l и 0 1 = 2 r u l , то параллелепипед ( ) ={ : }P x x l x u  содержится в n -мерном шаре 0 0 0 0( , ) ={ : }S x r x x x r P P . АЛГОРИТМЫ МЕТОДА ЭЛЛИПСОИДОВ ДЛЯ НАХОЖДЕНИЯ pL -РЕШЕНИЯ … Теорія оптимальних рішень. 2017 143 3. Алгоритм Шора для нахождения * px . В соответствии с правилом вычисления ( )pg x леммы 1 построим формулу для вычисления «обобщенного» значения функции в задаче (3) – (4): * * , если > 0; ( ) = ( ), если 0. p p t F x f x t     Значение ( )pF x будем использовать при построении критерия останова в алгоритме нахождения * .px Входными параметрами алгоритма будут величина p ( 1p  ), с помощью которой определена pL -норма в (3), и величина f – точность, с которой требуется найти значение * *= ( )p p pf f x . Учитывая вышеизложенное, алгоритм Шора для нахождения * px примет следующий вид. Инициализация. Положим стартовую точку 0 = ( )/2x u l и начальный радиус 0 = /2r u l . Введем в рассмотрение n n -матрицу B и положим 0 := nB I , где nI – единичная n n -матрица. Перейдем к первой итерации со значениями 0x , 0r и 0B . Пусть на k -й итерации найдены значения n kx E , kr , kB . Переход к ( 1)k  -й итерации состоит в выполнении такой последовательности действий. Шаг 1. Вычислим ( )p kF x . Если ( ) = 0p kF x , то "Останов: * =k k и * =p kx x ". Иначе вычислим ( )p kg x . Если ( ) <p kF x  и ( )T k p k k fB g x r   , то "Останов: * =k k и * =p kx x ". Иначе переходим к шагу 2. Шаг 2. Положим ( ) := ( ) T k p k k T k p k B g x B g x  . Шаг 3. Вычислим очередную точку 1 1 := , где = . 1 k k k k k k kx x h B h r n     Шаг 4. Вычислим  1 1 2 1 := 1 и := 1 1 T k k k k k k k n n B B B r r n n             . Шаг 5. Переходим к ( 1)k  -й итерации со значениями 1kx  , 1kr  , 1kB  . Алгоритм базируется на методе эллипсоидов, разработанном Н.З. Шором в [2]. Его сходимость обеспечивает теорема. Теорема 1 [5]. Последовательность точек * =0{ }k k kx удовлетворяет неравенству 1 * *( ) , = 0,1,2, , .k k p kB x x r k k   П.И. СТЕЦЮК, В.А. СТОВБА, И.С. МАРТЫНЮК 144 Теорія оптимальних рішень. 2017 На каждой итерации 0k  величина уменьшения объема эллипсоида  1: ( ) ,n k k k kE x R B x x r    локализующего * px , есть величина постоянна и равна 1 2 1 ( ) 1 = = < exp <1. ( ) 1 21 n k k vol E n n q vol E n nn               Из теоремы следует, что для уменьшения в 10 раз объема эллипсоида, локализующего * px , требуется = 4.6K n итераций (cм. формулы (5) – (8)). Для задачи (3) – (4) это означает следующее: чтобы на порядок улучшить отклоне- ние найденного рекордного значения функции ( )pf x от ее оптимального значения * pf , потребуется сделать 24.6n итераций. Если в задаче переменных не более двадцати, то для нахождения * pf с относительной точностью 1010 максимальное количество итераций легко определить из таблицы. Здесь приведены необходимые количества итераций алгоритма для 2 19n   и относительной точности 1010 ,  где * * * 0( ( ) ) / ( ( ) ).p k p p pf x f f x f    ТАБЛИЦА. Количество итераций алгоритма (относительная точность 1010 ) n itn n itn n itn 2 177 8 2940 14 9019 3 407 9 3723 15 10355 4 730 10 4598 16 11782 5 1144 11 5565 17 13302 6 1651 12 6624 18 14914 7 2249 13 7776 19 16617 3. Алгоритм Юдина – Немировского для нахождения * px . Входными параметрами алгоритма будут величины p ( 1p  ) и f – точность, с которой требуется найти * *( )p p pf x f . Алгоритм Юдина – Немировского для нахождения * px имеет следующий вид. Инициализация. Положим стартовую точку 0 = ( )/2x u l и начальный радиус 0 = /2r u l . Введем в рассмотрение симметричную n n -матрицу H и положим 0 := nH I , где nI – единичная n n -матрица. Перейдем к первой ите- рации со значениями 0x , 0r и 0.H Пусть на k -й итерации найдены значения n kx E , kr , kH . Переход к ( 1)k  -й итерации состоит в выполнении такой последовательности действий. АЛГОРИТМЫ МЕТОДА ЭЛЛИПСОИДОВ ДЛЯ НАХОЖДЕНИЯ pL -РЕШЕНИЯ … Теорія оптимальних рішень. 2017 145 Шаг 1. Вычислим ( )p kF x . Если ( ) = 0p kF x , то "Останов: * =k k и * =p kx x ". Иначе вычислим ( ).p kg x Если ( ) <p kF x  и ( ) ( )T k p k k p k fr g x H g x   , то "Останов: * =k k и * =p kx x ". Иначе переходим к шагу 2. Шаг 2. Вычислим очередную точку 1 ( ) 1 := , где = . 1( ) ( ) k p k k k k k k T p k k p k H g x x x h h r ng x H g x    Шаг 3. Вычислим 1 1 2 ( ) ( )2 := и := 1 ( ) ( ) 1 T k p k p k k k k k kT p k k p k H g x g x H n H H r r n g x H g x n     . Шаг 4. Переходим к ( 1)k  -й итерации со значениями 1kx  , 1kr  , 1kH  . Приведенный алгоритм использует метод эллипсоидов, разработан- ный Д.Б. Юдиным и А.С. Немировским в [1]. Он получен как вариант методов последовательных отсечений и работает с симметричной n n -матрицей TH BB , где B – n n -матрица в алгоритме Шора. Сходимость алгоритма Юдина – Немировского обеспечивает следующая теорема. Теорема 2. Последовательность точек * =0{ }k k kx удовлетворяет неравенству    * 1 * 2 *, = 0,1,2, , . T k p k k p kx x H x x r k k   На каждой итерации 0k  величина уменьшения объема эллипсоида     1 2: Tn k k k k kx R x x H x x r      , локализующего * px , есть величина по- стоянна и равна 1 2 1 ( ) 1 = = < exp <1. ( ) 1 21 n k k vol n n q vol n nn                Выводы. Предложенные алгоритмы можно успешно применять для нахож- дения * px , если количество переменных небольшое. Алгоритмы будут устой- чивыми для решения плохо-обусловленных систем линейных уравнений. Чтобы найти точку минимума выпуклой функции с относительной точностью по значению функции, равной 1010 , методу эллипсоидов при 10n  достаточно осуществить 4600 итераций. Для современных персональных компьютеров это требует не меньше секунды процессорного времени. П.И. СТЕЦЮК, В.А. СТОВБА, И.С. МАРТЫНЮК 146 Теорія оптимальних рішень. 2017 Величина m не влияет на скорость сходимости алгоритмов, от нее зависит трудоемкость вычисления значения функции ( )pf x и ее субградиента ( ).pf x При 1000m : это будет вносить в трудоемкость обоих алгоритмов более весомый вклад, чем алгоритмические операции – (шаги 2 – 4) в алгоритме Шора и (шаги 2 – 3) в алгоритме Юдина – Немировского. Работа выполнена при поддержке НАН Украины, проекты № 0117U000327 и № 0116U004558. П.І. Стецюк, В.О. Стовба, І.С. Мартинюк АЛГОРИТМИ МЕТОДУ ЕЛІПСОЇДІВ ДЛЯ ЗНАХОДЖЕННЯ pL -РОЗВ’ЯЗКУ СИСТЕМИ ЛІНІЙНИХ РІВНЯНЬ Запропоновано два алгоритми методу еліпсоїдів для знаходження pL -розв’язку системи лінійних рівнянь з двосторонніми обмеженнями на компоненти розв’язку. У першому алго- ритмі використовується метод Шора, в другому – метод Юдіна – Немировського. Показано, що кількість ітерацій, яку потребують обидва алгоритми, залежить лише від кількості невідо- мих компонент у pL -розв’язку. P.І. Stetsyuk, V.O. Stovba, I.S. Martynyuk ALGORITHMS OF ELLIPSOID METHOD FOR FINDING pL -SOLUTION OF LINEAR EQUATIONS SYSTEM We propose two algorithms of ellipsoid method to find pL -solution of linear equations system with two- sided constraints on solution components. The first and the second algorithms use Shor’s and Yudin- Nemirovskii methods accordingly. It is shown, that number of iterations required by each algorithm de- pends merely on the number of unknown components in pL -solution. 1. Юдин Д.Б., Немировский А.С. Информационная сложность и эффективные методы решения выпуклых экстремальных задач. Экономика и мат. методы. 1976. Вып. 2. C. 357 –359. 2. Шор Н.З. Метод отсечения с растяжением пространства для решения задач выпуклого программирования. Кибернетика. 1977. № 1. С. 94 – 95. 3. Grőtschel M., Lovàsz L., Schrijver A. Geometric Algorithms and Combinatorial Optimization. Berlin: Springer-Verlag, 1988. 362 p. 4. Стецюк П.И., Колесник Ю.С., Березовский О.А. Об одном методе нахождения Lp-решения системы линейных уравнений. Теория оптимальных решений. Киев: Ин-т кибернетики имени В.М. Глушкова НАН Украины, 2003. С. 83 – 90. 5. Стецюк П.И., Била Г.Д., Стовба В.А. Метод эллипсоидов для нахождения Lp-решения системы линейных уравнений. Інформатика та системні науки (ІСН-2017): матеріали VIII Всеукр. наук.-практ. конф. за міжнародною участю (м. Полтава, 16 – 18 березня 2017 року) /за ред. Ємця О.О. – Полтава: ПУЕТ, 2017. Получено 27.03.2017