Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь

Запропоновано метод глобальної мінімізації функції від декількох змінних на заданому інтервалі. Метод засновано на розв’язанні системи нелінійних рівнянь, утвореної частковими похідними цільової функції. Застосування методу продемонстровано на чисельних прикладах. Предложен метод глобальной минимиза...

Повний опис

Збережено в:
Бібліографічні деталі
Опубліковано в: :Компьютерная математика
Дата:2018
Автор: Семенов, В.Ю.
Формат: Стаття
Мова:English
Опубліковано: Інститут кібернетики ім. В.М. Глушкова НАН України 2018
Теми:
Онлайн доступ:https://nasplib.isofts.kiev.ua/handle/123456789/161857
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь / В.Ю. Семенов // Компьютерная математика. — 2018. — № 1. — С. 125-132. — Бібліогр.: 5 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id nasplib_isofts_kiev_ua-123456789-161857
record_format dspace
spelling Семенов, В.Ю.
2019-12-24T22:00:00Z
2019-12-24T22:00:00Z
2018
Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь / В.Ю. Семенов // Компьютерная математика. — 2018. — № 1. — С. 125-132. — Бібліогр.: 5 назв. — укр.
2616-938Х
https://nasplib.isofts.kiev.ua/handle/123456789/161857
519.615
Запропоновано метод глобальної мінімізації функції від декількох змінних на заданому інтервалі. Метод засновано на розв’язанні системи нелінійних рівнянь, утвореної частковими похідними цільової функції. Застосування методу продемонстровано на чисельних прикладах.
Предложен метод глобальной минимизации функций от нескольких переменных на заданном интервале. Метод основан на решении системы нелинейных уравнений, образованной частными производными целевой функции. Применение метода продемонстрировано на численных примерах.
The global minimization method for the functions of several variables on the given interval is proposed. The method is based on the solution of systems of nonlinear equations formed by partial derivatives of the objective function. The application of the method is illustrated on several examples.
en
Інститут кібернетики ім. В.М. Глушкова НАН України
Компьютерная математика
Теория и методы оптимизации
Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь
Метод глобальной минимизации функций, основанный на решении систем нелинейных уравнений
Global minimization method based on the solution of systems of nonlinear equations
Article
published earlier
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
title Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь
spellingShingle Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь
Семенов, В.Ю.
Теория и методы оптимизации
title_short Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь
title_full Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь
title_fullStr Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь
title_full_unstemmed Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь
title_sort метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь
author Семенов, В.Ю.
author_facet Семенов, В.Ю.
topic Теория и методы оптимизации
topic_facet Теория и методы оптимизации
publishDate 2018
language English
container_title Компьютерная математика
publisher Інститут кібернетики ім. В.М. Глушкова НАН України
format Article
title_alt Метод глобальной минимизации функций, основанный на решении систем нелинейных уравнений
Global minimization method based on the solution of systems of nonlinear equations
description Запропоновано метод глобальної мінімізації функції від декількох змінних на заданому інтервалі. Метод засновано на розв’язанні системи нелінійних рівнянь, утвореної частковими похідними цільової функції. Застосування методу продемонстровано на чисельних прикладах. Предложен метод глобальной минимизации функций от нескольких переменных на заданном интервале. Метод основан на решении системы нелинейных уравнений, образованной частными производными целевой функции. Применение метода продемонстрировано на численных примерах. The global minimization method for the functions of several variables on the given interval is proposed. The method is based on the solution of systems of nonlinear equations formed by partial derivatives of the objective function. The application of the method is illustrated on several examples.
issn 2616-938Х
url https://nasplib.isofts.kiev.ua/handle/123456789/161857
citation_txt Метод глобальної мінімізації функцій, заснований на розв’язанні систем нелінійних рівнянь / В.Ю. Семенов // Компьютерная математика. — 2018. — № 1. — С. 125-132. — Бібліогр.: 5 назв. — укр.
work_keys_str_mv AT semenovvû metodglobalʹnoímínímízacíífunkcíizasnovaniinarozvâzannísistemnelíníinihrívnânʹ
AT semenovvû metodglobalʹnoiminimizaciifunkciiosnovannyinarešeniisistemnelineinyhuravnenii
AT semenovvû globalminimizationmethodbasedonthesolutionofsystemsofnonlinearequations
first_indexed 2025-11-25T20:37:24Z
last_indexed 2025-11-25T20:37:24Z
_version_ 1850526827636850688
fulltext ISSN 2616-938Х. Компьютерная математика. 2018, № 1 125 Теория и методы оптимизации Запропоновано метод глобальної мінімізації функції від декількох змінних на заданому інтервалі. Метод засновано на розв’язанні системи нелінійних рівнянь, утво- реної частковими похідними ці- льової функції. Застосування ме- тоду продемонстровано на чи- сельних прикладах.  В.Ю. Семенов, 2018 УДК 519.615 В.Ю. СЕМЕНОВ МЕТОД ГЛОБАЛЬНОЇ МІНІМІЗАЦІЇ ФУНКЦІЙ, ЗАСНОВАНИЙ НА РОЗВ’ЯЗАННІ СИСТЕМ НЕЛІНІЙНИХ РІВНЯНЬ Вступ. Розглянемо задачу глобальної мінімі- зації функції декількох змінних: 1min ( ,..., ),nf x x 1 1 1,,..., .n n na x b a x b    (1) Припустимо, що )(),...,( (3) 1 DCxxf n  (позначення )()( DC l використовується для класу l разів диференційовних функцій на інтервалі ];[...];[= 11 nn babaD  ). У відповідності з традиційною терміноло- гією [1], вектор x̂ зветься локальним мінімумом, якщо )()ˆ( xfxf  для усіх x з деякого околу вектора x̂ . Вектор x̂ зветься глобальним мінімумом, якщо )()ˆ( xfxf  для усіх Dx . Ми також називаємо локальний мінімум внутрішнім, якщо він не належить до границі інтервалу D . Існує багато методів мінімізації різних класів функцій (див., наприклад, [1]). Серед них можна згадати методи імітації відпалу (simulated annealing), генетичні алгоритми, методи «гілок і меж» (branch and bound), градієнтні методи та інші. Найчастіше, ці методи дозволяють знайти один або декілька локальних мінімумів функції .f Проте в ба- гатьох практичних задачах ставиться задача глобальної мінімізації цільової функції. У статті наведено метод глобальної міні- мізації функції, що базується на розв’язанні системи нелінійних рівнянь, яка утворена частковими похідними (градієнтом) цільової функції: В.Ю. СЕМЕНОВ 126 ISSN 2616-938Х. Компьютерная математика. 2018, № 1 1 1 2 1 1 / ( ,..., ) 0; / ( ,..., ) 0; ... ... / ( ,..., ) 0; n n n n f x x x f x x x f x x x            (2) на інтервалі ];[...];[= 11 nn babaD  . Запропонований метод заснований на принципі «гілок і меж» (branch-and- bound) [1] і виконує рекурсивний поділ інтервалу D з метою вибору підінтер- валів, кожен з яких містить один з глобальних мінімумів цільової функції. Даний метод – це розвиток методу локалізації коренів систем нелінійних рівнянь [2]. Практичне застосування методу продемонстровано на декількох прикладах. Допоміжні твердження. Як відомо, внутрішні локальні мінімуми є розв’яз- ками системи (2), що мають позитивно визначений гессіан 2 2 2 1 1 2 2 1 1 ... = ... ... ... . ... n n n f f x x x F f f x x x x                      Згідно з критерієм Сільвестра, це означає що головні мінори 1 2, ,..., n   матриці F  мають бути невід’ємними. Припустимо, що для точок інтервалу Dxxx n )...,,(= 1 – правильні на- ступні обмеження: , = 1,..., ;i i f M i n x    (3) 2 , , = 1,..., ;i k i k f M i k n x x     (4) ' ,i ik k M x    , 1,..., .i k n (5) Далі наведемо твердження щодо поведінки функції f та її похідних на n -мірному інтервалі 0 1 1 2 2 0= [ , ] [ , ] ... [ , ],n nD c d c d c d D D    з центром )],0.5(...),),0.5([0.5(= 2211 (0) nn dcdcdcx  . Ці твердження засновані на роз- кладі функції f в ряд Тейлора та слідують з леми 1 [2]. МЕТОД ГЛОБАЛЬНОЇ МІНІМІЗАЦІЇ ФУНКЦІЙ, ЗАСНОВАНИЙ НА РОЗВ’ЯЗАННІ СИСТЕМ ... ISSN 2616-938Х. Компьютерная математика. 2018, № 1 127 Теорема 1. Нехай )(),...,( 0 (1) 1 DCxxf n  та виконуються обмеження (3). Тоді значення функції f на інтервалі 0D лежать у наступних межах: ).( 2 1)()()( 2 1)( 1= (0) 1= (0) iii n i iii n i cdMxfxfcdMxf   (6) Ця теорема дозволяє оцінити верхню та нижню границі функції f на інтервалі 0.D Теорема 2. Нехай )(),...,( 0 (2) 1 DCxxf n  та виконуються обмеження (4). Тоді 0Dx (0) (0) =1 1/ ( ) ( ) / ( ) / ( ) 2 n i ki i i i i k f x x M d c f x x f x x           =1 1 ( ). 2 n ki i i k M d c  (7) Також, якщо існує номер ,i такий що (0) =1 1/ ( ) > ( ), 2 n i ki i i k f x x M d c   (8) то похідна / if x  не обнуляється на інтервалі 0D і, як наслідок, функція f не може містити на 0D більше одного внутрішнього локального мінімуму. Теорема 3. Нехай )(),...,( 0 (3) 1 DCxxf n  і виконуються границі (5). Тоді 0Dx (0) (0) =1 =1 1 1( ) ( ) ( ) ( ) ( ). 2 2 n n k ki i i k k ki i i i i x M d c x x M d c           Також, якщо існує номер ,i такий що (0) i =1 1( ) < ( ), 2 n ki i i k x M d c   (9) то 0( ) < 0,i x x D   і, як наслідок, інтервал 0D не може містити внутрішній локальний мінімум. Окрім того, якщо , 1i i n   виконується умова (0) =1 1( ) > ( ), 2 n i ki i i k x M d c  (10) то 0( ) > 0, ,i x x D   1 .i n  Внаслідок цього функція f є опуклою на інтервалі 0D і тому не може містити більше одного локального мінімуму. В.Ю. СЕМЕНОВ 128 ISSN 2616-938Х. Компьютерная математика. 2018, № 1 Зауваження. Таким чином, якщо на деякому n -мірному інтервалі 0D умова (10) виконується для всіх головних мінорів, інтервал 0D може містити один локальний мінімум або жодного (але не більше одного). Точна наявність міні- муму може бути встановлена шляхом перевірки збіжності методу Ньютона в інтервалі 0D (шляхом мульті-старту методу Ньютона з декількох внутрішніх точок або перевіркою умови Канторовича [3]). Алгоритм глобальної мінімізації. Як відомо, глобальний мінімум функції досягається на границі області його пошуку або у точках локального мінімуму всередині області пошуку мінімуму. Тому структура запропонованого методу складається з двох частин: 1) пошук глобальних мінімумів на границі інтер- валу D ; 2) пошук глобальних мінімумів всередині інтервалу .D Перша частина зводиться до мінімізації меншої розмірності і, таким чином, може бути розв’язана рекурсивним шляхом (в одновимірному випадку це означає порів- няння значень функції у граничних точках інтервалу). Як результат першої час- тини, ми отримуємо точку глобального мінімуму функції f на границі інтерва- лу ,D а також відповідне мінімальне значення minf (яке буде використовуватись як початкове наближення для другої частини пошуку мінімуму). Розглянемо структуру алгоритму глобальної мінімізації функції f на інтер- валі .D Призначення алгоритму. Знаходження глобального мінімуму (або мініму- мів) функції f на інтервалі 1 1= [ ; ] ... [ ; ].n nD a b a b  Вхідні дані. Формули для обчислення функції ,f її часткових похідних / , = 1,...,kf x k n  і мінорів , = 1,..., ;k k n границі ,iM kiM і 'kiM що входять у обмеження (3), (4), (5),  – мінімально припустимий розмір аналізуємого ін- тервалу (параметр  дозволяє уникнути безкінечної рекурсії у випадку похибок заокруглення та спільних коренів / kf x  і , = 1,..., ).k k n Вихідні дані. minf – оцінка мінімального значення функції f на інтервалі D і ( ) , = 1,...,kx k K – відповідні точки глобального мінімуму; множина під- інтервалів R з розміром (діагоналлю) меншим за  (для яких ситуація є неви- значеною). Алгоритм. Алгоритм мінімізації складається з наступних кроків, що виконуються для поточного інтервалу 0.D На початку алгоритму виконується ініціалізація 0 = .D D 1. Якщо розмір інтервалу 0D не перевищує , 0D додається до множини невизначених інтервалів .R МЕТОД ГЛОБАЛЬНОЇ МІНІМІЗАЦІЇ ФУНКЦІЙ, ЗАСНОВАНИЙ НА РОЗВ’ЯЗАННІ СИСТЕМ ... ISSN 2616-938Х. Компьютерная математика. 2018, № 1 129 2. Оцінюється діапазон значень min max[ , ]M M функції f на інтервалі 0D за допомогою нерівностей (6). Якщо max min< ,M f тоді виконується присвоєння min max:= .f M Якщо min min> ,M f то інтервал 0D виключається з розгляду. Якщо жодна з цих двох умов не виконується, переходимо до наступного кроку. 3. Виконується перевірка умов (8). Якщо хоча б одна з часткових похідних не обнуляється, інтервал 0D виключається з розгляду. В інших випадках, пере- ходимо до наступного кроку. 4. Виконується перевірка умов (9), (10). Якщо умова (9) виконується хоча б для одного з головних мінорів, інтервал 0D виключається з розгляду. Якщо умова (10) виконується для усіх головних мінорів, приймається рішення про на- явність локального мінімуму функції f на інтервалі 0.D Значення глобального мінімуму уточнюється за допомогою методу Ньютона (його використання є ко- ректним завдяки несінгулярності Гессіану, тобто > 0n ). Якщо обчислене мі- німальне значення minM є меншим за min ,f тоді виконується присвоєння min min:= .f M В іншому випадку, інтервал 0D виключається з розгляду. Якщо зазначені умови не виконуються, інтервал 0D розділяється на рівні частини, для кожної з яких виконуються кроки 1 – 4. У відповідності з теоремою 4 [2], якщо часткові похідні функції f та міно- ри k не мають спільних коренів, алгоритм гарантовано припинить роботу за кінчену кількість кроків, у результаті чого будуть знайдені всі глобальні мініму- ми. Зауважимо, що для прискорення роботи алгоритму доцільним є використан- ня власних обмежень (3), (4), (5) для кожного інтервалу 0.D Крім того, перевір- ки, що містяться в теоремах 1 – 3 можуть бути покращені за рахунок викорис- тання похідних вищих порядків. Приклади. Приклад 1. Розглянемо глобальну мінімізацію функції 3 2 2( ) = / 3 cos( ) 1.5 log( ) 0.75 1.5f x x x x x x x    на інтервалі [0.2; 6]. Застосування алгоритму [2] для локалізації всіх нулів похідної 2( ) = sin( ) 3 log( ) 1.5f x x x x x x    дає три значення: 1 = 0.3147,x 2 = 1.4305,x 3 = 5.5232.x Безпосередня перевірка показує, що 1,x 3x – лока- льні мінімуми, а 2x – локальний максимум. Порівнюючи значення функції 3 2 2( ) = / 3 cos( ) 1.5 log( ) 0.75 1.5f x x x x x x x    у точках 1,x 3x та гранич- них точках {0.2, 6}, робимо висновок що глобальним мінімумом функції ( )f x на інтервалі [0.2; 6] є 3 = 5.5232.x При цьому, алгоритм [2] потребує викори- стання шести ділень початкового інтервалу. В.Ю. СЕМЕНОВ 130 ISSN 2616-938Х. Компьютерная математика. 2018, № 1 Тепер розглянемо глобальну мінімізацію функції ( )f x за допомогою запропонованого алгоритму. Відповідне дерево роботи алгоритму представлене на рисунку. За рахунок усього трьох рекурсивних ділень початкового інтервалу, алгоритм дозволив знайти глобальний мінімум 1 = 5.5232x без обчислення інших локальних мінімумів. РИСУНОК. Застосування запропонованого алгоритму до глобальної мінімізації функції 3 2 2( ) = / 3 cos( ) 1.5 log( ) 0.75 1.5f x x x x x x x    на інтервалі [0.2; 6] Приклад 2. Розглянемо глобальну мінімізацію полінома 4 3( ) = 14f x x x  261 84x x  на інтервалі [0, 8] . Його похідна '( )f x має нулі в точках {1; 3.5; 6}. При цьому, точки {1; 6} є локальними мінімумами з однаковими значеннями цільової функції: 36. Запропонований у даній роботі алгоритм до- зволив знайти точки глобального мінімуму {1; 6} за рахунок п’яти рекурсивних ділень початкового інтервалу. Таким чином, у цьому прикладі запропонований метод дозволяє знайти усі точки глобального мінімуму. МЕТОД ГЛОБАЛЬНОЇ МІНІМІЗАЦІЇ ФУНКЦІЙ, ЗАСНОВАНИЙ НА РОЗВ’ЯЗАННІ СИСТЕМ ... ISSN 2616-938Х. Компьютерная математика. 2018, № 1 131 Приклад 3. Розглянемо глобальну мінімізацію функції двох змінних з роботи [4]: 2 4 6 2 4 1 2 1 1 1 1 2 2 2 1( , ) = 4 2.1 4 4 3 f x x x x x x x x x     , на прямокутнику [ 5; 5] [ 5, 5].   Обчислення локальних мінімумів зводиться до розв’язання системи рівнянь з двома змінними: 3 5 1 1 1 2 3 1 2 2 8 8.4 2 0, 8 16 0. x x x x x x x          Застосування алгоритму [2] дозволяє знайти 15 коренів системи за рахунок 108 рекурсивних ділень початкового інтервалу. Серед цих точок є два локальних максимуми та шість локальних мінімумів: {( 1.61, 0.57),  (1.61, 0.57), ( 1.7, 0.8), (1.7, 0.8), (0.09, 0.71), ( 0.09, 0.71)}. Проте застосування алгоритму, запропонованого в даній роботі дозволяє знайти дві точки глобального мінімуму {(0.09, 0.71), ( 0.09,0.71)}  за раху- нок меншої кількості ділень (79) початкового прямокутника. Якщо глобальний мінімум знаходиться на границі інтервалу ,D робота ал- горитму може бути прискорена, що показує наступний приклад. Приклад 4. Розглянемо мінімізацію функції 1 2 1 2( , ) = ( , )g x x f x x на інтер- валі [ 5, 5] [ 5, 5],   де 1 2( , )f x x – функція з прикладу 3. За рахунок шести рекурсивних ділень сторін початкового прямокутника, ми знаходимо початкове наближення до точки мінімуму: {( 5, 5)}.  На другому етапі алгоритму за ра- хунок лише одного розбиття початкового інтервалу, ми знаходимо, що функція 1 2( , )g x x не містить локальних мінімумів із значеннями, меншими за ( 5, 5) = 6420.8333.g    Таким чином, точка ( 5, 5)  – шукана точка гло- бального мінімуму функції 1 2( , ).g x x Приклад 5. Розглянемо глобальну мінімізацію полінома від двох змінних з роботи [4]: 2 2 2 1 2 1 2 1 1 2 1 2 2( , ) = (1 (1 ) (19 14 3 14 6 3 ))f x x x x x x x x x x         2 2 2 1 2 1 1 2 1 2 2(30 (2 3 )(18 32 12 48 36 27 ))x x x x x x x x        на прямокутнику [ 2, 2] [ 2, 2].   Застосування алгоритму [2] дозволяє знайти дев’ять нулів градієнта цільової функції за рахунок 452 рекурсивних ділень початкового інтервалу. Серед цих точок є один локальний максимум та чотири локальні мінімуми: {( 0.60, 0.40),  (0.00, 1.00), (0.80, 0.20), (1.84, 0.22)}. Проте більш ефективним є застосування алгоритму, запропонованого в да- ній роботі. Це призводить до 293 ділень початкового прямокутника, що дозволяє визначити точку глобального мінімуму: (0.00, 1.00). Зауважимо, що застосування запропонованого методу є доцільним у тому випадку, якщо можуть бути обчислені головні мінори матриці Гессе та відповід- ні їм обмеження (5). Тема подальшої роботи – це конструювання більш ефек- тивних критеріїв виявлення наявності локальних мінімумів у заданому інтервалі, таких як тест Кравчіка [5]. В.Ю. СЕМЕНОВ 132 ISSN 2616-938Х. Компьютерная математика. 2018, № 1 Висновок. У роботі запропоновано метод глобальної мінімізації функції 1( ,..., )nf x x на інтервалі 1 1= [ ; ] ... [ ; ].n nD a b a b  Метод засновано на розв’я- занні системи нелінійних рівнянь, утвореної частковими похідними цільової функції. Головний принцип методу полягає у покритті початкового інтервалу підінтервалами, в яких часткові похідні цільової функції або головні мінори ма- триці Гессе мають постійний знак. Наведено алгоритм формування такого роз- биття початкового інтервалу. Практичне застосування методу продемонстровано на декількох прикладах. В.Ю. Семенов МЕТОД ГЛОБАЛЬНОЙ МИНИМИЗАЦИИ ФУНКЦИЙ, ОСНОВАННЫЙ НА РЕШЕНИИ СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ Предложен метод глобальной минимизации функций от нескольких переменных на заданном интервале. Метод основан на решении системы нелинейных уравнений, образованной част- ными производными целевой функции. Применение метода продемонстрировано на числен- ных примерах. V. Semenov GLOBAL MINIMIZATION METHOD BASED ON THE SOLUTION OF SYSTEMS OF NONLINEAR EQUATIONS The global minimization method for the functions of several variables on the given interval is pro- posed. The method is based on the solution of systems of nonlinear equations formed by partial derivatives of the objective function. The application of the method is illustrated on several examples. Список літератури 1. Neumaier A. Complete Search in Continuous Global Optimization and Constraint Satisfaction, Acta Numerica. 2004. P. 383 – 408. 2. Семенов В.Ю. Метод нахождения всех действительных некратных корней системы не- линейных уравнений. Журнал Вычислительной математики и математической физики. 2007. № 9. С. 1486 – 1493. 3. Деннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нели- нейных уравнений. М.: Мир, 1988. 440 с. 4. Wang X., Chang T.-S. A multivariate global optimization using linear bounding functions. J. Global Optim. 1998, Vol. 12. P. 383 – 404. 5. Семенов В.Ю. Метод нахождения всех корней системы нелинейных алгебраических уравнений, основанный на операторе Кравчика. Кибернетика и системный анализ. 2015. № 5. С. 169 – 175. Одержано 12.05.2018 Про автора: Семенов Василь Юрійович, кандидат фізико-математичних наук, завідувач науково-дослідного відділу алгоритмів ТОВ “Дельта СПЕ”. Е-mail: vasyl.delta@gmail.com