Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією
Одним із класичних методів дослідження динамічних систем є прямий метод Ляпунова, що застосовується до широкого класу задач якісного аналізу поведінки систем. Дана стаття є продовженням низки наукових робіт її авторів, присвячених поширенню вищевказаного методу на нові сучасні наукові проблеми. А са...
Збережено в:
| Опубліковано в: : | Проблемы управления и информатики |
|---|---|
| Дата: | 2022 |
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2022
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/210907 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією / Д.Я. Хусаінов, А.В. Шатирко, Т.I. Шакотько // Проблеми керування та інформатики. — 2022. — № 5. — С. 5-16. — Бібліогр.: 13 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860075601960894464 |
|---|---|
| author | Хусаінов, Д.Я. Шатирко, А.В. Шакотько, Т.I. |
| author_facet | Хусаінов, Д.Я. Шатирко, А.В. Шакотько, Т.I. |
| citation_txt | Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією / Д.Я. Хусаінов, А.В. Шатирко, Т.I. Шакотько // Проблеми керування та інформатики. — 2022. — № 5. — С. 5-16. — Бібліогр.: 13 назв. — укр. |
| collection | DSpace DC |
| container_title | Проблемы управления и информатики |
| description | Одним із класичних методів дослідження динамічних систем є прямий метод Ляпунова, що застосовується до широкого класу задач якісного аналізу поведінки систем. Дана стаття є продовженням низки наукових робіт її авторів, присвячених поширенню вищевказаного методу на нові сучасні наукові проблеми. А саме, на підрозділ штучного інтелекту — нейронні мережі. В даній статті на основі методу функцій Ляпунова досліджено системи, що описуються в термінах диференціальних рівнянь із запізненням аргументу. Вказано на особливості його застосування для систем функціонально-диференціальних рівнянь (ФДР) із запізненням у загальному нелінійному випадку. З метою наочності та з використанням методології дослідження продемонстровано можливість отримання умов стійкості, як залежних, так й незалежних від запізнення, для випадку лінійних систем ФДР. При цьому використано традиційну функцію Ляпунова у вигляді квадратичної форми. Розглянуто моделі неперервних нейронних сіток Хопфілда у вигляді систем диференціальних рівнянь із запізненням та слабкою нелінійністю. За допомогою функцій Ляпунова квадратичного вигляду доведено твердження про асимптотичну стійкість положення рівноваги. Також показано й якісний характер поведінки системи, а саме, доведено, що норма розв’язків затухає за експоненціальним законом. Окреслено перспективу подальших досліджень з використанням функцій Ляпунова, що враховують нелінійності диференціальних моделей сіток Хопфілда
One of the classical methods for studying dynamic systems is the direct Lyapunov method, which is applied to a wide range of tasks for the qualitative analysis of system behavior. This article is a continuation of a series of scientific works by its authors, dedicated to extending the above-mentioned method to new modern scientific problems, specifically to a subset of artificial intelligence — neural networks. In this article, based on the Lyapunov function method, systems described by differential equations with delayed arguments are investigated. The article highlights the specifics of its application to systems of functional-differential equations (FDEs) with delay in the general nonlinear case. For clarity and using the research methodology, the possibility of obtaining stability conditions, both dependent and independent of delay, is demonstrated for the case of linear FDE systems. The traditional Lyapunov function in the form of a quadratic form is used. Models of continuous Hopfield neural networks are considered as systems of differential equations with delay and weak nonlinearity. Using quadratic Lyapunov functions, a statement about the asymptotic stability of the equilibrium position is proven. The qualitative behavior of the system is also shown, specifically, it is proven that the norm of the solutions decays exponentially. The article outlines the prospects for further research using Lyapunov functions that take into account the nonlinearities of the differential models of Hopfield networks.
|
| first_indexed | 2026-03-19T07:45:28Z |
| format | Article |
| fulltext |
© Д.Я. ХУСАІНОВ, А.В. ШАТИРКО, Т.І. ШАКОТЬКО, 2022
Міжнародний науково-технічний журнал
Проблеми керування та інформатики, 2022, № 5 5
ПРОБЛЕМИ ДИНАМІКИ КЕРОВАНИХ СИСТЕМ
УДК 517.929
Д.Я. Хусаінов, А.В. Шатирко, Т.І. Шакотько
ОТРИМАННЯ УМОВ ЗБІЖНОСТІ ПРОЦЕСІВ
НАВЧАННЯ У МАТЕМАТИЧНИХ МОДЕЛЯХ
НЕЙРОДИНАМІКИ З ПІСЛЯДІЄЮ
Хусаінов Денис Ях’євич
Київський національний університет імені Тараса Шевченка,
d.y.khusainov@gmail.com
Шатирко Андрій Володимирович
Київський національний університет імені Тараса Шевченка,
shatyrko.a@knu.ua
Шакотько Тетяна Іванівна
Київський національний університет імені Тараса Шевченка,
tracuk_85@ukr.net
Одним із класичних методів дослідження динамічних систем є прямий ме-
тод Ляпунова, що застосовується до широкого класу задач якісного аналізу
поведінки систем. Дана стаття є продовженням низки наукових робіт її ав-
торів, присвячених поширенню вищевказаного методу на нові сучасні нау-
кові проблеми. А саме, на підрозділ штучного інтелекту — нейронні мере-
жі. В даній статті на основі методу функцій Ляпунова досліджено системи,
що описуються в термінах диференціальних рівнянь із запізненням аргу-
менту. Вказано на особливості його застосування для систем функціональ-
но-диференціальних рівнянь (ФДР) із запізненням у загальному нелінійно-
му випадку. З метою наочності та з використанням методології досліджен-
ня продемонстровано можливість отримання умов стійкості, як залежних,
так й незалежних від запізнення, для випадку лінійних систем ФДР. При
цьому використано традиційну функцію Ляпунова у вигляді квадратичної
форми. Розглянуто моделі неперервних нейронних сіток Хопфілда у ви-
гляді систем диференціальних рівнянь із запізненням та слабкою неліній-
ністю. За допомогою функцій Ляпунова квадратичного вигляду доведено
твердження про асимптотичну стійкість положення рівноваги. Також пока-
зано й якісний характер поведінки системи, а саме, доведено, що норма
розв’язків затухає за експоненціальним законом. Окреслено перспективу
подальших досліджень з використанням функцій Ляпунова, що врахову-
ють нелінійності диференціальних моделей сіток Хопфілда.
Ключові слова: метод Ляпунова, стійкість, нейромережі, запізнення аргу-
менту, система диференціальних рівнянь.
Роботу проведено в рамках бюджетної тематики Київського національного університету іме-
ні Тараса Шевченка 22БФ015-04 «Розроблення теоретичних основ і нових методів обробки, роз-
пізнавання, прогнозу людиноорієнтованих процесів та систем для вирішення проблем штучного
інтелекту».
mailto:d.y.khusainov@gmail.com
mailto:shatyrko.a@knu.ua
6 ISSN 2786-6491
Вступ
При розробці нових методів штучного інтелекту на основі моделей машинно-
го навчання у задачах нейродинаміки останнім часом використовуються класичні
методи якісної теорії динамічних систем [1]. Процеси збіжності при навчанні в
нейромережах тісно повʼязані з класичними методами якісної теорії динамічних
систем і, зокрема, з методами А.М. Ляпунова [2–4]. Запропонована у роботі [1]
«модель» є системою звичайних нелінійних диференціальних рівнянь спеціально-
го виду, яку можна назвати системою «зі слабкою нелінійністю». У цій роботі ро-
зглядаються проблеми, властиві нейронним мережам, які є класичними пробле-
мами динамічних систем.
1. Велика розмірність системи. Математичним моделям нейродинаміки
притаманна велика кількість степенів вільності, що є суттєвою особливістю кори
головного мозку.
2. Нелінійність. Слід зазначити, що нелінійність у моделях нейродинаміки
має власну специфіку. На думку авторів, її краще назвати «слабкою нелінійніс-
тю». Нелінійна функція, що характеризує зворотний звʼязок, міститься у секторі
між двома прямими.
3. Дисипативність. Як зазначено у роботі [1], нейродинамічна система хара-
ктеризується збіжністю у часі до множини у просторі меншої розмірності.
Щодо динаміки нейронних мереж усе це дозволяє використовувати апарат
теорії динамічних систем, зокрема, класичний метод функцій Ляпунова [2–4].
1. Нелінійні системи. Загальний підхід
Як зазначено в роботі [5], для систем, що описують процеси в нейродинамі-
ці, характерним є запізнення, обумовлене часом обробки сигналу зворотного зв'я-
зку та виробленням керуючої дії. Більш адекватним апаратом, що описує динамі-
ку процесів у нейронних мережах, є системи диференціальних рівнянь із післяді-
єю, зокрема, диференціальних рівнянь із запізнілим аргументом. Проте у цих рів-
нянь щодо стійкості і збіжності процесів є свої особливості. Класичним апаратом
дослідження динамічних систем різного виду є другий метод Ляпунова, або метод
функцій Ляпунова.
Для систем диференціальних рівнянь із післядією (нелінійних із запізненням) [6]
( ) ( ( ), ( ), )x t F x t x t t 0, (1)
цей метод має свої особливості. Векторне поле системи (1) визначається поло-
женням не тільки у даний час ( ),x t але й у попередній ( ).x t Тому при дослі-
дженні стійкості та отриманні оцінок збіжності, використовуючи другий метод
Ляпунова, запропоновано оцінювати величину повної похідної функції Ляпунова у
момент 0t для координати ( )x t , враховуючи припущення, що координата, яка
запізнюється ( ),x s ,s t знаходиться «всередині» поверхні рівня ( , )V x t c [5].
Формально це припущення сформульовано у вигляді залежності
( ( ), ) ( ( ), ),V x s s V x t t при .s t
Зміст цього припущення такий. Для довільного 0 завжди знайдуться
достатньо малі 0 та 0, при яких розв’язок ( )x s системи (1), що задо-
вольняє при 0 s початковій умові ( ) ,x s буде знаходитися в області
{ : ( ) },nV x R V x котра, в свою чергу, знаходиться в -околі нульового
Міжнародний науково-технічний журнал
Проблеми керування та інформатики, 2022, № 5 7
положення рівноваги { : }.nU x R x Якщо, від зворотного, в момент
0t розв’язок ( )x t досягає межі цієї множини, тобто ( ) ,x t тоді він по-
винен перетнути межу { : ( ) }.nV x R V x А це неможливо, бо функція
Ляпунова не зростає, що еквівалентно тому, що її повна похідна від’ємно виз-
начена. Геометрично умова від’ємної визначеності функції Ляпунова означає,
що векторне поле системи на межі { : ( ) }nV x R V x спрямоване все-
редину.
Якщо функція Ляпунова має вигляд квадратичної форми T( )V x x Hx (за-
звичай) з симетричною додатно визначеною матрицею ,H то умова Б.С. Разумі-
хіна [7] має такий вигляд
2 2T T
min max( ) ( ) ( ) ( ) ( ( )) ( ( )) ( ) ( ) ( ) ,H x s x x s Hx s V x s V x t x t Hx t V x t
0 .s t
Тому при оцінці повної похідної функції Ляпунова в силу системи викорис-
товується нерівність
( ) ( ) ( )x s H x t , max min( ) ( ) ( ) ,H H H 0 ,s t (2)
де max ( ),H min ( )H — максимальне й мінімальне власні числа симетричної,
додатно визначеної матриці .H
2. Лінійні системи із запізненням
Раніше співавторами цієї статті, зокрема в роботі [8], розглядалися системи лі-
нійних однорідних диференціальних рівнянь із сталими коефіцієнтами виду
( ) ( ) ( ),x t Ax t Bx t 0. (3)
Дослідження проводилося методом квадратичних функцій Ляпунова ( )V x
Tx Hx із симетричною додатно визначеною матрицею .H Вважалося, що «мо-
дельна система»
( ) ( ) ( )x t A B x t
є асимптотично стійкою. Повна похідна функції Ляпунова T( )V x x Hx в силу
системи (3) записувалася у вигляді
T T( ( )) ( ( )) ( ) ( ) ( ( ))
d
V x t x t Hx t x t H x t
dt
T T( ( ) ( )) ( ) ( ) ( ( ) ( )).Ax t Bx t Hx t x t H Ax t Bx t
Далі додавався й віднімався другий член без запізнення й отримували
T T T( ( )) ( )[( ) ( )] ( ) 2 ( ) [ ( ) ( )].
d
V x t x t A B H H A B x t x t HB x t x t
dt
(4)
Якщо матриця A B асимптотично стійка, то матричне рівняння Ляпунова
T( ) ( )A B H H A B C
8 ISSN 2786-6491
за будь-якої додатно визначеної матриці 0C С має розв’язком додатно визначе-
ну матрицю 0 .H H Таким чином, залежність (4) має вигляд
( ( ))
d
V x t
dt
T T
0 0( ) ( ) 2 ( ) [ ( ) ( )].x t С x t x t H B x t x t (5)
Можна виділити два підходи при отриманні конструктивних умов стійкості
лінійних систем із запізненням (3) із використанням другого методу Ляпунова.
2.1. Умови стійкості рівномірні за запізненням. Використовуючи нерів-
ність (2), отримуємо, що повній похідній функції Ляпунова (5) відповідає таке
співвідношення
( ( ))
d
V x T
dt
2 2
min 0 0 0( ) ( ) 2 [1 ( )] ( )C x T H B H x T
min 0 0 0{ ( ) 2 [1 ( )]} ( )C H B H x t .
При виконанні умови
min 0 0 0( ) 2 [1 ( )] 0C H B H
повна похідна функції Ляпунова буде від’ємно визначеною. Це означає, що
векторне поле системи із запізненням спрямоване всередину поверхні рівня
T
0{ : },V x x H x і розв’язок ( )x t не залишає область T
0{ : }.V x x H x
Таким чином, нульовий розв’язок системи (3) буде стійким за Ляпуновим.
До того ж можна показати, що він є експоненційно стійким. Дійсно, врахо-
вуючи нерівності квадратичних форм
2 2T
min 0 max 0( ) ( ) ( ( )) ( ) ( ) ( ) ( ) ,H x t V x t x t Hx t H x t (6)
отримаємо
2
min 0
1
( ) ( ( )).
( )
x T V x t
H
Повній похідній функції Ляпунова відповідає нерівність
( )
d
V T
dt
0( ) ( ( )),H V x T
min 0 0 0
0
min 0
( ) 2 [1 ( )]
( ) .
( )
C H B H
H
H
Розв’язавши отриману диференціальну нерівність, отримуємо
0 0 0( ( )) ( ( )) exp{ ( )( )}.V x T V x t H t t
З використанням двосторонньої нерівності (6) остаточно отримуємо оцінку
збіжності розв’язку системи диференціальних рівнянь (3).
0 0 0
1
( ) ( ) exp ( )( )
2
x T H H T t
.
2.2. Умови стійкості залежні від запізнення. Система диференціальних рів-
нянь (3) записувалася в інтегральному вигляді
( ) ( ) [ ( ) ( )] .
t
t
x t x t Ax s Bx s ds
Міжнародний науково-технічний журнал
Проблеми керування та інформатики, 2022, № 5 9
Звідси випливає нерівність
( ) ( ) [ ( ) ( ) ] .
t
t
x t x t A x s B x s ds
Нехай, як і в попередньому випадку, від зворотного, при 0t t T
розв’язок ( )x t знаходиться всередині еліпса T{ : },V x x Hx а при t T
досягає його межі T{ : }.V x x Hx Тоді
0( ) ( ) ( ) ( ) ( ) .x T x T A B H x T (7)
Знову звернемося до (5). Підставивши отримане співвідношення (7) в (5),
отримуємо
( ( ))
d
V x T
dt
2
min 0 0 0{ ( ) 2 ( ) ( ) } ( ) .C H B A B H x T
При
0 , min 0
0
0 0
( )
,
2 ( ) ( )
C
H B A B H
max 0
0
min 0
( )
( )
( )
H
H
H
(8)
повна похідна функції Ляпунова буде від’ємно визначеною. Таким чином, векто-
рне поле системи (3) спрямоване всередину поверхні T{ : }V x x Hx , і лі-
нійна система із запізненням (3) стійка.
Крім того, покажемо, що при виконанні умови (8) розв’язок системи екс-
поненційно сходиться до нульового положення рівноваги. Дійсно, враховую-
чи нерівності квадратичних форм (6) та нерівності (8), отримуємо
( )
d
Vx T
dt
min 0 0 0
max
1
{ ( ) 2 ( ) ( ) } ( ( ))
( )
C H B A B H V x T
H
або
0
min 0 0 0
0
min 0
( ) ( ) ( ( )),
( ) 2 ( ) ( )
.( )
( )
d
Vx T H V x T
dt
C H B A B H
H
H
(9)
Розв’язавши отриману диференціальну нерівність (9), остаточно маємо
0 0( ( )) ( (0))exp{ ( )( )}.V x T V x H t t
Використавши знову нерівності квадратичних форм, отримуємо
0 0 0
1
( ) ( ) exp ( )( )
2
x t H H t t
.
3. Системи із слабкою нелінійністю
У роботі [1] як моделі неперервних нейронних сіток Хопфілда (НСХ) запро-
поновано системи звичайних диференціальних рівнянь виду
1
( ) 1
( ) ( ( )) ,
n
i
i i ij j j i
ji
dy t
C y t y t I
dt R
0,t 1, .i n (10)
10 ISSN 2786-6491
Якщо враховувати час обробки сигналу, то використовувалися системи ди-
ференціально-різницевих рівнянь із запізненням
1
( ) 1
( ) ( ( )) ,
n
i
i i ij j j k
ji
dy t
C y t y t I
dt R
0,t 1, .i n (11)
Тут n — число нейронів у сітці; T
1 2( ) ( ( ), ( ),..., ( ))ny t y t y t y t — вектор стану сіт-
ки в момент часу 0;t ,iR ,iC ,iI 1,i n , — опори, ємності й зовнішні струми
відповідно. Заміною
1
,i
i i
a
R C
,
ij
ij
i
b
C
0 ,i
i
i
I
I
C
1, ,i n 1,j n ,
системи (10), (11) можна звести до систем у стандартному вигляді
1
( )
( ) ( ( )) ,
n
i
i i ij j j i
j
dy t
a y t b f y t c
dt
0,t 1, ,i n
а з урахуванням часу обробки сигналу та побудови керування — до систем із запіз-
ненням
1
( )
( ) ( ( )) ,
n
i
i i ij j j i
l
dy t
a y t b f y t c
dt
0,t 1, .i n
Розглянемо динамічні системи, що являють собою моделі нейронних мереж,
які описуються системами нелінійних диференціальних рівнянь із запізненням,
продовжуючи використовувати ідеї та методологію, запропоновані авторами ра-
ніше в роботах [9–12].
1 11 1 11 11 1 12 12 2 1 1 1( ) ( ) ( ( )) ( ( )) ... ( ( ))n n ny t a y t b f y t b f y t b f y t c
2 22 2 21 21 1 22 22 2 2 2 2( ) ( ) ( ( )) ( ( )) ... ( ( ))n n ny t a y t b f y t b f y t b f y t c
(12)
1 1 1 2 2 2( ) ( ) ( ( )) ( ( )) ... ( ( )) .n nn n n n n n nn nn n ny t a y t b f y t b f y t b f y t c
Вважаємо, що 0,iia функції ( ),ij jf y ,i j n , є неперервно диференційованими,
система диференціальних рівнянь (12) має єдину точку спокою 0 0
0 1 2( , ,..., ),nM y y y
котра є розв’язком системи рівнянь
11 1 11 11 1 12 12 2 1 1 1( ) ( ) ... ( ) 0,n n na y b f y b f y b f y c
22 2 21 21 1 22 22 2 2 2 2( ) ( ) ... ( ) 0,n n na y b f y b f y b f y c
………………………………………………………
1 1 1 2 2 2( ) ( ) ... ( ) 0.nn n n n n n nn nn n na y b f y b f y b f y c
Проведемо заміну типу «паралельного переносу» точки спокою 0 0
0 1 2( , ,...M y y
..., )ny в початок координат
0( ) ( ) ,i i iy t x t y 1, 2,..., .i n
Міжнародний науково-технічний журнал
Проблеми керування та інформатики, 2022, № 5 11
Тоді систему (12) буде зведено до виду «системи рівнянь збурень»
1 11 1 11 11 1 12 12 2 1 1( ) ( ) ( ( )) ( ( )) ... ( ( )),n n nx t a x t b F x t b F x t b F x t
2 22 2 21 21 1 22 22 2 2 2( ) ( ) ( ( )) ( ( )) ... ( ( )),
.....................................................................................
n n nx t a x t b F x t b F x t b F x t
(13)
1 1 1 2 2 2( ) ( ) ( ( )) ( ( )) ... ( ( )),n nn n n n n n nn nn nx t a x t b F x t b F x t b F x t
де
0 0( ( )) ( ( ) ) ( ).ij j ij j j ij jF x t f x t y f y
Оскільки
(0) 0,ijF , 1, ,i j n
дослідження стійкості положення рівноваги 0 0
0 1 2( , ,..., )nM y y y й збіжності
розв’язків до цієї точки буде зведено до дослідження нульового положення рівно-
ваги (0, 0,..., 0)O системи «рівнянь збурень» (13).
Нехай функції ( ( )),ij jF x t , 1,i j n , задовольняють так званим «умовам
лінійного обмеження»
( ( )) ( )ij j ij jF x t K x t , , 1, .i j n (14)
У такому випадку асимптотичну стійкість нульового положення рівноваги
системи (13) й оцінку збіжності можна отримати з використанням «класичних»
квадратичних функцій Ляпунова [2, 3]
2
1 2
1
( , ,..., ) ,
n
n ii i
i
V x x x h x
0,iih 1, .i n (15)
Оскільки в диференціальному рівнянні присутні члени із запізненням, то при
оцінці повної похідної в силу системи будемо використовувати «умову Б.С. Ра-
зуміхіна», яку наведено вище. Має місце таке твердження.
Теорема 1. Нехай параметри 0,iia 0,iih ,ijb 0,ijK , 1,i j n , сис-
теми (13) такі, що матриця 1 22 ( , ) ( , ),C h a C h L де
11 11
22 22
1
11 1 11 1 22 2 11 1
11 1 22 2 22 2 22 2 33 3
2
11 11 22 2 33 3
0 ... 0
0 ... 0
( , ) ,
. . ... .
0 ...
2 ...
2 ...
( , ) ,
. . ... .
... 2
nn nn
nn n
nn n nn nn
h a
h a
C h a
h a
h L h L h L h L h L
h L h L h L h L h L
C h L
h L h L h L h L h L
(16)
1
( ) ,
n
i ij ij
j
L h b K
max min( ) ,h h h min
1,
min{ },ii
i n
h h
max
1,
max{ },ii
i n
h h
1, .i n (17)
додатно визначена. Тоді положення рівноваги 0 0
0 1 2( , ,..., )nM y y y системи (12)
стійке за Ляпуновим.
12 ISSN 2786-6491
Доведення. Нескладно бачити, що функція Ляпунова 1 2( , ,..., ),nV x x x задана
в (15), додатно визначена. Обчислимо її повну похідну в силу рівнянь збурень (13)
при виконанні умов теореми 1. Отримуємо
1 2( ( ), ( ),..., ( ))n
d
V x t x t x t
dt
= 1 2
1 1
( ( ), ( ),..., ( ))
( ) ( ( ))
( )
n n
n
ii i ij ij j
i ji
V x t x t x t
a x t b F x t
x t
1 1
2 ( ) ( ) ( ( ))
n n
ii i ii i ij ij j
i j
h x t a x t b F x t
2
1 1 1
2 ( ) 2 ( ) ( ( ))
n n n
ii ii i ii i ij ij j
i i j
a h x t h x t b F x t
.
Умови Б.С. Разуміхіна для функції Ляпунова (15) мають такий вигляд
2 2
min 1 2
1
( ) ( ) ( ( ), ( ),..., ( ))
n
ii i n
i
h x t s h x t s V x t s x t s x t s
22
1 2 max
1
( ( ), ( ),..., ( )) ( ) ( ) ,
n
n ii i
i
V x t x t x t h x t h x t
2 2
1
( ) ( )
n
i
i
x t x t
, 1, ,i n 0.s
Звідси випливає, що
( ) ( ) ( ) ,ix t s h x t 1, .i n
Використовуючи умову (14), для повної похідної функції Ляпунова в силу
системи отримуємо таке співвідношення
1 2( ( ), ( ),..., ( ))n
d
V x t x t x t
dt
2
1 1 1
2 ( ) 2 ( ) ( )
n n n
ii ii i ii i ij ij j
i i j
a h x t h x t b K x t
2
1 1
2 [ ( ) ( ) ( ) ( ) ].
n n
ii ii i i ij ij
i j
h a x t x t x t h b K
Використаємо позначення (17).
Розкриємо першу суму останньої нерівності, використаємо позначення для
,iL 1, ,i n й отримаємо
2 2 2 2
1 2 11 11 1 1 1 1 2( ( ), ( ),..., ( )) 2 [ ( ) ( ) ( ) ( ) ... ( ) ]n n
d
V x t x t x t h a x t L x t x t x t x t
dt
2 2 2 2
22 22 2 2 2 1 22 [ ( ) ( ) ( ) ( ) ... ( )] ...nh a x t L x t x t x t x t
… 2 2 2 2
1 22 [ ( ) ( ) ( ) ( ) ... ( )].nn nn n n n nh a x t L x t x t x t x t
Далі, згідно з очевидною нерівністю
2 2 2
1 2 1 2( ) ( ) ( ) ... ( ) ( ) [ ( ) ( ) ... ( ) ]i n i nx t x t x t x t x t x t x t x t ,
Міжнародний науково-технічний журнал
Проблеми керування та інформатики, 2022, № 5 13
запишемо
2
1 2 11 11 1 1 1 1 2( ( ), ( ),..., ( )) 2 [ ( ) ( )( ( ) ( ) ... ( ) ) ]n n
d
V x t x t x t h a x t L x t x t x t x t
dt
2
22 22 2 2 2 1 22 [ ( ) ( ) ( ( ) ( ) ... ( ) )] ...nh a x t L x t x t x t x t
… 2
1 22 [ ( ) ( ) ( ( ) ( ) ... ( ) )].nn nn n n n nh a x t L x t x t x t x t
Зведемо праву частину останнього виразу до квадратичної форми. Викорис-
тавши позначення (16) для матриць 1( , ),С h a 2 ( , ),С h L запишемо
T
1 2( ( )) ( )[2 ( , ) ( , )] ( ),
d
V x t x t C h a C h L x t
dt
T
1 2( ) ( ( ) , ( ) ,..., ( ) ).nx t x t x t x t
Якщо симетрична матриця 1 22 ( , ) ( , )C h a C h L додатно визначена, то повна похід-
на функції Ляпунова в силу системи з запізненням буде від’ємно визначеною.
Як випливає з функції Ляпунова, для довільного 0 існує еліпсоїд
1 2{ : ( , ,..., ) },n
nV x R V x x x який знаходиться в -околі нульового по-
ложення рівноваги { : },nU x R x в свою чергу, в ньому знаходиться
-окіл нульового положення рівноваги { : }.nU x R x Нехай початкове
положення системи знаходиться в { : }.nU x R x Покажемо, що роз-
в’язок не вийде з нульового положення рівноваги. Нехай, від зворотного, при де-
якому 0T розв’язок досягне межі множини { : }.nU x R x Але тоді, в
силу побудови множин, він повинен перетнути поверхню рівня функції Ляпунова
1 2{ : ( , ,..., ) }.n
nV x R V x x x А це неможливо, оскільки похідна функції
Ляпунова від’ємно визначена й вздовж розв’язків вона зменшується. Таким чи-
ном, нульовий розв’язок буде стійким за Ляпуновим.
Покажемо, що нульовий розв’язок не тільки стійкий, а й асимптотично стій-
кий, тобто процес навчання йде за експоненціальним законом. Для цього скорис-
таємося неавтономною функцією Ляпунова
2
1 2
1
( , ,..., , ) ,
n
t t
n ii i
i
V x x x t e h e x
0,iih 0, 1, .i n (18)
Теорема 2. Нехай параметри 0,iia 0,iih ,ijb 0,ijK , 1,i j n , сис-
теми (13) такі, що матриця
0 1 2( , , , 0) 2 ( , ) ( ) ( , )С h a L C h a h C h L
додатно визначена.
Тоді нульове положення рівноваги системи (13) буде асимптотично стійким
й має місце така оцінка збіжності
0( ) ( ) (0) exp{ 2},x t h x t
2
1
(0) (0).
n
i
i
x x
(19)
Тут 0 0 — величина, за якої матриця
0 2
0 0 1 0 2( , , , ) 2 ( , ) ( ) ( , )С h a L C h a H e h C h L
також додатно визначена.
Доведення. Обчислимо повну похідну неавтономної функції 1 2( , ,..., , )nV x x x t
(18) в силу системи рівнянь збурень (13) при виконанні умов теореми 2 й отримаємо
14 ISSN 2786-6491
1 2
1 2
( ( ), ( ),..., ( ), )
( ( ), ( ),..., ( ), ) n
n
V x t x t x t td
V x t x t x t t
dt t
1 2
1 1
( ( ), ( ),..., ( ), )
( ) ( ( ))
( )
n n
n
ii i ij ij j
i ji
V x t x t x t t
a x t b F x t
x t
2
1
( )
n
t
ii i
i
e h x t
2
1 1 1
2 ( ) 2 ( ) ( )
n n n
t t
ii ii i ii i ij ij j
i i j
e a h x t h e x t b K x t
.
Умова Б.С. Разуміхіна для функції Ляпунова (18) має вигляд
( ) 2
1 2
1
( ) ( ( ), ( ),..., ( ), )
n
t s
ii i n
i
e h x t s V x t s x t s x t s t s
2
1 2 max( ( ), ( ),..., ( ), ) ( ) ,t
nV x t x t x t t e h x t 0.s
Тому
2( ) ( ) ( )jx t e H x t . (20)
Для оцінки повної похідної отримаємо нерівність
1 2( ( ), ( ),..., ( ), )n
d
V x t x t x t t
dt
2
1 1 1
( 2 ) ( ) 2 ( ) ( )
n n n
t t
ii ii i ii i ij ij j
i i j
e h a x t e h x t b K x t
.
Використовуючи (20), запишемо
1 2( ( ), ( ),..., ( ), )n
d
V x t x t x t t
dt
2 2
1 1
( 2 ) ( ) 2 ( ) ( ) ( )
n n
t t
ii ii i ii i i
i i
e h a x t e h x t e L H x t
.
Використавши знову очевидну нерівність
2 2 2
1 2 1 2( ) ( ) ( ) ... ( ) ( ) [ ( ) ( ) ... ( ) ],i n i nx t x t x t x t x t x t x t x t
отримаємо
2 2 2
1 2 11 1 22 2( ( ), ( ),..., ( ), ) [ ( ) ( ) ... ( )]n nn n
d
V x t x t x t t e h x t h x t h x t
dt
2 2
11 11 1 1 1 1 22 [ ( ) ( ) ( ) ( ( ) ( ) ... ( ) )]t
nh e a x t e h L x t x t x t x t
2 2
22 22 2 2 2 1 22 [ ( ) ( ) ( ) ( ( ) ( ) ... ( ) )]t
nh e a x t e h L x t x t x t x t …
…
2 2
1 22 [ ( ) ( ) ( ) ( ( ) ( ) ... ( ) )].t
nn nn n n n nh e a x t e h L x t x t x t x t
З використанням раніше введених матриць 1( , ),C h a 2 ( , )С h a (16) й позна-
чень diag{ , 1, },iiH h i n для повної похідної функції Ляпунова отримаємо таке
співвідношення
T 2
1 2 1 2( ( ), ( ),..., ( ), ) ( )[2 ( , ) ( ) ( , )] ( ).t
n
d
V x t x t x t t e x t C h a H e h C h L x t
dt
Міжнародний науково-технічний журнал
Проблеми керування та інформатики, 2022, № 5 15
Звідси випливає диференціальна нерівність
1 2
2
min 1 2 1 2
max
( ( ), ( ),..., ( ), )
1
[2 ( , ) ( ) ( , )] ( ( ), ( ),..., ( ), ).
n
n
d
V x t x t x t t
dt
C h a H e h C h L V x t x t x t t
h
За умовою теореми 2, матриця 1 22 ( , ) ( ) ( , )C h a h C h L додатно визначена.
Тому в силу неперервності існує 0 0, при якому матриця
0 2
0 0 1 0 2( , , , ) 2 ( , ) ( ) ( , )С h a L C h a H e h C h L
також буде додатно визначена. Отже, має місце нерівність
1 2
min 0 0 1 2
max
( ( ), ( ),..., ( ), )
1
[ ( , , , )] ( ( ), ( ),..., ( ), ).
n
n
d
V x t x t x t t
dt
С h a L V x t x t x t t
h
Інтегрувавши отриману диференціальну нерівність, маємо
1 2 1 0 2 0 0 0 0 0 0
1
( ( ), ( ),..., ( ), ) ( ( ), ( ),..., ( ), ) ( ) exp ( )
2
n nV x t x t x t t V x t x t x t t x t t t
.
Далі остаточно отримаємо
0 0 0
1
( ) ( ) ( ) exp ( ) .
2
x t h x t t t
Висновок
У даній статті на основі техніки прямого методу Ляпунова досліджено
якісну поведінку неперервних нейросіток Хопфілда, що описуються у термі-
нах ФДР із слабкою нелінійністю та запізненням аргументу. Отримані умови
стійкості (16) та збіжності (19) «достатньо жорсткі». Це пов’язано з тим, що
нелінійні члени моделей розглядаються як збурення. Якщо розглядати їх як
«впливи стабілізації», а параметри ,ijb , 1, ,i j n вибирати як параметри керу-
вання, то умови стануть «більш сприйнятливі». В такому випадку функцію
Ляпунова необхідно обирати в іншому класі (наприклад, типу Лур’є−Пост -
нікова), а саме, в неї повинні входити нелінійні члени системи. Такий підхід є
напрямком подальших досліджень.
D. Khusainov, A. Shatyrko, T. Shakotko
OBTAINING CONDITIONS OF LEARNING
PROCESSES CONVERGENCE IN MATHEMATICAL
MODELS OF NEURODYNAMICS WITH AFTEREFFECT
Denys Khusainov
Taras Shevchenko National University of Kyiv,
d.y.khusainov@gmail.com
Andriy Shatyrko
Taras Shevchenko National University of Kyiv,
shatyrko.a@knu.ua
mailto:d.y.khusainov@gmail.com
mailto:shatyrko.a@knu.ua
16 ISSN 2786-6491
Tetyana Shakotko
Taras Shevchenko National University of Kyiv,
tracuk_85@ukr.net
One of the classic methods for studying dynamical systems is the direct (second)
Lyapunov method. It is applied to a wide class of problems of qualitative analy-
sis of system behavior. This article is a continuation of a series of scientific
works by its authors, devoted to the extension of the above-mentioned method to
new modern scientific problems. Namely, on the subdivision of artificial intelli-
gence — neural networks. In it, based on the application of the Lyapunov’s
functions method, systems described in terms of differential equations with a de-
lay argument are investigated. The features of its application for systems of
functional differential equations (FDEs) in the general nonlinear case, with a
time delay, are indicated. For the purpose of clarity and research methodology,
the article demonstrates the possibility of obtaining stability conditions, both de-
pendent and independent of the delay, for the case of linear systems FDE. Here-
with, the Lyapunov function in the type of a quadratic form was traditionaly
used. Models of continuous Hopfield neural networks in the form of systems of
differential equations with time-delay and weak nonlinearity are considered.
With the use of Lyapunov functions of the quadratic form, statement about the
asymptotic stability of the equilibrium position is proved. The qualitative nature
of the behavior of the system is also shown, namely, it is proved that the norm of
the solutions decays according to the exponential law. The prospect of further
research using Lyapunov functions that take into account nonlinearities of dif-
ferential models of Hopfield neural networks is outlined.
Keywords: Lyapunov method, stability, neuronet, time-delay, system of differ-
rential equation.
REFERENCES
1. Haykin S. Neural networks. A comprehensive foundation. Second edition. New Jersey : Prentice
Hall, 1998. https://doi.org/10.1142/s0129065794000372
2. Валеев К.Г. Построение функций Ляпунова. Киев : Наукова думка, 1981. 412 с.
3. Ляпунов А.М. Общая задача об устойчивости движения. М.-Л. : Гос. издат. тех.-теор. лит., 1950. 471 с.
4. Малкин И.Г. Теория устойчивости движения. М. : Наука, 1966. 532 с.
5. Писаренко В.Г. Новая модель функционирования живой нейросети, учитывающая запаз-
дывающее взаимодействие нейронов. Кибернетика и системный анализ. 2016. № 6. С. 181–192.
6. Hale J. Theory of functional differential equations, NY : Springer, 1977. 361 p. https://doi.
org/10.1007/978-1-4612-9892-2
7. Разумихин Б.С. Устойчивость эредитарных систем. М. : Наука, 1988. 108 с.
8. Хусаинов Д.Я., Шатырко А.В. Метод функций Ляпунова в исследовании устойчивости ди-
фференциально-функциональных систем. Киев : Изд-во Киевского университета, 1997. 236 с.
9. Шатырко А.В., Диблик Й., Хусаинов Д.Я., Баштинец Я. Сходимость процессов нейродина-
мики в модели Хопфилда. Штучний інтелект. 2017. № 3–4. С. 139–148.
10. Khusainov D.Ya., Diblik J., Bastinec Ja., Shatyrko A.V. Investigating dynamics of one weakly
nonlinear system with delay argument. Journal of Automation and Information Sciences. 2018.
50(1). P. 20–38. https://doi.org/10.1615/jautomatinfscien.v50.i1.20
11. Хусаінов Д.Я., Шатирко А.В., Бичков О.С., Шакотько Т.І. Стійкість та збіжність в моделях ке-
руючих нейродинамічних систем. Актуальні проблеми теорії керуючих систем у комп’ютерних
науках (‘АПТКС’2021). Слов’янськ : Праці конференції, 21–24 грудня. 2021. С. 121–126.
12. Khusainov D.Ya., Diblik J., Bastinec Ja., Shatyrko A.V. Estimates of solution convergence
dynamical processes in neuronet with time delay. Conference Proceedings «IEEE ATIT 2019».
P. 411–414. https://doi.org/10.1109/atit49449.2019.9030506
Отримано 08.12.2022
https://doi.org/10.1142/s0129065794000372
https://doi.org/10.1109/atit49449.2019.9030506
|
| id | nasplib_isofts_kiev_ua-123456789-210907 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Ukrainian |
| last_indexed | 2026-03-19T07:45:28Z |
| publishDate | 2022 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Хусаінов, Д.Я. Шатирко, А.В. Шакотько, Т.I. 2025-12-20T14:02:29Z 2022 Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією / Д.Я. Хусаінов, А.В. Шатирко, Т.I. Шакотько // Проблеми керування та інформатики. — 2022. — № 5. — С. 5-16. — Бібліогр.: 13 назв. — укр. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/210907 517.929 10.34229/2786-6505-2022-5-1 Одним із класичних методів дослідження динамічних систем є прямий метод Ляпунова, що застосовується до широкого класу задач якісного аналізу поведінки систем. Дана стаття є продовженням низки наукових робіт її авторів, присвячених поширенню вищевказаного методу на нові сучасні наукові проблеми. А саме, на підрозділ штучного інтелекту — нейронні мережі. В даній статті на основі методу функцій Ляпунова досліджено системи, що описуються в термінах диференціальних рівнянь із запізненням аргументу. Вказано на особливості його застосування для систем функціонально-диференціальних рівнянь (ФДР) із запізненням у загальному нелінійному випадку. З метою наочності та з використанням методології дослідження продемонстровано можливість отримання умов стійкості, як залежних, так й незалежних від запізнення, для випадку лінійних систем ФДР. При цьому використано традиційну функцію Ляпунова у вигляді квадратичної форми. Розглянуто моделі неперервних нейронних сіток Хопфілда у вигляді систем диференціальних рівнянь із запізненням та слабкою нелінійністю. За допомогою функцій Ляпунова квадратичного вигляду доведено твердження про асимптотичну стійкість положення рівноваги. Також показано й якісний характер поведінки системи, а саме, доведено, що норма розв’язків затухає за експоненціальним законом. Окреслено перспективу подальших досліджень з використанням функцій Ляпунова, що враховують нелінійності диференціальних моделей сіток Хопфілда One of the classical methods for studying dynamic systems is the direct Lyapunov method, which is applied to a wide range of tasks for the qualitative analysis of system behavior. This article is a continuation of a series of scientific works by its authors, dedicated to extending the above-mentioned method to new modern scientific problems, specifically to a subset of artificial intelligence — neural networks. In this article, based on the Lyapunov function method, systems described by differential equations with delayed arguments are investigated. The article highlights the specifics of its application to systems of functional-differential equations (FDEs) with delay in the general nonlinear case. For clarity and using the research methodology, the possibility of obtaining stability conditions, both dependent and independent of delay, is demonstrated for the case of linear FDE systems. The traditional Lyapunov function in the form of a quadratic form is used. Models of continuous Hopfield neural networks are considered as systems of differential equations with delay and weak nonlinearity. Using quadratic Lyapunov functions, a statement about the asymptotic stability of the equilibrium position is proven. The qualitative behavior of the system is also shown, specifically, it is proven that the norm of the solutions decays exponentially. The article outlines the prospects for further research using Lyapunov functions that take into account the nonlinearities of the differential models of Hopfield networks. uk Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Проблеми динаміки керованих систем Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією Obtaining conditionsof learning processes convergence in mathematical modelsof neurodynamicswith aftereffect Article published earlier |
| spellingShingle | Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією Хусаінов, Д.Я. Шатирко, А.В. Шакотько, Т.I. Проблеми динаміки керованих систем |
| title | Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією |
| title_alt | Obtaining conditionsof learning processes convergence in mathematical modelsof neurodynamicswith aftereffect |
| title_full | Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією |
| title_fullStr | Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією |
| title_full_unstemmed | Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією |
| title_short | Отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією |
| title_sort | отримання умов збіжності процесів навчання у математичних моделях нейродинаміки з післядією |
| topic | Проблеми динаміки керованих систем |
| topic_facet | Проблеми динаміки керованих систем |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/210907 |
| work_keys_str_mv | AT husaínovdâ otrimannâumovzbížnostíprocesívnavčannâumatematičnihmodelâhneirodinamíkizpíslâdíêû AT šatirkoav otrimannâumovzbížnostíprocesívnavčannâumatematičnihmodelâhneirodinamíkizpíslâdíêû AT šakotʹkoti otrimannâumovzbížnostíprocesívnavčannâumatematičnihmodelâhneirodinamíkizpíslâdíêû AT husaínovdâ obtainingconditionsoflearningprocessesconvergenceinmathematicalmodelsofneurodynamicswithaftereffect AT šatirkoav obtainingconditionsoflearningprocessesconvergenceinmathematicalmodelsofneurodynamicswithaftereffect AT šakotʹkoti obtainingconditionsoflearningprocessesconvergenceinmathematicalmodelsofneurodynamicswithaftereffect |