Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням
The purpose of this study is to develop and apply a method for calculating the exponential fade rate for a model of a recurrent neural network based on discrete latency differential equations. An exponential estimate is obtained on the basis of the difference inequality for the Lyapunov function. An...
Збережено в:
| Дата: | 2019 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2019
|
| Теми: | |
| Онлайн доступ: | https://journal.iasa.kpi.ua/article/view/175554 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | System research and information technologies |
| Завантажити файл: |  |
Репозитарії
System research and information technologies| _version_ | 1867334389083406336 |
|---|---|
| author | Martsenyuk, V. P. Sverstiuk, A. S. |
| author_facet | Martsenyuk, V. P. Sverstiuk, A. S. |
| author_institution_txt_mv | [
{
"author": "V. P. Martsenyuk",
"institution": "Кафедра інформатики та автоматики Університету в Бєльско-Бялій, м. Бєльско-Бяла"
},
{
"author": "A. S. Sverstiuk",
"institution": "Кафедра медичної інформатики Тернопільського державного медичного університету імені І.Я. Горбачевського, Тернопіль"
}
] |
| author_sort | Martsenyuk, V. P. |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2019-08-27T22:12:50Z |
| description | The purpose of this study is to develop and apply a method for calculating the exponential fade rate for a model of a recurrent neural network based on discrete latency differential equations. An exponential estimate is obtained on the basis of the difference inequality for the Lyapunov function. An example of the exponential estimation for a model of a recurrent neural network with three neurons is presented. |
| doi_str_mv | 10.20535/SRIT.2308-8893.2019.2.07 |
| first_indexed | 2025-07-17T10:26:05Z |
| format | Article |
| fulltext |
В.П. Марценюк, А.С. Сверстюк, 2019
Системні дослідження та інформаційні технології, 2019, № 2 83
УДК 602.1:519.85:53.082.9:616-07
DOI: 10.20535/SRIT.2308-8893.2019.2.07
ЕКСПОНЕНЦІАЛЬНА ОЦІНКА ДЛЯ РЕКУРЕНТНОЇ
НЕЙРОННОЇ МЕРЕЖІ З ДИСКРЕТНИМ ЗАПІЗНЕННЯМ
В.П. МАРЦЕНЮК, А.С. СВЕРСТЮК
Анотація. Розроблено та застосовано метод розрахунку швидкості експонен-
ціального згасання для моделі рекурентної нейронної мережі на основі дифе-
ренціальних рівнянь із дискретним запізненням. Експоненціальну оцінку
отримано на основі різницевої нерівності для функціонала Ляпунова. Розгля-
нуто приклад експоненціального оцінювання для моделі рекурентної нейрон-
ної мережі з трьома нейронами.
Ключові слова: рекурентна нейронна мережа, диференціальні рівняння із за-
пізненням, експоненціальна стійкість, функціонал Ляпунова.
ВСТУП
Протягом останнього часу дослідження в галузі штучних нейронних мереж
є одними з пріоритетних у науці та техніці. Застосування нейронних мереж,
пов’язане з діагностикою [1–3], розпізнаванням образів [4, 5], обробленням
сигналів [6], має важливе значення для вирішення багатьох прикладних за-
вдань. Для вирішення найскладніших завдань (наприклад, моделювання та
оброблення неперервного рукописного тексту, мовлення і мови) пропону-
ють використовувати рекурентні нейронні мережі [7, 8].
З метою дослідження широкого кола проблем аналізу стійкості, син-
хронізації та оцінювання збіжності застосовують моделі рекурентних ней-
ронних мереж на основі систем диференціальних рівнянь із часовими запіз-
неннями. Неперервно або дискретно розподілені запізнення, спричинені
часом, що затрачається на обчислення на попередніх вузлах, спостерігають-
ся в різних нейронних мережах. Як приклади можна навести нейронні ме-
режі Хопфілда, клітинні нейронні мережі та двонапрямлені нейронні мережі
з асоціативною пам’яттю. При цьому запізнення можуть впливати на хід
коливань, нестійкість та продуктивність мережі [9–11].
За допомогою моделей на основі диференціальних рівнянь із запізнен-
ням можуть бути досліджені динамічні характеристики рекурентних ней-
ронних мереж із запізненнями часу [12, 13].
Ураховуючи той факт, що глобальна стійкість є однією з найважливі-
ших динамічних властивостей нейронних мереж, протягом останнього часу
дослідження стійкості для нейронних мереж із запізненням стосувалися
глобальної асимптотичної стійкості [9, 10, 14, 15], глобальної експоненціа-
льної стійкості [11, 16] і робастної стійкості [17].
Експоненціальна стійкість є часто використовуваною для дослідження
багатьох систем, оскільки вона описується чіткими показниками швидкості
згасання експоненціальної оцінки. Для отримання таких оцінок застосову-
ється ряд методів, серед яких доцільно виокремити непрямі [18, 19] та прямі
В.П. Марценюк, А.С. Сверстюк
ISSN 1681–6048 System Research & Information Technologies, 2019, № 2 84
методи. Прямі методи грунтуються на побудові функціонала Ляпунова та
оцінюванні його загальної похідної. Експоненціальну оцінку можна знайти
як розв’язок різницево-диференціальної нерівності щодо функціонала Ляпу-
нова [20]. Утім, у праці [21] для лінійної нестаціонарної системи розроблено
метод, який грунтується на отриманні різницевої нерівності для функціона-
ла Ляпунова. Цей метод складніший для побудови нерівності для функціо-
нала Ляпунова, але пропонує більш простий розв’язок цієї нерівності.
У свою чергу, швидкість згасання може бути розрахована як результат
числового розв’язання нелінійного алгебричного рівняння.
Мета роботи — розроблення методу побудови оцінки експоненціаль-
ного згасання для розв’язання систем диференціальних рівнянь, що викори-
стовуються як моделі рекурентних нейронних мереж. Таку оцінку можна
застосовувати для вибору параметрів нейронної мережі, що забезпечували б
її оптимальну збіжність до стійкого стану.
У роботі використано такі позначення:
)(sup)(
,1],0,[
i
ni
— норма вектора-функції, де функції
]0,[1 C є неперервно диференційованими на ]0,[ ;
M — довільна матрична норма для матриці nnRM ;
x — евклідова норма для вектора nRx ;
)(max — максимальне власне значення матриці;
},...,{max 1max r .
МАТЕМАТИЧНА МОДЕЛЬ РЕКУРЕНТНОЇ НЕЙРОМЕРЕЖІ
Розглядається рекурентна нейронна мережа, описана системою диференціа-
льних рівнянь з дискретними запізненнями:
,)))((()()(
1
r
m
mm ttxgWtAxtx (1)
де nRtx )( — вектор стану; ),...,,(diag 21 naaaA — діагональна матриця з
додатними елементами; 0ia , nn
m
ijm wW )( , rm ,1 — матриці ваг;
,))](()),...,(()),(([))(( 21
n
n Rtxgtxgtxgtxg )(tx позначає функції активації
нейрона, які є монотонно обмеженими, неспадними, 0)0( jg і виконують-
ся умови
j
jj l
gg
21
21 )()(
0 ; (2)
.,...,2,1,,, 2121 njR
Обмежені функції )(tm є дискретними запізненнями системи, причому
,)(0 Mm t ,1)()( tt Dm rm ,1 .
Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням
Системні дослідження та інформаційні технології, 2019, № 2 85
Початкові умови системи (1) мають вигляд
]0,[),()( Mii sssx . (3)
У формулі (3) )(si є неперервними дійсно значущими функціями,
якщо ]0,[ Ms .
Як показано у праці [22], під час виконання припущення (2) розв’язок
системи (1) існує для всіх 0t і є єдиним.
РОЗРОБЛЕННЯ МЕТОДУ ЕКСПОНЕНЦІАЛЬНОГО ОЦІНЮВАННЯ
Основна ідея методу експоненціального оцінювання розв’язків (1) полягає
в побудові різницевої нерівності для квадратичної функції Ляпунова
]0,[)( 1 C у вигляді
,2),2()( ttdt
для деякої сталої )1,0(d .
Вихідною є нерівність для похідної функціонала Ляпунова у вигляді
2)()( txt для деякого 0 .
Для отримання експоненціальної оцінки необхідно виконати чотири
основні кроки, зокрема побудувати:
1) нижню оцінку для розв’язку ),(tx а саме функцію )(tM , що зале-
жить від значення функціонала Ляпунова )(t таку, що для довільного до-
статньо великого t існує ],[ tts таке, що )()( tMsx ;
2) верхню оцінку для )(tx , а саме функцію )(tL (залежить від значення
)( t ), що за довільного достатньо великого t отримуємо )()( tLtx ;
3) нижню оцінку для розв’язку ),(tx а саме функцію )(tM (залежить
від значення функціонала Ляпунова )(t ), що для довільного достатньо ве-
ликого t існує такий інтервал ],[ ttI , що 2/)()( tMsx для будь-
якого Is ;
4) різницеву нерівність для квадратичного функціонала Ляпунова )(
за допомогою інтегрування на інтервалі ],[ tts оцінки 2)()( txt
для деякого 0 .
ОЦІНКА ДЛЯ ПОХІДНОЇ ФУНКЦІОНАЛА ЛЯПУНОВА
Розглянемо функціонал Ляпунова у вигляді
r
m
m
m
dssgsVsg
1
0
TT ))(()())(()0()0()( , (4)
де ]0,[,R)( m
nn
m ssV — деякі додатно визначені матричні функції.
В.П. Марценюк, А.С. Сверстюк
ISSN 1681–6048 System Research & Information Technologies, 2019, № 2 86
Обчислимо похідну функціонала вздовж розв’язків системи (1):
)())(()()(
1
TTT txWtxgΑtx mm
r
m
))(()()(
1
m
r
m
m txgWtΑxtx
,)))(()())(())(()())(((
1
T
mmmmm
r
m
txgtVtxgtxgtVtxg (5)
де )))(()),...,(()),((),(( 1 rtxgtxgtxgtx ;
)(
)(
)(
)(
2
222
111
1
21
rrr
r
m
m
r
tVW
tVW
tVW
tV
WWWA
,
де nnR — матриця з нульовими елементами.
Лема 1. Згідно з працею [21] для довільних векторів nRzy , та мат-
риці nnRC маємо
,2 1 PCyCyzPzzCy
де P — довільна додатно визначена матриця.
Розглянемо складову )())((2 txWtxg T
mm
у формулі (5). Для будь-
якого фіксованого розв’язку x і фіксованого t можна застосувати лему 1, де
замість C , y
та z покладемо ))((, mm txgW і tx відповідно. Отримуємо
)()())((2 1T txPtxtxWtxg mmm
))(( mmm
T
mm txgWPWtxg
для довільної додатно визначеної матриці mP .
Застосувавши верхню оцінку у формулі (5), дістанемо
))(()())(()(2)(
1
T
1
1T txgtVtxgtxPAtx
r
m
m
r
m
m
,))(())())((( 1
T
1
TT
r
m
mmmmmmm txgtVWPWtxg (6)
де
Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням
Системні дослідження та інформаційні технології, 2019, № 2 87
)(
)(
)(
2
T
1111
T
1
1
1
1
rrrrr
m
r
m m
tVWPW
tVWPW
tV
PA
.
Теорема 1. Нехай система (1) є такою, що існують додатно визначені
матриці rPP ,...,1 , для яких матриця
r
m
mmmm WPWlPA
1
T21
2 ))(diag(2
є від’ємно визначеною; тут ),...,(diag)(diag 22
1
2
rlll .
Тоді існує 01 таке, що 2
1)1( ||)(|| tx .
Доведення. Продовжуючи формулу (6) та використовуючи припущення
(2) для g , можна записати:
r
m
m
r
m
m txltVltxtxPAtx
1
T
1
1T
)1( )()(diag)()(diag)()(2)(
.))(())())(((
1
TT
r
m
mmmmmmm txgtVWPWtxg
Замінивши mmm WPW T на mV , отримаємо
)()(diag)(diag2)(
1 1
T1T
)1( txlWPWlPAtx
r
m
r
m
mmmm
.||)(||||)(||)( 2
1
2
2max txtx
Теорему доведено.
Скалярний випадок. Розглянемо нерівність
)(2 2
1
221
1 txlPWPA
r
m
mmm
.
Права частина нерівності має мінімальне значення, якщо 0mW і
,/1 mm WP rm ,1 . У цьому випадку
)(||)1(2 2
1
1 txWllA
r
m
m
. (7)
РІЗНИЦЕВА НЕРІВНІСТЬ ДЛЯ ФУНКЦІОНАЛА ЛЯПУНОВА
Використаємо допоміжні результати [21], отримані для лінійної
нестаціонарної системи із запізненням, виходячи з нерівності для похідної
функціонала Ляпунова (4).
В.П. Марценюк, А.С. Сверстюк
ISSN 1681–6048 System Research & Information Technologies, 2019, № 2 88
Лема 2. Для довільного maxt існує ],[ max tts таке, що
)(||)(|| tMsx , де
.
|))((|1
)(
)(
2/1
1
max
r
m
mm m
Vll
t
tM
Лема 3. Якщо 0)1( , тоді )(||)(|| tLtx , maxt , де )(tL
2/1
max
1
))2((||||||||||||
tWlA
r
m
m .
Лема 4. Для довільного max2t існує ],[ max tts таке, що для
будь-якого I співвідношення
2
||)(||
M
x виконується, якщо
],[]2/;2/[ max11 ttLMsLMsI , де M використано з леми 2 та
.))2((|||||||||||| 2/1
max
1
1
tWlAL
r
m
m
Теорема 2. Вважатимемо, що припущення теореми 1 виконується. Тоді
існує додатна стала 1d така, що
)()( max tdt , .2 maxt
Доведення. Із теореми 1 випливає, що
0||)(||)( 2
2max)1( tx . (8)
Якщо 0)2( max
* Tt для деякого *t , то 0)( * t і твердження є
справедливими для *t .
Припустімо, що 0)2( max
* t для деякого *t . Від супротивного
матимемо
)()( max
** tdt . (9)
Із виразу (8) випливає, що
)(||)(||)()()(0 max
*2
2maxmax
**
*
max
* tdxtt
t
t
d
tM
I
2*)
2max 2
(
)(
)(2
)(
;
2
min
2
)(
)()(
*
1
*
max
2*
2maxmax
*
tL
tMtM
t .
Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням
Системні дослідження та інформаційні технології, 2019, № 2 89
Ураховуючи (9) для )(/)( *
1
* tLtM ,
маємо таку оцінку:
r
m
m
r
m
mmm
WlAVll
t
t
tL
tM
1
2/1
1
max
2/1
max
*
*
*
1
* 1
))((1
1
)2(
)(
)(
)(
2/1
1
2/1
1
max
1
))((1
1
d
WlAVWll
r
m
m
r
m
mmm
m
.
Визначаємо константу таким чином:
r
m
m
r
m
mmm
T WlAVll
11
2/1
max
1
)))((1(
1
:0 .
Тоді 2/1
1 *)(
*)(
d
tL
tM
.
Отже,
2
;
2
min
2
*)(
)(Ξ)*(*)(
2/1
max
2
2maxmax
dtM
tt .
Спочатку припустімо, що 2/1
max d . Звідси
2
)))(((1
)(
)(Ξ)()(
2/1
1
max
*
2maxmax
** d
Vll
t
tt
r
m
mm m
.
Тобто
r
m
mm
m
Vll
d
tt
1
max
2/1
2max
max
**
))((1
8
)(Ξ
1
1
)()( .
У цьому випадку нехай d є єдиним (додатним) розв’язком рівняння
d
Vll
d
r
m
mm
m
1
max
2/1
2max
))((1
8
)(Ξ
1
1 ,
або
01
))((1
8
)(Ξ 2/3
1
max
2/1
2max
d
Vll
d
d
r
m
mm
m
. (10)
Використовуючи (10), можна записати )()( max
** tdt , що є
суперечністю.
З іншого боку, припустімо, що 2/1
max d .
В.П. Марценюк, А.С. Сверстюк
ISSN 1681–6048 System Research & Information Technologies, 2019, № 2 90
Тоді
2
1
)(
4
1
)(Ξ)()( max
1
max
*
2maxmax
**
r
m
mm
m
Vll
t
tt .
Тобто
2
))((1
8
)(Ξ
1
1
)()( max
1
max
max2max
max
**
r
m
mm
m
Vll
tt .
У цьому випадку нехай d матиме такий вигляд:
r
m
mm
m
Vll
d
1
max
max2max
))((1
8
)(Ξ
1
1
.
Тоді )()( max
** tdt , що також є суперечністю.
Наслідок 1. Припускаючи, що умови теореми 2 виконуються,
константу 1d можна подати у вигляді:
,якщо,
,якщо,
))((18
)(Ξ
1
1
2/1
max0
2/1
max
1 max
max2max
dd
d
VWPWlld r
m mmmm
m
де 0d — єдиний додатний розв’язок рівняння
01
1
8
)(Ξ 2/3
1
max
2max
dd
WPWll
r
m
mmmm
. (11)
У формулі (11)
r
m m
r
m
mmmm
WlA
WPWll 1
2/1
1
max
1
1
1
: .
Доведення випливає з підставляння mmm WPW замість mV .
Теорема 3. Припустімо, що виконуються припущення теореми 2.
Тоді існують константи 0 і 1k такі, що tket )0()( ,
max2t .
Доведення. Нехай і k мають вигляд
max2
log
0
d
,
d
k
1
1 .
Припустімо, що max2t — довільний момент часу з інтервалу
))1(2,2[ maxmax iit . Тоді
Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням
Системні дослідження та інформаційні технології, 2019, № 2 91
iditdtdtt )2(...)4()2()( max
2
maxmax
tii keked
d
)0()0(
1
)0( )1(21 max .
Теорема 4. Нехай виконуються припущення теореми 2.
Тоді існують константи 1k і 0 такі, що
max
)2/()2/(2/1 3,))0(( max
max
teekx t
t .
Доведення випливає безпосередньо з нерівностей ),()(
2
ttx
)()( max
2
max
txt і теореми 3.
Приклад. Розглядається рекурентна нейронна мережа з трьома нейро-
нами, що використовувалася як приклад у праці [23]. При цьому
600
060
006
A ;
311
131
113
1W ; (12)
2,0,),tanh()()()( 1
3
321 Rxxxgxgxg .
Застосуванням результату теореми 4 встановлено значення експонен-
ційного згасання 12,0 .
Траєкторії розв’язків показано на рисунку, а, а експоненціальна оцінка
розв’язків — на рисунку, б. Із рисунка, а бачимо, що тривіальний розв’язок
системи є стійким фокусом.
ВИСНОВКИ
У роботі досліджено модель рекурентної нейронної мережі у вигляді систе-
ми диференціальних рівнянь із запізненням. Побудовано експоненціальну
оцінку розв’язку диференціальних рівнянь зі швидкістю згасання, що зале-
жить від часу запізнення.
Траєкторії розв’язків (а) та експоненціальна оцінка розв’язків (б) системи дифере-
нціальних рівнянь із запізненням, заданої параметрами (12), що використано як
модель рекурентної нейронної мережі з трьома нейронами [23]
x1
x2
x3
norm_x
exponential
estimate
а б
В.П. Марценюк, А.С. Сверстюк
ISSN 1681–6048 System Research & Information Technologies, 2019, № 2 92
З’ясовано, що традиційні методи побудови експоненціальних оцінок
розв’язків систем диференціальних рівнянь із запізненням грунтуються на
диференціальних або диференціально-різницевих нерівностях, що включа-
ють функції (функціонали) Ляпунова і полягають в аналізі відповідних
лінійних матричних нерівностей. Водночас метод на основі різницевої нерів-
ності для функціоналів Ляпунова дає змогу отримати оцінки експоненціаль-
ного згасання як розв’язок нелінійного алгебричного рівняння.
У подальших дослідженнях отримані результати можна використати
для вирішення проблем оптимізації рекурентних нейронних мереж у прак-
тичних застосуваннях.
ЛІТЕРАТУРА
1. Amato Filippo. Artificial neural networks in medical diagnosis / Filippo Amato, Al-
berto López, Eladia María Peña-Méndez et al. // Journal of Applied Biomedicine.
— 2013. — Vol. 11, Issue 2. — P. 47–58. — https://doi.org/10.2478/v10136-
012-0031-x.
2. Jančíková Z.K. Review on Artificial Intelligence Applications in Material Diagnos-
tics and Technology / Z.K. Jančíková, P. Koštial, M. Heger et al. — (2018)
MATEC Web of Conferences, 210, art. no. 04030. DOI: 10.1051/matecconf/
201821004030.
3. Pliego Marugán Alberto. A survey of artificial neural network in wind energy sys-
tems / Alberto Pliego Marugán, Fausto Pedro GarcĂ-a Márquez, Jesus
MarĂ-a Pinar Perez, Diego Ruiz-Hernández // Applied Energy. — 2018. —
Vol. 228. — P. 1822–1836. — https://doi.org/10.1016/j.apenergy.2018.07.084.
4. Sieniutycz Stanislaw. A Review of Applications Optimizing Thermal, Chemical, and
Environmental Systems / Stanislaw Sieniutycz, Zbigniew Szwast // Elsevier. —
2018. — P. 109–120. — https://doi.org/10.1016/B978-0-12-813582-2.00004-5.
5. Qin C. Computer-aided detection in chest radiography based on artificial intelli-
gence: A survey / C. Qin, D. Yao, Y. Shi, Z. Song // BioMedical Engineering
Online. — 2018. — 17 (1), art. no. 113. — DOI: 10.1186/s12938-018-0544-y
6. Rajendra Acharya U. Deep convolutional neural network for the automated detec-
tion and diagnosis of seizure using EEG signals / U. Rajendra Acharya, Shu Lih
Oh, Yuki Hagiwara et al. // Computers in Biology and Medicine. — 2018. —
Vol. 100. — P. 270–278. — https://doi.org/10.1016/j.compbiomed.2017.09.017.
7. Deng Hongli. Feature memory-based deep recurrent neural network for language
modeling / Hongli Deng, Lei Zhang, Xin Shu // Applied Soft Computing. —
2018. — Vol. 68. — P. 432–446. — https://doi.org/10.1016/j.asoc.2018.03.040.
8. Plappert Matthias. Learning a bidirectional mapping between human whole-body
motion and natural language using deep recurrent neural networks / Matthias
Plappert, Christian Mandery, Tamim Asfour // Robotics and Autonomous Sys-
tems. — 2018. — Vol. 109. — P. 13–26. — https://doi.org/10.1016/j. ro-
bot.2018.07.006.
9. Park J.H. On global stability criterion for neural networks with discrete and distrib-
uted delays / J.H. Park // Chaos, Solitons & Fractals. — 2006. — Vol. 30, N 4.
— P. 897–902. — Available at: http://dx.doi.org/10.1016/j.chaos.2005.08.147.
10. Park J.H. A delay-dependent asymptotic stability criterion of cellular neural net-
works with time-varying discrete and distributed delays / J.H. Park, H.J. Cho //
Chaos, Solitons & Fractals. — 2007. — Vol. 33, N 2. — P. 436–442. — Avail-
able at: http://dx. doi.org/10.1016/j.chaos.2006.01.015.
Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням
Системні дослідження та інформаційні технології, 2019, № 2 93
11. Liao X. Delay-dependent exponential stability analysis of delayed neural networks:
An LMI approach / X. Liao, G. Chen, E.N. Sanchez // Neural Networks. — 2002.
— Vol. 15, N 7. — P. 855–866. — Available at: http://dx.doi.org/10.1016/
S0893-6080(02)00041-2.
12. Haykin Simon. Neural Networks and Learning Machines: A Comprehensive Founda-
tion (3rd Edition) / Simon Haykin. — 2011. — 936 p.
13. Marcus C.M. Stability of analog neural networks with delay / C.M. Marcus,
R.M. Westervelt // Physical Review A. — 1989, 39.1: 347.
14. He Y. Delay-range-dependent stability for systems with time-varying delay / Y. He,
Q.G. Wang, C. Lin, M. Wu // Automatica. — 2007. — Vol. 43, N 2. — P. 371–376.
— Available at: http://dx.doi.org/10.1016/j.automatica.2006.08.015.
15. Lien C.-H. Global asymptotic stability for cellular neural networks with discrete and
distributed time-varying delays / C.-H. Lien, L.-Y. Chung // Chaos, Solitons &
Fractals. — 2007. — Vol. 34, N 4. — P. 1213–1219. — Available at:
http://dx.doi.org/ 10.1016/j.chaos.2006.03.121.
16. Zhang Q. Stability of delayed cellular neural networks / Q. Zhang, X. Wei, J. Xu //
Chaos, Solitons & Fractals. — 2007. — Vol. 31, N 2. — P. 514–520. — Avail-
able at: http://dx. doi.org/10.1016/j.chaos.2005.10.003.
17. Singh V. New global robust stability results for delayed cellular neural networks
based on norm-bounded uncertainties / V. Singh // Chaos, Solitons & Fractals. —
2006. — Vol. 30, N 5. — P. 1165–1171. — Available at: http://dx.doi.org/
10.1016/j.chaos.2005.08.183.
18. Martsenyuk V. On an indirect method of exponential estimation for a neural network
model with discretely distributed delays / V. Martsenyuk // Electronic Journal of
Qualitative Theory of Differential Equations. — 2017. — N 23. — P. 1–16.
19. Indirect method of exponential convergence estimation for neural network with dis-
crete and distributed delays // Electronic Journal of Differential Equations. —
2017.
20. Khusainov D. Two-side estimates of solutions of linear systems with delay /
D. Khusainov, V. Marzeniuk // Reports of Ukr. Nat. Acad. Sciences. — 1996. —
P. 8–13.
21. Kertesz V. Stability investigations and exponential estimations for functional differ-
ential equations of retarded type / V. Kertesz // Acta Mathematica Hungarica. —
1990. — Vol. 55, N 3–4. — P. 365–378.
22. Hale J.K. Introduction to functional differential equations / J.K. Hale, S.M.V. Lunel
// Springer Science & Business Media. — 2013. — Vol. 99.
23. Cao J. Absolute exponential stability of recurrent neural networks with Lipschitz-
continuous activation functions and time delays / J. Cao, J. Wang // Neural Netw.
— 2004. — 17, N 3. — P. 379–390.
Надійшла 07.02.2019
|
| id | journaliasakpiua-article-175554 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Ukrainian |
| last_indexed | 2025-07-17T10:26:05Z |
| publishDate | 2019 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/91/8096e3f48b6984f476f2acf96a8ba191.pdf |
| spelling | journaliasakpiua-article-1755542019-08-27T22:12:50Z An exponential evaluation for recurrent neural network with discrete delays Экспоненциальная оценка рекурентной нейронной сети с дискретным запаздыванием Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням Martsenyuk, V. P. Sverstiuk, A. S. recurrent neural network delay differential equations exponential stability Lyapunov functional рекурентна нейронна мережа диференціальні рівняння із запізненням експоненціальна стійкість функціонал Ляпунова рекуррентная нейронная сеть дифференциальные уравнения с опозданием экспоненциальная устойчивость функционал Ляпунова The purpose of this study is to develop and apply a method for calculating the exponential fade rate for a model of a recurrent neural network based on discrete latency differential equations. An exponential estimate is obtained on the basis of the difference inequality for the Lyapunov function. An example of the exponential estimation for a model of a recurrent neural network with three neurons is presented. Разработан и применен метод расчета скорости экспоненциального затухания для модели рекуррентной нейронной сети на основе дифференциальных уравнений с дискретным запаздыванием. Экспоненциальная оценка получена на основе разностного неравенства для функционала Ляпунова. Рассмотрен пример экспоненциального оценивания для модели рекуррентной нейронной сети с тремя нейронами. Розроблено та застосовано метод розрахунку швидкості експоненціального згасання для моделі рекурентної нейронної мережі на основі диференціальних рівнянь із дискретним запізненням. Експоненціальну оцінку отримано на основі різницевої нерівності для функціонала Ляпунова. Розглянуто приклад експоненціального оцінювання для моделі рекурентної нейронної мережі з трьома нейронами. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2019-06-25 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/175554 10.20535/SRIT.2308-8893.2019.2.07 System research and information technologies; No. 2 (2019); 83-93 Системные исследования и информационные технологии; № 2 (2019); 83-93 Системні дослідження та інформаційні технології; № 2 (2019); 83-93 2308-8893 1681-6048 uk https://journal.iasa.kpi.ua/article/view/175554/175465 Copyright (c) 2021 System research and information technologies |
| spellingShingle | рекурентна нейронна мережа диференціальні рівняння із запізненням експоненціальна стійкість функціонал Ляпунова Martsenyuk, V. P. Sverstiuk, A. S. Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням |
| title | Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням |
| title_alt | An exponential evaluation for recurrent neural network with discrete delays Экспоненциальная оценка рекурентной нейронной сети с дискретным запаздыванием |
| title_full | Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням |
| title_fullStr | Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням |
| title_full_unstemmed | Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням |
| title_short | Експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням |
| title_sort | експоненціальна оцінка для рекурентної нейронної мережі з дискретним запізненням |
| topic | рекурентна нейронна мережа диференціальні рівняння із запізненням експоненціальна стійкість функціонал Ляпунова |
| topic_facet | recurrent neural network delay differential equations exponential stability Lyapunov functional рекурентна нейронна мережа диференціальні рівняння із запізненням експоненціальна стійкість функціонал Ляпунова рекуррентная нейронная сеть дифференциальные уравнения с опозданием экспоненциальная устойчивость функционал Ляпунова |
| url | https://journal.iasa.kpi.ua/article/view/175554 |
| work_keys_str_mv | AT martsenyukvp anexponentialevaluationforrecurrentneuralnetworkwithdiscretedelays AT sverstiukas anexponentialevaluationforrecurrentneuralnetworkwithdiscretedelays AT martsenyukvp éksponencialʹnaâocenkarekurentnojnejronnojsetisdiskretnymzapazdyvaniem AT sverstiukas éksponencialʹnaâocenkarekurentnojnejronnojsetisdiskretnymzapazdyvaniem AT martsenyukvp eksponencíalʹnaocínkadlârekurentnoínejronnoímerežízdiskretnimzapíznennâm AT sverstiukas eksponencíalʹnaocínkadlârekurentnoínejronnoímerežízdiskretnimzapíznennâm AT martsenyukvp exponentialevaluationforrecurrentneuralnetworkwithdiscretedelays AT sverstiukas exponentialevaluationforrecurrentneuralnetworkwithdiscretedelays |