Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі
Розглянуто модель відкритої рекурентної нейромережі, що відрізняється відсутністю прихованих нейронів, та запропоновано метод “заморожування” її динамічних атракторів. Одержано вирішення рівняння стабільності й розроблено метод неітеративного навчання таких нейромереж. На його основі створено нову м...
Gespeichert in:
| Veröffentlicht in: | Математичні машини і системи |
|---|---|
| Datum: | 2010 |
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Ukrainisch |
| Veröffentlicht: |
Інститут проблем математичних машин і систем НАН України
2010
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/51609 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі / О.М. Різник, Д.О. Дзюба // Мат. машини і системи. — 2010. — № 2. — С. 50-60. — Бібліогр.: 17 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859678574131281920 |
|---|---|
| author | Різник, О.М. |
| author_facet | Різник, О.М. |
| citation_txt | Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі / О.М. Різник, Д.О. Дзюба // Мат. машини і системи. — 2010. — № 2. — С. 50-60. — Бібліогр.: 17 назв. — укр. |
| collection | DSpace DC |
| container_title | Математичні машини і системи |
| description | Розглянуто модель відкритої рекурентної нейромережі, що відрізняється відсутністю прихованих нейронів, та запропоновано метод “заморожування” її динамічних атракторів. Одержано вирішення рівняння стабільності й розроблено метод неітеративного навчання таких нейромереж. На його основі створено нову модель нейронної динамічної асоціативної пам’яті, одержано оцінки атракторного радіуса та обсягу пам’яті. Оцінено розміри траєкторії динамічних атракторів і виявлено можливість управління динамічними атракторами шляхом зміни впливу різних складових зворотного зв’язку. Створено програмну модель динамічної асоціативної пам’яті та одержано експериментальне підтвердження результатів теоретичного аналізу. Відзначено аналогію між динамічними атракторами та цугами нервової активності мозку.
Рассмотрена модель открытой рекуррентной нейросети, отличающейся отсутствием скрытых нейронов, и предложен метод “замораживания” ее динамических аттракторов. Получено решение уравнения устойчивости и разработан метод неитеративного обучения таких нейронных сетей. На его основе разработана новая модель нейронной динамической ассоциативной памяти, получены оценки величины аттракторного радиуса и объема памяти. Оценены размеры траектории динамических аттракторов и показана возможность управления динамическими аттракторами путем изменения влияния различных составляющих обратной связи. Создана программная модель динамической ассоциативной памяти и получено экспериментальное подтверждение результатов теоретического анализа. Отмечена аналогия между динамическими аттракторами и цугами нервной активности мозга.
Mathematical model of open dynamic recurrent neural network, that hasn't got hidden neurons, is described, and concept of “freezing” of its dynamic attractors is proposed. Solution of generalized stability equation is found and noniterative method for training of this type of networks is developed. On the basis of this method a new model of neural associative memory is created, estimations of attraction radius and memory capacity are obtained. Size of dynamic attractor's trajectory is estimated and possibility of managing of dynamic attractors by changing level of influence of different feedback components is shown. Software model of dynamic associative memory is developed, and experimental confirmation of theoretical analysis is obtained. An analogy between dynamic attractors and neural activity patterns is remarked.
|
| first_indexed | 2025-11-30T16:48:50Z |
| format | Article |
| fulltext |
50 © Різник О.М., Дзюба Д.О., 2010
ISSN 1028-9763. Математичні машини і системи, 2010, № 2
УДК 621.8: 681.5
О.М. РІЗНИК, Д.О. ДЗЮБА
ДИНАМІЧНА АСОЦІАТИВНА ПАМ’ЯТЬ НА ОСНОВІ ВІДКРИТОЇ РЕКУРЕНТНОЇ
НЕЙРОМЕРЕЖІ
Abstract. Mathematical model of open dynamic recurrent neural network, that hasn't got hidden neurons, is
described, and concept of “freezing” of its dynamic attractors is proposed. Solution of generalized stability equation is
found and non-iterative method for training of this type of networks is developed. On the basis of this method a new
model of neural associative memory is created, estimations of attraction radius and memory capacity are obtained.
Size of dynamic attractor's trajectory is estimated and possibility of managing of dynamic attractors by changing level
of influence of different feedback components is shown. Software model of dynamic associative memory is developed,
and experimental confirmation of theoretical analysis is obtained. An analogy between dynamic attractors and neural
activity patterns is remarked.
Key words: neural networks, associative memory, recurrent networks, non-iterative learning.
Анотація. Розглянуто модель відкритої рекурентної нейромережі, що відрізняється відсутністю
прихованих нейронів, та запропоновано метод “заморожування” її динамічних атракторів. Одержано
вирішення рівняння стабільності й розроблено метод неітеративного навчання таких нейромереж. На його
основі створено нову модель нейронної динамічної асоціативної пам’яті, одержано оцінки атракторного
радіуса та обсягу пам’яті. Оцінено розміри траєкторії динамічних атракторів і виявлено можливість
управління динамічними атракторами шляхом зміни впливу різних складових зворотного зв’язку. Створено
програмну модель динамічної асоціативної пам’яті та одержано експериментальне підтвердження
результатів теоретичного аналізу. Відзначено аналогію між динамічними атракторами та цугами нервової
активності мозку.
Ключові слова: нейронні мережі, асоціативна пам'ять, рекурентні мережі, неітеративне навчання.
Аннотация. Рассмотрена модель открытой рекуррентной нейросети, отличающейся отсутствием
скрытых нейронов, и предложен метод “замораживания” ее динамических аттракторов. Получено решение
уравнения устойчивости и разработан метод неитеративного обучения таких нейронных сетей. На его
основе разработана новая модель нейронной динамической ассоциативной памяти, получены оценки
величины аттракторного радиуса и объема памяти. Оценены размеры траектории динамических
аттракторов и показана возможность управления динамическими аттракторами путем изменения
влияния различных составляющих обратной связи. Создана программная модель динамической
ассоциативной памяти и получено экспериментальное подтверждение результатов теоретического
анализа. Отмечена аналогия между динамическими аттракторами и цугами нервной активности мозга.
Ключевые слова: нейронные сети, ассоциативная память, рекуррентные сети, неитеративное
обучение.
1. Вступ
Асоціативні властивості рекурентних нейронних мереж, зокрема, мережі Хопфілда, базуються на їх
мультистабільності [1, 2]. Стабільні стани (атрактори) такої нейромережі можна розглядати як
запам’ятовані образи, а процес конвергенції, тобто послідовних змін стану в напрямку найближчого
атрактора, – як пошук рішення за асоціацією з образом, заданим початковим станом нейромережі. У
динамічних рекурентних нейромережах, міжнейронні зв’язки яких мають елементи затримки,
атракторами є стійкі послідовності станів-реакцій на відповідні послідовності зовнішніх стимулів [3–
5]. Такі послідовності можна розглядати як динамічні образи, а саму динамічну рекурентну
нейромережу – як динамічну асоціативну пам’ять, що здатна розпізнавати та відтворювати
запам’ятовані динамічні образи.
Навчання динамічних рекурентних нейромереж здійснюють за ітеративним методом
зворотного поширення похибки в часі [6–8]. Цей процес вимагає значних витрат часу та
обчислювальних ресурсів, оскільки формування рекурентних зв’язків часто не є монотонним, а його
результати не завжди стабільні. Складності виникають і при інтерпретації результатів навчання
динамічних рекурентних нейромереж, оскільки методи та критерії, розроблені для статичних
нейромереж, не завжди придатні для оцінки поведінки.
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 51
Це дає підстави для детального вивчення відносно простих відкритих динамічних
рекурентних нейромереж, стан яких доступний для постійного контролю, оскільки вони не мають
прихованих нейронів. До них можуть бути використані відомі аналітичні методи дослідження та
неітеративні методи навчання [9], які не потребують значних обчислювальних ресурсів. Прозорість
відкритих нейромереж робить їх перспективними для моделювання елементів нервової системи,
зокрема, асоціативних полів та рекурентних структур зорової кори мозку [8]. Вони можуть скласти
конкуренцію іншим, більш складним, динамічним нейромережам при створенні прикладних систем,
зокрема, динамічної асоціативної пам’яті.
У даній роботі пропонується нова модель динамічної асоціативної пам’яті на основі відкритої
динамічної рекурентної нейромережі. В розд. 2 розглянуто структуру та поведінку таких
нейромереж, запропоновано концепцію уявної статичної нейромережі, яка дозволяє застосувати до
них неітеративні методи навчання. Розділ 3 містить оцінку асоціативних властивостей відкритих
динамічних рекурентних нейромереж. В розд. 4 розглянуто роботу рекурентної нейромережі як
динамічної асоціативної пам’яті. Розділ 5 містить результати експериментів, виконаних на створеній
програмній моделі відкритої рекурентної нейромережі, що демонструють функціонування
механізму динамічної асоціативної пам’яті і дозволяють припускати існування аналогічних
механізмів у латеральних нейроструктурах мозку.
2. Відкрита динамічна рекурентна нейромережа
Відкритою називатимемо рекурентну нейромережу без прихованих нейронів, в якій значення всіх
сигналів на входах нейронів є доступними для зовнішнього спостереження. Прикладами відкритих
нейромереж можуть служити мережа Хопфілда та двостороння асоціативна пам’ять [1, 10]. Якщо
зворотні зв’язки такої нейромережі містять елементи затримки, вона має динамічні властивості.
На рис. 1 представлено схематичне
зображення відкритої динамічної рекурентної
нейромережі, яка має 1N нейронів і відповідно
1N бінарних виходів. Число входів нейромережі
0N може відрізнятись від числа нейронів.
Вважатимемо, що сигнали на входах також є
бінарними. Кількість затриманих зв’язків
нейромережі τN може відрізнятись від числа
нейронів )( 1NN ≤τ
. Також вважатимемо, що
величини затримки сигналів τ однакові.
Сукупність прямих та затриманих
сигналів, що одночасно діють на входи всіх
нейронів, визначає *N – вимірний вектор стану нейромережі
*
1
** }{)( N
nnztZ == , де
01* NNNN ++= τ . Розглядаючи послідовності станів у дискретні моменти часу ...1,,1... +− ttt ,
поточне значення реакції нейромережі представимо вектором
1
1,1Nw
τ
1,1Nw
1
,1 1Nw
0
1,1w 0
1,0N
w
0
1z ……....... 0
0N
z
τ
τ
1 Ві і й
1
1N
z 1
1z ………..
Рис. 1. Відкрита динамічна рекурентна
нейромережа (ВДРН)
а
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 52
{ } 1
1
111 )1(()]1([)( N
nn tsftSFtZ =−=−= , (1)
де (.)f – активаційна функція нейрона;
)(1 tS – вектор постсинаптичних потенціалів (ПСП):
)()()()( 010111111 tZWtZWtZWtS +−+= ττ
, (2)
де )(1 tZ , )(1 τ−tZ – вектори поточних та затриманих значень реакції нейронів;
)(0 tZ – вектор входу нейромережі;
τ111,WW та 10W – матриці ваги зв’язків між входами та виходами нейронів, входами та
затриманими виходами, а також зовнішніми входами динамічної рекурентної нейромережі.
Умовою перебування нейромережі у стані атрактора є виконання рівності
{ } 1
1
111 )(()]([)( N
nn tsftSFtZ === . (3)
Для статичної нейромережі це означає, що значення виходу, а відповідно і
постсинаптичного потенціалу нейронів, перестає залежати від часу. У динамічної нейромережі, яка
має затримані зворотні зв’язки, це неможливо. Її динамічні атрактори є послідовностями
атракторних станів нейромережі, що є реакціями на відповідні послідовності зовнішніх стимулів.
Позначимо m -й вектор такої послідовності, як mR* . Його компонентами є три вектори: mR ,1 –
поточних значень виходів нейронів, 1,1 −mR – попереднього )1( −m -го атрактора, який відповідає
затриманим виходам нейронів, mR ,0 – поточних значень зовнішнього стимулу.
Враховуючи монотонність активаційної функції, умову (3) можна записати як
][ ,00,11,11,1111,1 mmmm RWRWRWR ++Λ= −τ
, (4)
де ∧ – деяка позитивно визначена діагональна матриця 11 NN × ( )0≥iiλ .
Якщо вектори 1,1,1 , −mm RR та mR ,0 відомі, то це рівняння можна вирішити відносно матриць
11W , τ1W та 10W . Для цього уявімо статичну симетричну нейромережу, що має *N нейронів. Вектор
стану такої нейромережі )(* tZ має три компоненти: )(1 tZ , )(1 τ−tZ та )(0 tZ . ПСП уявної
нейромережі можна представити матричним рівнянням:
)()()(
)()()(
)()()(
)(
)(
)(
)(
)(
)(
)(
0010101
00111
0111111
0
1
1
00001
01
10111
0
1
1
*
tZWtZWtZW
tZWtZWtZW
tZWtZWtZW
tZ
tZ
tZ
WWW
WWW
WWW
tS
tS
tS
tS
ττ
ττττ
ττ
τ
ττττ
τ
τ
τ
τ
ττ
+−+
+−+
+−+
=−=−= .
Припустимо, що вектори її атракторних станів тотожні тим, що утворюють динамічні
атрактори динамічної рекурентної нейромережі. Розглядаючи динамічні атрактори як послідовності
векторів, що змінюють один одного в дискретні моменти часу ...,,... ττ +− ttt , встановимо
відповідність між станами динамічної нейромережі та її атракторами: ⇒)(1 tZ mR ,1 ;
⇒− )(1 τtZ 1,1 −mR . Представимо послідовність атракторних станів у вигляді матриці:
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 53
Mm
Mm
Mm
RRR
RRR
RRR
,0,01,0
1,11,10,1
,1,11,1
*
.......
......
......
−−=ℜ ,
стовпчиками якої є вектори статичних атракторів уявної нейромережі. Користуючись аналогією з
рівнянням (4), запишемо узагальнене рівняння атракторного стану уявної нейромережі:
*** ℜΛ=ℜ W , (5)
Вирішуючи його відносно *W , одержимо
+− ℜℜΛ= )( **1*W , (6)
де +ℜ )( * – псевдообернена матриця *ℜ [11]. Оскільки вектори mR ,1 та mR ,0 є бінарними, то можна
вважати =Λ І.
Для знаходження елементів матриці *W застосуємо псевдоінверсний алгоритм [12, 13]:
11111*m
,
1*m
, ))(( ++++++ −−+= mm
j
m
j
m
i
m
ijiji dsrsrww , (7)
1
1
*1
*
+
=
+ ∑= m
k
N
k
m
ik
m
i rws , )( 11
1
11
*
++
=
++ −=∑ m
k
m
k
N
k
m
ik
m srrd ,
де 1+m
kr – компонента вектора 1* +mR .
Матриця
+ℜℜ= )( ***W є проекційною в лінійному просторі ℑ , напнутому на M векторів з
*ℜ . Вона має так властивості:
2** )(WW = , ∑ =
=
*
1
2*
,
*
, )(N
j jiii ww , MwTrW N
i ii ==∑ =
*
1
*
,
*
,
*
*
, N
Mw ii = , ,1
)1(
)(1 ***
2*
,** ⎥⎦
⎤
⎢⎣
⎡ −
−
≥≥⎥⎦
⎤
⎢⎣
⎡ −
N
M
NN
Mw
N
M
N
M
ji ji ≠ . (8)
Величина недіагональних елементів знаходиться в межах між верхньою оцінкою, що
відповідає розрідженій матриці, більшість елементів якої мають значення, близькі до нуля, та
нижньою, що відповідає відносно рівномірному розподілу значень її елементів. Діагональні
елементи визначають вагу позитивних зворотних зв'язків нейронів. При збільшенні відношення
*NM нейрони втрачають чутливість до зовнішніх збуджень, що приводить до зупинки процесу
конвергенції і появи хибних атракторів.
При відсутності затримок зворотних зв’язків ( )0=τ розрахована за формулами (7)
симетрична нейромережа відповідає моделі асоціативної пам’яті, керованої порогом [13], яка має
1NM < головних атракторів, представлених парами векторів { }M
m
mm RR 1
,0,1 , = . Якщо така
нейромережа знаходиться в нестабільному стані, відбувається процес конвергенції – послідовних
змін стану в напрямку найближчого головного атрактора.
При наявності затриманих зворотних зв'язків у матриці *W залишаються блоки 11W , τ1W
та 10W , які відповідають реальним зв’язкам. У такій нейромережі процес конвергенції обмежений
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 54
першим кроком переходу нейронів з поточного в наступний стан. Таке обмеження не заважає
існуванню динамічних атракторів рекурентної нейромережі, для яких наступний стан є іншим
атрактором. Динамічний атрактор може починатись з будь-якого вектора послідовності,
представленої матрицею *ℜ , і закінчуватись останнім її вектором MR*, . Якщо початковий стан не є
атрактором, ситуація виявляється більш складною, оскільки, на відміну від симетричної статичної
нейромережі, наближається до найближчого атрактора монотонно, поведінка динамічної
рекурентної нейромережі поза динамічним атрактором може бути не монотонною.
3. Атракторний радіус динамічної рекурентної нейромережі
Поведінка статичної рекурентної нейромережі залежить від заповнення її асоціативної пам’яті,
визначеної як відношення числа атракторів до числа нейронів NM . Процес конвергенції в ній
може зупинитись, не досягнувши головного атрактора, причому зі збільшенням співвідношення
NM імовірність такої зупинки зростає. В мережі Хопфілда конвергенція припиняється при
14,0>NM [1, 2, 7]. При застосуванні псевдоінверсного алгоритму ця межа наближається до 0,25
[14]. Найбільше значення 7,0≈NM досягнуто при застосуванні спеціального методу
рознасичення синаптичної матриці [15].
Для оцінки атракторних властивостей статичної нейромережі в [12] запропоновано поняття
атракторного радіуса, визначеного як число нейронів, що змінюють свій вихід на останньому кроці
конвергенції у стан головного атрактора. Цей критерій відповідає моделі синхронного обчислення
стану нейромережі, коли спочатку обчислюються ПСП всіх нейронів, а потім одночасно – значення
їхніх виходів. В [2] показано, що він є ефективним і при асинхронному обчисленні стану
нейромережі.
Спробуємо застосувати цей критерій для динамічної рекурентної нейромережі. Для цього
скористаємось введеною нами моделлю уявної нейромережі і розглянемо її поведінку на
останньому кроці конвергенції при досягненні стану головного атрактора. Нехай 1
jz та 0
jz –
значення виходу та входу j -го нейрона уявної нейромережі перед переходом у стан атрактора, а
1
jr та 0
jr – після переходу. Вважатимемо, що 11 =jr . Користуючись рівністю для стану атрактора
i
N
j jji
N
j jjii rrwrwts =+= ∑∑ ==
**
1
0*
,1
1*
,)(
і враховуючи, що при переході у стан атрактора знаки ПСП та виходу кожного нейрона збігаються,
представимо умову досягнення атрактора в такому вигляді:
02)()]([)(
1
*
,
2
1
*
,1
*
,
**
>−=⎥⎦
⎤
⎢⎣
⎡ −−= ∑∑∑ ===
H
h jijiij
N
j jji
N
j jjiiii rrwrtzrwrwrtsr ,
*...2,1 Ni = , (9)
де H – число елементів векторів )(* tZ і *R , знаки яких є протилежними.
Для нейронів, вихід яких змінює знак при досягненні нейромережею стану атрактора, це
співвідношення можна записати так:
*
,
1
1
*
, 212 ii
H
h jiji wrrw −<∑ −
=
.
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 55
Підсилюючи цю нерівність шляхом заміни членів суми їх середніми абсолютними значеннями,
знайдемо верхню межу для величини атракторного радіуса:
*
,
*
, 2)21(1 jiii wwH −+< . (10)
Цей результат ми одержали на основі аналізу лише одного останнього кроку переходу
уявної нейромережі у стан головного атрактора, в якому брали участь усі *N уявних нейронів цієї
нейромережі. Виокремлюючи з них 1N реальних нейронів, для яких ця нерівність, безумовно,
виконується, ми одержимо ту саму нерівність, яка відповідає кроку переходу динамічної рекурентної
нейромережі з будь-якого стану у стан атрактора.
Підставляючи в нерівність (10) значення *
, jiw з (8), одержимо оцінку середньої величини
атракторного радіуса:
M
N
MNM
NMNH NM 2
1
)(
1
2
1
*
*
**
+⎯⎯ →⎯
−
−
⎥
⎦
⎤
⎢
⎣
⎡
−+< << . (11)
Для відкритої динамічної рекурентної нейромережі ця нерівність визначає максимальну
відстань між сусідніми векторами навчальної послідовності, при якій ще можливе існування
динамічних атракторів. Оскільки кожен з цих векторів містить компоненту зовнішнього стимулу, то
динамічний атрактор можна розглядати просто як реакцію нейромережі на відповідну послідовність
стимулів. Величина атракторного радіуса визначає максимальне відхилення векторів стимулу від їх
еталонних значень, за яких динамічний атрактор відповідатиме навчальній послідовності.
4. Динамічна нейронна асоціативна пам’ять
Розглядаючи рекурентну нейромережу як динамічну асоціативну пам’ять, спробуємо оцінити її
здатність запам’ятовувати послідовності векторів та відтворювати їх за асоціацією із
послідовностями стимулів, що діють на її входи.
Представлятимемо поведінку такої нейромережі послідовністю кадрів, кожен з яких містить
*N – вимірний вектор її поточного стану )(* tZ . Кадри надходять з інтервалом τ , який відповідає
часу затримки зворотних зв’язків нейромережі. Навчальна послідовність включає М кадрів, які
містять вектори атракторів ],,[ 0111* mmmm RRRR −= . В кожному кадрі вектор mR0 є ключем до
наступного атракторного стану нейромережі, тому у випадку автоасоціативної динамічної пам’яті
],,[ 11111* +−= mmmm RRRR .
Розглянемо поведінку відкритої динамічної рекурентної нейромережі, яка в початковий
момент t знаходилась у стані атрактора ],,[ 10111* +−= mmmm RRRR . Цей стан нейромережа зберігала
до моменту τ+t , коли затримане значення вектора mR ,1 надійшло на входи нейронів. За цей
момент зовнішній стимул також змінив значення з mR0 на )(0 τ+tZ , внаслідок чого ПСП
нейромережі набуло нового значення:
01111010,11,1111 )()( Δ+Δ+=+++=+ +mmm RtZWRWRWtS ττ τ
, (12)
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 56
)( 11111111 +−=Δ mm RRW , ])([ 1,0100 +−+=Δ mRtZW τ .
Цю ситуацію зображено на рис. 2, де
позначено атракторні стани нейромережі та
виділено їхні області притяжіння, обмежені
величиною атракторного радіуса *H . Вектори
11Δ та 0Δ визначають переміщення вектора ПСП,
який перед тим мав значення атрактора mR1 .
В зображеній ситуації вектор ПСП в
момент τ+t опиняється в області притяжіння
атрактора 11 +mR , який стає наступним станом
нейромережі при завершенні ітерації. Якщо в зображеній ситуації зовнішній стимул залишити
незмінним: 0)(,0 =+Δ τtm , то при завершенні ітерації динамічна нейромережа повернеться у стан
попереднього атрактора mR1 .
При меншій величині атракторного радіуса вектор ПСП може опинитись за межами
областей притяжіння головних атракторів. Тоді подальша поведінка нейромережі залежатиме від
співвідношення між складовими mRW ,111 , mRW ,11τ та )(010 τ+tZW . Змінюючи їх вагу, можна у
значних межах коригувати динамічні властивості нейромережі. Збільшення ваги складової mRW ,111
наближує вектор ПСП до попереднього атрактора, що робить імовірним повернення нейромережі в
попередній стан mR ,1 . При зростанні складової mRW ,11τ більш імовірним стає перехід у наступний
стан 1,1 +mR . Динамічна нейромережа і далі намагатиметься переходити в наступні стани відповідно
до порядку їх розташування в навчальній послідовності. При домінуванні цієї складової
нейромережа буде постійно перебувати у стані динамічного атрактора, повторюючи фрагменти
навчальної послідовності. Підсилення складової )(010 τ+tZW веде до повністю керованої
поведінки, коли динамічна нейромережа повторює стани, задані зовнішнім стимулом, незалежно від
їх розташування в навчальній послідовності.
Розглянемо більш детально співвідношення (12) для пересічного нейрона
])([2)(
011
0
01,00
,1
1,111
,
1,11 ∑∑ =
+
=
++ +−−−=+
N
j j
m
jji
H
h
m
hhi
m
ii tzrwrwrts ττ , (13)
де 11H – відстань за Хеммінгом між векторами mR1 та 11 +mR .
Наступним станом нейромережі буде 11 +mR лише за умови 0)( 1,11 >+m
ii rts , 1...2.1 Ni = або
{ }])([2)(
011
0
01,00
,1
1,111
,
1,121,1 ∑∑ =
+
=
+++ +−+>
N
j j
m
jji
H
h
m
hhi
m
i
m
i tzrwrwrr τ .
Підсилимо цю нерівність, беручи середні абсолютні значення складових і виділяючи
складову зворотного зв’язку нейрона 11
,iiw :
11
,0
01,00
,
1 11
, 21)]([2
011
ii
N
j j
m
jji
H
ih hi wtzrww −<+−+∑∑ =
+−
≠
τ .
0Δ
mR1
11Δ
11 −mR
*H
11 +mR
Рис. 2. Перехід ВРДН з атракторного стану
mR1 в 11 +mR
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 57
Найбільш сприятливою для виконання цієї нерівності є умова, що зовнішній стимул має
однакове значення з очікуваним атрактором
1,00 )( +=+ m
jj rtz τ . (14)
Вважаючи цю умову виконаною, вирішимо нерівність (18) відносно 11H :
11
,
11
,
11 2)21(1 jiii wwH −+< .
Одержане співвідношення повторює формулу (10) для атракторного радіуса уявної
нейромережі, що є очікуваним, оскільки матриця 11W є діагональним блоком *W .
Величина 11H є верхньою межею відстані по Хеммінгу між сусідніми кадрами навчальної
послідовності. Оскільки 11H залежить від числа векторів цієї послідовності, то можна оцінити
допустиме число таких векторів, а відтак і можливу тривалість динамічного атрактора. Вирішуючи
нерівність (11) відносно M , одержимо
)
1
11(
2 *
11*
−
−
−<
N
HNM . (15)
З цього видно, що число векторів навчальної послідовності динамічної рекурентної нейромережі
зменшується при зростанні атракторного радіуса і не може перевищувати половини числа нейронів
уявної нейромережі. До цього висновку приводить і аналогія із статичною нейромережею, яка при
2*NM > втрачає здатність до конвергенції.
Розглянуті співвідношення характеризують поведінку відкритої динамічної рекурентної
нейромережі, в якій присутні як затримані, так незатримані зв’язки. Якщо вилучити незатримані
зв’язки, то формула (12) набуває вигляду
0,11010,111 )()()( Δ+Δ+=++=+ ττ ττ tStZWRWtS m
, (16)
)( 1111,1 −−=Δ mm RRW ττ
, ])([ 1,0100 −−+=Δ mRtZW τ .
Тут 11 −mR – вектор стану нейромережі, який надходив на вхід нейронів у момент t ; mR1 –
вектор, що надходить у момент τ+t .
Для пересічного нейрона
])([2)()(
01
0
0,00
,1
1,11
,
11 ∑∑ ==
− +−−−=+
N
j j
m
jji
H
h
m
hhiii tzrwrwtsts ττ
τ
τ
,
де τ1H – відстань за Хеммінгом між атракторами mR1 та 11 −mR .
Умовою для повернення в попередній стан є 0)( ,11 >+ m
ii rts τ , 1...2,1 Ni = :
])([2)(
01
0
0,00
,
,1
1
1,11
,
,1,11 ∑∑ ==
− +−+>
N
j j
m
jji
m
i
H
h
m
hhi
m
i
m
ii tzrwrrwrrts τ
τ
τ
.
Підсилимо цю нерівність, замінюючи члени суми їх абсолютними значеннями:
|])([|2)(
0
0
0,00
,
1
,
1,11 ∑ =
+−+>
N
j j
m
jjihi
m
ii tzrwwHrts τττ
Найсприятливішим для її виконання є рівність значень зовнішнього стимулу і попереднього
атрактора: m
jj rtz ,00 )( =+τ . За цієї умови
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 58
ττ ,1
,
,111 2)( hi
m
ii wrtsH < , hi ≠ . (17)
Оскільки в даному випадку кількість зворотних зв’язків скорочено наполовину порівняно з уявною
нейромережею, то добуток 5,0)( ,11 ≈m
ii rts . Підставляючи в (17) оцінку величини τ,1
,hiw з (8),
знайдемо
)(4
1
*
**
1
MNM
NNH
−
−
<τ
. (18)
Порівнюючи з оцінкою (11), одержаною для уявної нейромережі, можна відзначити
практично однаковий характер залежності від числа нейронів та розмірів навчальної послідовності.
В даному випадку атракторний радіус є вдвічі меншим через скорочення кількості зв’язків
нейромережі. Він визначає максимальне відхилення вектора стану нейромережі або зовнішнього
стимулу від попереднього атрактора mR1 , при якому вона ще повертається в попередній стан. При
перевищенні цієї межі динамічна нейромережа переходить у наступний стан, заданий зовнішнім
стимулом. При відсутності зовнішнього стимулу вона переходить у стан динамічного атрактора,
відтворюючи решту ланцюга станів навчальної послідовності.
5. Експериментальні результати
Експериментальне дослідження динамічної асоціативної пам’яті проводилось за допомогою
створеної авторами програмної моделі відкритої рекурентної нейромережі. Нейромережа за
архітектурою відповідала рис. 1 і включала 100 нейронів зі знаковою активаційною функцією.
Обчислення стану нейронів виконувалось у синхронному режимі, тобто спочатку обчислювались
значення постсинаптичних потенціалів, а потім одночасно встановлювались нові значення їх
реакції. Величину затримки зворотного зв’язку τ можна було встановлювати в 2 – 6 разів більшою,
ніж період обчислення стану нейромережі, що дозволяло виконувати за час затримки кілька
локальних ітерацій конвергенції. Навчальна послідовність включала кілька динамічних атракторів,
що представляли послідовності кадрів у вигляді триплетів ],,[ 11111* +−= mmmm RRRR і відрізнялись
розмірами та формою зображення,
ступенем схожості складових триплету.
Використовувались зображення в формі
прямих ліній та кілець, що
переміщувались у кадрі, а також
послідовності латинських літер.
На рис. 3 представлено два
динамічні атрактори у вигляді кілець, що
переміщуються по схрещених траєкторіях.
Такі перехрещення приводять до інтерференції відбитків у пам’яті рекурентної нейромережі. Це
видно на рис. 4, де верхній ряд представляє зовнішній стимул, а нижній – розподіл ПСП нейронів
при проходженні пункту перетину. Залежно від напрямку руху стимулу розподіл ПСП в околі пункту
перетину змінюється.
(1a) (2a) (3a) (4a) (5a) (6a) (7a)
(1b) (2b) (3b) (4b) (5b) (6b) (7b)
Рис. 3. Динамічний атрактор з одним спільним
кадром ( )ba 44 =
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 59
(i1a) (i2a) (i3a)
(p1a) (p2a) (p3a)
Рис. 4. Входи мережі (зверху) і відповідні
постсинапси (знизу) при відтворенні
динамічного атрактора із серії (а)
Рис. 5. Збурені входи (зверху) і відповіді
мережі (знизу) для рівня шуму 10=H
Метою експериментів було оцінити здатність динамічної асоціативної пам’яті нейтралізувати
збурення зовнішніх стимулів. Збурення вводилось шляхом зміни полярності H випадково обраних
елементів вектора входу. На рис. 5 наведено приклад нейтралізації збурення для динамічного
атрактора у вигляді послідовності з 8 літер при 10=H . Верхній ряд представляє діючі стимули, а
нижній – відповідні реакції у вигляді розподілу ПСП нейронів. На окремих зображеннях
простежується вплив збурення.
На рис. 6 наведено експери-
ментальні оцінки залежності величини
атракторного радіуса H від числа
запам'ятовуваних кадрів M , одержаних
для різних типів динамічних атракторів
при 2=τ . Величина аракторного радіуса
визначалась у серіях з 10 експериментів
як найбільший рівень збурень H , при
якому всі кадри динамічного атрактора
відтворювались безпомилково. Для порів-
няння наведено теоретичну оцінку
атракторного радіуса за формулою (11). Можна відзначити, що теоретична та експериментальні
залежності мають однаковий характер, але експериментальні дані істотно відрізняються для різних
типів даних. Атракторний радіус виявився найбільшим для ортогональних векторів у вигляді прямих
ліній, а найменшим – у зображень літер та цифр, що значною мірою перекривались.
6. Висновки
Проведені експерименти показали, що величина атракторного радіуса зростає при збільшенні
величини τ . Це можна пояснити впливом локальної конвергенції нейромережі. Крім того, на
поведінку нейромережі суттєво впливає співвідношення між зовнішньою та затриманою
2 4 6 8 10 12 14 16
0
10
20
30
40
50
60
70
80
Теоретична оцінка
Ортогональні лінії
Коло що
рухається
Букви і цифри
Рис. 6. Залежність атракторного радіуса від кількості
запам'ятовуваних векторів і їх типу
ISSN 1028-9763. Математичні машини і системи, 2010, № 2 60
компонентами ПСП. Відключення зовнішнього входу та підвищення компоненти зворотного зв’язку
часто приводило до переходу мережі у стан динамічного атрактора, причому іноді спостерігались
комбінації кількох динамічних атракторів, що нагадувало хибні атрактори в мережі Хопфілда [1]. Ці
експерименти вказують на можливість провокувати появу фрагментів динамічних атракторів, які
повторюють елементи навчальної послідовності. Вони нагадують цуги нервової активності, що
спостерігаються при подразненні нервової тканини. Аналогії, які виникають при порівнянні поведінки
динамічної асоціативної пам’яті з нервовою системою, підтверджують висловлену в [16] гіпотезу,
згідно з якою щільні шари нервових клітин кори мозку складаються з локальних нейронних
ансамблів, структура яких відповідає моделі динамічної рекурентної нейромережі. Подібні ансамблі,
здатні не тільки підтримувати, але і відновлювати втрачені атракторні стани, становлять основу
довготривалої пам’яті, забезпечуючи тривале збереження фрагментів нервової активності [17].
Роботу виконано за підтримки міжнародного гранту УНТЦ Р-357 (EOARD 088008).
СПИСОК ЛІТЕРАТУРИ
1. Horfield J.J. Neural networks and physical systems with emergent collective computational abilities / J.J. Horfield //
Proc. of the National Academy of Science 79:2554-58. – 1982. – Р. 2554 – 2558.
2. Gupta M.M. Static and Dynamic Neural Networks / Gupta M.M., Jin L., Homma N. // From Fundamentals to
Advanced Theory. – John Willey&Sons inc. Hobokeh NJ, 2003. – 751 p.
3. Cao J. Absolute exponential stability of recurrent neural networks with Lipschitz-continuous fcnivation functions and
time delays / J. Cao, J. Wang // Neural Networks. – 2004. – Vol.17, N 3. – P. 379 – 390.
4. Lu H. Global exponential stability of delayed competitive neural networks with different time scales / H. Lu, Z. He //
Neural Networks. – 2005. – Vol. 18, N 3. – P. 243 – 250.
5. Zhao H. Global asymptotic stability of Hopfield neural network involving distributed delays / H. Zhao // Neural
Networks. – 2004. – Vol. 17, N 1. – P. 48 – 53.
6. Pineda F.J. Generalization of Back-propagation to Recurrent Neural Networks / F.J. Pineda // Physics Review
Letters. – 1987. – Vol. 18. – P. 2229 – 2232.
7. Haykin S. Neural Networks. A comprehensive Foundation / S. Haykin // Prentice Hall, Inc. N.J. – 2ed. – 1999. –
P. 690.
8. Yazdanbakhsh A. Fast synchronization of perceptual grouping in laminar visual cortical circuits / A. Yazdanbakhsh,
S. Grossberg // Neural Networks. – 2004. – Vol. 17, N 5–6. – P. 707 – 718.
9. Reznik A.M. Non-Iterative Learning for Neural Networks / A.M. Reznik // Proc. International Joint Conference on
Neural Networks (Washington DC, July 10–16 1999). – Washington, 1999. – Vol. 2. – P. 1374 – 1379.
10. Kosko B. Bi-directional associative memories / B. Kosko // IEEE Transactions on Systems, Man and Cybernetics.
– 1987. – Vol. 18, N 1. – P. 49 – 60.
11. Albert A. Regression and the Moor-Penrose Psevdoinverse / A. Albert // Academic Press. – N-Y, 1972. – P. 97.
12. Personnaz L. Collective computational properties of neural networks: new learning mechanisms / L. Personnaz,
I. Guyon, G. Dreyfus // Physical Review A. – 1986. – Vol. 34. – P. 4217 – 4228.
13. Reznik A.M. Projection learning algorithm for threshold-controlled neural networks / A.M. Reznik // Cybernetics
and System Analysis. – 1994. – Vol. 30, N 4. – P. 603 – 613.
14. Weinfield W. A fully digital integrated CMOS Hopfield network including the learning algorithm / W. Weinfield //
Proc. of Intern. Workshop on VLSI for Art. Intel. (Univ. Oxford, July 20–22, 1988). – Oxford, 1988. – E1. – P.1 – 11.
15. Gorodnichi D.O. Increasing Attraction of Pseudo- Inverse Autoassociative Networks / D.O. Gorodnichi,
A.M. Reznik // Neural Processing Letters. – 1997. – Vol. 5, N 2. – P.123 – 127.
16. Reznik A.M. Hopfield ensembles in Lateral neurostructures of the cerebral cortex / A.M. Reznik // Mathematical
Machines and Systems. – 2006. – N 1. – P. 3 – 12.
17. Reznik A.M. Associative Memories with "Killed" Neurons: the Methods of Recovery / A.M. Reznik, A.S. Sitchov,
O.K. Dekhtyarenko [et al.] // Proc. of the International Joint Conference on Neural Networks (Portland, Oregon, July
20–24, 2003). – Portland, Oregon, 2003. – Vol. 1. – P. 634 – 639.
Стаття надійшла до редакції 17.02.2010
|
| id | nasplib_isofts_kiev_ua-123456789-51609 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1028-9763 |
| language | Ukrainian |
| last_indexed | 2025-11-30T16:48:50Z |
| publishDate | 2010 |
| publisher | Інститут проблем математичних машин і систем НАН України |
| record_format | dspace |
| spelling | Різник, О.М. 2013-12-04T00:58:15Z 2013-12-04T00:58:15Z 2010 Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі / О.М. Різник, Д.О. Дзюба // Мат. машини і системи. — 2010. — № 2. — С. 50-60. — Бібліогр.: 17 назв. — укр. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/51609 621.8: 681.5 Розглянуто модель відкритої рекурентної нейромережі, що відрізняється відсутністю прихованих нейронів, та запропоновано метод “заморожування” її динамічних атракторів. Одержано вирішення рівняння стабільності й розроблено метод неітеративного навчання таких нейромереж. На його основі створено нову модель нейронної динамічної асоціативної пам’яті, одержано оцінки атракторного радіуса та обсягу пам’яті. Оцінено розміри траєкторії динамічних атракторів і виявлено можливість управління динамічними атракторами шляхом зміни впливу різних складових зворотного зв’язку. Створено програмну модель динамічної асоціативної пам’яті та одержано експериментальне підтвердження результатів теоретичного аналізу. Відзначено аналогію між динамічними атракторами та цугами нервової активності мозку. Рассмотрена модель открытой рекуррентной нейросети, отличающейся отсутствием скрытых нейронов, и предложен метод “замораживания” ее динамических аттракторов. Получено решение уравнения устойчивости и разработан метод неитеративного обучения таких нейронных сетей. На его основе разработана новая модель нейронной динамической ассоциативной памяти, получены оценки величины аттракторного радиуса и объема памяти. Оценены размеры траектории динамических аттракторов и показана возможность управления динамическими аттракторами путем изменения влияния различных составляющих обратной связи. Создана программная модель динамической ассоциативной памяти и получено экспериментальное подтверждение результатов теоретического анализа. Отмечена аналогия между динамическими аттракторами и цугами нервной активности мозга. Mathematical model of open dynamic recurrent neural network, that hasn't got hidden neurons, is described, and concept of “freezing” of its dynamic attractors is proposed. Solution of generalized stability equation is found and noniterative method for training of this type of networks is developed. On the basis of this method a new model of neural associative memory is created, estimations of attraction radius and memory capacity are obtained. Size of dynamic attractor's trajectory is estimated and possibility of managing of dynamic attractors by changing level of influence of different feedback components is shown. Software model of dynamic associative memory is developed, and experimental confirmation of theoretical analysis is obtained. An analogy between dynamic attractors and neural activity patterns is remarked. uk Інститут проблем математичних машин і систем НАН України Математичні машини і системи Обчислювальні системи Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі Динамическая ассоциативная память на основе открытой рекуррентной нейросети Dynamic associative memory, based on open recurrent neural network Article published earlier |
| spellingShingle | Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі Різник, О.М. Обчислювальні системи |
| title | Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі |
| title_alt | Динамическая ассоциативная память на основе открытой рекуррентной нейросети Dynamic associative memory, based on open recurrent neural network |
| title_full | Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі |
| title_fullStr | Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі |
| title_full_unstemmed | Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі |
| title_short | Динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі |
| title_sort | динамічна асоціативна пам'ять на основі відкритої рекурентної нейромережі |
| topic | Обчислювальні системи |
| topic_facet | Обчислювальні системи |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/51609 |
| work_keys_str_mv | AT ríznikom dinamíčnaasocíativnapamâtʹnaosnovívídkritoírekurentnoíneiromereží AT ríznikom dinamičeskaâassociativnaâpamâtʹnaosnoveotkrytoirekurrentnoineiroseti AT ríznikom dynamicassociativememorybasedonopenrecurrentneuralnetwork |