Восстановление ассоциативной памяти в случае уничтожения части нейронов
Рассматривается задача восстановления ассоциативной памяти в случае, если часть ее нейронов была полностью уничтожена. На модели сети типа Хопфилда показано, что для полного восстановления функционирования памяти достаточно информации о ранее запомненных образах в количестве, равном числу удаленных...
Saved in:
| Published in: | Математичні машини і системи |
|---|---|
| Date: | 2012 |
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут проблем математичних машин і систем НАН України
2012
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/83777 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Восстановление ассоциативной памяти в случае уничтожения части нейронов / Д.В. Новицкий // Мат. машини і системи. — 2012. — № 4. — С. 70-74. — Бібліогр.: 6 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-83777 |
|---|---|
| record_format |
dspace |
| spelling |
Новицкий, Д.В. 2015-06-23T08:40:34Z 2015-06-23T08:40:34Z 2012 Восстановление ассоциативной памяти в случае уничтожения части нейронов / Д.В. Новицкий // Мат. машини і системи. — 2012. — № 4. — С. 70-74. — Бібліогр.: 6 назв. — рос. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/83777 681.513.7 Рассматривается задача восстановления ассоциативной памяти в случае, если часть ее нейронов была полностью уничтожена. На модели сети типа Хопфилда показано, что для полного восстановления функционирования памяти достаточно информации о ранее запомненных образах в количестве, равном числу удаленных нейронов. В численном эксперименте восстановление проводится путем дообучения, аналогично обычному обучению ассоциативных нейросетей. Розглядається задача відновлення нейронної асоціативної пам'яті у випадку, коли частину її нейронів було цілком знищено. На моделі мережі типу Хопфілда показано, що для цілковитого відновлення функціонування пам'яті достатньо інформації про таку кількість початково завантажених образів, що дорівнює числу вилучених нейронів. У чисельному експерименті таке відновлення здійснюється шляхом донавчання, подібно до звичайного навчання такого типу мереж. We consider re-learning ability of a Hopfield-type network after killing some neurons. Neurons were "killed" by means of nullification of corresponding rows and columns of the synaptic matrix. We show that one can restore recognition ability of this network using re-training with the vectors, which was memorized before. The number of needed vectors is equal to the number of deleted neurons. It does not depend on network's size and on volume of stored data. ru Інститут проблем математичних машин і систем НАН України Математичні машини і системи Обчислювальні системи Восстановление ассоциативной памяти в случае уничтожения части нейронов Відновлення асоціативної пам'яті у випадку знищення частини нейронів Associative memory recovery in case of some neurons killing Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Восстановление ассоциативной памяти в случае уничтожения части нейронов |
| spellingShingle |
Восстановление ассоциативной памяти в случае уничтожения части нейронов Новицкий, Д.В. Обчислювальні системи |
| title_short |
Восстановление ассоциативной памяти в случае уничтожения части нейронов |
| title_full |
Восстановление ассоциативной памяти в случае уничтожения части нейронов |
| title_fullStr |
Восстановление ассоциативной памяти в случае уничтожения части нейронов |
| title_full_unstemmed |
Восстановление ассоциативной памяти в случае уничтожения части нейронов |
| title_sort |
восстановление ассоциативной памяти в случае уничтожения части нейронов |
| author |
Новицкий, Д.В. |
| author_facet |
Новицкий, Д.В. |
| topic |
Обчислювальні системи |
| topic_facet |
Обчислювальні системи |
| publishDate |
2012 |
| language |
Russian |
| container_title |
Математичні машини і системи |
| publisher |
Інститут проблем математичних машин і систем НАН України |
| format |
Article |
| title_alt |
Відновлення асоціативної пам'яті у випадку знищення частини нейронів Associative memory recovery in case of some neurons killing |
| description |
Рассматривается задача восстановления ассоциативной памяти в случае, если часть ее нейронов была полностью уничтожена. На модели сети типа Хопфилда показано, что для полного восстановления функционирования памяти достаточно информации о ранее запомненных образах в количестве, равном числу удаленных нейронов. В численном эксперименте восстановление проводится путем дообучения, аналогично обычному обучению ассоциативных нейросетей.
Розглядається задача відновлення нейронної асоціативної пам'яті у випадку, коли частину її нейронів було цілком знищено. На моделі мережі типу Хопфілда показано, що для цілковитого відновлення функціонування пам'яті достатньо інформації про таку кількість початково завантажених образів, що дорівнює числу вилучених нейронів. У чисельному експерименті таке відновлення здійснюється шляхом донавчання, подібно до звичайного навчання такого типу мереж.
We consider re-learning ability of a Hopfield-type network after killing some neurons. Neurons were "killed" by means of nullification of corresponding rows and columns of the synaptic matrix. We show that one can restore recognition ability of this network using re-training with the vectors, which was memorized before. The number of needed vectors is equal to the number of deleted neurons. It does not depend on network's size and on volume of stored data.
|
| issn |
1028-9763 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/83777 |
| citation_txt |
Восстановление ассоциативной памяти в случае уничтожения части нейронов / Д.В. Новицкий // Мат. машини і системи. — 2012. — № 4. — С. 70-74. — Бібліогр.: 6 назв. — рос. |
| work_keys_str_mv |
AT novickiidv vosstanovlenieassociativnoipamâtivslučaeuničtoženiâčastineironov AT novickiidv vídnovlennâasocíativnoípamâtíuvipadkuzniŝennâčastinineironív AT novickiidv associativememoryrecoveryincaseofsomeneuronskilling |
| first_indexed |
2025-11-25T20:34:28Z |
| last_indexed |
2025-11-25T20:34:28Z |
| _version_ |
1850525663717490688 |
| fulltext |
70 © Новицкий Д.В., 2012
ISSN 1028-9763. Математичні машини і системи, 2012, № 4
УДК 681.513.7
Д.В. НОВИЦКИЙ
ВОССТАНОВЛЕНИЕ АССОЦИАТИВНОЙ ПАМЯТИ В СЛУЧАЕ УНИЧТОЖЕНИЯ
ЧАСТИ НЕЙРОНОВ
Анотація. Розглядається задача відновлення нейронної асоціативної пам’яті у випадку, коли час-
тину її нейронів було цілком знищено. На моделі мережі типу Хопфілда показано, що для цілкови-
того відновлення функціонування пам’яті достатньо інформації про таку кількість початково
завантажених образів, що дорівнює числу вилучених нейронів. У чисельному експерименті таке
відновлення здійснюється шляхом донавчання, подібно до звичайного навчання такого типу ме-
реж.
Ключові слова: асоціативна пам’ять, мережа Хопфілда, знищення нейронів, відновлення пам’яті.
Аннотация. Рассматривается задача восстановления ассоциативной памяти в случае, если
часть ее нейронов была полностью уничтожена. На модели сети типа Хопфилда показано, что
для полного восстановления функционирования памяти достаточно информации о ранее запом-
ненных образах в количестве, равном числу удаленных нейронов. В численном эксперименте вос-
становление проводится путем дообучения, аналогично обычному обучению ассоциативных ней-
росетей.
Ключевые слова: асоциативная память, сеть Хопфилда, уничтожение нейронов, восстановление
памяти.
Abstract. We consider re-learning ability of a Hopfield-type network after killing some neurons. Neurons
were "killed" by means of nullification of corresponding rows and columns of the synaptic matrix. We
show that one can restore recognition ability of this network using re-training with the vectors, which was
memorized before. The number of needed vectors is equal to the number of deleted neurons. It does not
depend on network's size and on volume of stored data.
Keywords: associative memory, Hopfield network, neurons killing, memory recovery.
1. Введение
Известно, что сети нейронной ассоциативной памяти типа Хопфилда отличаются большой
информационной избыточностью. Так, при применении классического правила обучения
Хопфилда (Хэбба) сеть с n нейронами может корректно запомнить не более 0,14n образов
[1]. При применении псевдоинверсного правила обучения это число возрастает до 0,25n ;
количество весов такой сети равно 2n . Хотя такая избыточность и требует значительных
вычислительных ресурсов при больших n , она обеспечивает устойчивость при различного
рода искажениях. Так, например, можно удалить (приравняв соответствующие веса нулю)
значительную часть связей такой сети без заметного ухудшения характеристик ассоциа-
тивной памяти [2].
Интересен вопрос, можно ли восстановить информацию, содержащуюся в сети, ес-
ли часть нейронов была полностью «убита» и заменена «пустыми» – со всеми весами свя-
зей, равными нулю? Мы покажем теоретически, что для этого достаточно знать столько
обучающих векторов (из числа содержавшихся в памяти до повреждения), сколько нейро-
нов было удалено из сети. При этом восстанавливаются все ранее запомненные образы, а
не только те, которые повторно вводились в сеть.
Численные эксперименты показывают, что для восстановления памяти может быть
использовано дообучение системы по тем же правилам, что и при обычном псевдоинверс-
ном алгоритме. Хотя полученная таким образом матрица весов не тождественна исходной,
система показала способность к воспоминанию, близкую к первоначальной.
ISSN 1028-9763. Математичні машини і системи, 2012, № 4 71
В данной работе мы используем модель ассоциативной памяти на основе сетей
Хопфилда с псевдоинверсным правилом обучения [3]. В сетях этого типа запоминаются
биполярные векторы: { }1, 1
n
kv ∈ − , 1...k m= . Пусть эти векторы образуют столбцы матри-
цы V размером m n× . Синаптическая матрица C дается соотношением
C VV+= , (1)
где V + – матрица, псевдообратная к V по Муру-Пенроузу. Ее можно вычислить напрямую
по формуле ( ) 1T TV V V V
−+ = или по формулам Гревиля [4, 5].
Ассоциативный поиск осуществляется с помощью процедуры экзамена: входной
вектор x0 служит начальной точкой итераций вида
( )1t tx f Cx+ = , (2)
где f – монотонная нечетная функция, такая что ( )lim 1s f s→± ∞ = ± . К векторному аргу-
менту она применяется покомпонентно. Устойчивую неподвижную точку этого отображе-
ния будем называть аттрактором. Максимальное расстояние по Хэммингу между входным
вектором 0x и запомненным образом kv такое, что процедура экзамена все еще сходится к
kv и называется аттракторным радиусом.
2. Теория восстановления памяти
Рассмотрим поведение сети Хопфилда, обученной с помощью псевдоинверсного алгорит-
ма, в которой часть нейронов удалена путем обнуления значений веса связей на их входах
и выходах. При таком удалении сеть теряет способность к конвергенции, вследствие чего
происходит разрушение ассоциативной памяти (АП), ее содержимое становится недоступ-
ным. Покажем, что такую АП можно полностью восстановить путем повторного запоми-
нания лишь части векторов из числа запомненных ранее. Пусть из сети удалено p нейро-
нов. Тогда исходную (проекционную) матрицу сети можно представить в виде
T
X Y
C
Y Z
=
, (3)
здесь , ,X Y Z – матрицы размером ( ) ( )n p n p− × − , ( )n p p− × , p p× соответственно.
Они связаны соотношениями
2
2
T
T
T
X X YY
Z Z Y Y
Y XY Y Z
= +
= +
= +
. (4)
Если известна только матрица X усеченной сети, соотношения (4) можно разре-
шить относительно Y , что позволит восстановить исходную проекционную матрицу C .
Но это решение неоднозначно: Y можно домножить справа на произвольную ортогональ-
ную матрицу U размером p p× . Однако неоднозначность может быть снята путем дообу-
чения на некотором наборе векторов из исходного множества.
Количество вновь запоминаемых векторов, необходимое для восстановления памя-
ти, равно числу удаленных нейронов p и не зависит от размеров сети и объема запомнен-
ных ею данных.
72 ISSN 1028-9763. Математичні машини і системи, 2012, № 4
Рис. 1. Эволюция спектра синаптической матрицы при обучении.
M=120
Теорема 1. Если известны матрица X , а также произведение исходной матрицы C
на p векторов из исходного запоминаемого множества, матрица C восстанавливается од-
нозначно.
Доказательство. Матрица Y находится из системы (2) с точностью до умножения на
ортогональною матрицу U размером m m× . При этом Z определяется однозначно. Пусть
,n pV – матрица, образованная из p линейно независимых векторов, содержавшихся в ис-
ходной памяти. Разделим ее на блоки , ,n p p p pV V− , относящиеся к сохранившимся и удален-
ным нейронам соответственно. Затем найдем U , решая систему
0 , , ,
T
n p p p p p pUY V ZV V− + = , (5)
где 0Y – какое-нибудь решение системы (4). U находится в виде
( ) ( )0 ,
T
pp n p pU I Z V Y V
+
−= − .■
3. Экспериментальные результаты
Возможность восстановления связей утраченных нейронов подтверждают эксперименты
по дообучению [6]. Использованный там алгоритм базируется на проекционном правиле
обучения АП. Для дообучения предъявлялись p образов из числа запомненных ранее. Та-
кой метод не дает точного решения систем (2)–(3), однако обеспечивает его приближение.
О качестве приближе-
ния можно судить по
спектрам получаю-
щихся матриц.
На рис. 1 при-
ведены данные для
матрицы связей
256×256, в которой
после запоминания
120 векторов было
обнулено по 40 строк
и столбцов. Графики
отражают спектры до
обучения, после обучения на 10, 30 и 40 векторах, запомненных сетью ранее. Как видно,
при удалении нейронов ранг матрицы сохраняется, но величины 40 из 120 собственных
значений заметно уменьшились. При запоминании каждого следующего вектора ранг мат-
рицы увеличивается на единицу, причем добавляется одна компонента с единичным соб-
ственным значением и происходит перераспределение и сокращение значений 40 ранее
ослабленных компонент спектра. После запоминания 40 векторов они образуют “хвост”
спектра матрицы и по значению не превосходят 0,47. Образование “хвоста” вызвано тем,
что собственные векторы сети, образовавшейся после обнуления части связей, имеют со-
ставляющие, ортогональные ранее запомненным векторам. При обучении восстановление
ранее запомненных собственных векторов сопровождается запоминанием ортогональных
составляющих, собственные значения которых менее 0,5.
ISSN 1028-9763. Математичні машини і системи, 2012, № 4 73
Рис. 2. Эволюция спектра при обучении на запомненных данных и
последующем обучении на 20 новых векторах. M=40+20
Рис. 3. Изменение радиуса аттракторов сети
в процессе дообучения
Приведенные на рис. 1 данные относятся к случаю плотного заполнения памяти
( )/ 0,47m n= при удалении более 15% нейронов. На рис. 2 приведены аналогичные дан-
ные для такой же сети
при малом заполне-
нии памяти
( )40, / 0,15m m n= =
и удалении всего 10
нейронов (менее 4%).
Приведены спектры в
начале обучения, по-
сле обучения на 5, 9 и
10 векторах, запом-
ненных сетью до раз-
рушения связей, а
также после дополни-
тельного обучения на
новых 20 векторах. Отметим, что появление 20 новых единичных собственных значений
при запоминании новых векторов практически не повлияло на 10 дополнительных малых
составляющих спектра, образовавшихся в результате удаления нейронов.
При малом заполнении памяти ( )/ 0,2m n< появление новых составляющих спек-
тра практически не влияет на поведение сети. Однако при высоком заполнении памяти по-
явление дополнительных компонент увеличивает число ложных аттракторов сети и со-
кращает объем свободной ассоциативной памяти. Применяя метод разнасыщения синап-
тической матрицы, удается значительно уменьшить их влияние. Более радикальным реше-
нием может быть возведение синаптической матрицы в высокую степень, после чего в ней
сохранятся лишь собственные значения, близкие к единице.
На рис. 3 показана динамика аттракторных свойств АП по мере ее обучения. Сеть с
«убитыми» нейронами полностью те-
ряет способность к конвергенции
(лишь для аттрактора №100 был слу-
чайно зафиксирован ненулевой ради-
ус). По мере дообучения аттракторный
радиус тех образов, которые были по-
вторно предъявлены сети, сразу вос-
станавливается до первоначального
значения, всех остальных – постепенно
увеличивается. В момент, когда число
векторов для дообучения сравнивается
с числом уничтоженных нейронов, ат-
тракторные свойства системы полно-
стью восстанавливаются.
4. Выводы
Явление восстановления АП с уничтоженными нейронами с помощью подмножества ра-
нее содержавшихся в ней образов напоминает широко известные примеры излечения
больных амнезией путем напоминания пациентам ярких событий из их прошлого.
74 ISSN 1028-9763. Математичні машини і системи, 2012, № 4
СПИСОК ЛІТЕРАТУРЫ
1. Amit D. Modeling Brain function / D. Amit // The world of attractor networks. – Cambridge Univ.
Press, 1989. – 528 р.
2. Сычев А.С. Селекция связей в нейронных сетях с псевдоинверсным алгоритмом обучения /
А.С. Сычев // Математические машины и системы. – 1998. – № 2. – С. 25 – 30.
3. Personnaz L. Collective computational properties of neural networks: New learning mechanisms /
L. Personnaz, I. Guyon, G. Dreyfus // Phys. Rev. A. – 1986. – Vol. 34, N 5. – P. 4217 – 4228.
4. Albert А. Regression and the Moore-Penrose pseudoinverse / А. Albert. – New-York-London: Aca-
demic Press, 1972. – 180 р.
5. Кириченко Н.Ф. Псевдообращение матриц в проблеме проектирования ассоциативной памяти /
Н.Ф. Кириченко, А.М. Резник, С.П. Щетенюк // Кибернетика и системный анализ. – 2000. – № 3. –
С. 18 – 27.
6. Associative Memories with "Killed" Neurons: the Methods of Recovery / A.M. Reznik, A.S. Sitchov,
O.K. Dekhtyarenko [et al.] // Proc. of the International Joint Conference on Neural Networks. – Portland:
Neural Networks, 2003. – Vol. 4. – P. 2579 – 2582.
Стаття надійшла в редакцію 19.11.2012
|