Ассоциативные клеточные сети с адаптивной архитектурой
В работе предлагается модель ассоциативной памяти на базе клеточной нейронной сети с архитектурой, зависящей от запоминаемых данных. Показаны преимущества такого подхода по сравнению с фиксированной архитектурой, задаваемой независимо от данных, а также по сравнению с полносвязной ассоциативной сеть...
Saved in:
| Date: | 2004 |
|---|---|
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут проблем математичних машин і систем НАН України
2004
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/83884 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Ассоциативные клеточные сети с адаптивной архитектурой / А.К. Дехтяренко // Мат. машини і системи. — 2004. — № 1. — С. 17-27. — Бібліогр.: 13 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860138907249672192 |
|---|---|
| author | Дехтяренко, А.К. |
| author_facet | Дехтяренко, А.К. |
| citation_txt | Ассоциативные клеточные сети с адаптивной архитектурой / А.К. Дехтяренко // Мат. машини і системи. — 2004. — № 1. — С. 17-27. — Бібліогр.: 13 назв. — рос. |
| collection | DSpace DC |
| description | В работе предлагается модель ассоциативной памяти на базе клеточной нейронной сети с архитектурой, зависящей от запоминаемых данных. Показаны преимущества такого подхода по сравнению с фиксированной архитектурой, задаваемой независимо от данных, а также по сравнению с полносвязной ассоциативной сетью, для которой проведена процедура селекции весов. Помимо непосредственного экспериментального сравнения рассмотренных алгоритмов обучения клеточных сетей, также обосновано и проведено сравнение получаемых сетей по их косвенным признакам.
В роботі запропоновано модель асоціативної пам’яті на базі клітинної нейронної мережі з архітектурою, яка залежить від даних, що запам’ятовуються. Показано переваги такого підходу у порівнянні з фіксованою архітектурою, що задається незалежно від даних, а також у порівнянні з повнозв’язною асоціативною мережею, для якої проведено процедуру селекції зв’язків. Окрім безпосереднього експериментального порівняння розглянутих алгоритмів навчання клітинних мереж, також обґрунтовано і проведено порівняння отриманих мереж за їх побічними ознаками.
In this paper we introduce a new model of associative memory based on cellular neural network with adaptive architecture. This model outperforms one with fixed architecture that is set independently on data; also it has better associative recall properties than fully connected network with weight selection procedure. Apart from the direct experimental comparison of considered learning algorithms this work presents justification and application of comparison method that uses network indirect characteristics.
|
| first_indexed | 2025-12-07T17:47:55Z |
| format | Article |
| fulltext |
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 17
УДК 621.8:681.5
А.К. ДЕХТЯРЕНКО
АССОЦИАТИВНЫЕ КЛЕТОЧНЫЕ НЕЙРОННЫЕ СЕТИ С АДАПТИВНОЙ АРХИТЕКТУРОЙ
1. Введение
Клеточные нейронные сети представляют собой набор простых пороговых устройств (нейронов) с
неполным набором связей между ними. Неполнота связей делает эти сети особенно
привлекательными для аппаратной реализации [1 – 3]. Если позволить нейронам иметь различные
наборы связей (в отличие от сети, состоящей из полностью идентичных нейронов [4]), то подобную,
достаточно простую модель, можно наделить нетривиальными свойствами ассоциативной памяти.
Одни из первых работ в этой области [5] используют аппарат псевдообращения матриц и
показывают принципиальную возможность этого. В нашей работе [6] мы детально исследовали
псевдоинверсный алгоритм обучения [5] и показали, что его возможно модифицировать,
отказавшись от шага, обеспечивающего симметричность весовой матрицы. Это позволяет
достигнуть лучших показателей сети без потери ее устойчивости в представляющем интерес
диапазоне значений параметров, а также снимает требование симметричности архитектуры сети.
Работа [7], хотя и не имеет прямого отношения к клеточным сетям, но является одним из
наводящих мотивов данной работы. В ней показано, что для полносвязной сети Хопфилда,
обученной по проекционному алгоритму, возможно без существенного ущерба для качества
функционирования сети удалить до 80% малоинформативных связей. Размещение связей,
оставшихся после такой селекции, очевидно, имеет большое значение для качественной работы
сети и отображает некоторые скрытые закономерности и отношения в запоминаемых данных.
Возникает естественная идея использовать подобное правило селекции для формирования
архитектуры клеточной сети. Можно ожидать, что эта архитектура позволит добиться лучших
результатов, чем применение клеточной сети с некоторой другой, заранее задаваемой
конфигурацией.
2. Алгоритм
Полносвязная сеть Хопфилда [8] – это первая нейросетевая реализация ассоциативной памяти.
Она использует свойство мультистабильности систем с обратными связями. Если устойчивые
состояния такой сети соответствуют запоминаемым данным, то сеть из некоторого начального
состояния способна в ходе так называемого процесса конвергенции (последовательной смены
состояний) прийти в одно из своих устойчивых состояний, которое может считаться
автоассоциативным откликом сети.
Для сети с n нейронами (сети размерности n) и вектором состояний x процесс конвергенции
можно записать как
( )tt Cxfx =+1 , (1)
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 18
где С – весовая матрица сети;
f – активационная функция нейрона.
Наилучшее качество ассоциативного восстановления сети Хопфилда на настоящий момент
достигается с применением проекционного правила обучения [9]. В нем весовая матрица сети
представляет собой решение уравнения устойчивости
VCV = , (2)
где { }mvvV ,...,1= – матрица, образованная m запоминаемыми векторами.
Решение (2) можно найти как
+= VVC , (3)
где оператор ”+” обозначает операцию псевдообращения матрицы [10]. Получаемая таким
образом весовая матрица C равняется проекционной матрице на подпространство, образованное
запоминаемыми векторами.
Обучение, согласно формуле (3), также можно представить в рекуррентном виде [11], где
весовая матрица сети изменяется при запоминании сетью каждого нового вектора 1+iv :
( )( )
( ) 11
1111
1
++
++++
+ −
−−+=
ii
T
i
T
iiiiii
ii vCIv
vCvvCv
CC . (4)
Правило селекции связей [7] состоит в сохранении в весовой матрице C, обученной по
правилу (3) или (4), лишь весов с наибольшими абсолютными значениями. Значения остальных
весов устанавливаются в нуль. В работе [7] показано, что полносвязная сеть Хопфилда при
небольших степенях заполнения памяти (10% образов от размерности сети) может сохранять свою
работоспособность при сохранении лишь 20% весов, отобранных по подобному принципу. В
дальнейшем будем ссылаться на этот алгоритм обучения, как на проекционный алгоритм с
селекцией связей, либо просто правило селекции связей.
В отличие от правила селекции связей, где размещение связей между нейронами известно
лишь после того, как определен набор данных, который должен храниться в сети,
псевдоинверсный алгоритм обучения клеточных сетей [5] позволяет формировать весовую
матрицу сети C при заранее заданных ограничениях на ее структуру. Пускай эти ограничения
представлены конфигурационной матрицей W – матрицей размерности ( )nn × , элементы которой
принимают значения {1,0} в зависимости от существования либо отсутствия связи между
соответствующими нейронами. В данной работе с целью упрощения мы не рассматриваем
пороговые смещения нейронов. В работе [6] было показано, что их введение равносильно
добавлению одной степени свободы в решаемые уравнения для нахождения весов. Это позволяет
запомнить ровно на один образ больше при сохранении качества ассоциативного распознавания.
Для i-го нейрона уравнение устойчивости нейронной сети (3) примет вид
ii VVC = , (5)
где { }ini
i CCC ,...,1= – вектор-строка весовых коэффициентов і-го нейрона;
{ }ini
i VVV ,...,1= – вектор-строка, образованный из матрицы запомненных векторов.
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 19
Для учета структурных ограничений, накладываемых клеточной архитектурой сети, введем
оператор селекции, действующий в пространствах матриц разной размерности:
))(()(: iqlnlW i ×→× , (6)
где
∑
=
=
n
j
ijWiq
1
)( . (7)
Оператор iW оставляет от матричных аргументов лишь те столбцы, которые соответствуют
ненулевым компонентам i-й строки конфигурационной матрицы W .
Тогда для i-го нейрона веса, которым позволено иметь ненулевые значения, образованы
вектором-строкой ( )ii
СW , а подмножество компонент запоминаемых данных, поступающим на
входы нейрона и соответствующие этим весам, можно представить как ( )ΤΤVW i . С учетом этого
уравнение устойчивости (5) для i-го нейрона примет вид
iTTiii VVWCW =⋅ )()( . (8)
Оптимальное решение уравнения (8) с точки зрения его минимальной нормы при условии
минимума невязки можно найти, применяя операцию псевдообрашения:
( )+⋅= TTiiii VWVCW )()( . (9)
Суть предлагаемого в данной работе алгоритма обучения клеточных сетей (назовем его
псевдоинверсный адаптивный алгоритм) заключается в подборе архитектуры сети согласно
правилу селекции весов и дальнейшем ее обучении с помощью псевдоинверсного алгоритма по
формуле (9).
3. Постановка эксперимента
Экспериментальное сравнение алгоритмов проводилось на данных, которые представляли собой
256-мерные векторы (n = 256) независимыми компонентами, принимающими равновероятные
значения {+1,-1}. В качестве активационной функции f в (1) использовалась знаковая функция с
областью значений {+1,-1}. За основную характеристику качества функционирования сети была
принята величина аттракторного радиуса – максимальная интенсивность искажений, полностью
устраняемых сетью в процессе конвергенции. Входные данные искажались путем смены знака на
противоположный у r случайных компонент.
Аттракторный радиус определялся экспериментально. Для этого для каждого запомненного
вектора данных случайным образом генерировалось 100 различных реализаций искажений с
заданной интенсивностью. Искаженные данные подавались на вход сети и, в зависимости от
наличия либо отсутствия ошибок на ее выходе, уровень искажений либо понижался, либо
увеличивался. Поиск величины искажения соответствующей аттракторному радиусу сети
осуществлялся методом бисекции. Для найденного таким образом значения r осуществлялась
проверка того, что сеть устраняет также искажения с интенсивностями r-1, r-2, r-3. Это делалось,
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 20
чтобы учесть некоторую немонотонность зависимости окончательной ошибки сети от
интенсивности искажений, вызванную тем, что число рассматриваемых реализаций искажений
гораздо меньше числа всех возможных.
В работе [12] было показано, что ослабление непосредственных обратных связей нейронов
(за которые отвечают диагональные элементы весовой матрицы C) позволяет увеличить
аттракторный радиус для полносвязных сетей. Данный подход получил название метод
разнасыщения. Ослабление связей осуществляется посредством умножения диагональных
элементов на величину 0<α<1, называемую коэффициентом разнасыщения. Оптимальной ее
величиной для сети, обученной по проекционному алгоритму, является α ≈ 0,15. Однако задание
слишком малого коэффициента разнасыщения приводит к неустойчивости сети (отсутствию
сходимости процесса конвергенции (1)) и, тем самым, к ухудшению ее аттракторных свойств.
Для клеточных сетей, обученных по псевдоинверсному алгоритму, также имеет смысл
применять метод разнасыщения, однако значение коэффициента α зависит от конфигурации сети и
степени ее заполнения и должно подбираться экспериментально. Поскольку это весьма
трудоемкий процесс, то было предложено использовать следующую эмпирическую формулу:
( )Ctracem15.0=α , (10)
где m – количество запомненных образов в сети.
Эта формула дает значение α = 0,15 для проекционной сети (поскольку для нее trace(C) =
m, разд. 5) и значение, обратно пропорциональное следу матрицы для псевдоинверсной сети.
Такое приближение оказалось близким к оптимальному значению α, что было подтверждено
опытным путем.
В экспериментальной части данной работы при определении величин аттракторного
радиуса для всех рассмотренных алгоритмов используется метод разнасыщения со значением α,
определяемым согласно (10).
4. Экспериментальные результаты
Сравнение правила селекции
весов с предлагаемым
алгоритмом
В ходе эксперимента
определялся аттракторный
радиус (attraction radius) сети как
функция от степени ее
связности – connectivity degree
(относительная доля связей,
которым позволено иметь
ненулевые значения). Вначале
эти зависимости были получены
для сетей, обучаемых по Рис. 1. Зависимости аттракторного радиуса сетей от
степени их связности
0
10
20
30
40
50
60
70
80
90
0 0.2 0.4 0.6 0.8 1
Connectivity degree
A
ttr
ac
tio
n
ra
di
us
m = 26
PI
WS
m =51
m =77
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 21
правилу селекции связей (WS – weights selection) и псевдоинверсному адаптивному алгоритму (PI –
pseudo-inversion), хранящих m = 26, 51 и 77 эталонов (заполнение памяти 10%, 20% и 30% от
размерности сети).
Из зависимостей, отображенных на рис. 1, видно, что применение псевдоинверсного
адаптивного алгоритма позволяет добиться лучшего качества ассоциативного восстановления по
сравнению с сетью, обученной по правилу селекции весов для величин связности сети до 0,4 (m =
26) – 0,6 (m = 77). При больших значениях степени связности различие в поведении сетей,
обученных по этим алгоритмам, исчезает. Это соответствует тому факту, что псевдоинверсный
алгоритм (9), будучи формально применен к полносвязной сети, дает весовую матрицу сети,
равную той, что получается в результате проекционного алгоритма обучения (3, 4). Также следует
отметить, что для предельно малых степеней связности сети применение псевдоинверсного
адаптивного алгоритма позволяет получить сеть с ненулевым аттракторным радиусом, используя
число связей на 5-15% меньшее, чем это позволяет сделать правило селекции весов.
Правило селекции весов с повторным обучением
В работе [7] для улучшения качества функционирования сети, обученной по правилу селекции
связей, предлагалось использовать повторное обучение на запомненных данных, используя
рекуррентное соотношение (4), а затем снова осуществить селекцию связей. Было показано, что
повторное обучение позволяет дополнительно сократить число связей без заметного ухудшения
качества распознавания. Однако этот результат применим лишь к сетям с небольшой степенью
связности и, как следствие, с небольшим заполнением памяти. Чтобы сравнить качество
ассоциативного восстановления предлагаемого алгоритма с сетью, прошедшей процедуру
повторного обучения (WS retrained), был проведен следующий эксперимент.
Процедура повторного
обучения позволила практически
уравнять качества
ассоциативного распознавания
рассматриваемых алгоритмов
для сетей с сильно
разреженными весовыми
матрицами. Однако с
увеличением связности сети
повторное обучение приводит к
нестабильным результатам, что
вызвано более точным
выполнением уравнения
устойчивости (2) для весовой
матрицы сети, а, значит, к вероятности появления все меньших значений в знаменателе формулы
(4). Поэтому для сети, хранящей m = 77 векторов и обладающей ненулевым аттракторным
радиусом при значениях степени связности в диапазоне [~0.4, 1], ее повторное обучение давало
Рис. 2. Использование повторного обучения для сети, обученной
по правилу селекции связей
0
10
20
30
40
50
60
70
80
90
0 0.2 0.4 0.6 0.8 1
Connectivity degree
A
ttr
ac
tio
n
ra
di
us
PI
WS
m =26
m =51
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 22
нестабильные результаты, начиная уже с нижней границы этого диапазона (эта зависимость на
рис. 2 не приведена).
Использование корреляционной матрицы для задания архитектуры сети
Правило селекции весов
позволяет задавать
конфигурацию сети исходя из
наибольших элементов
проекционной матрицы на
подпространство,
образованное запомненными
векторами. Можно
предположить, что большое
абсолютное значение
некоторого элемента этой
матрицы сигнализирует о
некоторого рода взаимосвязи
(корреляции) между соответствующими компонентами запоминаемых данных. Конфигурационную
матрицу сети можно построить аналогичным образом с использованием корреляционной матрицы.
Представляет интерес вопрос о том, насколько различные архитектуры получаются при
использовании различных способов построения конфигурационной матрицы сети.
На рис. 3 показана зависимость отличия конфигураций сетей (отношение числа
отличающихся элементов в конфигурационных матрицах к общему числу элементов) от степени
связности весовой матрицы и количества запоминаемых образов. Видно, что использование
проекционной и корреляционной матриц приводит к различным конфигурациям сети. Причем
степень их отличия растет с уменьшением степени связности сети и с увеличением количества
хранимых образов.
Чтобы выяснить, как это
отличие влияет на
ассоциативные качества сети,
был проведен эксперимент, в
котором сравнивался
аттракторный радиус клеточных
сетей с псевдоинверсным
алгоритмом обучения,
архитектура которых задавалась
по правилу селекции весов с
использованием проекционной
Рис. 3. Отличия конфигураций сети, полученных с
использованием проекционной и корреляционной матриц
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
0 0.2 0.4 0.6 0.8 1
Connectivity degree
M
as
ks
' d
iff
er
en
ce
m = 26
m = 51
m = 77
Рис. 4. Сравнение сетей использующих для формирования
архитектуры проекционную либо корреляционную матрицы
0
10
20
30
40
50
60
70
80
90
0 0.2 0.4 0.6 0.8 1
Connectivity degree
A
ttr
ac
tio
n
ra
di
us
m = 26
m = 51
m = 77
PI
PI corr
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 23
(ряд PI) и корреляционной матриц (ряд PI corr).
Из рис. 4 видно, что использование проекционной матрицы при формировании архитектуры
сети обеспечивает лучшее качество ассоциативного восстановления на всем диапазоне значений
степени связности сети и для различных степеней заполнения памяти. Это свидетельствует о том,
что корреляционные соотношения в запоминаемых данных, получаемые при использовании
проекционной матрицы, имеют большее значение при решении систем уравнений (8), чем чисто
статистические зависимости, выражаемые корреляционной матрицей.
Клеточная сеть с фиксированной архитектурой
Чтобы убедиться в значимости предлагаемого способа выбора архитектуры, аналогичный
эксперимент по определению аттракторного радиуса был проведен для клеточной сети с
псевдоинверсным алгоритмом обучения, архитектура которой задавалась фиксированным образом
с заданной долей связей. Предполагалось, что нейроны размещены в одномерную цепочку, и для
каждого нейрона позволено иметь связи лишь с соседними нейронами, т.е. нейронами из
некоторой его окрестности. При такой архитектуре сети весовая матрица имеет ленточную
структуру с ненулевыми
весовыми коэффициентами,
сосредоточенными вдоль
главной диагонали.
Поскольку используемое
отношение соседства
является рефлексивным,
всем диагональным
элементам весовой
матрицы, отвечающим за
связи нейронов самих с
собою, также позволено
иметь ненулевые значения.
На рис. 5 приведена зависимость аттракторного радиуса для такой сети, хранящей m = 51
вектор данных (PI static) в сравнении с аналогичными зависимостями для других рассмотренных
сетей. Видно, что хотя такая сеть и начинает обладать ненулевым аттракторным радиусом при
меньшей степени связности, чем сеть, обучаемая по правилу селекции весов, однако
дальнейшее улучшение ее аттракторных свойств с ростом числа элементов весовой матрицы
происходит практически линейно. Такой характер зависимости аттракторного радиуса от
количества весовых коэффициентов для сети с фиксированной архитектурой не позволяет ей
конкурировать ни с одним из рассмотренных алгоритмов, в которых архитектура зависит от
запоминаемых данных.
5. Два критерия непрямого сравнения различных способов построения архитектуры сети
Рис. 5. Сравнение сетей с различными алгоритмами обучения
0
10
20
30
40
50
60
70
0 0.2 0.4 0.6 0.8 1
Connectivity degree
A
ttr
ac
tio
n
ra
di
us
PI
PI corr
PI static
WS
m = 51
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 24
Рассмотренный в предыдущем разделе способ количественного сравнения качества работы
различных алгоритмов обучения посредством экспериментального вычисления аттракторного
радиуса хоть и является в достаточной степени объективным, но при этом он весьма трудоемок и
требователен к вычислительным ресурсам. Его вычислительная сложность пропорциональна
числу рассматриваемых вариантов искажений запомненных данных, а именно этот параметр
определяет степень доверия к получаемому экспериментальному приближению гарантированного
аттракторного радиуса.
Альтернативой этому подходу может быть сравнение некоторых других, отличных от
аттракторного радиуса, но влияющих на него, характеристик сетей. Среди таковых мы рассмотрим
след весовой матрицы и набор ее собственных значений. Метод анализа спектров весовых матриц
уже успешно применялся при исследовании процессов восстановления полносвязных
ассоциативных сетей после удаления подмножества нейронов [13]. Метод сравнения величин
следа весовых матриц используется впервые. Его достоинством является малая вычислительная
сложность. Если алгоритм обучения клеточной сети использует некоторый набор параметров,
влияющих на аттракторные свойства получаемых сетей, то метод сравнения следов весовых
матриц может быть использован для подбора оптимального набора значений этих параметров,
позволяя избежать процедуры непосредственного тестирования.
Сравнение значений следа весовых матриц
Все три рассмотренных правила выбора конфигурации клеточной сети (используя проекционную,
корреляционную матрицы и жестко задаваемую архитектуру) совместно с псевдоинверсным
алгоритмом обучения имеют одно общее свойство. При условии включения в конфигурационную
матрицу W диагональных элементов для любой степени связности сети они позволяют получить
весовую матрицу C, в точности удовлетворяющую уравнению устойчивости (2). Однако
ассоциативные качества сетей, обученных по таким правилам выбора архитектуры, существенно
отличаются, и это можно объяснить следующим образом.
Рассмотрим правило формирования постсинаптического потенциала i-го нейрона:
∑
=
=
=
n
Wj
j
jiji
ij
xCPSP
1:
0
. (11)
Точное выполнение уравнения устойчивости (2) означает, что для запомненных векторов
данных PSPi =± 1. Величина квадрата нормы
2i
С определяет среднее абсолютное значение
весового коэффициента ijC и то, насколько величина PSPi отклонится от значения ± 1 в случае
наличия шума во входном векторе x . Таким образом, при условии точного выполнения уравнения
устойчивости следует отдавать предпочтение тем решениям для весовой матрицы сети, для
которых квадрат нормы
22 iCС ∑= минимален.
Если в конфигурационной матрице сети 1=iiW , т.е. i-му нейрону позволено иметь
диагональный вес iiC (а это имеет место для всех рассматриваемых правил выбора архитектуры),
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 25
то решением уравнения (9) для этого нейрона будет i-я строка проекционной матрицы для
векторов-столбцов ( )ΤΤVW i , причем весовой коэффициент iiC соответствует ее диагональному
элементу. Исходя из свойства идемпотентности проекционных матриц AA =2 , следует
соотношение ii
i
СС =
2
, а значит
( )CtraceCC
n
i
ii ==∑
=1
2
. (12)
Поэтому более качественным решением для весовой матрицы сети с точки зрения ее
аттракторных свойств можно считать то решение, которое обладает меньшим значением следа
матрицы.
Для сети, архитектура которой задается отношением соседства, можно получить
теоретическую оценку величины trace(C). Элемент Cii является диагональным элементом
проекционной матрицы на вектор ( )ΤΤVW i . Размерность этой матрицы определяется значением
степени связности η и имеет среднее значение ηn. Размерность подпространства, на которое
осуществляется проекция m, равняется следу этой проекционной матрицы. Значит, можно говорить
о среднем значении коэффициента iiC , равном
n
m
Cii η
= , (13)
а значит, след всей весовой матрицы
( )
η
m
CnCCtrace ii
n
i
ii =≅=∑
=0
. (14)
Эта формула верна для значений η > m/n. Для значений η ≤ m/n количество векторов в
( )ΤΤVW i
превышает их размерность, следовательно, проекционная матрица равняется
тождественной (тривиальное решение), её коэффициенты 1=iiC , а след trace(C) = n.
Динамика изменения
следа матрицы с
изменением степени
связности сети η приведена
на рис. 6. Эти зависимости
построены
экспериментально для
сетей, хранящих m = 51
вектор и обучаемых по
правилу селекции связей
(WS), а также по
псевдоинверсному
алгоритму с
Рис. 6. След матрицы в зависимости от степени связности сети
0
50
100
150
200
250
300
0 0.2 0.4 0.6 0.8 1
Connectivity degree
T
ra
ce
(C
)
WS
PI
PI corr
PI static
PI static theory
m = 51
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 26
формированием архитектуры сети по проекционной матрице, корреляционной матрице и с
фиксированной архитектурой (PI, PI corr и PI static соответственно). Ряд PI static theory отображает
теоретические значения следа весовой матрицы для сети с фиксированной архитектурой,
полученные по формуле (14).
Зависимости, изображенные на рис. 5 и рис. 6, подтверждают сделанное предположение о
том, что для различных весовых матриц с одинаковым числом ненулевых коэффициентов сети и
удовлетворяющих уравнению устойчивости (2) наилучшее качество ассоциативного распознавания
обеспечивает матрица с наименьшим значением следа.
Сравнение спектров весовых матриц
Другим критерием непрямого сравнения ожидаемого качества ассоциативного распознавания
различных сетей является сравнение упорядоченных спектров их весовых матриц. В качестве
эталонного спектра при такой оценке может выступать набор собственных значений весовой
матрицы полносвязной сети, обученной по проекционному алгоритму. Ее спектр имеет ступенчатую
форму и состоит из собственных значений, равных 1 (соответствуют запомненным векторам
данных) и 0 (соответствуют векторам из ортогонального дополнения). Тем самым в ходе процесса
конвергенции при умножении текущего состояния сети на весовую матрицу сохраняется
компонента состояния, расположенная в подпространстве запомненных данных, и подавляется ее
ортогональная составляющая.
На рис. 7 можно
видеть искажение формы
этого спектра как в области
единиц, так и в области нулей,
при проведении процедуры
селекции весов (WS). Для
псевдоинверсных алгоритмов
обучения клеточных сетей
такое искажение происходит
лишь в области нулей,
поскольку точное решение
уравнения неподвижности (2)
сохраняет единичную часть
спектра. По степени искажения нулевой части спектра эти алгоритмы расположились в следующем
порядке: алгоритм с динамическим заданием архитектуры по проекционной матрице (PI), по
корреляционной матрице (PI corr) и алгоритм с жестко задаваемой архитектурой (PI static). Такое
упорядочивание в точности соответствует результатам сравнения качества ассоциативного
распознавания сетей, полученным в экспериментальном разделе данной работы. Также следует
отметить, что поскольку весовые матрицы, получаемые в результате применения
псевдоинверсного алгоритма обучения, не являются симметричными, то в их спектрах появляются
комплексные значения. На рис. 7 для соответствующих сетей приведены только вещественные
Рис. 7. Спектры весовых матриц
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
0 50 100 150 200 250
Sorted eigenvalues
PI
PI corr
PI static
WS
m = 51, η = 0.4
ISSN 1028-9763. Математичні машини і системи, 2004, № 1 27
части спектров. Мнимые их части, в силу небольшого отклонения матриц от симметричной формы,
составляют порядка 10% от действительных.
6. Выводы
Исходя из результатов работы, можно утверждать, что выбор архитектуры клеточной сети с
использованием информации о данных, которые она будет хранить, позволяет добиться лучших
результатов, чем применение некоторой другой, заранее заданной конфигурации.
При выборе архитектуры клеточной сети, обучаемой по псевдоинверсному алгоритму,
целесообразно использовать правило селекции весов по проекционной матрице. Этот метод дал
наилучшие результаты среди рассмотренных. Можно предположить, что для псевдоинверсного
алгоритма обучения это наилучшая стратегия, поскольку она использует механизм построения
проектирующих операторов, а именно этот механизм применяется для нахождения коэффициентов
весовой матрицы сети.
Рассматриваемый алгоритм может быть успешно применен для аппаратной реализации
ассоциативной памяти на базе клеточных сетей, однако эта реализация должна позволять
существование хоть и ограниченного числа, но произвольных связей. Если же ограничения на
связность сети носят не только количественный, но и топологический характер (к примеру, связи
допускаются лишь для близлежащих нейронов), то предлагаемый алгоритм в чистом виде не
применим. Однако если в такой, более жесткой постановке задачи, все же имеется некоторая
свобода выбора архитектуры, то предлагаемый алгоритм может быть модифицирован для
нахождения архитектуры, обеспечивающей построение сети с наилучшими характеристиками.
СПИСОК ЛИТЕРАТУРЫ
1. Austin J. The cellular neural network associative processor, C-NNAP // Proc. of 5th IEEE Int. Conference on Image Processing
and its Applications. – Edinburgh, Scotland. – 1995. – P. 622 – 626.
2. Sungjun Park, Joonho Lim and Soo-Ik Chae Digital Implementation of discrete-time cellular neural networks with distributed
arithmetic // Proc. of International Conf. on Neural Networks, ICNN’97. – Houston, Texas, USA. – 1997. – Vol. II. – P. 959 – 963.
3. Julian P., Dogaru R., Itoh M., Haenggi M., Chua L. O. On the RTD Implementation of Simplicial Cellular Nonlinear Networks //
Proc. of the 7th IEEE International Workshop on Cellular Neural Networks and their Applications. – Frankfurt, Germany. – 2002. –
July 22 – 24. – P.140 – 148.
4. Chua L. O., Yang L. Cellular Neural Networks: Theory // IEEE Trans. on Circuits and Systems. – 1988. – Vol. 35. – P. 1257 –
1272.
5. Brucoli M., Carnimeo L., Grassi G. Discrete-time Cellular Neural Networks for associative memories with learning and forgetting
capabilities // IEEE Trans. on Circuits and Systems. – 1995. – CAS-42(7). – P. 396 – 399.
6. Дехтяренко А.К., Новицкий Д.В. Нейронная ассоциативная память с клеточной структурой // Математичні машини і
системи. – 2002. – № 3. – С. 37 – 44.
7. Сычев А. Селекция весов в нейронных сетях с псевдоинверсным алгоритмом обучения // Математичні машини і системи.
– 1998. – № 2. – С. 25 – 30.
8. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. Nat. Acad. Sci. –
1982. – Apr. – Vol. 79. – P. 2554 – 2558.
9. Personnaz L., Guyon I., Dreyfus G. Collective computational properties of neural networks: New learning mechanisms // Phys.
Rev. A. – 1986. – Vol. 34(5). – P. 4217 – 4228.
10. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание: Пер. с англ. – М.: Наука, 1977. – 237 с.
11. Reznik A.M. Non-iterative learning for neural networks // Proc. of the International Joint Conference on Neural Networks,
Washington. – 1999. – July. – Paper no 548.
12. Gorodnichy D.O., Reznik A.M. Increasing Attraction of Pseudo-Inverse Neural Networks // Neural Processing Letters. – 1997. –
N 5. – P. 121 – 125.
13. Reznik A.M., Sitchov A.S., Dekhtyarenko O.K., and Nowicki D.W. Associative Memories with "Killed" Neurons: the Methods of
Recovery // Proc. of the International Joint Conf. on Neural Networks. – Portland, Oregon. – 2003. – July 20-24. – P. 2579 – 2582.
|
| id | nasplib_isofts_kiev_ua-123456789-83884 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1028-9763 |
| language | Russian |
| last_indexed | 2025-12-07T17:47:55Z |
| publishDate | 2004 |
| publisher | Інститут проблем математичних машин і систем НАН України |
| record_format | dspace |
| spelling | Дехтяренко, А.К. 2015-06-28T08:20:11Z 2015-06-28T08:20:11Z 2004 Ассоциативные клеточные сети с адаптивной архитектурой / А.К. Дехтяренко // Мат. машини і системи. — 2004. — № 1. — С. 17-27. — Бібліогр.: 13 назв. — рос. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/83884 621.8:681.5 В работе предлагается модель ассоциативной памяти на базе клеточной нейронной сети с архитектурой, зависящей от запоминаемых данных. Показаны преимущества такого подхода по сравнению с фиксированной архитектурой, задаваемой независимо от данных, а также по сравнению с полносвязной ассоциативной сетью, для которой проведена процедура селекции весов. Помимо непосредственного экспериментального сравнения рассмотренных алгоритмов обучения клеточных сетей, также обосновано и проведено сравнение получаемых сетей по их косвенным признакам. В роботі запропоновано модель асоціативної пам’яті на базі клітинної нейронної мережі з архітектурою, яка залежить від даних, що запам’ятовуються. Показано переваги такого підходу у порівнянні з фіксованою архітектурою, що задається незалежно від даних, а також у порівнянні з повнозв’язною асоціативною мережею, для якої проведено процедуру селекції зв’язків. Окрім безпосереднього експериментального порівняння розглянутих алгоритмів навчання клітинних мереж, також обґрунтовано і проведено порівняння отриманих мереж за їх побічними ознаками. In this paper we introduce a new model of associative memory based on cellular neural network with adaptive architecture. This model outperforms one with fixed architecture that is set independently on data; also it has better associative recall properties than fully connected network with weight selection procedure. Apart from the direct experimental comparison of considered learning algorithms this work presents justification and application of comparison method that uses network indirect characteristics. ru Інститут проблем математичних машин і систем НАН України Обчислювальні системи Ассоциативные клеточные сети с адаптивной архитектурой Ассоціативні клітинні нейронні мережі з адаптивною архітектурою Associative cellular neural networks with adaptive architecture Article published earlier |
| spellingShingle | Ассоциативные клеточные сети с адаптивной архитектурой Дехтяренко, А.К. Обчислювальні системи |
| title | Ассоциативные клеточные сети с адаптивной архитектурой |
| title_alt | Ассоціативні клітинні нейронні мережі з адаптивною архітектурою Associative cellular neural networks with adaptive architecture |
| title_full | Ассоциативные клеточные сети с адаптивной архитектурой |
| title_fullStr | Ассоциативные клеточные сети с адаптивной архитектурой |
| title_full_unstemmed | Ассоциативные клеточные сети с адаптивной архитектурой |
| title_short | Ассоциативные клеточные сети с адаптивной архитектурой |
| title_sort | ассоциативные клеточные сети с адаптивной архитектурой |
| topic | Обчислювальні системи |
| topic_facet | Обчислювальні системи |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/83884 |
| work_keys_str_mv | AT dehtârenkoak associativnyekletočnyesetisadaptivnoiarhitekturoi AT dehtârenkoak assocíativníklítinníneironnímerežízadaptivnoûarhítekturoû AT dehtârenkoak associativecellularneuralnetworkswithadaptivearchitecture |