Ассоциативная память на основе ядерных сетей
Предлагается новый подход к ассоциативной памяти с использованием ядерных методов. Автором разработаны алгоритмы авто- и гетероассоциативной памяти с использованием ядерных систем на базе псевдоинверсной ассоциативной памяти. Данные алгоритмы способны к конвергенции в процессе экзамена па...
Збережено в:
| Дата: | 2003 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут проблем математичних машин і систем НАН України
2003
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/735 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Ассоциативная память на основе ядерных сетей / Новицкий В.Д. // Математические машины и системы. – 2003. – № 3, 4. – С. 79 – 86. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859913992833597440 |
|---|---|
| author | Новицкий, В.Д. |
| author_facet | Новицкий, В.Д. |
| citation_txt | Ассоциативная память на основе ядерных сетей / Новицкий В.Д. // Математические машины и системы. – 2003. – № 3, 4. – С. 79 – 86. |
| collection | DSpace DC |
| description | Предлагается новый подход к ассоциативной памяти с использованием ядерных методов. Автором разработаны алгоритмы авто- и гетероассоциативной памяти с использованием ядерных систем на базе псевдоинверсной ассоциативной памяти. Данные алгоритмы способны к конвергенции в процессе экзамена памяти. Ядерный подход позволяет преодолеть ограничения на емкость памяти, свойственные сетям типа Хопфилда. Емкость памяти практически не зависит от размерности данных. Предлагаемые алгоритмы исследованы теоретически, доказаны их аттракторные свойства. Также проведена экспериментальная проверка на задачах классификации и ассоциативного поиска. Табл.: 1. Ил.: 5. Библиогр.: 8 назв.
Запропоновано новий підхід до асоціативної пам'яті з використанням ядерних методів. Автором розроблено алгоритми гетеро- і автоасоціативної пам'яті з використанням ядерних систем на базі псевдоінверсної пам'яті. Такі алгоритми здатні до конвергенції у процесі екзамену пам'яті. Ядерний підхід дозволяє подолати обмеження на ємність пам’яті, притаманні мережам типу Хопфілда. Ємність пам'яті практично не залежить від розмірності даних. Пропоновані алгоритми досліджено теоретично, доведено їх атракторні властивості. Також проведено експериментальну перевірку на задачах клаcифікації та асоціативного пошуку. Табл.: 1. Iл.: 5. Бiблiогр.: 8 назв.
We propose a new approach to associative memories using kernel machine methodology. Basing on Hopfield-type pseudoinverse associative memories we developed a series of kernel-based hetero- and auto-associative algorithms. There are convergence processes during examination procedures even for continuous data. Kernel approach enables to overcome capacity limitations inherent to Hopfield-type networks. Memory's capacity does not virtually depend on data dimension. We provide theoretical investigation for proposed methods and proved its attraction properties. Also we have experimentally tested them for tasks of classification and associative retrieval. Tabl.: 1. Figs.: 5. Refs.: 8 titles.
|
| first_indexed | 2025-12-07T16:03:50Z |
| format | Article |
| fulltext |
ISSN 1028-9763. Математичні машини і системи, 2003, № 3, 4
79
УДК 621.8:681.5
Д.В. НОВИЦКИЙ______________________________________________________________________
АССОЦИАТИВНАЯ ПАМЯТЬ НА ОСНОВЕ ЯДЕРНЫХ СЕТЕЙ
1. Введение
В последние годы область ядерных методов (kernel machines) бурно развивается. Эти методы получили
широкое применение в области распознавания образов, восстановления зависимостей, классификации и
кластеризации. Общая идея ядерных методов состоит в использовании вспомогательного пространства,
размерность которого существенно превышает размерность исходного. Соответствие между старым и новым
пространствами устанавливается некоторым нелинейным преобразованием
.: XX EE ′→ϕ
Это преобразование подбирается таким, что классы векторов, линейно не отделимые в ΧE , будут в
Χ'E линейно отделимы. Размерность пространства Χ'E может быть очень большой и даже бесконечной,
поэтому непосредственно оперировать векторами в нем затруднительно. Во многих случаях достаточно
знать лишь скалярное произведение в пространстве Χ'E , выраженное через элементы ΧE . Эта функция
называется ядром:
))(),((),( vuvuK ϕϕ= . (1)
Наиболее распространенным из ядерных методов является метод опорных векторов (Support Vector
Machine, SVM) [1]. Этот метод требует решения задачи квадратичной оптимизации с выпуклыми
ограничениями типа неравенств. Размерность этой задачи равна размерности обучающего множества. При
больших обучающих выборках (особенно, если данные имеют высокую размерность) точное решение этой
задачи становится затруднительным, поэтому разработаны многочисленные приближенные методы [1].
Также к числу ядерных методов относится и метод опорных векторов с использованием наименьших
квадратов (LS-SVM); в качестве критерия оптимальности он использует не величину маржи (поля, margin), а
среднеквадратичную ошибку. Этот метод требует лишь квадратичной оптимизации без ограничений и в итоге
сводится к решению систем линейных уравнений. Оптимальность этого метода в соответствии со
среднеквадратическим критерием риска доказана в [2].
Таким образом, на сегодняшний день большинство ядерных методов представляют собой алгоритмы
классификации, распознавания образов и восстановления зависимостей (регрессии), основанные на обучении
с учителем.
В данной работе предпринята попытка расширить применимость ядерных методов и построить на их
основе систему ассоциативной памяти. Для функционирования ассоциативной памяти типа Хопфилда
ключевой является линейная независимость запоминаемых образов. В такой сети можно запомнить набор
векторов, только если они линейно независимы. Более того, эта независимость должна быть "достаточно
сильной", то есть каждый вектор должен лежать достаточно далеко от линейной оболочки всех остальных.
Это означает, что количество запоминаемых образов не может превышать размерность запоминаемых
векторов, а на практике должно составлять не более 25% (псевдоинверсный алгоритм обучения [Personnaz])
или 70% (разнасыщение [3]). По мере приближения количества запомненных образов к размерности
пространства в синаптической матрице начинают преобладать диагональные элементы. Это приводит к
резкому ослаблению аттракторных свойств и ухудшению качества функционирования такой системы как
ассоциативной памяти.
ISSN 1028-9763. Математичні машини і системи, 2003, № 3, 4
80
Применение ядерного подхода позволяет перейти к пространству, в котором запоминаемое
множество становится линейно независимым.
В качестве прототипа мы используем псевдоинверсную гетеро- и автоассоциативную память.
Применение ядер в рамках данной парадигмы позволяет снять некоторые ограничения, связанные с
линейностью исходной модели. В частности, удается ослабить ограничение на емкость памяти, которая в
таких сетях не может превосходить 25 – 75% от размерности данных.
На базе этого подхода удалось также построить автоассоциативную память, способную к
конвергенции в процессе экзамена.
2. Алгоритм
Рассмотрим гетероассоциативную память с псевдоинверсным алгоритмом обучения. Пусть дано пространство
входов ΧE и пространство выходов ΥE размерностей n и p соответственно. Нам необходимо запомнить
m пар векторов: miEyEx YiXi K1,, =∈∈ . Будем считать, что эти векторы образуют столбцы матриц Х
и Y соответственно.
Тогда матрица связей такой сети удовлетворяет соотношению
YBX =
и строится следующим образом:
+= YXB . (2)
То есть, эта матрица определяет проекционный оператор YX EEB →: , который для всех i
удовлетворяет соотношению ii yBx = . В формуле (2)
+X означает псевдообратную матрицу по Муру –
Пенроузу. Она дается соотношением
.)( 11 TTT XSXXXX −−+ == (3)
Здесь элементы матрицы S размером mm × вычисляются как попарные скалярные произведения
запоминаемых векторов:
).,( jiij xxs = (4)
При экзамене на вход системы подается произвольный вектор x . По нему требуется определить
реакцию сети у . Это можно сделать следующим образом:
).,(
;
;1
xxz
xXz
zYSBxy
ii
T
=
=
== −
(5)
Можно заметить, что для вычисления матрицы S , вектора реакции сети у и промежуточного
вектора z необходимо знать лишь скалярные произведения запомненных входных векторов между собой и с
вектором x .
Воспользуемся этой особенностью гетероассоциативной памяти для построения ядерного алгоритма.
Заменим пространство ΧE на Χ'E размерности nn >>′ ( Χ'E может быть также и бесконечномерным
гильбертовым пространством). Векторы в Χ'E выражаются через исходные посредством нелинейного
преобразования XX EE ′→ϕ : . Будем называть Χ'E пространством признаков (feature space).
ISSN 1028-9763. Математичні машини і системи, 2003, № 3, 4
81
Пусть теперь Xiii Exxx ∈= ),(' ϕ – входные векторы из обучающей последовательности.
Обозначим ))(),((),( vuvuK ϕϕ= – ядро.
Тогда, аналогично (3) – (5), получаем
).,(
);,(
xxKz
xxKs
ii
jiij
=
=
(6)
Выражения (2 – 3), (5) можно вычислить явно, не переходя в большое пространство Χ'E , а проводить
процедуры формирования памяти и экзамена, используя лишь ядро.
Такой алгоритм является базовым для построения различных схем ассоциативной памяти.
Недостаток его заключается в том, что такая сеть осуществляет линейное проектирование из пространства
признаков в пространство выходов, она не способна к конвергенции в процессе экзамена.
Применимость ядерного алгоритма описывает
Следствие 1 из теоремы Мерсера: Если ядро ),( vuК удовлетворяет условию Мерсера [1], то
1) гильбертово пространство Χ'E и отображение XX EE ′→:ϕ такое, что ))(),((),( vuvuK ϕϕ=
существуют;
2) для каждого набора miEyEx YiXi K1,, =∈∈ матрица S неотрицательно определена;
3) если к тому же mEx >'dim , существует проекционный оператор YX EEB →′: , удовлетворяющий
соотношению ii yBx =' .
Доказательство:
1) напрямую следует из теоремы Мерсера;
2) истинно потому, что матрица S составлена из попарных скалярных произведений набора векторов
Xi Ex ′∈′
(матрица Грамма);
3) такой оператор всегда можно построить на линейной оболочке векторов X
m
ii E′∈>′< =1x – m-мерном
подпространстве. Затем его можно непрерывно продолжить на все Χ'E .�
Условие Мерсера формулируется следующим образом: Пусть функция ℜ→×QQK :),( vu
непрерывна и симметрична, а Q – некоторый компакт в ΧE . Для того, чтобы существовало пространство
Χ'E , в котором (.,.)К определяет скалярное произведение, необходимо и достаточно, чтобы для любого
)(2 QLg ∈ выполнялось неравенство
0)()(),(
,
≥∫∫
∈
vgugvuK
Qvu
.
К сожалению, мы не можем гарантировать обратимость матрицы S . Обратимость достигается тогда
и только тогда, когда все X
m
ii Ex ′∈>′< =1 линейно независимы. Это условие может не соблюдаться при
некоторых типах ядра на конкретных наборах векторов. На практике для устранения этой проблемы
используют регуляризацию по Тихонову: вместо S применяется матрица
ISS µµ +=
ISSN 1028-9763. Математичні машини і системи, 2003, № 3, 4
82
при малом 0>µ . Эта матрица всегда обратима, так как S неотрицательно определена.
Другим подходом к решению этой проблемы является инкрементальное построение матрицы S . На
каждом шаге размерность ее повышают на единицу, добавляя очередной запоминаемый вектор. Если
получившаяся матрица оказалась необратимой, вектор не запоминается. Для обращения новой S
применяется техника работы с блочными матрицами [4, 5 ].
Попробуем оценить емкость памяти: для запоминания m образов в такой сети необходимо хранить
матрицу S размером mm × . То есть, можно сказать, что ядерная ассоциативная память обладает
способностью запоминать количество образов, равное числу нейронов. Эта оценка является максимальной и
в некоторых случаях может не достигаться на практике. Так, например, при выборе линейного ядра,
описываемый механизм отождествляется с обычной гетероассоциативной памятью.
3. Модификации ядерного алгоритма
3.1. Автоассоциативная память
Описанный алгоритм можно применять и в качестве автоассоциативной памяти. При этом
miyxEyEx iiYiXi K1,,, ==∈∈ . Также необходимо, чтобы эти векторы были биполярными. Для этого
потребуем совпадения пространств ΧE и ΥE , а также самих входов и выходов. Матрица S по-прежнему
формируется по формуле (6). Экзамен производится по итеративной процедуре: на вход подается вектор xt,
по нему по формулам (5 – 6) вычисляется постсинаптический потенциал tу . Затем применяется функция
активации, и вычисляется состояние системы на следующем шаге:
)(1 tt yfx =+ . (7)
Процедура производится до конвергенции к устойчивому состоянию – аттрактору. Аттракторы таких
систем описывает теорема 1.
Теорема 1. Если для системы автоассоциативной памяти (4 – 8) выполняются условия следствия
1, а также матрица S обратима, аттракторами процедуры конвергенции такой сети являются лишь
неподвижные точки и двойные циклы.
Доказательство: аналогично соответствующей теореме для сетей типа Хопфилда, используя функцию
энергии
),(
2
1
- ttt yxKE = . (8)
По следствию из теоремы Мерсера, существует самосопряженный проекционный оператор
xx EEC ′→′: , такой, что ii xCx '' = . Используя свойства скалярного произведения в пространстве Χ'E ,
можно написать следующую цепочку равенств:
( ) ( ) ( ) ( )
).,(
2
1
),(
2
1
','
2
1
','
2
1
','
2
1
','
2
1
11
11111
−+
+−+−+
−=
=+−=+−=−
tttt
tttttttttt
xyKxyK
CxxCxxCxxCxxEE
(9)
Для (большинства) ядер эта величина всегда неотрицательна, поскольку 1−tx является ближайшим
биполярным вектором к tу . Это гарантирует неотрицательность (9) для всех ядер типа RBF, а также ядер
вида ),(),( ><= уxRуxK (здесь >< уx, – скалярное произведение). �
ISSN 1028-9763. Математичні машини і системи, 2003, № 3, 4
83
Схема алгоритма конвергенции (экзамена)
для ядерной автоассоциативной памяти приведена
на рис. 1.
Подобную схему можно построить и для
гетероассоциативной памяти. При этом входы
либо выходы системы будут биполярными, а для
замыкания процедуры экзамена строится обратное
преобразование из ΥE в ΧE (рис. 2).
Возможно также использование ядерных
методов в модульной ассоциативной памяти. Это
можно сделать двумя способами. В первом случае
строится двухслойная сеть, первый слой которой
представляет собой ядерную гетeроассоциативную
память с pm >> , на втором слое функционирует
модульная автоассоциативная память с древесной
структурой, как в [6]. Второй способ предполагает
организацию системы модулей, каждый из которых
– ядерная автоассоциативная память с
организацией процедуры экзамена по формулам (7
– 8).
4. Экспериментальные результаты
Для проверки практической применимости
предлагаемых алгоритмов были проведены
эксперименты на некоторых тестовых задачах.
4.1. Задача "Двойная спираль"
Это задача классификации двумерных векторов на
два класса. Из-за сложной формы разделяющих
кривых она трудна для многих типов нейронных сетей
[7].
Данные для этого примера показаны на рис.
3. Выборка из 384 точек, принадлежащих к двум
классам (поровну распределенных между ними),
разбивалась случайным образом на примерно равные
обучающую и тестовую части. При экспериментах с
ядерными системами было использовано ядро типа
радиальных базисных функций (radial basis function,
RBF) в виде
)
2
1
exp(),(
2
2
vuvuK −−=
σ
(10)
с 12.0=σ . Эксперимент был проведен также с некоторыми известными нейропарадигмами: каскадной feed-
forward, и каскадной ассоциативной памятью [8]. Результаты тестирования приведены в табл. 1.
Рис. 1. Схема алгоритма автоассоциативной памяти
Рис. 2. Схема алгоритма гетероассоциативной памяти
Рис. 3. Задача "двойная спираль"
-3 -2 -1 0 1 2 3
-3
-2
-1
0
1
2
3
x1
x2
ISSN 1028-9763. Математичні машини і системи, 2003, № 3, 4
84
Таблица 1. Качество распознавания в задаче "двойная спираль"
Сеть Число слоев Число нейронов в
сети
Время обучения,
c
Качество
распознавания при
независимом
тесте, %
Cascade Backpropagation 20 231 35 94,3
Cascade associative 55 1596 1,1 92,7
Kernel associative 1 192 0,46 94,2
4.2. Запоминание биполярных векторов в автоассоциативной памяти
В данном эксперименте изучалась сеть автоассоциативной памяти по алгоритму (4 – 8). В качестве данных
использовались биполярные векторы различной размерности (от 16 до 256) и в различном количестве (от 32
до 1024), но всегда nm > . Ядро выбиралось в виде (11) с различным σ . Сеть сохраняет способность к
конвергенции с аттракторным радиусом больше 1 вплоть до nm 20= .
Для изучения аттракторных свойств была выбрана сеть, запоминающая 512 образов размерностью
32. Множество (биполярных) векторов было сгенерировано таким образом, что расстояние по Хеммингу
между любой их парой было не менее 10. Использовалось ядро (*1) с 1=σ . При этом средний аттракторный
радиус составил 6,85, его среднеквадратическое отклонение 0,93. Среднее число итераций конвергенции при
этом составляло 2,3. Для 2=σ средний аттракторный радиус равнялся 4,33, его СКО 0,56. Система делала в
среднем 2,97 итераций конвергенции. Для 256 запоминаемых образов и 2=σ аттракторный радиус составил
в среднем 6,25, а число итераций возросло до 3,55.
0 2 4 6 8 10 12 14 16 18
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
0 5 10 15 20 25 30 35
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
Риc. 4. Распределение аттракторного радиуса (слева) и расстояния между векторами (справа) для ядерной АП
Распределение векторов по расстоянию Хемминга показано на рис. 4 (справа). Там же приведена и
гистограмма аттракторного радиуса (слева). Гистограмма АР строилась на основе экзамена всех запомненных
векторов. При этом входной вектор отличался от эталона на фиксированную величину шума.
5. Обсуждение экспериментальных результатов
Проведенная серия экспериментов показывает, что предложенный алгоритм успешно функционирует в
качестве как авто-, так и гетероассоциативной памяти. Пример с двойной спиралью показывает возможность
его работы в качестве классификатора: достигнутое качество распознавания сравнимо со средними
показателями классификаторов, решающих эту задачу.
ISSN 1028-9763. Математичні машини і системи, 2003, № 3, 4
85
Особенно интересна ядерная автоассоциативная память с процедурой конвергенции в процессе
экзамена. В процессе экспериментов были исследованы некоторые свойства таких сетей с ядром типа RBF.
При этом параметр σ ядра играет роль показателя степени взаимодействия между образами в памяти. При
небольших σ при экзамене определяющим является образ, ближайший к входному. В этом случае число
итераций конвергенции невелико, аттракторный радиус максимален для памяти с большим числом образов
)10/( >nm . Матрица S близка к единичной, и в целом такая система похожа на сеть Хемминга: так же, как
и сеть Хемминга, она осуществляет отбор среди эталонов по максимуму соответствия входному образу.
При 2...5,1=σ аттракторный радиус незначительно падает, число итераций растет, что говорит об
усложнении поведения ассоциативной памяти. Матрица S уже существенно отличается от единицы. При
меньшем заполнении памяти такая конфигурация характеризуется сохранением аттракторного радиуса при
дальнейшем увеличении числа итераций.
Поведение системы сильно зависит от характера ядра. Для ядер типа RBF )(),(
2
ρ
vu
RvuK
−
= ,
где p – некоторая характерная длина (для гауссова ядра ее роль играет σ ). Предельным случаем такого
ядра является дельта-функция )(),( vuvuK −= δ . Если использовать ядро в виде дельта-функции,
матрица S становится единичной, и система перестает реагировать на входы, которые сколько-нибудь
отличаются от эталонов. В этом случае вектор z из (6) будет равен нулю. В общем случае поведение сети
зависит от соотношения между параметром ядра ρ и средним расстоянием между запоминаемыми входными
векторами r . Если pr >> , при формировании вектора z доминирует ближайший сосед входа x , матрица
S все еще близка к единичной.
Наоборот, при pr << элементы матрицы S можно разложить в ряд, где jiij xxr −= (будем
считать ядро аналитическим):
).(1
42
2
+
−=
ρρ
ijij
ij
r
O
r
as (11)
При малых r старшими членами ряда (2) можно пренебречь. В таком случае при m>n матрица S
будет плохо обусловленной и качество ассоциативной памяти неудовлетворительно. Зависимость числа
обусловленности матрицы S от σ в случае гауссова ядра показана на рис. 5.
Если σ велико, в спектре матрицы S доминирует одно большое собственное значение. Это говорит
о том, что в пространстве 'E преобразованные векторы вытянуты преимущественно вдоль одного
направления. Это затрудняет работу обратного преобразования и в конечном счете делает невозможным
функционирование ассоциативной памяти с такими параметрами.
Наиболее интересные результаты достигаются, когда r и p одного порядка. В этом случае матрица
S имеет нетривиальный вид, процедура экзамена занимает несколько итераций, и ассоциативная память
демонстрирует хорошие аттракторные свойства.
ISSN 1028-9763. Математичні машини і системи, 2003, № 3, 4
86
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6
0
200
400
600
800
1000
1200
1400
σ
C
on
di
tio
n
N
um
be
r
Рис. 5. Число обусловленности матрицы S в зависимости от параметра σ
6. Заключение
В данной работе предложена модель ассоциативной памяти на основе ядерного подхода. Описаны несколько
алгоритмов гетеро- и автоассоциативной памяти, дающие возможность конвергенции в процессе экзамена.
В зависимости от выбора ядра такие системы ведут себя по-разному. Так, например, выбор
квадратичного ядра (в виде скалярного произведения) приводит к реализации сети Хопфилда с проекционным
алгоритмом обучения. Такая схема может оказаться предпочтительнее традиционной, так как требует не
более )( mnn + чисел для запоминания m n-мерных векторов по сравнению с 2/2n для хранения
проекционной матрицы.
Тем не менее предлагаемый метод требует хранения симметрической матрицы размером m×m (m –
число запоминаемых образов). Следует также отметить, что эффективность работы всех алгоритмов,
основанных на применении ядерного подхода, сильно зависит от выбора функции ядра. Подбор ядра
проводится по эвристическим соображениям для каждой конкретной задачи.
В случае неквадратичного ядра появляется возможность запомнить количество векторов,
существенно превышающее их размерность. Однако, если ядро становится слишком "заостренным" (сильная
нелинейность), свойства такой системы приближаются к сети Хемминга.
Наиболее интересны промежуточные случаи. Здесь число итераций конвергенции может быть
довольно большим, сильно проявляется взаимодействие между образами. Можно предположить, что такая
система способна восстанавливать образ даже при утрате одного из эталонов. Вопросы устойчивости ядерной
ассоциативной памяти к такого рода искажениям, а также свойства ее аттракторных областей, составляют
предмет дальнейшего исследования.
СПИСОК ЛИТЕРАТУРЫ
1. Vapnik V. Statistical Learning Theory. – John Wiley & Sons, NY, 1998. – Р. 736.
2. Smale S. On the Mathematical Foundations of Learning // Bull. Am. Math. Soc. – 2001. – Vol. 39, N 1. – Р. 1 – 49.
3. Резник А.М., Городничий Д.О., Сычев А.С. Регулирование обратной связи в нейронных сетях с проекционным алгоритмом
обучения // Кибернетика и системный анализ. – 1996. – № 6. – С. 153 – 163.
4. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание: Пер. с англ. – М.: Наука, 1977. – 237 с.
5. Пайпс Л. А. Матрицы в технике: Пер. с англ. // Современная математика для инженеров / Под ред. Э.Ф. Беккенбаха. – М.:
Изд. ин. лит, 1959.
6. Reznik A.M. and Dekhtyarenko O.K., Modular Neural Associative Memory Capable of Storage of Large Amounts of Data // Proc.
of the International Joint Conference on Neural Networks. – Portland, Oregon. – 2003. – July 20 – 24. – P. 3031 – 3035.
7. Reed R.D, Marks R.J. II Neural Smithing: supervised learning in feedforward artificial neural networks // MIT Press. – 1998.
8. Многофункциональный нейрокомпьютер Neuroland / Резник А.М., Калина Е.А., Сычев А.С., Садовая Е.Г, Дехтяренко А.К.,
Галинская А.А. // Математические машины и системы. – 2003. – № 1. – C. 36 – 45.
|
| id | nasplib_isofts_kiev_ua-123456789-735 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1028-9763 |
| language | Russian |
| last_indexed | 2025-12-07T16:03:50Z |
| publishDate | 2003 |
| publisher | Інститут проблем математичних машин і систем НАН України |
| record_format | dspace |
| spelling | Новицкий, В.Д. 2008-06-24T13:39:53Z 2008-06-24T13:39:53Z 2003 Ассоциативная память на основе ядерных сетей / Новицкий В.Д. // Математические машины и системы. – 2003. – № 3, 4. – С. 79 – 86. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/735 621.8:681.5 Предлагается новый подход к ассоциативной памяти с использованием ядерных методов. Автором разработаны алгоритмы авто- и гетероассоциативной памяти с использованием ядерных систем на базе псевдоинверсной ассоциативной памяти. Данные алгоритмы способны к конвергенции в процессе экзамена памяти. Ядерный подход позволяет преодолеть ограничения на емкость памяти, свойственные сетям типа Хопфилда. Емкость памяти практически не зависит от размерности данных. Предлагаемые алгоритмы исследованы теоретически, доказаны их аттракторные свойства. Также проведена экспериментальная проверка на задачах классификации и ассоциативного поиска. Табл.: 1. Ил.: 5. Библиогр.: 8 назв. Запропоновано новий підхід до асоціативної пам'яті з використанням ядерних методів. Автором розроблено алгоритми гетеро- і автоасоціативної пам'яті з використанням ядерних систем на базі псевдоінверсної пам'яті. Такі алгоритми здатні до конвергенції у процесі екзамену пам'яті. Ядерний підхід дозволяє подолати обмеження на ємність пам’яті, притаманні мережам типу Хопфілда. Ємність пам'яті практично не залежить від розмірності даних. Пропоновані алгоритми досліджено теоретично, доведено їх атракторні властивості. Також проведено експериментальну перевірку на задачах клаcифікації та асоціативного пошуку. Табл.: 1. Iл.: 5. Бiблiогр.: 8 назв. We propose a new approach to associative memories using kernel machine methodology. Basing on Hopfield-type pseudoinverse associative memories we developed a series of kernel-based hetero- and auto-associative algorithms. There are convergence processes during examination procedures even for continuous data. Kernel approach enables to overcome capacity limitations inherent to Hopfield-type networks. Memory's capacity does not virtually depend on data dimension. We provide theoretical investigation for proposed methods and proved its attraction properties. Also we have experimentally tested them for tasks of classification and associative retrieval. Tabl.: 1. Figs.: 5. Refs.: 8 titles. ru Інститут проблем математичних машин і систем НАН України Обчислювальні системи Ассоциативная память на основе ядерных сетей Асоціативна пам’ять на основі ядерних мереж Associative memory using kernel machines Article published earlier |
| spellingShingle | Ассоциативная память на основе ядерных сетей Новицкий, В.Д. Обчислювальні системи |
| title | Ассоциативная память на основе ядерных сетей |
| title_alt | Асоціативна пам’ять на основі ядерних мереж Associative memory using kernel machines |
| title_full | Ассоциативная память на основе ядерных сетей |
| title_fullStr | Ассоциативная память на основе ядерных сетей |
| title_full_unstemmed | Ассоциативная память на основе ядерных сетей |
| title_short | Ассоциативная память на основе ядерных сетей |
| title_sort | ассоциативная память на основе ядерных сетей |
| topic | Обчислювальні системи |
| topic_facet | Обчислювальні системи |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/735 |
| work_keys_str_mv | AT novickiivd associativnaâpamâtʹnaosnoveâdernyhsetei AT novickiivd asocíativnapamâtʹnaosnovíâdernihmerež AT novickiivd associativememoryusingkernelmachines |