Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями
Рассматриваются характеристики грубого кодирования с помощью случайных 
 гиперпрямоугольных рецептивных полей для двухпороговой схемы случайных подпространств RSC и 
 однопороговой схемы Prager. Получены распределения эффективной размерности рецептивных полей, 
 выражения для...
Saved in:
| Published in: | Математичні машини і системи |
|---|---|
| Date: | 2005 |
| Main Authors: | , , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут проблем математичних машин і систем НАН України
2005
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/58463 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями / С.В. Слипченко, И.С. Мисуно, Д.А. Рачковский // Мат. машини і системи. — 2005. — № 4. — С. 15-29. — Бібліогр.: 19 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860189812352352256 |
|---|---|
| author | Слипченко, С.В. Мисуно, И.С. Рачковский, Д.А. |
| author_facet | Слипченко, С.В. Мисуно, И.С. Рачковский, Д.А. |
| citation_txt | Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями / С.В. Слипченко, И.С. Мисуно, Д.А. Рачковский // Мат. машини і системи. — 2005. — № 4. — С. 15-29. — Бібліогр.: 19 назв. — рос. |
| collection | DSpace DC |
| container_title | Математичні машини і системи |
| description | Рассматриваются характеристики грубого кодирования с помощью случайных 
гиперпрямоугольных рецептивных полей для двухпороговой схемы случайных подпространств RSC и 
однопороговой схемы Prager. Получены распределения эффективной размерности рецептивных полей, 
выражения для плотности кода в разных точках входного пространства, характеристики перекрытия 
кодов, и др. Результаты сравнительного анализа подтверждены экспериментально.
Розглянуто характеристики грубого кодування за допомогою випадково розподілених 
гіперпрямокутних рецептивних полів для двохпорогової схеми випадкових підпросторів RSC та 
однопорогової схеми Prager. Отримано розподіли ймовірностей розмірності рецептивних полів, вирази 
щільності розподілу у різних точках вхідного простору, характеристики перекриття кодів та ін. 
Результати порівняльного аналізу підтверджені експериментально.
Properties of coarse coding with random hyperrectangle receptive fields are considered for two schemes: 
random subspace coding RSC and Prager. Following codes characteristics are provided: effective receptive fields 
dimensionality, code density distribution in the input space, code overlap, and others. The results of theoretical 
analysis are confirmed by experiments.
|
| first_indexed | 2025-12-07T18:05:22Z |
| format | Article |
| fulltext |
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 15
УДК 004.032.26 + 004.22
С.В. СЛИПЧЕНКО, И.С. МИСУНО, Д.А. РАЧКОВСКИЙ
СВОЙСТВА КОДИРОВАНИЯ ЧИСЛОВЫХ ВЕЛИЧИН СЛУЧАЙНЫМИ
ГИПЕРПРЯМОУГОЛЬНЫМИ РЕЦЕПТИВНЫМИ ПОЛЯМИ
Abstract: Properties of coarse coding with random hyperrectangle receptive fields are considered for two schemes:
random subspace coding RSC and Prager. Following codes characteristics are provided: effective receptive fields
dimensionality, code density distribution in the input space, code overlap, and others. The results of theoretical
analysis are confirmed by experiments.
Key words: neural networks, coarse coding, distributed encoding, receptive fields, hyperrectangle, CMAC, RSC.
Анотація: Розглянуто характеристики грубого кодування за допомогою випадково розподілених
гіперпрямокутних рецептивних полів для двохпорогової схеми випадкових підпросторів RSC та
однопорогової схеми Prager. Отримано розподіли ймовірностей розмірності рецептивних полів, вирази
щільності розподілу у різних точках вхідного простору, характеристики перекриття кодів та ін.
Результати порівняльного аналізу підтверджені експериментально.
Ключові слова: нейронні мережі, грубе кодування, розподілені представлення, рецептивні поля,
гіперпрямокутник, CMAC, RSC.
Аннотация: Рассматриваются характеристики грубого кодирования с помощью случайных
гиперпрямоугольных рецептивных полей для двухпороговой схемы случайных подпространств RSC и
однопороговой схемы Prager. Получены распределения эффективной размерности рецептивных полей,
выражения для плотности кода в разных точках входного пространства, характеристики перекрытия
кодов, и др. Результаты сравнительного анализа подтверждены экспериментально.
Ключевые слова: нейронные сети, грубое кодирование, распределенные представления, рецептивные
поля, гиперпрямоугольник, CMAC, RSC.
1. Введение
Кодирование состояний или величин указанием их принадлежности некоторым интервалам
(рецептивным полям признаков) называют грубым или популяционным [1]. Схемы кодирования с
рецептивными полями широко известны – это кодирование в первом слое персептрона
Розенблатта, радиальные базисные функции, СМАС и многие другие схемы [1–3]. Причины
интереса к таким моделям кодирования состоят в том, что получаемые коды успешно применялись
в задачах классификации, аппроксимации, поиска, оценки плотности вероятности и др. ([3–11] и
содержащиеся там ссылки), а также их нейробиологическая релевантность [1].
Будем рассматривать грубое бинарное кодирование векторов с действительными
элементами ]1,0[∈iD . Такие векторы D удобно представлять как точки A -мерного входного
пространства первичных признаков. Результатом кодирования является N -мерный бинарный
кодвектор вторичных признаков. Каждый его бит представляет выход "нейрона", который
устанавливается в единичное состояние при попадании входного вектора в его рецептивное поле.
Некоторые из рецептивных полей могут пересекаться, и D одновременно активирует множество
полей. Его малые изменения приводят к выходу из зоны действия некоторых рецептивных полей и
попаданию в другие, что изменяет соответствующий кодвектор. Однако близкие входные векторы
активируют много одинаковых полей, поэтому их кодвекторы имеют много совпадающих единиц.
Кодирующие схемы с рецептивными полями, ограниченными (гипер)плоскостями,
параллельными осям координат, вычислительно эффективны, так как реализуются на основе
простых операций сравнения. Кроме того, такая "метрика гиперпрямоугольников" хорошо подходит
для работы в пространствах большой размерности. К таким схемам относятся CMAC [2, 3], схема
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 16
Prager [4–7], разрабатываемые нами схемы кодирования со случайными порогами и случайными
подпространствами (RTC и RSC, Random Subspace Coding) [12–15] и их модификации [16, 17].
В схеме RSC рецептивное поле нейрона состоит из совокупности S одномерных
рецептивных полей в разных измерениях. Одномерное рецептивное поле каждого измерения
определяется его границами – верхним и нижним порогом. Значение верхнего порога определяется
прибавлением к координате центра поля величины его полустороны, а нижнего – вычитанием.
Центр каждого одномерного поля выбирается случайно, в пределах интервала изменения входных
координат – входного интервала ],0[ R (обычно 1=R ). Длина каждой полустороны g также
выбирается случайно в интервале ],0[ G . Для каждого из N S -мерных полей номера S входных
измерений из A также выбираются случайно и без повторения. В каждом из этих S измерений
выбираются два порога, определяющие длину стороны гиперпрямоугольника в этом измерении:
jijiji gxh ,,, += ; jijiji gxl ,,, −= ; (1)
где h – координата верхнего порога; l – нижнего; i – номер нейрона; j – номера
проверяемых нейроном измерений, общее число которых для одного нейрона не превышает S .
Процедура генерации порогов повторяется для всех нейронов-признаков, сгенерированные
пороги запоминаются. При кодировании точки D бит, соответствующий i -му нейрону,
устанавливается в 1, если выполняется jijji hDl ,, ≤≤ для всех S проверяемых измерений i -го
нейрона и координат jD . Аналогично устанавливаются биты, соответствующие всем N нейронам,
в результате чего формируется бинарный кодвектор X вторичных признаков, содержащий M
единиц – результат кодирования D . Матожидание NM / называют плотностью кода p .
Prager и др. [4–7] независимо разработали схему кодирования, которую можно
рассматривать как однопороговый вариант RSC. Однако это различие приводит к существенно
разным свойствам производимых кодов. Задача данной работы состоит в получении и
исследовании характеристик и свойств кодов схемы стохастического грубого кодирования Prager и
их сравнительном анализе со схемой RSC. Рассматриваются распределения размерностей
рецептивных полей, характеристики плотности и перекрытия кодов в разных точках пространства и
др. Все результаты подтверждены экспериментами на кодах большой размерности.
2. Реальная размерность рецептивных полей
При 5,0>G одномерные рецептивные поля в некоторых из S измерений могут быть
сгенерированы так, что накроют входной интервал ],0[ R , то есть jijjij hDlD ,,: ≤≤∀ .
Соответственно, эти sS − измерений не будут влиять на активацию S -мерного рецептивного
поля. Активация будет определяться s одномерными полями, пересекающими, но не
накрывающими входной интервал. Найдем закон распределения реальной размерности полей.
Рассмотрим схему кодирования Prager [7], где входной интервал ],0[ R , а центры
рецептивных полей равномерно распределены на интервале ],0[ GRG +− с плотностью
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 17
)2/(1 GR + (рис. 1). Полурасстояние между порогами для всех полей фиксировано:
AjNiRGg ji ,1;,1;5,0, ==>= . При этом в ],0[ R оказывается либо один порог (одномерное
рецептивное поле пересекает входной интервал), либо ни одного (поле накрывает его).
G G
R 0 R+G 0-G
D
D R-D D R-D
G
R-G G
Рис. 1. Схема кодирования Prager
Определим вероятность inp пересечения входного интервала ],0[ R (одним порогом, так
как RG 5,0> ). Так как поля с центрами в ],[ GGR − накрывают входной интервал,
)2/(2 RGRpin += . (2)
Длина полустороны рецептивных полей, обеспечивающая заданную inp :
RpRG in 5,0/ −= . (3)
Такая схема генерации соответствует последовательности S независимых испытаний по
схеме Бернулли. Поэтому доля рецептивных полей, в которых s одномерных полей из S
пересекают входной интервал, имеет биномиальное распределение
sS
in
s
in
s
Sininin ppCpSsGpSsP −−≡= )1(),;())(,;( β . (4)
Графики )(sPin для разных значений параметров AS < и inp приведены на рис. 2а. Так
как нет полей с большой "реальной размерностью" s , нет смысла хранить и проверять все A
порогов. В [6, 7] было предложено генерировать рецептивные поля по следующему алгоритму. По
распределению Пуассона );( Aps inπ выбирается доля полей с реальной размерностью s . Для
каждого поля случайно выбираются номера s измерений из множества },...,2,1{ A . В каждом из
выбранных полей случайно выбирается координата порога в ],0[ R и с какой стороны от него будет
находиться рецептивное поле. Далее будет использоваться биномиальное распределение
реальной размерности полей.
В схеме RSC одномерные поля являются двухпороговыми, с центрами ]1,0[, ∈jix и длиной
полусторон ],0[, Gg ji ∈ , Ni ,1= , Aj ,1= . Поэтому в S -мерных рецептивных полях нейронов
возможны комбинации различных типов одномерных рецептивных полей:
021 sssS ++= , (5)
где 1s , 2s , – число полей, пересекающих входной интервал одним и двумя порогами
соответственно; 0s – число полей, накрывающих входной интервал. Реальная размерность
21 sss += имеет биномиальное распределение ))(,;( GpSs inβ .
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 18
Размеры ( g – полурасстояние между его порогами) и положение ( x – координата центра
поля) одномерных рецептивных полей в схеме RSC образуют двумерный случайный вектор
),( GX . Вероятность попадания двумерного случайного вектора в двумерную область *S ,
задающую ограничения на допустимые сочетания x и g и соответствующую определенным
событиям (пересечение входного интервала, накрывание точки и т.п.), вычисляется как [18]:
∫∫=∈
*
),()),(( *
S
XY dxdyyxpSYXp , (6)
где ),( yxpXY – плотность распределения двумерного случайного вектора (в нашем случае
– вектора независимых равномерно распределенных случайных величин).
Все одномерные рецептивные поля со всеми случайными сочетаниями ]1,0[∈X и
],0[ GG ∈ равномерно распределены в прямоугольной области ],0[]1,0[ G× . Поэтому
GgxpXG /1),( = . Конкретизация области *S , то есть конкретного вида пределов интегрирования,
производится для конкретной задачи. В частности, для значений inp при разных G :
1=inp при 5,00 ≤< G ;
GGdgdx
G
dgdx
G
dgdx
G
dgdx
G
p
G
GG x
G
xG G
in 25,02
1111 1
05,0 0
5.0
1
1
0
1
0 0
−−=+++= ∫ ∫∫ ∫∫ ∫∫ ∫
−
−−
при 15,0 << G ;
Gdgdx
G
dgdx
G
p
xx
in /75,0
11 1
5,0 0
5,0
0
1
0
=+= ∫ ∫∫ ∫
−
при 1>G .
(7)
Более подробно геометрия *S рассмотрена в [19]. Вид распределения реальной
размерности )(sPin для разных G приведен на рис. 2б.
a)
б)
Рис. 2. Распределение «реальной» размерности рецептивных полей )(sPin : а) схема Prager; б) схема RSC
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 19
Таким образом, в схемах RSC и Prager размерность рецептивных полей зависит от их
максимальной размерности S и не зависит от размерности входного пространства A .
Вероятность пересечения входного интервала одномерными полями уменьшается с ростом S и
G . Соответственно растет доля одномерных полей, накрывающих входной интервал. Поэтому
реальная размерность большинства полей ниже максимальной AS ≤ . Эта тенденция особенно
проявляется при увеличении G и S . При фиксированной плотности кода в центральной точке для
схемы Prager снижение реальной размерности больше, чем для RSC (см. табл. 1).
Таблица 1. Примеры максимальной и средней s для схем Prager и RSC
01,0=p 100=S 1,0=p 10010 −=S 5,0=р 1005 −=S
max mean max mean max mean
Prager 16 9 10 4 5 1
RSC 20 14 14 7 5 2
3. Активация рецептивных полей и плотность кода
Плотность кода p (доля NMp /= , активируемых входной точкой D S -мерных рецептивных
полей или вероятность активности нейрона) влияет на его обобщающую способность, определяет
затраты обычной памяти, емкость ассоциативной памяти, скорость операций при реализации и др.
Для кодирования RSC p зависит от координат D , а для кодирования Pragerа не зависит.
Определим вероятность actp того, что произвольное одномерное рецептивное поле
накроет точку с координатой D )0( RD ≤≤ . Это же можно трактовать как долю одномерных
полей, в которые попадет произвольная точка с координатой D ("точка D "). Центры полей, не
накрывающих точку D нижними порогами, лежат в интервале ],[ GRGD ++ . Центры полей, не
накрывающих точку D верхними порогами, лежат в интервале ]0,[ GGD −− .
GR
R
dx
GR
dx
GR
p
GD
G
GR
GD
act 22
1
2
1
1
0
+
=
+
+
+
=− ∫∫
−
−
+
+
;
GR
G
pact 2
2
+
= . (8)
Для схемы Prager и других однопороговых схем actp не зависят от координаты D .
Сопоставляя actp с )2/(2 RGRpin += (разд. 2), получаем следующие соотношения:
.5,01);1(2 inactactin pppp −=−= При 1=R 5,0>actp , т.к. RG 5,0> . (9)
Если все одномерные поля сгенерированы с одинаковым G (т.е. с одинаковой inp ,
приводящей к биномиальному распределению реальной размерности многомерных рецептивных
полей, см. разд. 2), то actp одинаковы для всех полей. Плотность кода при этом постоянна для
любой D и равна
S
actpp = . (10)
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 20
Параметры генерации полей для получения заданной p определяются как
.5,0)1/(5,05,0/)();1(2)( /1/1 RpRRpRpGppp S
in
S
in −−=−=−= (11)
Для схемы RSC поля с сочетаниями координат центров x и длины полусторон g ,
позволяющими накрыть D , образуют область, форма и размер которой зависят от координаты D
и ее соотношения с G . Рассмотрим различные комбинации D и G при 5,0≤D (случай 5,0>D
симметричен). Анализ соотношений x и g для полей, накрывающих D , позволяет определить
пределы двойного интеграла для вычисления actp (см. разд. 2 и [19]).
Gdgdx
G
dgdx
G
p
GD
D
G
Dx
D
GD
G
xD
act =+= ∫ ∫∫ ∫
+
−− −
11
при DG ≤<0 ;
GDDGdgdx
G
dgdx
G
p
GD
D
G
Dx
D G
xD
act /5,05,0
11 2
0
−+=+= ∫ ∫∫ ∫
+
−−
при DGD −≤< 1 ;
GDDdgdx
G
dgdx
G
p
GD
D
G
Dx
D G
xD
act /)5,0(1
11 2
0
−−+=+= ∫ ∫∫ ∫
+
−−
при DG −> 1 .
(12)
Таким образом, actp зависит от D . Для фиксированного D и точек на главной диагонали
)(Dpact равны для всех одномерных полей многомерного поля, поэтому
S
act DpDp ))(()( = . (13)
Выражения для значения плотности кода в произвольных точках пространства приведены в
[19]. Заметим также, что )(Dpact является суммой вероятностей следующих несовместных
событий: inp−1 – вероятность того, что поле накрывает входной интервал (такие поля всегда
активны), и )(& Dp actin – вероятность того, что поле пересекает входной интервал и накрывает D :
)(1)( & DppDp actininact +−= . (14)
Графики зависимости G и inp от S и p приведены в [19]. Для получения кодов с
заданной p для D на главной диагонали вычисляется S
act DpDp /1)()( = и соответствующее G .
actpG = при Dpact < ;
2/122 ))(()( DpDDpG actact +−+−= при )1/()5,0( 2 DDpact −−< ;
)1/()5,0( 2
actpDDG −+−= при )1/()5,0( 2 DDpact −−> .
(15)
Графики отношения плотности кода в D к максимальной плотности кода в центральной
точке )5,0(/)( pDp A для точек главной диагонали при разных S приведены на рис. 3.
Таким образом, для однопороговых схем плотность кода p постоянна во всех точках
входного пространства и ее значением можно управлять либо выбором inp для независимой
генерации полей, либо подбором вида распределения inP . Однако возможности управления
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 21
плотностью для однопороговых схем являются ограниченными, т.к. 5,0≥actp и соответственно
Sp 5,0≥ . Поэтому для маломерных рецептивных полей низкая плотность кода недостижима.
Для двухпороговых схем величину p можно сделать произвольно низкой путем выбора G ,
однако необходимо учитывать, что в углах входного пространства она меньше, чем в центре. Для
5,0>G плотность кода максимальна в центральной точке, а для 5,0<G постоянна в пределах A-
мерной области AGG ]1,[ − , т.к. 5,00 ≤≤< DG . За её пределами она нелинейно уменьшается.
Для некоторых задач сильная неравномерность плотности кода может быть нежелательной и
требуются некоторые меры для обеспечения ее постоянства или уменьшения неравномерности.
Перемасштабированием значений входного интервала ]1,0[ при 5,0<G можно обеспечить
постоянную плотность кода, а при 5,0>G – уменьшить ее неравномерность. Изучение того, как
изменятся характеристики рецептивных полей и кодов при перемасштабировании и других
вариациях кодирования, требует отдельного исследования (см. также разд. «Выводы»).
Рис. 3. Относительная плотность кода )5,0(/)( pDp A
для схемы RSC
4. Размерность рецептивных полей активных нейронов
Обозначим распределение реальной размерности полей активных нейронов (доля s измерений
рецептивных полей активных нейронов, в которых один или оба порога принадлежат входному
интервалу) как )(| sP actin . Оно значительно отличается от аналогичного распределения для всех
нейронов )(sPin (разд. 2). Пусть ),(| DGp inact – вероятность того, что точка D попала в
одномерное рецептивное поле при условии, что поле пересекает входной интервал (рецептивные
поля сгенерированы с параметром G ). Для схем генерации порогов, обеспечивающих равные
значения )(| Dp inact для всех измерений, вероятность активации произвольного s-мерного
рецептивного поля точкой D на главной диагонали равна
s
inactp | . Закон распределения )(| sP actin
случайной величины s для нейронов, активированных D на главной диагонали
∑ =
=
Si
i
inactin
s
inactinactin piPpsPsP
,0 ||| )(/)()( , (16)
где ppiP
Si
i
inactin =∑ = ,0 |)( – вероятность активности нейрона (см. разд. 3).
Для биномиального распределения )(sPin можно показать, что
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 22
),;()( || actinactin pSssP β= . (17)
Если в однопороговой схеме Prager порог одномерного рецептивного поля принадлежит
входному интервалу, то вероятность того, что поле накроет точку D , равна
LactLUactUinact ppppp ||| += , (18)
где 5,0== UL pp – вероятности того, что соответственно нижний или верхний порог
принадлежит входному интервалу; Lactp | и Uactp | – вероятности того, что поле накроет точку D
при условии, что его порог соответственно нижний или верхний.
.1/;/
1
|
0
| DRdxpDRdxp
D
Uact
D
Lact −==== ∫∫ (19)
Следовательно, inactp | не зависит от положения точки D :
;5,0)1(5,05,0| =−+= DDp inact
./)1()2/(/5,0/|| actactininactinactinactinactin pppppppppp −=−=== (20)
Распределения )(| sp actin реальной размерности рецептивных полей для активных
нейронов при биномиальном )(sPin приведены на рис. 4а. Для однопороговых схем с
произвольным )(sPin для определения )(| sP actin следует использовать формулу (16).
а)
б)
в)
Рис. 4. Распределение )(| sP actin «реальной» размерности полей, активируемых точкой D :
а ) схема Prager 5,0=D ; б ) схема RSC 5,0=D ; в ) схема RSC 1=D
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 23
Для определения actactinactin ppp /&| = в схеме RSC достаточно найти ),(& DGp actin , так как
),( DGpact известна (разд. 3). Выражения для actinp & , полученные вычислением интегралов,
приведены в [19]. Также они могут быть получены из inp и actp по формуле (14):
)(/)1(1/)( &| DppppDp actinactactinactin −−== . (21)
Распределение )(| sP actin реальной размерности рецептивных полей для активных нейронов
при положении точки D на диагонали приведено на рис. 4 б, в. Видно, что максимальная реальная
размерность активированных рецептивных полей еще меньше, чем максимальная реальная
размерность всех рецептивных полей, которая, в свою очередь, меньше S и A . Это также следует
из inactin pp ≤| , так как actinactinactactactinactin pppppppp /)1(1/)1(/&| −−=−+== , поэтому
actinin ppp /)1()1( −≤− и ininactinactin ppppp =−−≤−−= )1(1/)1(1| . (22)
Таким образом, признаки меньшей размерности превалируют в коде. Это особенно
проявляется при увеличении p и S и удалении от центра интервала (см. табл. 2).
Таблица 2. Примеры максимальной и средней s для схем Prager и RSC
01,0=p 100=S 1,0=p 10010 −=S 5,0=р 1005 −=S
max mean max mean max mean
Prager 10 4 7 2 4 0
RSC: 5,0=D 16 9 10 4 5 1
RSC: 1=D 10 4-5 7 2 4 0
5. Зависимость перекрытия кодов от расстояния между кодируемыми точками
Одной из важнейших характеристик кодирования является перекрытие кодов (зависимость
величины перекрытия кодов от координат точек 1D и 2D ). Эта характеристика играет
существенную роль при решении задач в разных предметных областях. Будем использовать
следующую меру относительного перекрытия кодов X и Y :
XYXYXV /&),( = , (23)
где X – число единиц в X ; & – побитовая конъюнкция.
Обозначим точки главной диагонали с разными координатами как 1D и 2D . Если
)( 1DXX = а )( 2DYY = , то при увеличении числа N бит в коде значение перекрытия стремится
к отношению вероятностей:
)(/),(),( 121 DpDDpYXV = , (24)
где NYXDYDXpDDp /&))(&)((),( 2121 ≈≡ и NXDp /)( 1 ≈ .
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 24
Вероятности )( 1Dp и ),( 21 DDp параметризированы G . Для произвольных
распределений размерности полей )(iPin с равными ),( 21| DDp inact для всех измерений плотность
перекрытия кодов для точек на диагонали можно определить как
∑∑ ==
==
Si
i
inactinSi inact DDpiPDDiPDDp
,0 21|,0 21|21 )),()((),,(),( , (25)
где ),( 21| DDp inact – вероятность того, что одномерное рецептивное поле накрывает точки
1D и 2D при условии, что поле пересекает входной интервал.
Вероятность ),( 21| DDp inact может быть вычислена как
ininactinact pDDpDDp /),(),( 21&21| = . (26)
Если 1D и 2D не лежат на диагонали, вероятность накрыть А-мерный отрезок ],[ 21 DD
произвольным S-мерным рецептивным полем определяется как средняя по всем полям [19]:
)(),(),( 2121 kpDDpDDp
Kk k∑ ∈
= , (27)
где Kk ∈ индексирует все S
AC конфигураций рецептивных полей;
∏ =
=
Si ikikactk DDpDDp
,1 )(,2)(,121 ),(),( – вероятность накрыть ],[ 21 DD полем с k-й конфигурацией
полей (активировать его обеими этими точками); ),( )(,2)(,1 ikikact DDp – вероятность накрыть
одномерным рецептивным полем интервал ],[ )(,2)(,1 ikik DD ; )(ik – номер i-го измерения поля с k-й
конфигурацией, в которой у него имеется одномерное рецептивное поле.
Для точек 1D и 2D , лежащих на главной диагонали, для независимо сгенерированных
полей с одинаковой inp и одинаковой ),( 21| DDp inact для всех измерений справедливо
,)),((),(
);,(),(
2121
21)(,2)(,1
S
act
actikikact
DDpDDp
DDpDDp
=
=
(28)
где ),( 21 DDpact – вероятность одномерного рецептивного поля накрыть точки 1D и 2D , то
есть активироваться обеими этими точками.
Для схемы Prager определим вероятность ),(1 21 DDpact− того, что интервал ),( 21 DD не
будет накрыт одномерным рецептивным полем. Центры полей, не накрывающих интервал
),( 21 DD )0( 21 RDD ≤≤≤ нижними порогами, лежат в интервале ],[ 1 GRGD ++ , а правыми – в
интервале ],0[ 2 GDG −− .
.),2/()2()(
);2/()(
2
1
2
1
),(1
12
0
21
2
1
DDDGRDGDp
GRDRdx
GR
dx
GR
DDp
act
GD
G
GR
GD
act
−=∆+∆−=∆
+∆+=
+
+
+
=− ∫∫
−
−
+
+ (29)
На рис. 5 а, б показаны графики относительного перекрытия кодов ),( *DDV A (28) для
точек главной диагонали D , а на рис. 6 а – для произвольных точек двумерного пространства.
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 25
а)
б)
в)
г)
Рис. 5. Перекрытие ),( *DDV A
кодов точек
*D и D на главной диагонали: а) схема Prager 5,0* =D ;
б ) схема Prager 1* =D ; в)схема RSC 5,0* =D ; г) схема RSC 1* =D
Для схемы RSC вычисление вероятности ),( 21 DDpact через ),( 21& DDp inact для
определения ),( 21 DDp по формулам (25), (26) рассмотрено в [19]. Значение вероятности
),( 21 DDpact также можно определить непосредственным вычислением интегралов:
0),( 21 =DDpact при 2/)( 12 DDG −< ;
=+= ∫ ∫∫ ∫
+
+ −
+
− −
GD
DD
G
Dx
DD
GD
G
xD
act dgdx
G
dgdx
G
DDp
1
21 1
21
2 2 2/)(
2/)(
21
11
),(
GDDG /)2(25,0 2
21 −+= при 11 DG −< и 2DG < ;
=+= ∫ ∫∫ ∫
+
+ −
+
−
GD
DD
G
Dx
DD G
xD
act dgdx
G
dgdx
G
DDp
1
21 1
21
2 2/)(
2/)(
0
21
11
),(
GGGDDDDD /)242(25,0 2
1
2
221
2
1 ++−−= при 11 DG −< и 2DG > ;
(30)
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 26
∫ ∫∫ ∫
+ −
+
− −
=+=
1
2/)(
2/)(
21
21 1
21
2 2
11
),(
DD
G
Dx
DD
GD
G
xD
act dgdx
G
dgdx
G
DDp
GGDGGDDDDD /)442242(25,0 1
2
221
2
1
2
2 ++−+−−−= при 11 DG −> , 2DG < ;
=+= ∫ ∫ ∫∫
+
+ −−
2/)(
0
1
2/)(
21
21
21 12
11
),(
DD
DD
G
Dx
G
xD
act dgdx
G
dgdx
G
DDp
GDDDDGD /)2244(25,0 2
221
2
11 −−−−+= при 11 DG −> и 2DG > .
Из этих формул, полагая DDD == 21 , можно получить выражения для )(Dpact .
На рис. 5 в, г показаны графики относительного перекрытия кодов ),( *DDV A для точек
главной диагонали D , а на рис. 6 б – для произвольных точек двумерного пространства.
Таким образом, для схем Prager и RSC, при удалении точек друг от друга по прямой,
перекрытие соответствующих кодов – нелинейная монотонно убывающая функция.
Для схемы Pragerа и одномерного поля перекрытие кодов убывает линейно с D∆ , при этом
существует ненулевое перекрытие для любых точек входного интервала 12)1( −==∆ actact pDp .
Для многомерных полей реальная величина перекрытия быстро приближается к нулю.
Характеристика перекрытия в пределах входного интервала симметрична и одинакова для всех D .
В схеме RSC при GD 2>∆ и 5,0<G из-за локальности полей коды не имеют перекрытия.
При GD 2<∆ перекрытие является нелинейной убывающей функцией от D∆ . Характеристика
перекрытия несимметрична и неодинакова при изменении D и фиксированных других параметрах.
Характеристика перекрытия кодов при одинаковой плотности кода и S для схемы RSC
гораздо более крутая, чем для схемы Prager. С ростом плотности кода характеристика перекрытия
становится более пологой. Ненулевое перекрытие кодов во всем интервале может быть явным
критерием того, что код «слишком» плотен, так как имеются всегда активные поля, не несущие
информации об изменении положения кодируемой точки входного пространства. Правильный
выбор характеристики перекрытия кодов (в сочетании с плотностью кода и размерностью полей)
очень важен для задач классификации, аппроксимации и др., так как от него во многом зависит
качество решения (см. разд. «Выводы»).
7. Выводы
В данной работе исследованы характеристики кодов, которые дают схемы стохастического грубого
кодирования RSC и Prager. Характеристики схемы Prager получены впервые, а для схемы RSC,
подробно рассмотренной в [19], ряд характеристик удалось получить более простым способом.
Авторы обеих схем независимо пришли к идее использовать рецептивные поля, случайно
расположенные во входном пространстве и ограниченные гиперплоскостями, параллельными осям
координат, а также включать в каждое поле только малое, случайно выбранное и фиксированное
подмножество входных измерений S из A .
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 27
а)
б)
Рис. 6. График перекрытия ),( *DDV A
кода центральной точки )5.0,5.0(=D с кодами других точек
двумерного пространства: а) схема Prager; б) схема RSC
Пониженная размерность рецептивных полей AS < в сочетании с увеличением их размера и
случайным расположением позволяет уменьшить рост числа полей по сравнению с табличной
схемой и СМАС. Полученные в данной работе распределения реальной размерности полей
позволяют аналитически оценить и оптимизировать затраты памяти (объем памяти, необходимый
для хранения s полей, пересекающих интервал, вместо S ) и вычислительную сложность
кодирования (число проверок порогов).
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 28
Для маломерных рецептивных полей существуют потенциальные проблемы, связанные с
тем, что они не позволяют адекватно оценить зависимости между большим, чем размерность
рецептивного поля, числом входных переменных. Например, с помощью кода, полученного при
1=S , невозможно решить двумерную задачу исключающего ИЛИ и т.д. Теоретический анализ
позволяет оценивать и управлять сложностью зависимостей между признаками, отображаемых
кодом, и прогнозировать уровень сложности задач, которые можно решать с его помощью.
К счастью, реальная размерность практических задач обычно невелика. Даже если общее
число информативных признаков A велико, в разных областях пространства информативны
разные маломерные подпространства. Интересное развитие этих кодирующих схем состоит в
выборе полей на не полностью случайной основе. Самый очевидный отбор заключается в
устранении рецептивных полей, которые активны очень редко или очень часто. Более сложные
методы отбора кодирующих элементов использовались в [7].
Различия между схемами RSC и Prager обусловлены различным числом порогов в
одномерном поле. Как показано выше, однопороговые схемы непригодны для разреженного
кодирования при использовании рецептивных полей низкой размерности, так как не могут давать
коды с низкой плотностью (плотность кода не может быть меньше A5,0 ). Двухпороговая схема RSC
преодолевает этот недостаток, так как при заданном параметре S позволяет регулировать
плотность кода управлением средней длиной промежутка между порогами G , а, следовательно, и
средними объемами полей. Это позволяет регулировать плотность кода для малых размерностей
входного пространства, что может быть важным для решения реальных задач.
Различия между схемами RSC и Prager наиболее выражены для рецептивных полей низкой
размерности. Схема RSC из-за возможности наличия двух порогов имеет более локальный
характер, но теряет эту локальность при увеличении среднего размера рецептивных полей G ,
которое требуется для поддержания нужной плотности кода при увеличении размерности полей S .
Многие одномерные поля становятся в этом случае однопороговыми.
Различие между схемами проявляется также и в других свойствах кода. В однопороговой
схеме Pragerа и др. плотность результирующего кода однородна внутри всего входного
пространства. Для двупороговой схемы RSC плотность кода уменьшается в углах входного
пространства. Если это нежелательно, неоднородность можно уменьшить посредством
масштабирования входного пространства так, чтобы оно находилось в центральной части
пространства центров рецептивных полей.
В [17] предлагается модификация схемы RSC для решения проблемы неравномерной
плотности кода. Для этого предлагается располагать центры рецептивных полей не в ]1,0[ , а на
интервале ]1,0[ 22 GG +− . Длина полустороны рецептивного поля распределена при этом не на
интервале ],0[ G , а на ],[ 21 GG . Для GGG == 21 ,0 распределение длин сторон рецептивных
полей становится таким же, как для RSC. При 5,021 >≡= GGG схема Д.В. Жоры [17] становится
однопороговой. В гиперкубовой схеме кодирования В.В. Луковича [14] AS = и длина стороны G
фиксирована для всех измерений, однако центры полей расположены в интервале ]1,0[ .
ISSN 1028-9763. Математичні машини і системи, 2005, № 4 29
Подобно другим схемам грубого кодирования, схемы RSC и Prager кодируют близкие точки
входного пространства разреженными бинарными векторами, которые имеют большое
пересечение единиц. Функция перекрытия ведет себя по-разному для "полуограниченных" схем с
одним и "ограниченных" c двумя порогами: для двухпороговой схемы при одинаковых p и S она
более крутая. Вероятно, это влияет на способности к обучению и обобщению систем,
использующих такие коды, например, классификаторов. Это также относится и к разрешающей
способности кодов. Проведенный сравнительный анализ характеристик схем грубого кодирования
RSC и Prager позволит учитывать их особенности и целенаправленно соотносить их с
практическими особенностями решаемых задач.
Авторы выражают благодарность за помощь при написании статьи Л.М. Касаткиной,
A.C. Сычеву, Д.В. Жоре.
СПИСОК ЛИТЕРАТУРЫ
1. Arbib M. The Handbook of Brain Theory and Neural Networks. – Cambridge, MA: The MIT Press, 2003. – P. 1308.
2. Albus J.S. Data Storage in the Cerebellar Model Articulation Controller (CMAC) // Journal of Dynamic Systems,
Measurement and Control, Trans. ASME. – 1975. – Т. 33, № 3. – P. 228 – 233.
3. Miller T.W., Glanz F.H., Kraft L.G. CMAC: An Associative Neural Network Alternative to Backpropagation
// Proceedings of IEEE. – 1990. – Т. 78. – P. 1561 – 1567.
4. Prager R.W., Harrison T.D., Fallside F. Boltzman Machines for Speech Recognition // Computer Speech and
Language. – 1986. – N 1. – P. 3 – 27.
5. Prager R.W., Fallside F. The Modified Kanerva Model for Automatic Speech Recognition // Computer Speech and
Language. – 1989. – N 3. – P. 61 – 81.
6. Clarke T.J.W., Prager R.W., Fallside F. The Modified Kanerva Model: Theory and Results for Real-Time Word
Recognition // IEEE. – 1991. – N 138. – P. 25 – 31.
7. Prager R. Networks Based on Kanerva's Sparse Distributed Memory: Results Showing their Strengths and
Limitations, and a New Algorithm to Design the Location Matching Layer // IEEE International Conference on Neural
Networks. – San Francisco: 1993. – P. 1040 –1045.
8. Жора Д.В. Принципы построения программного агента по торговле ценными бумагами // Проблемы
программирования. – 2004. – № 2. – С. 534 – 545.
9. Zhora D.V. Financial Forecasting using Random Subspace Classifier // Int. Joint Conf. Neural Networks. – 2004. –
N 4. – P. 2735 – 2740.
10. Kussul N.N., Kussul M.E. Enhanced Algorithm of Nearest Neighbor Method and Its Application in Genetic
Programming // International Mendel Conference "MENDEL'98". – Brno: Czech Republic, 1998. – P. 52 – 53.
11. Куссуль М.Э., Куссуль Н.Н. Ускоренный алгоритм реализации метода ближайшего соседа // Вicник
Схiдноукраїнського національного университету. – 2000. – T. 30, № 8. – С. 72 – 80.
12. Kussul E., Baidyk T., Lukovich V., Rachkovskij D. Adaptive High Performance Classifier Based on Random
Threshold Neurons // Twelfth European Meeting on Cybernetics and Systems Research. – Austria, Vienna: World
Scientific Publishing Co. Pte. Ltd, Singapore, 1994. – P. 1687 – 1694.
13. Куссуль Э.М., Байдык Т.Н., Лукович В.В., Рачковский Д.А. Нейронные классификаторы с распределенным
кодированием входной информации // Нейрокомпьютер. – 1994. – № 3–4. – С. 13 – 24.
14. Лукович В.В., Рачковский Д.А. Исследование характеристик нейросетевого классификатора со случайными
порогами // Нейросетевые технологии и компьютеры. – 1994. – C. 27 – 36.
15. Kussul E.M., Rachkovskij D.A., Wunsch D. The Random Subspace coarse coding scheme for real-valued vectors
// International Joint Conference on Neural Networks. – Washington, DC: IEEE. – 1999. – P. 450 – 455.
16. Лукович В.В. Преобразование данных на входе нейросетевого классификатора со случайными порогами
// Нейросетевые системы обработки информации. – 1996. – C. 12 – 19.
17. Жора Д.В. Анализ функционирования классификатора со случайными порогами // Кибернетика и
системный анализ. – 2003. – № 3. – С. 72 – 91.
18. Вентцель Е.С. Теория вероятностей. – Москва: Наука, 1969. – 576 с.
19. Рачковский Д.А., Слипченко С.В., Куссуль Э.М., Байдык Т.Н. Свойства кодов числовых величин для схемы
случайных подпространств RSC // Кибернетика и системный анализ. – 2005.
|
| id | nasplib_isofts_kiev_ua-123456789-58463 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1028-9763 |
| language | Russian |
| last_indexed | 2025-12-07T18:05:22Z |
| publishDate | 2005 |
| publisher | Інститут проблем математичних машин і систем НАН України |
| record_format | dspace |
| spelling | Слипченко, С.В. Мисуно, И.С. Рачковский, Д.А. 2014-03-24T12:59:47Z 2014-03-24T12:59:47Z 2005 Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями / С.В. Слипченко, И.С. Мисуно, Д.А. Рачковский // Мат. машини і системи. — 2005. — № 4. — С. 15-29. — Бібліогр.: 19 назв. — рос. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/58463 004.032.26 + 004.22 Рассматриваются характеристики грубого кодирования с помощью случайных 
 гиперпрямоугольных рецептивных полей для двухпороговой схемы случайных подпространств RSC и 
 однопороговой схемы Prager. Получены распределения эффективной размерности рецептивных полей, 
 выражения для плотности кода в разных точках входного пространства, характеристики перекрытия 
 кодов, и др. Результаты сравнительного анализа подтверждены экспериментально. Розглянуто характеристики грубого кодування за допомогою випадково розподілених 
 гіперпрямокутних рецептивних полів для двохпорогової схеми випадкових підпросторів RSC та 
 однопорогової схеми Prager. Отримано розподіли ймовірностей розмірності рецептивних полів, вирази 
 щільності розподілу у різних точках вхідного простору, характеристики перекриття кодів та ін. 
 Результати порівняльного аналізу підтверджені експериментально. Properties of coarse coding with random hyperrectangle receptive fields are considered for two schemes: 
 random subspace coding RSC and Prager. Following codes characteristics are provided: effective receptive fields 
 dimensionality, code density distribution in the input space, code overlap, and others. The results of theoretical 
 analysis are confirmed by experiments. Авторы выражают благодарность за помощь при написании статьи Л.М. Касаткиной, 
 A.C. Сычеву, Д.В. Жоре. ru Інститут проблем математичних машин і систем НАН України Математичні машини і системи Обчислювальні системи Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями Властивості кодування числових величин випадковими гіперпрямокутними рецептивними полями Properties of coarse coding with random hyperrectangle receptive fields Article published earlier |
| spellingShingle | Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями Слипченко, С.В. Мисуно, И.С. Рачковский, Д.А. Обчислювальні системи |
| title | Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями |
| title_alt | Властивості кодування числових величин випадковими гіперпрямокутними рецептивними полями Properties of coarse coding with random hyperrectangle receptive fields |
| title_full | Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями |
| title_fullStr | Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями |
| title_full_unstemmed | Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями |
| title_short | Свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями |
| title_sort | свойства кодирования числовых величин случайными гиперпрямоугольными рецептивными полями |
| topic | Обчислювальні системи |
| topic_facet | Обчислювальні системи |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/58463 |
| work_keys_str_mv | AT slipčenkosv svoistvakodirovaniâčislovyhveličinslučainymigiperprâmougolʹnymireceptivnymipolâmi AT misunois svoistvakodirovaniâčislovyhveličinslučainymigiperprâmougolʹnymireceptivnymipolâmi AT račkovskiida svoistvakodirovaniâčislovyhveličinslučainymigiperprâmougolʹnymireceptivnymipolâmi AT slipčenkosv vlastivostíkoduvannâčislovihveličinvipadkovimigíperprâmokutnimireceptivnimipolâmi AT misunois vlastivostíkoduvannâčislovihveličinvipadkovimigíperprâmokutnimireceptivnimipolâmi AT račkovskiida vlastivostíkoduvannâčislovihveličinvipadkovimigíperprâmokutnimireceptivnimipolâmi AT slipčenkosv propertiesofcoarsecodingwithrandomhyperrectanglereceptivefields AT misunois propertiesofcoarsecodingwithrandomhyperrectanglereceptivefields AT račkovskiida propertiesofcoarsecodingwithrandomhyperrectanglereceptivefields |