Оценка сходства векторов по их рандомизированным бинарным проекциям
Исследована оценка угла, скалярного произведения и евклидова расстояния вещественных векторов по бинарным векторам с регулируемой разреженностью. Преобразование проведено проецированием с применением бинарной случайной матрицы с элементами{0,1}и выходного порогового преобразования. Дан сравнительный...
Gespeichert in:
| Datum: | 2015 |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Russian |
| Veröffentlicht: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2015
|
| Schriftenreihe: | Кибернетика и системный анализ |
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/124917 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Оценка сходства векторов по их рандомизированным бинарным проекциям / Д.А. Рачковский // Кибернетика и системный анализ. — 2015. — Т. 51, № 5. — С. 157-168. — Бібліогр.: 59 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-124917 |
|---|---|
| record_format |
dspace |
| spelling |
nasplib_isofts_kiev_ua-123456789-1249172025-02-23T18:17:10Z Оценка сходства векторов по их рандомизированным бинарным проекциям Оцінка схожості векторів за їхніми рандомізованими бінарними проекціями Estimation of vector similarity by their randomized binary projections Рачковский, Д.А. Новые средства кибернетики, информатики, вычислительной техники и системного анализа Исследована оценка угла, скалярного произведения и евклидова расстояния вещественных векторов по бинарным векторам с регулируемой разреженностью. Преобразование проведено проецированием с применением бинарной случайной матрицы с элементами{0,1}и выходного порогового преобразования. Дан сравнительный анализ ошибки оценки мер сходства входных векторов по ряду мер сходства выходных бинарных векторов на основе скалярного произведения Досліджено оцінку кута, скалярного добутку та евклідової відстані дійсних векторів за бінарними векторами з регульованою розрідженістю. Перетворення проведено шляхом проекції із застосуванням бінарної випадкової матриці з елементами {0, 1} та вихідного порогового перетворення. Наведено порівняльний аналіз помилки оцінки мір схожості вхідних векторів за рядом мір схожості вихідних бінарних векторів на основі скалярного добутку. We analyze the estimation of the angle, the inner product, and the Euclidean distance of real-valued vectors by binary vectors with controlled sparseness. Transformation is carried out by projection using a binary random matrix with elements {0, 1} and the output threshold transformation. We also provide a comparative analysis of the error obtained while estimating the similarity measures of input vectors by some similarity measures of output binary vectors based on their scalar product. 2015 Article Оценка сходства векторов по их рандомизированным бинарным проекциям / Д.А. Рачковский // Кибернетика и системный анализ. — 2015. — Т. 51, № 5. — С. 157-168. — Бібліогр.: 59 назв. — рос. 0023-1274 https://nasplib.isofts.kiev.ua/handle/123456789/124917 004.22 + 004.93’11 ru Кибернетика и системный анализ application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Новые средства кибернетики, информатики, вычислительной техники и системного анализа Новые средства кибернетики, информатики, вычислительной техники и системного анализа |
| spellingShingle |
Новые средства кибернетики, информатики, вычислительной техники и системного анализа Новые средства кибернетики, информатики, вычислительной техники и системного анализа Рачковский, Д.А. Оценка сходства векторов по их рандомизированным бинарным проекциям Кибернетика и системный анализ |
| description |
Исследована оценка угла, скалярного произведения и евклидова расстояния вещественных векторов по бинарным векторам с регулируемой разреженностью. Преобразование проведено проецированием с применением бинарной случайной матрицы с элементами{0,1}и выходного порогового преобразования. Дан сравнительный анализ ошибки оценки мер сходства входных векторов по ряду мер сходства выходных бинарных векторов на основе скалярного произведения |
| format |
Article |
| author |
Рачковский, Д.А. |
| author_facet |
Рачковский, Д.А. |
| author_sort |
Рачковский, Д.А. |
| title |
Оценка сходства векторов по их рандомизированным бинарным проекциям |
| title_short |
Оценка сходства векторов по их рандомизированным бинарным проекциям |
| title_full |
Оценка сходства векторов по их рандомизированным бинарным проекциям |
| title_fullStr |
Оценка сходства векторов по их рандомизированным бинарным проекциям |
| title_full_unstemmed |
Оценка сходства векторов по их рандомизированным бинарным проекциям |
| title_sort |
оценка сходства векторов по их рандомизированным бинарным проекциям |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2015 |
| topic_facet |
Новые средства кибернетики, информатики, вычислительной техники и системного анализа |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/124917 |
| citation_txt |
Оценка сходства векторов по их рандомизированным бинарным проекциям / Д.А. Рачковский // Кибернетика и системный анализ. — 2015. — Т. 51, № 5. — С. 157-168. — Бібліогр.: 59 назв. — рос. |
| series |
Кибернетика и системный анализ |
| work_keys_str_mv |
AT račkovskijda ocenkashodstvavektorovpoihrandomizirovannymbinarnymproekciâm AT račkovskijda ocínkashožostívektorívzaíhnímirandomízovanimibínarnimiproekcíâmi AT račkovskijda estimationofvectorsimilaritybytheirrandomizedbinaryprojections |
| first_indexed |
2025-11-24T06:18:58Z |
| last_indexed |
2025-11-24T06:18:58Z |
| _version_ |
1849651509005910016 |
| fulltext |
ÓÄÊ 004.22 + 004.93’11
Ä.À. ÐÀ×ÊÎÂÑÊÈÉ
ÎÖÅÍÊÀ ÑÕÎÄÑÒÂÀ ÂÅÊÒÎÐÎÂ ÏÎ ÈÕ ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÌ
ÁÈÍÀÐÍÛÌ ÏÐÎÅÊÖÈßÌ
Àííîòàöèÿ. Èññëåäîâàíà îöåíêà óãëà, ñêàëÿðíîãî ïðîèçâåäåíèÿ è åâêëèäîâà ðàññòîÿíèÿ
âåùåñòâåííûõ âåêòîðîâ ïî áèíàðíûì âåêòîðàì ñ ðåãóëèðóåìîé ðàçðåæåííîñòüþ. Ïðåîá-
ðàçîâàíèå ïðîâåäåíî ïðîåöèðîâàíèåì ñ ïðèìåíåíèåì áèíàðíîé ñëó÷àéíîé ìàòðèöû ñ ýëå-
ìåíòàìè { }0 1, è âûõîäíîãî ïîðîãîâîãî ïðåîáðàçîâàíèÿ. Äàí ñðàâíèòåëüíûé àíàëèç îøèá-
êè îöåíêè ìåð ñõîäñòâà âõîäíûõ âåêòîðîâ ïî ðÿäó ìåð ñõîäñòâà âûõîäíûõ áèíàðíûõ
âåêòîðîâ íà îñíîâå ñêàëÿðíîãî ïðîèçâåäåíèÿ
Êëþ÷åâûå ñëîâà: áèíàðíûå ñëó÷àéíûå ïðîåêöèè, ðàçðåæåííûå áèíàðíûå ïðåäñòàâëåíèÿ,
îöåíêà ñõîäñòâà âåêòîðîâ.
ÂÂÅÄÅÍÈÅ
Âåêòîðíîå ïðåäñòàâëåíèå äàííûõ ÿâëÿåòñÿ, ïîæàëóé, íàèáîëåå ðàñïðîñòðàíåí-
íûì â èíôîðìàöèîííûõ òåõíîëîãèÿõ. Ìíîãèå ìåòîäû ïîèñêà ïî ñõîäñòâó,
êëàññèôèêàöèè, ðåãðåññèè, êëàñòåðèçàöèè, à òàêæå ìåòîäû âîññòàíîâëåíèÿ âå-
ëè÷èí ïî ðåçóëüòàòàì èçìåðåíèé ïðåäíàçíà÷åíû äëÿ ðàáîòû èìåííî ñ âåêòîð-
íûìè äàííûìè.  òî æå âðåìÿ óâåëè÷èâàþòñÿ îáúåìû ñëîæíîñòðóêòóðèðîâàí-
íûõ äàííûõ, íàïðèìåð XML-ñòðóêòóð èëè îðèåíòèðîâàííûõ àöèêëè÷åñêèõ ãðà-
ôîâ áàç çíàíèé íà ÿçûêàõ KIF, CycL, âêëþ÷àÿ ïðåäñòàâëåíèÿ ýïèçîäîâ
â ìîäåëÿõ ðàññóæäåíèé ïî àíàëîãèè [1–11]. Îäíàêî ìåòîäû îïåðèðîâàíèÿ ñëîæ-
íîñòðóêòóðèðîâàííûìè äàííûìè âû÷èñëèòåëüíî ñëîæíû. Äëÿ ïîâûøåíèÿ ýôôåê-
òèâíîñòè îáðàáîòêè èõ ïðåîáðàçóþò â âåêòîðû, ïîçâîëÿþùèå îöåíèòü âàæíûå
â êîíòåêñòå ðåøàåìîé çàäà÷è õàðàêòåðèñòèêè (íàïðèìåð, ìåðû ñõîäñòâà) è íà
îñíîâå ýòèõ îöåíîê ðåøèòü èñõîäíóþ çàäà÷ó (ñì. [7, 12] è ññûëêè ê íèì).
Ñëîæíîñòü îáðàáîòêè âåêòîðíûõ äàííûõ ïðîïîðöèîíàëüíà ðàçìåðíîñòè è ÷èñ-
ëó âåêòîðîâ. Äëÿ ðàáîòû ñ áîëüøèìè ìàññèâàìè âåêòîðîâ áîëüøîé ðàçìåðíîñòè èñ-
ïîëüçóþò ðÿä ïîäõîäîâ. Íàèáîëåå î÷åâèäíûì ÿâëÿåòñÿ ïðèìåíåíèå ìåòîäà «ãðóáàÿ
ñèëà» — ìîùíîãî âû÷èñëèòåëüíîãî ðåñóðñà. Òàê, ýôôåêòèâíàÿ ðåàëèçàöèÿ âåêòîð-
íûõ îïåðàöèé ïîääåðæèâàåòñÿ âåêòîðíûìè (ñî)ïðîöåññîðàìè è, êðîìå òîãî, ýòè
îïåðàöèè åñòåñòâåííûì îáðàçîì ðàñïàðàëëåëèâàþòñÿ. Ýòî ïîçâîëÿåò èñïîëüçîâàòü
ïàðàëëåëüíûå âû÷èñëèòåëüíûå ñðåäñòâà — ìíîãîÿäåðíûå ïðîöåññîðû, ïàðàëëåëü-
íûå êîìïüþòåðû, à òàêæå âûñîêîïðîèçâîäèòåëüíûå âû÷èñëèòåëüíûå êëàñòåðû
è ñèñòåìû ðàñïðåäåëåííûõ âû÷èñëåíèé (ñì. [13–15] è ññûëêè ê íèì).
Äðóãîé ïîäõîä ê ïîâûøåíèþ ýôôåêòèâíîñòè îáðàáîòêè âåêòîðíûõ äàííûõ
áàçèðóåòñÿ íà òîì, ÷òî äëÿ ìíîãèõ ïðèìåíåíèé íå òðåáóåòñÿ òî÷íûõ ðåçóëüòàòîâ
îïåðàöèé íàä èñõîäíûìè âåêòîðàìè (íàïðèìåð, âû÷èñëåíèÿ ñêàëÿðíûõ ïðîèçâåäå-
íèé, ðàññòîÿíèé è ò.ï.), äîñòàòî÷íî ïðèáëèæåííîé, íî áûñòðîé îöåíêè. Òàê, â çà-
äà÷àõ ïîèñêà ïî ñõîäñòâó ÷àñòî âàæíåå áûñòðî îïðåäåëèòü ïðèáëèæåííûõ «áëè-
æàéøèõ ñîñåäåé», ÷åì äîëãî èñêàòü òî÷íûõ. Ðàçðàáîòàí ðÿä ìåòîäîâ ïðåîáðàçîâà-
íèÿ âåêòîðíûõ ìàññèâîâ, ïðåäíàçíà÷åííûõ äëÿ ðåàëèçàöèè ýòîãî ïîäõîäà.
Ìåòîäû ñîêðàùåíèÿ ðàçìåðíîñòè âåêòîðîâ [16, 17] àäàïòèðóþòñÿ ê îñîáåí-
íîñòÿì èõ áàçû, èñïîëüçóåìîé â êà÷åñòâå îáó÷àþùåé âûáîðêè. Ïðèìåíÿþòñÿ ìå-
òîäû îáó÷åíèÿ (àäàïòàöèè) áåç ó÷èòåëÿ è ñ ó÷èòåëåì.
Ìåòîäû îáó÷åíèÿ áåç ó÷èòåëÿ îáåñïå÷èâàþò âûÿâëåíèå â äàííûõ íàèáîëåå
èíôîðìàòèâíûõ (ñîãëàñíî çàäàííûì êðèòåðèÿì) íîâûõ êîîðäèíàò è îñóùåñòâëÿ-
þò ñîêðàùåíèå ðàçìåðíîñòè èñêëþ÷åíèåì íåêîòîðûõ èç íèõ. Ïðè ýòîì ìîãóò èñ-
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5 157
© Ä.À. Ðà÷êîâñêèé, 2015
êàæàòüñÿ ìåðû ñõîäñòâà èñõîäíûõ âåêòîðîâ. Íàïðèìåð, ìåòîä ãëàâíûõ êîìïî-
íåíò (PCA) âûÿâëÿåò îðòîãîíàëüíûå íàïðàâëåíèÿ â äàííûõ, ìèíèìèçèðóþùèå
èñêàæåíèå åâêëèäîâûõ ðàññòîÿíèé ìåæäó âåêòîðàìè. Ýòî ïðèâîäèò ê óìåíüøå-
íèþ îöåíêè ðàññòîÿíèé, ïðè÷åì îøèáêà óâåëè÷èâàåòñÿ ñ ðîñòîì ÷èñëà èñêëþ-
÷åííûõ èçìåðåíèé.
 ðÿäå ìåòîäîâ ñíèæåíèÿ ðàçìåðíîñòè ñ ó÷èòåëåì ñõîäñòâî èòîãîâûõ âåêòîðîâ
îòðàæàåò «ñåìàíòè÷åñêîå ñõîäñòâî» èñõîäíûõ äàííûõ [18]. Ïîëó÷åíèå ýòîé èíôîð-
ìàöèè ñîïðÿæåíî ñ áîëüøîé ðàáîòîé ïî îöåíêå ñõîäñòâà èñõîäíûõ îáúåêòîâ, êîòî-
ðàÿ îáû÷íî âûïîëíÿåòñÿ ýêñïåðòîì.
Îáùèì íåäîñòàòêîì ìíîãèõ ìåòîäîâ ñîêðàùåíèÿ ðàçìåðíîñòè ñ îáó÷åíèåì
ÿâëÿåòñÿ âû÷èñëèòåëüíàÿ ñëîæíîñòü ðåøåíèÿ èõ îïòèìèçàöèîííûõ çàäà÷, íàïðè-
ìåð, ðàçëîæåíèåì ïî ñèíãóëÿðíûì çíà÷åíèÿì èëè ïðîöåäóðàìè ãðàäèåíòíîãî
ñïóñêà (ñ âîçìîæíûìè ëîêàëüíûìè ìèíèìóìàìè). Êðîìå òîãî, ïðè ïðèìåíåíèè
ðÿäà ìåòîäîâ âîçíèêàþò òðóäíîñòè ïðåîáðàçîâàíèÿ íîâûõ äàííûõ, êîòîðûå íå èñ-
ïîëüçîâàëèñü â îáó÷åíèè. Ïîëó÷åíèå èõ ñîêðàùåííûõ ïðåäñòàâëåíèé ìîæåò ïî-
òðåáîâàòü ïîâòîðíîãî îáó÷åíèÿ èëè îöåíêè ñõîäñòâà ñî çíà÷èòåëüíîé ÷àñòüþ îáó-
÷àþùåé âûáîðêè.
Íåäîñòàòêè ìåòîäîâ ñîêðàùåíèÿ ðàçìåðíîñòè ñ ó÷èòåëåì îáóñëîâèëè ðàçâè-
òèå ïîäõîäà ê ïðåîáðàçîâàíèþ âåêòîðíûõ äàííûõ áåç àäàïòàöèè — òàê íàçûâàå-
ìîãî ñëó÷àéíîãî ïðîåöèðîâàíèÿ (random projection) [19–27]. Çäåñü äëÿ ïðåîáðà-
çîâàíèÿ âõîäíûõ âåêòîðîâ â âûõîäíûå ïðîâîäèòñÿ óìíîæåíèå íà ñëó÷àéíóþ
ìàòðèöó, ýëåìåíòû êîòîðîé — ñëó÷àéíî ñãåíåðèðîâàííûå è çàòåì ôèêñèðîâàí-
íûå ÷èñëà èç íåêîòîðîãî ðàñïðåäåëåíèÿ.  ðÿäå ðàáîò (íàïðèìåð, [19, 20, 26]) èñ-
ñëåäîâàíà òî÷íîñòü îöåíîê íåêîòîðûõ ìåð ñõîäñòâà–ðàçëè÷èÿ ïðè èñïîëüçîâà-
íèè ñëó÷àéíûõ ìàòðèö îïðåäåëåííîãî âèäà. Òàê, â [26] ïîêàçàíî, ÷òî ïðåîáðàçî-
âàíèå ïðîñòîé (ñ òî÷êè çðåíèÿ ãåíåðàöèè è ïðèìåíåíèÿ) áèíàðíîé ñëó÷àéíîé
ìàòðèöåé ñ ýëåìåíòàìè { }0 1, ïîçâîëÿåò ïî âûõîäíûì âåêòîðàì îöåíèòü åâêëèäî-
âî ðàññòîÿíèå, íîðìó è ñêàëÿðíîå ïðîèçâåäåíèå âõîäíûõ âåêòîðîâ.
Íåêîòîðûå ïîäõîäû è ìåòîäû òðåáóþò ñïåöèàëèçèðîâàííûõ àëãîðèòìîâ
õðàíåíèÿ è îáðàáîòêè âåêòîðíûõ äàííûõ â îïðåäåëåííîì ôîðìàòå (ïðåäñòàâëå-
íèè). Òàê, ðàçðåæåííûå [28, 29] (ñ ìàëîé äîëåé íåíóëåâûõ êîìïîíåíòîâ) áèíàð-
íûå âåêòîðû èñïîëüçóþòñÿ, íàïðèìåð, â àññîöèàòèâíî-ïðîåêòèâíûõ íåéðîííûõ
ñåòÿõ [30, 31], à òàêæå â ýôôåêòèâíîé áèíàðíîé âåðñèè [32–34] ðàñïðåäåëåííîé
àññîöèàòèâíîé ïàìÿòè [10, 11, 35–38].
Ôîðìèðîâàíèå áèíàðíûõ âûõîäíûõ âåêòîðîâ ñ ðåãóëèðóåìîé ðàçðåæåííîñ-
òüþ, ïî êîòîðûì ìîæíî îöåíèòü ñõîäñòâî (âåëè÷èíó óãëà) âõîäíûõ âåùåñòâåí-
íûõ âåêòîðîâ, ðàññìîòðåíî â [25] äëÿ òåðíàðíîé ñëó÷àéíîé ìàòðèöû ñ ýëåìåíòà-
ìè èç { }� �1 0 1, , , à â [27] — äëÿ áèíàðíîé ìàòðèöû. Â íàñòîÿùåé ñòàòüå èññëåäó-
þòñÿ îöåíêè óãëà, åâêëèäîâà ðàññòîÿíèÿ è ñêàëÿðíîãî ïðîèçâåäåíèÿ âõîäíûõ
âåêòîðîâ ïî ðÿäó õàðàêòåðèñòèê ñõîäñòâà áèíàðíûõ âûõîäíûõ âåêòîðîâ ïðè èñ-
ïîëüçîâàíèè äëÿ ïðåîáðàçîâàíèÿ ñëó÷àéíîé áèíàðíîé ìàòðèöû.
ÏÐÎÅÖÈÐÎÂÀÍÈÅ ÑËÓ×ÀÉÍÎÉ ÁÈÍÀÐÍÎÉ ÌÀÒÐÈÖÅÉ È ÎÖÅÍÊÀ
ÌÅÐ ÑÕÎÄÑÒÂÀ ÏÎ ÁÈÍÀÐÍÛÌ ÂÅÊÒÎÐÀÌ
Àíàëîãè÷íî [26, 27] ðàññìîòðèì ïðîåöèðîâàíèå âåêòîðîâ ñëó÷àéíîé áèíàðíîé ìàò-
ðèöåé R ñ ýëåìåíòàìè rij èç ìíîæåñòâà { }0 1, . Ñëó÷àéíûå âåëè÷èíû (ñ.â.), ðåàëèçà-
öèåé êîòîðûõ ÿâëÿþòñÿ ýëåìåíòû R (åäèíèöû è íóëè), íåçàâèñèìû è èìåþò îäèíà-
êîâîå ðàñïðåäåëåíèå (i.i.d.). Çíà÷åíèå 1 êàæäûé rij ïðèíèìàåò ñ âåðîÿòíîñòüþ q ,
à çíà÷åíèå 0 — ñ âåðîÿòíîñòüþ 1� q . Îáîçíà÷èì x y, âõîäíûå âåùåñòâåííûå âåê-
òîðû ðàçìåðíîñòè D, è u Rx� , v Ry� — ðåçóëüòàòû èõ ïðîåöèðîâàíèÿ (ïðîìå-
æóòî÷íûå âåêòîðû ðàçìåðíîñòè d ). Ñëåäîâàòåëüíî, ðàçìåðíîñòü R åñòü ( )d D� .
158 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5
Ïðè ïðîåöèðîâàíèè êàæäûé êîìïîíåíò u i di , , ,�1 � , âåêòîðà u ïåðâîíà-
÷àëüíî ôîðìèðóåòñÿ êàê ñêàëÿðíîå ïðîèçâåäåíèå ñòðîêè ri ìàòðèöû R íà x :
u r xi i ij j
j
D
� � � �
�
�r x,
1
. (1)
Êîìïîíåíòû ui ÿâëÿþòñÿ i.i.d. ñ.â. Ìàòåìàòè÷åñêîå îæèäàíèå (ì.î.) ui :
E u E r x q xi ij j
j
D
j
j
D
{ } �
�
��
�
�
��
�
� �
� �
1 1
, (2)
òàê êàê E r q q qij{ } � � � �1 0 1( ) . Äèñïåðñèÿ ui :
V u V r x V r x x V ri ij j
j
D
ij j
j
D
j ij{ } { } {�
�
��
�
�
��
� �
� �
� �
1 1
2 } � �
�
�
j
D
x q q
1
2
2 2| | | | ( ) , (3)
òàê êàê rij åñòü i.i.d., E r q q qij{ }2 2 21 0 1� � � �( ) è V r E r E r q qij ij ij( ) ( )� � � �{ } { }2 2 2.
Ñòàíäàðòèçàöèÿ ui îñóùåñòâëÿåòñÿ âû÷èòàíèåì ì.î. (2) q x j
j
D
�
�
1
(öåíòðèðîâà-
íèå) è äåëåíèåì íà ñðåäíåêâàäðàòè÷íîå îòêëîíåíèå | | | |x q q2
2� (êâàäðàòíûé
êîðåíü èç (3)). Ðàñïðåäåëåíèå ñòàíäàðòèçîâàííîé ñ.â. ui ñõîäèòñÿ ê ãàóññîâó
ñ íóëåâûì ñðåäíèì è åäèíè÷íîé äèñïåðñèåé. Ñêîðîñòü ñõîäèìîñòè ui èññëåäóåò-
ñÿ â [27] (îáçîð ïðîáëåìû ñõîäèìîñòè äëÿ îáùåãî ñëó÷àÿ ñì. â [39, 40]).
Ôîðìèðîâàíèå áèíàðíîãî âûõîäíîãî âåêòîðà îñóùåñòâëÿåòñÿ áèíàðèçóþ-
ùèì ïîðîãîâûì ïðåîáðàçîâàíèåì ïðîìåæóòî÷íîãî âåêòîðà u z� :
zi �1 ïðè u ti i� ; zi � 0 â ïðîòèâíîì ñëó÷àå, i d�1, ,� , (4)
ãäå ti — âåëè÷èíà ïîðîãà äëÿ i-ãî êîìïîíåíòà âûõîäíîãî âåêòîðà. Áóäåì èñ-
ïîëüçîâàòü îäèíàêîâûå âåëè÷èíû ïîðîãîâ äëÿ âñåõ êîìïîíåíòîâ, t ti � . Çàäàí-
íàÿ âåðîÿòíîñòü p åäèíè÷íîãî êîìïîíåíòà z áèíàðíîãî âûõîäíîãî âåêòîðà z
îïðåäåëÿåòñÿ âûáîðîì ñîîòâåòñòâóþùåãî ïîðîãà t p . Äëÿ ñòàíäàðòèçîâàííîé
ñ.â. u c ãàóññîâûì ðàñïðåäåëåíèåì
p z p u t e d tp
t
p
p
( ) ( ) ( )/� � � � � ��
�
�1
1
2
1
2 2
�
�� � ,
ãäå � — ãàóññîâà êóìóëÿòèâíàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ. Âåëè÷èíà t p äëÿ îáåñ-
ïå÷åíèÿ íóæíîé p îïðåäåëÿåòñÿ êàê êâàíòèëü ãàóññîâà ðàñïðåäåëåíèÿ, ñîîòâåò-
ñòâóþùàÿ 1� p. Âåêòîðû ïðè p� 0 5. ÿâëÿþòñÿ ðàçðåæåííûìè.
Îöåíêà óãëà ìåæäó âõîäíûìè âåêòîðàìè. Â [25] äëÿ îöåíêè óãëà � ìåæäó
âõîäíûìè âåêòîðàìè x y, ïðåäëàãàåòñÿ èñïîëüçîâàòü îöåíêè âåðîÿòíîñòè p join ñî-
âïàäåíèÿ åäèíè÷íûõ êîìïîíåíòîâ z i1 1, � è z i2 1, � â âåêòîðàõ z1 è z2 ïîñëå áèíàðè-
çàöèè u z� 1 ñ ïîðîãîì t1 è v z� 2 ñ ïîðîãîì t2 . Ñîãëàñíî ìíîãîìåðíîé öåíòðàëü-
íîé ïðåäåëüíîé òåîðåìå ñîâìåñòíîå ðàñïðåäåëåíèå ñ.â. ( , )ui i� ñõîäèòñÿ ê äâóìåð-
íîìó ãàóññîâó. Äëÿ ñòàíäàðòèçîâàííûõ ( , )ui i� ýòó âåðîÿòíîñòü ìîæíî îïðåäåëèòü
êàê ðåçóëüòàò âû÷èñëåíèÿ èíòåãðàëà îò äâóìåðíîãî ãàóññîâà ðàñïðåäåëåíèÿ
p p z z t t p u t tjoin i i i i� � � � � � �( , | , , ) ( , | ), ,1 2 1 2 1 21 1 � � �
�
�
�
� �
�
�
�
�
�
�
�
1
2 1
2
2 12
1
2
1 2 2
2
2� �
� � � � �
�( cos )
exp
cos
( cos )
�
�
��
��
tt
d d
21
1 2� � . (5)
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5 159
Òàêèì îáðàçîì, óãîë � ñâÿçàí ôóíêöèîíàëüíîé çàâèñèìîñòüþ ñ p join :
� � f p join( ), ãäå f — ôóíêöèÿ, îáðàòíàÿ (5). Ïîýòîìó � ìîæíî îöåíèòü ñëåäóþ-
ùèì îáðàçîì: ïðîòàáóëèðîâàòü (5); ïðåîáðàçîâàòü âõîäíûå âåêòîðû â âûõîäíûå
z1 è z2 ïî (1), (4); îöåíèòü p join êàê � �z z1 2, / d ; íàéòè â òàáëèöå çíà÷åíèå
p join , áëèæàéøåå ê � �z z1 2, / d, è èñïîëüçîâàòü ñîîòâåòñòâóþùèé åìó óãîë �*
êàê îöåíêó �.
Îïðåäåëèì ì.î. è äèñïåðñèþ îöåíêè óãëà, ïðèìåíèâ ëèíåàðèçàöèþ ôóíêöèè
ñëó÷àéíîãî àðãóìåíòà [41]. Ïóñòü èìååòñÿ ñ.â. � ñ èçâåñòíûìè ì.î. E E{ }� ��
è äèñïåðñèåé V V{ }� �� , à òàêæå äðóãàÿ ñ.â. �, ñâÿçàííàÿ ñ � êàê � � �� ( ), ïðè÷åì
â îêðåñòíîñòè E E{ }� �� ôóíêöèÿ � áëèçêà ê ëèíåéíîé. Ïîýòîìó ñâÿçü � c � ïðè
ìàëûõ îòêëîíåíèÿõ îò ñðåäíåãî ìîæíî ïðåäñòàâèòü ñ èñïîëüçîâàíèåì îäíîøàãî-
âîãî ðàçëîæåíèÿ â ðÿä Òåéëîðà êàê � � � �� � �� � � �( ) ( )( )E E E . Òîãäà ì.î. è
äèñïåðñèþ � àïïðîêñèìèðóåì êàê
E E E E E E{ } { }� � � � �� � � �� � � � �( ) ( ) ( ) ( ) , (6)
V V E E V E E V{ } { } { }� � � � �� � � � �� � � � � �( ) ( ( )) ( ) ( ( ))2 2 . (7)
×èñëî k � � �z z1 2, ñîâïàäàþùèõ åäèíè÷íûõ êîìïîíåíòîâ ïðè âåðîÿòíîñòè
èõ ñîâïàäåíèÿ p join äëÿ ðàçëè÷íûõ ðåàëèçàöèé áèíàðíûõ âåêòîðîâ ðàçìåðíîñ-
òè d, à òàêæå p djoin
� � � �z z1 2, / è îöåíêà óãëà � join joinf p� �� ( ) ÿâëÿþòñÿ ñ.â. Ïðè-
ìåíÿÿ (6), (7) ê � join joinf p� �� ( ), ïîëó÷àåì
E f E pjoin join{ } { }�� �� ( ) , V f E p V pjoin join join{ } { } { }�� � �� �( ( ))2 . (8)
Ñëó÷àéíàÿ âåëè÷èíà k � � �z z1 2, èìååò áèíîìèàëüíîå ðàñïðåäåëåíèå [25]:
P k k d p join( ) ( , , )� ñ ì.î. E k dpjoin{ } � è äèñïåðñèåé V k dp pjoin join{ } � �( )1 .
Ïîýòîìó
E p E k d pjoin join{ } { }� � �/ ,
V p V k d V k d p p djoin join join{ } { } { }� � � � �/ / ( ) /2 1 . (9)
Ñ ó÷åòîì (9) çàïèøåì (8) â âèäå
E f pjoin join join{ }�� � ( ) , V f p p p djoin join join join join{ }�� � � �( ( )) ( ) /2 1 . (10)
Ïî èçâåñòíîìó çíà÷åíèþ âåðîÿòíîñòè pjoin îïðåäåëèòü îöåíêó çíà÷åíèÿ
ïðîèçâîäíîé � � �f p pjoin join join( ) ( )� ìîæíî ïî òàáóëèðîâàííîé ôóíêöèè (5), íàé-
äÿ ïî pjoin áëèæàéøåå çíà÷åíèå â òàáëèöå è ñîîòâåòñòâóþùèé åìó óãîë �, à òàê-
æå âû÷èñëèâ � / p, ãäå � è p — ðàçíîñòü çíà÷åíèé óãëîâ è âåðîÿòíîñòåé
ñîîòâåòñòâåííî ìåæäó çíà÷åíèåì â íàéäåííîé è ñîñåäíåé ÿ÷åéêàõ òàáëèöû.
Ñëåäîâàòåëüíî, åñëè èçâåñòåí �, äëÿ îïðåäåëåíèÿ «àíàëèòè÷åñêîãî» ì.î. è äèñ-
ïåðñèè åãî îöåíêè ïî pjoin
� íàéäåì â òàáóëèðîâàííîé (5) ïî � ñîîòâåòñòâóþùóþ
âåðîÿòíîñòü pjoin è � � �f p pjoin join( ) ( )� è âîñïîëüçóåìñÿ (10).
Êðîìå îöåíêè óãëà ïî ýìïèðè÷åñêîé âåðîÿòíîñòè pjoin , èññëåäóåì åãî îöåí-
êó ïî ýìïèðè÷åñêîé óñëîâíîé âåðîÿòíîñòè pcond ñîâïàäåíèÿ åäèíè÷íûõ êîìïî-
íåíòîâ âûõîäíûõ áèíàðíûõ âåêòîðîâ, à òàêæå ïî ýìïèðè÷åñêîé âåðîÿòíîñòè
pequ ñîâïàäåíèÿ çíà÷åíèé èõ êîìïîíåíòîâ (è åäèíè÷íûõ, è íóëåâûõ).
Âûðàçèì pcond ÷åðåç pjoin . Äëÿ áèíàðíûõ âåêòîðîâ ñ îäèíàêîâîé âåðîÿòíîñ-
òüþ p åäèíè÷íîãî êîìïîíåíòà èìååì
p p z z p z z p zcond i i i i i� � � � � � � �( | ) ( , ) / ( ), , , , ,1 2 1 2 21 1 1 1 1 p pjoin / . (11)
Çàâèñèìîñòü pcond îò óãëà íàéäåì äåëåíèåì (5) íà p.
160 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5
Îïðåäåëèâ pcond
� � � �z z z1 2 2, / | | , ãäå | |z2 — ÷èñëî åäèíè÷íûõ êîìïîíåíòîâ
z2 , ìîæíî âû÷èñëèòü
E p E k pd pcond cond{ } { }� � �/ ( ) ,
V p V k pd V k pd p p pdcond cond cond{ } { } { }� � � � �/ ( ) / ( ) ( ) / ( )2 1 , (12)
òàê êàê ìàêñèìàëüíî ìîãóò ñîâïàñòü pd åäèíè÷íûõ êîìïîíåíòîâ. Çíà÷åíèÿ
� � �f p pcond cond( ) ( )� îïðåäåëèì ïî òàáóëèðîâàííîé pcond àíàëîãè÷íî p join
è ïîëó÷èì
E f pcond cond cond{ }�� � ( ) ,
V f p p p pdcond cond cond cond cond{ }�� � � �( ( )) ( ) / ( )2 1 . (13)
Äëÿ pequ çàïèøåì
p p z z p z z p zequ i i i i i� � � � ! � � � �( ) ( ) ( ( ), , , , ,1 2 1 2 11 1 1
� � � � � � � �p z p z z p pi i i join( ) ( , )) ( ), , ,2 2 21 2 1 1 1 2 2 . (14)
Çàâèñèìîñòü pequ îò óãëà íàéäåì ïî pjoin (5) è p.
Îïðåäåëèâ p dequ
� � � "1 1 2z z / , ãäå " — ïîêîìïîíåíòíàÿ îïåðàöèÿ «èñ-
êëþ÷àþùåå ÈËÈ», àíàëîãè÷íî (9), (10), (12), (13) ïîëó÷èì
E p pequ cond{ }� � , V p p p dequ equ equ{ }� � �( ) /1 , (15)
E f pequ equ equ{ }�� � ( ) , V f p p p dequ equ equ equ equ{ }�� � � �( ( )) ( ) /2 1 . (16)
Êàê ïîêàçàíî â [25], âåðîÿòíîñòü p join ñîâïàäåíèÿ åäèíè÷íûõ êîìïîíåíòîâ
âûõîäíûõ áèíàðíûõ âåêòîðîâ ìîíîòîííî óìåíüøàåòñÿ ñ óâåëè÷åíèåì óãëà �.
Ñîãëàñíî (11), (14) ýòî ñïðàâåäëèâî è äëÿ pcond , pequ . Ñëåäîâàòåëüíî, îöåíêè
ýòèõ âåðîÿòíîñòåé p join
� , pcond
� , pequ
� ìîãóò áûòü ïîëåçíûìè êàê ìåðû ñõîäñòâà
âõîäíûõ âåêòîðîâ (áåç âû÷èñëåíèÿ ïî íèì îöåíîê óãëà).
Îöåíêà ñêàëÿðíîãî ïðîèçâåäåíèÿ è åâêëèäîâà ðàññòîÿíèÿ. Êàê îòìå÷à-
ëîñü ðàíåå, ñòàíäàðòèçàöèÿ ui äëÿ ïîëó÷åíèÿ áèíàðíûõ âûõîäíûõ âåêòîðîâ òðå-
áóåò çíàíèÿ åâêëèäîâûõ íîðì èñõîäíûõ âåêòîðîâ | | | | , | | | |x y . Âû÷èñëåíèå íîð-
ìû ïðîâîäèòñÿ îäíîêðàòíî äëÿ îäíîãî âåêòîðà è ïîëó÷åííîå ÷èñëî çàïîìèíàåò-
ñÿ. Ýòó èíôîðìàöèþ ñîâìåñòíî ñ ðàññìîòðåííîé ðàíåå îöåíêîé óãëà �� ïî
áèíàðíûì âûõîäíûì âåêòîðàì ìîæíî èñïîëüçîâàòü äëÿ îöåíêè ñêàëÿðíîãî ïðî-
èçâåäåíèÿ � ��x y, è (êâàäðàòà) åâêëèäîâà ðàññòîÿíèÿ | | | |x y� �2 :
� � �� �x y x y, | | || || | |cos � , (17)
| | | | | | | | | | | | | | || || | | cosx y x y x y� � � �� �2 2 2 2 � . (18)
Äëÿ ñêàëÿðíîãî ïðîèçâåäåíèÿ ñ èñïîëüçîâàíèåì ëèíåàðèçàöèè (7) èìååì
V V{ } { }� � � �� �x y x y, | | | | | | | | cos2 2 �
�
�
�
�
�
�
� �� �| | | | | | | |
cos
| | | | | | | |x y x y2 2
2
2 2V
d
d
V{ } { }�
�
�
� sin 2 �. (19)
Çäåñü V{ }�� çàâèñèò îò ñïîñîáà îöåíêè óãëà (10), (13), (15), (16).
Äëÿ êâàäðàòà åâêëèäîâà ðàññòîÿíèÿ ñ èñïîëüçîâàíèåì (7) ïîëó÷àåì
V V{ } { }| | | | | | | | | | | | cosx y x y� � �� �2 2 24 �
� � � �� �4 42 2 2| | | | | | | | sin ,x y x yV V{ } { }� � . (20)
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5 161
ÝÊÑÏÅÐÈÌÅÍÒÀËÜÍÎÅ ÈÑÑËÅÄÎÂÀÍÈÅ
Èçó÷àëîñü ïîâåäåíèå îøèáêè îöåíêè óãëà ìåæäó âõîäíûìè âåêòîðàìè, ñêà-
ëÿðíîãî ïðîèçâåäåíèÿ è åâêëèäîâà ðàññòîÿíèÿ ìåæäó íèìè. Îöåíêè îïðåäåëÿ-
ëèñü ïî âûõîäíûì áèíàðíûì âåêòîðàì ðàçëè÷íîé ðàçðåæåííîñòè.  êà÷åñòâå
îøèáêè îöåíêè óãëà èñïîëüçîâàëàñü äèñïåðñèÿ V ; îøèáêà îöåíêè ñêàëÿðíîãî
ïðîèçâåäåíèÿ è ðàññòîÿíèÿ èçìåðÿëàñü êîýôôèöèåíòîì âàðèàöèè V E1 2/ / . Ðå-
çóëüòàòû çàâèñèìîñòè çíà÷åíèÿ îøèáêè îöåíêè óãëà îò ðàçìåðíîñòè âõîäíûõ
è âûõîäíûõ âåêòîðîâ ïðèâåäåíû â [27], ãäå èññëåäîâàëàñü çàâèñèìîñòü çíà÷å-
íèÿ îøèáêè îò âåëè÷èíû óãëà ìåæäó âõîäíûìè âåêòîðàìè.
Äëÿ ïðåîáðàçîâàíèÿ âõîäíûõ âåùåñòâåííûõ âåêòîðîâ x y, â ïðîìåæóòî÷íûå
u v, èñïîëüçîâàëèñü ñëó÷àéíûå ìàòðèöû ñ áèíàðíûìè { }0 1, è òåðíàðíûìè ýëå-
ìåíòàìè { , , }� �1 0 1 , âåðîÿòíîñòü íåíóëåâîãî ýëåìåíòà ìàòðèö q � { }0 5 0 1. , . . Âå-
ëè÷èíà ïîðîãà t äëÿ ñòàíäàðòèçîâàííûõ çíà÷åíèé êîìïîíåíòîâ ïðîìåæóòî÷íûõ
âåêòîðîâ ui âûáèðàëàñü äëÿ ïîääåðæàíèÿ âåðîÿòíîñòè åäèíè÷íîãî êîìïîíåíòà
p � { }0 5 0 1. , . â âûõîäíûõ áèíàðíûõ âåêòîðàõ, ò.å. t p � { }0 0 1 282. , . .
Èñïîëüçîâàëèñü âõîäíûå âåêòîðû ñ D �1000 è âûõîäíûå áèíàðíûå âåêòîðû
ñ d �1000. Ñõîäñòâî âàðüèðîâàëîñü ïóòåì êîíêàòåíàöèè âåêòîðîâ a b c, , :
x a b� ( ), y c b� ( ) ðàçíîé ðàçìåðíîñòè. Íàïðèìåð, åñëè ðàçìåðíîñòè a è c ðàâíû
íóëþ, ïîëó÷àåì îäèíàêîâûå âåêòîðû b ðàçìåðíîñòè d, à åñëè ðàçìåðíîñòü b ðàâíà
íóëþ, ïîëó÷àåì ðàçíûå âåêòîðû a c, ðàçìåðíîñòè d. Êîìïîíåíòû a b c, , ãåíåðè-
ðîâàëèñü ñëó÷àéíî èç ðàâíîìåðíîãî ðàñïðåäåëåíèÿ â [ , ]� �D D . Òàê êàê ðàçìåð-
íîñòè âõîäíûõ âåêòîðîâ (D �1000) âåëèêè, èõ íîðìû áëèçêè. Òèïè÷íîå çíà÷åíèå
óãëà ìåæäó ñëó÷àéíûìè âåêòîðàìè — ïðèáëèçèòåëüíî 90#, ò.å. ñëó÷àéíûå âåêòî-
ðû ïî÷òè îðòîãîíàëüíû. Äëÿ ñëó÷àéíûõ âåêòîðîâ ñ ðàâíîìåðíî ðàñïðåäåëåííû-
ìè ïîëîæèòåëüíûìè êîìïîíåíòàìè óãîë îáû÷íî ñîñòàâëÿåò 40#–45#. Äëÿ òàêèõ
âåêòîðîâ äîñòè÷ü îðòîãîíàëüíîñòè ìîæíî ïðè íåïåðåñåêàþùèõñÿ ÷àñòÿõ âåêòî-
ðîâ x a� ( )0 , y b� ( )0 .
Ïðè îöåíêàõ ñîâìåñòíîé âåðîÿòíîñòè pjoin
� âåëè÷èíà � �z z1 2, / d ìîæåò ïðå-
âûñèòü ìàêñèìàëüíî âîçìîæíîå çíà÷åíèå p pjoin
max � . ×òîáû îáåñïå÷èòü ñîîòâåò-
ñòâèå ýêñïåðèìåíòàëüíûõ ðåçóëüòàòîâ ôîðìóëàì (9)–(11), äëÿ ñëó÷àÿ p pjoin join
� � max
èñïîëüçîâàëîñü «çåðêàëüíîå» ïðåîáðàçîâàíèå p p pjoin� ��( ), à ïîëó÷åííîå çíà-
÷åíèå óãëà ñ÷èòàëîñü îòðèöàòåëüíûì.
Óñðåäíåíèå ðåçóëüòàòîâ ïðîâîäèëîñü ïî 10000 ðåàëèçàöèÿì ñëó÷àéíîé
ìàòðèöû.
Ýêñïåðèìåíòû ïîêàçàëè, ÷òî çíà÷åíèÿ îøèáîê ïðè èññëåäîâàííûõ ïàðàìåò-
ðàõ áëèçêè äëÿ áèíàðíîé è òåðíàðíîé ñëó÷àéíûõ ìàòðèö. Ïîýòîìó ïðèâåäåì ðå-
çóëüòàòû äëÿ áèíàðíîé ìàòðèöû.
Íà ðèñ. 1 ïîêàçàíû çàâèñèìîñòè îøèáêè V îöåíêè óãëà � ìåæäó âõîäíûìè
âåêòîðàìè îò åãî âåëè÷èíû. Çäåñü îöåíêè îïðåäåëåíû ïî pjoin
� , pcond
� , pequ
� ; îáîç-
íà÷åíèÿ T ñîîòâåòñòâóþò çíà÷åíèÿì, ïîëó÷åííûì èç (10), (13), (16), à E — ýêñïå-
ðèìåíòàëüíûì ðåçóëüòàòàì.
Äëÿ p � 0 5. àíàëèòè÷åñêèå çíà÷åíèÿ îøèáîê îöåíêè óãëà áëèçêè ê ñîîòâåò-
ñòâóþùèì èì ýêñïåðèìåíòàëüíûì. Îöåíêè óãëà ïî pjoin
� èìåþò íàèáîëüøóþ
îøèáêó (åå çíà÷åíèå óáûâàåò ñ óâåëè÷åíèåì óãëà), ïî pequ
� — íàèìåíüøóþ
îøèáêó, à ïî pcond
� îøèáêà èìååò ïðîìåæóòî÷íîå çíà÷åíèå. Íóëåâóþ îøèáêó
ïðè íóëåâîì óãëå äàþò pequ
� è pcond
� . Çíà÷åíèå îøèáêè ðàñòåò ñ óâåëè÷åíèåì
óãëà. (Â ïðèâåäåííûõ ýêñïåðèìåíòàõ íóëåâîé óãîë íå èñïîëüçîâàëñÿ).
Äëÿ p � 0 1. îøèáêè, êàê è ñëåäîâàëî îæèäàòü, ïðåâûøàþò ñîîòâåòñòâóþùèå
çíà÷åíèÿ äëÿ p � 0 5. . Àíàëèòè÷åñêèå çíà÷åíèÿ îøèáîê îöåíêè óãëà áëèçêè ê ñî-
162 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5
îòâåòñòâóþùèì èì ýêñïåðèìåíòàëüíûì äëÿ pcond
� è pjoin
� âî âñåì äèàïàçîíå
óãëîâ. Îøèáêà îöåíêè óãëà ïî pcond
� ïî-ïðåæíåìó ìåíüøå îøèáêè ïî pjoin
� ñ íàè-
áîëüøèì ðàçðûâîì ïðè 0# è ñ ïðèìåðíî ðàâíûìè çíà÷åíèÿìè ïðè 90#. Çíà÷åíèÿ
îøèáêè îöåíêè óãëà ïî pequ
� ñèëüíî îòëè÷àþòñÿ îò ñëó÷àÿ p � 0 5. : åñëè óãîë
áîëüøå 50#, åå çíà÷åíèå ïðåâûøàåò îøèáêó ïî pcond
� , à åñëè óãîë áîëüøå 60#—
îøèáêó ïî pjoin
� ; êðîìå òîãî, àíàëèòè÷åñêèå çíà÷åíèÿ îøèáêè ñòàíîâÿòñÿ ìåíü-
øå ýêñïåðèìåíòàëüíûõ, ò.å. ïðèáëèæåíèå (7) íå âûïîëíÿåòñÿ. Òàêèì îáðàçîì,
ïðåäïî÷òèòåëüíà îöåíêà óãëà ïî pcond
� , à äèàïàçîí ïðèìåíèìîñòè îöåíîê ïî pequ
�
îãðàíè÷åí ìàëûìè óãëàìè è óìåíüøàåòñÿ ïðè óìåíüøåíèè äîëè åäèíè÷íûõ êîì-
ïîíåíòîâ â âûõîäíûõ âåêòîðàõ.
Íà ðèñ. 2 ïðèâåäåíû çàâèñèìîñòè îøèáêè V E1 2/ / (êîýôôèöèåíòà âàðèàöèè)
îöåíêè ñêàëÿðíîãî ïðîèçâåäåíèÿ âõîäíûõ âåêòîðîâ ïî (17) îò âåëè÷èíû óãëà �
äëÿ îöåíîê óãëà, ïîëó÷åííûõ ïî pjoin
� , pcond
� , pequ
� . Îáîçíà÷åíèÿ T ñîîòâåòñòâó-
þò çíà÷åíèÿì îøèáêè, ïîëó÷åííûì èç (19) è ïî îöåíêàì óãëà èç (10), (13), (16),
à E — ýêñïåðèìåíòàëüíûì ðåçóëüòàòàì.
Äëÿ âñåõ èññëåäîâàííûõ êîìáèíàöèé ïàðàìåòðîâ çíà÷åíèÿ îøèáîê îöåíêè
ñêàëÿðíîãî ïðîèçâåäåíèÿ ïðè p � 0 1. ïðåâûøàåò ñîîòâåòñòâóþùèå çíà÷åíèÿ ïðè
p � 0 5. ; îøèáêà ðàñòåò ñ óâåëè÷åíèåì óãëà ìåæäó âõîäíûìè âåêòîðàìè îñîáåííî
áûñòðî, åñëè óãîë áîëüøå 50#. Àíàëîãè÷íî îöåíêå óãëà îöåíêà ïî pequ
� òàêæå èìå-
åò íàèìåíüøóþ îøèáêó ïðè p � 0 5. , íî ïðè p � 0 1. îøèáêà ñòàíîâèòñÿ ñàìîé áîëü-
øîé, åñëè óãîë áîëüøå 60#. Ïðè á�ëüøèõ çíà÷åíèÿõ óãëîâ çàìåòíî ðàçëè÷èå ìåæ-
äó àíàëèòè÷åñêèìè è ýêñïåðèìåíòàëüíûìè çíà÷åíèÿìè îøèáîê äëÿ pequ
� , äëÿ
îñòàëüíûõ ñëó÷àåâ ýòè ðåçóëüòàòû áëèçêè. Òàêèì îáðàçîì, íàèáîëüøàÿ òî÷íîñòü
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5 163
Ðèñ. 1. Çàâèñèìîñòè îøèáêè îöåíêè óãëà � ìåæäó âûõîäíûìè âåêòîðàìè îò åãî âåëè÷èíû ñ D � 1000,
d � 1000, q � 0 1.
V
�
E p join � 0 5.
T p join � 0 5.
T pcond � 0 5.
E pcond � 0 5.
T pequ � 0 5.
E pequ � 0 5.
E pequ � 0 1.
T pequ � 0 1.
E pcond � 0 1.
T pcond � 0 1.
T pjoin � 0 1.
E p join � 0 1.
îöåíêè âåëè÷èíû ñêàëÿðíîãî ïðîèçâåäåíèÿ äîñòèãàåòñÿ ïðè ìàëûõ çíà÷åíèÿõ
óãëîâ ìåæäó âõîäíûìè âåêòîðàìè: äëÿ p � 0 5. ñëåäóåò èñïîëüçîâàòü îöåíêó ïî
pequ
� , à äëÿ ðàçðåæåííûõ âûõîäíûõ áèíàðíûõ âåêòîðîâ íàèëó÷øèå ðåçóëüòàòû
äîñòèãàþòñÿ ïðè îöåíêå ïî pcond
� .
Íà ðèñ. 3 ïðèâåäåíû çàâèñèìîñòè îøèáêè V E1 2/ / (êîýôôèöèåíòà âàðèàöèè)
îöåíêè êâàäðàòà åâêëèäîâà ðàññòîÿíèÿ ìåæäó âõîäíûìè âåêòîðàìè ïî (18) îò âå-
ëè÷èíû óãëà �, àíàëèòè÷åñêèå çíà÷åíèÿ îøèáêè ïîëó÷åíû èç (20); îáîçíà÷åíèÿ
â ëåãåíäå àíàëîãè÷íû ðèñ. 1, 2.
Êàê è äëÿ îöåíîê óãëà è ñêàëÿðíîãî ïðîèçâåäåíèÿ, çíà÷åíèÿ îøèáîê îöåíêè
êâàäðàòà ðàññòîÿíèÿ ïðè p � 0 1. ïðåâûøàþò ñîîòâåòñòâóþùèå çíà÷åíèÿ ïðè
p � 0 5. . Îäíàêî îøèáêà íå ðàñòåò, à óìåíüøàåòñÿ ñ óâåëè÷åíèåì óãëà. Òàê êàê
ïðè óâåëè÷åíèè óãëà ìåæäó âåêòîðàìè ðàñòåò ðàññòîÿíèå ìåæäó íèìè, çíà÷åíèå
èññëåäóåìîé â íàñòîÿùåé ñòàòüå îòíîñèòåëüíîé îøèáêè óìåíüøàåòñÿ, è ýòî êîì-
ïåíñèðóåò ðîñò äèñïåðñèè óãëà ïðè óâåëè÷åíèè óãëà äëÿ pcond
� è pequ
� . Â ðåçóëü-
òàòå îøèáêà îöåíêè êâàäðàòà ðàññòîÿíèÿ ïî pcond
� (è äàæå ïî pequ
� ) íå ñëèøêîì
ñèëüíî èçìåíÿåòñÿ âî âñåì èññëåäîâàííîì äèàïàçîíå èçìåíåíèÿ óãëîâ. Ñàìóþ
áîëüøóþ îøèáêó (è ðàñõîæäåíèå ìåæäó àíàëèòè÷åñêèìè è ýêñïåðèìåíòàëüíû-
ìè ðåçóëüòàòàìè) ìîæíî ïîëó÷èòü äëÿ pjoin
� ïðè ìàëûõ óãëàõ, òàê êàê äëÿ ýòîãî
ñëó÷àÿ äèñïåðñèÿ îöåíêè óãëà ìàêñèìàëüíà. Îòìåòèì, ÷òî êîýôôèöèåíò âàðèà-
öèè íåóñòîé÷èâ â îêðåñòíîñòè íóëÿ, è, ñëåäîâàòåëüíî, åãî íåëüçÿ ïðèìåíÿòü äëÿ
àäåêâàòíîé îöåíêè îøèáêè ïðè áëèçêèõ ê íóëþ çíà÷åíèÿõ óãëà. Êàê îòìå÷åíî
ðàíåå, îøèáêà îöåíêè óãëà ïî pequ
� î÷åíü áûñòðî ðàñòåò ïðè ïðèáëèæåíèè âåëè-
÷èíû óãëà ê 90# äëÿ ðàçðåæåííûõ áèíàðíûõ âåêòîðîâ.
164 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5
Ðèñ. 2. Çàâèñèìîñòü îøèáêè îöåíêè ñêàëÿðíîãî ïðîèçâåäåíèÿ îò óãëà � ìåæäó âåêòîðàìè ñ D � 1000,
d � 1000, q � 0 1.
V E1 2/ /
�
E pjoin � 0 5.
T pjoin � 0 5.
T pcond � 0 5.
E pcond � 0 5.
T pequ � 0 5.
E pequ � 0 5.
E pequ � 0 1.
T pequ � 0 1.
E pcond � 0 1.
T pcond � 0 1.
T pjoin � 0 1.
E pjoin � 0 1.
Òàêèì îáðàçîì, äëÿ p � 0 5. íàèìåíüøóþ îøèáêó èìåþò îöåíêè ðàññòîÿíèÿ ïî
pequ
� ; äëÿ ðàçðåæåííûõ âûõîäíûõ áèíàðíûõ âåêòîðîâ íàèëó÷øèå ðåçóëüòàòû äîñòèãà-
þòñÿ ïðè îöåíêàõ ïî pcond
� è ïî pequ
� (äëÿ pequ
� , åñëè âåëè÷èíà óãëîâ íå ñëèøêîì
áëèçêà ê 90#); ïðè ìàëûõ çíà÷åíèÿõ óãëîâ îøèáêà îöåíêè ðàññòîÿíèÿ áûñòðî ðàñòåò.
Äëÿ îöåíîê óãëà ìåæäó âõîäíûìè âåêòîðàìè ïî âûõîäíûì áèíàðíûì âåêòîðàì,
à òàêæå ñêàëÿðíîãî ïðîèçâåäåíèÿ è åâêëèäîâà ðàññòîÿíèÿ ìåæäó âõîäíûìè âåêòîðà-
ìè ïî ïîëó÷åííîé îöåíêå óãëà è èçâåñòíûì íîðìàì âõîäíûõ âåêòîðîâ ïðè èõ ïðèìå-
íåíèè â çàäà÷àõ ïîèñêà ïî ñõîäñòâó èíòåðåñíî èññëåäîâàòü ãèáðèäíûé ïîäõîä, êîãäà
äëÿ ìàëûõ óãëîâ ñõîäñòâî îöåíèâàåòñÿ ïî óãëó, à äëÿ áîëüøèõ — ïî ðàññòîÿíèþ.
ÇÀÊËÞ×ÅÍÈÅ
Èññëåäîâàíû îöåíêè ìåð ñõîäñòâà âåùåñòâåííûõ âåêòîðîâ ïî áèíàðíûì, ïîëó-
÷åííûì ïðîåöèðîâàíèåì ñëó÷àéíîé áèíàðíîé ìàòðèöåé ñ ýëåìåíòàìè { }0 1, �
è âûõîäíûì ïîðîãîâûì ïðåîáðàçîâàíèåì, êîòîðîå ïîçâîëÿåò ðåãóëèðîâàòü ñòå-
ïåíü ðàçðåæåííîñòè (äîëþ åäèíè÷íûõ êîìïîíåíòîâ) áèíàðíûõ âåêòîðîâ. Ñõî-
äñòâî ïîñëåäíèõ îöåíèâàëîñü ïî ìåðàì íà îñíîâå (íîðìèðîâàííîãî ê èõ ðàçìåð-
íîñòè d ) ñêàëÿðíîãî ïðîèçâåäåíèÿ � � � $z z z z1 2 1 2, / | | /d d è ñâÿçàííûõ ñ íèì
� �z z z1 2 2, / | | è 1 1 21 2 1 2 1 2� " � � � � $z z z z z z/ (| | | | | | ) /d d, ãäå " $, — îïåðà-
öèè ïîêîìïîíåíòíîãî XOR è AND ñîîòâåòñòâåííî, | |z — ÷èñëî åäèíè÷íûõ
êîìïîíåíòîâ â áèíàðíîì âåêòîðå z . Ýòè ìåðû ÿâëÿþòñÿ åñòåñòâåííûìè îöåíêàìè
ñõîäñòâà èñõîäíûõ âåùåñòâåííûõ âåêòîðîâ x y, : èõ çíà÷åíèÿ ìîíîòîííî óáûâàþò
ñ óâåëè÷åíèåì óãëà � ìåæäó âåêòîðàìè è äàþò âîçìîæíîñòü îöåíèòü åãî âåëè÷è-
íó. Îöåíêà óãëà � ïðè èçâåñòíûõ çíà÷åíèÿõ åâêëèäîâûõ íîðì | | | | , | | | |x y ïîçâî-
ëèëà òàêæå îöåíèòü ñêàëÿðíîå ïðîèçâåäåíèå � � �� �x y x y, | | || || | |cos � è åâêëè-
äîâî ðàññòîÿíèå | | | | (| | | | | | | | | | || || | | cos ) /x y x y x y� � � �� �2 2 1 22 � .
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5 165
Ðèñ. 3. Çàâèñèìîñòü îøèáêè îöåíêè êâàäðàòà åâêëèäîâà ðàññòîÿíèÿ îò óãëà � ìåæäó âåêòîðàìè
ñ D � 1000, d � 1000, q � 0 1.
V E1 2/ /
�
E pjoin � 0 5.
T pjoin � 0 5.
T pcond � 0 5.
E pcond � 0 5.
T pequ � 0 5.
E pequ � 0 5.
E pequ � 0 1.
T pequ � 0 1.
E pcond � 0 1.
T pcond � 0 1.
T p join � 0 1.
E pjoin � 0 1.
Àíàëèòè÷åñêè è ýêñïåðèìåíòàëüíî èññëåäîâàíû çàâèñèìîñòè çíà÷åíèÿ îøèáêè
îöåíêè óãëà, ñêàëÿðíîãî ïðîèçâåäåíèÿ, åâêëèäîâà ðàññòîÿíèÿ ìåæäó âõîäíûìè âå-
ùåñòâåííûìè âåêòîðàìè îò âåëè÷èíû óãëà ìåæäó íèìè. Çàâèñèìîñòè ñóùåñòâåííî
îòëè÷àþòñÿ äëÿ èññëåäîâàííûõ òðåõ ìåð ñõîäñòâà áèíàðíûõ âåêòîðîâ, à òàêæå äëÿ
îöåíîê ñêàëÿðíîãî ïðîèçâåäåíèÿ è åâêëèäîâà ðàññòîÿíèÿ. Ýòî äàåò âîçìîæíîñòü èñ-
ïîëüçîâàòü îöåíêè ñ íàèìåíüøåé îøèáêîé â ðàçëè÷íûõ äèàïàçîíàõ çíà÷åíèé óãëîâ.
Äëÿ áèíàðíûõ è òåðíàðíûõ ñëó÷àéíûõ ìàòðèö âåëè÷èíû îøèáêè áëèçêè
ïðè èññëåäîâàííûõ çíà÷åíèÿõ ïàðàìåòðîâ. Îäíàêî ðåàëèçàöèÿ ïðåîáðàçîâàíèÿ
ñ ïîìîùüþ áèíàðíîé ñëó÷àéíîé ìàòðèöû âû÷èñëèòåëüíî áîëåå ïðîñòàÿ.
Ïåðñïåêòèâíîé òåìîé äàëüíåéøèõ ðàáîò ÿâëÿåòñÿ èññëåäîâàíèå âëèÿíèÿ íà
òî÷íîñòü îöåíîê ñõîäñòâà ìîäèôèêàöèé ïðåäëîæåííûõ ìåòîäîâ, íàïðèìåð: èñ-
ïîëüçîâàíèå âìåñòî âåðîÿòíîñòè åäèíè÷íîãî ýëåìåíòà â ìàòðèöå ðåàëüíîé äîëè
åäèíè÷íûõ ýëåìåíòîâ âî âñåé ìàòðèöå, à òàêæå â åå ñòðîêàõ è ñòîëáöàõ; èñïîëü-
çîâàíèå ñëó÷àéíûõ ìàòðèö ñ ôèêñèðîâàííûì ÷èñëîì ñëó÷àéíî ðàñïîëîæåííûõ
åäèíè÷íûõ ýëåìåíòîâ âî âñåé ìàòðèöå, à òàêæå â åå ñòðîêàõ è ñòîëáöàõ; ó÷åò ðå-
àëüíîé äîëè åäèíè÷íûõ êîìïîíåíòîâ â âûõîäíûõ áèíàðíûõ âåêòîðàõ ïðè îöåí-
êå óãëà íà îñíîâå èõ ñêàëÿðíîãî ïðîèçâåäåíèÿ.
Âûõîäíûå áèíàðíûå âåêòîðû, â êîòîðûõ âàæíà íå ñåìàíòèêà îòäåëüíûõ êîìïî-
íåíòîâ, à îòðàæåíèå èìè ñõîäñòâà ïðåäñòàâëÿåìûõ îáúåêòîâ, ÿâëÿþòñÿ ïðèìåðîì ðàí-
äîìèçèðîâàííûõ ðàñïðåäåëåííûõ ïðåäñòàâëåíèé [1–11, 30, 31, 35, 36, 42–45]. Ðàñ-
ïðåäåëåííûå ïðåäñòàâëåíèÿ ìîãóò òàêæå ôîðìèðîâàòüñÿ âî âíóòðåííèõ ñëîÿõ
ìíîãîñëîéíûõ ñåòåé ïðè îáó÷åíèè [46–48]. Ðàñïðåäåëåííûå ïðåäñòàâëåíèÿ èñ-
ïîëüçóþò äëÿ ïðåäñòàâëåíèÿ ñåìàíòè÷åñêîãî ñõîäñòâà [18, 42, 49–51], ïîñëåäîâà-
òåëüíîñòåé [29–31, 43, 51–54], ñëîæíûõ èåðàðõè÷åñêè ñòðóêòóðèðîâàííûõ îáúåê-
òîâ [1, 2, 4–11, 30, 31, 35, 36, 42–45, 55–57], êîòîðûå òðåáóþòñÿ äëÿ ìîäåëåé è ñèñ-
òåì èñêóññòâåííîãî èíòåëëåêòà [3, 31, 35, 36, 57–59].
ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ
1. R a c h k o v s k i j D . A . Representation and processing of structures with binary sparse distributed
codes // IEEE Transactions on Knowledge and Data Engineering. — 2001. — 13, N 2. — P. 261–276.
2. R a c h k o v s k i j D . A . Some approaches to analogical mapping with structure sensitive distributed
representations // Journal of Experimental and Theoretical Artificial Intelligence. — 2004. — 16,
N 3. — P. 125–145.
3. S t a n o j e v i c M . , V r a n e s S . Semantic approach to knowledge processing // WSEAS
Transactions on Information Science and Applications. — 2008. — 5(6). — P. 913–922.
4. S l i p c h e n k o S . V . , R a c h k o v s k i j D . A . Analogical mapping using similarity of binary
distributed representations // International Journal Information Theories and Applications. — 2009.
— 16, N 3. — P. 269–290.
5. G a y l e r R . W . , L e v y S . D . A distributed basis for analogical mapping // Proceedings of the
Second International Analogy Conference. NBU Press, Sofia, Bulgaria. — 2009. — P. 165–174.
6. R a c h k o v s k i j D . A . , S l i p c h e n k o S . V . Similarity-based retrieval with structure-sensitive
sparse binary distributed representations // Computational Intelligence. — 2012. — 28, N 1. — P. 106–129.
7. Ã ð è ö å í ê î Â . È . , . Ð à ÷ ê î â ñ ê è é Ä . À , Ã î ë ü ö å â À . Ä . , Ë ó ê î â è ÷ Â . Â . , Ì è ñ ó -
í î È . Ñ . , Ð å â ó í î â à Å . Ã . , Ñ ë è ï ÷ å í ê î Ñ . Â . , Ñ î ê î ë î â À . Ì ., Ò à ë à å â Ñ . À .
Íåéðîñåòåâûå ðàñïðåäåëåííûå ïðåäñòàâëåíèÿ äëÿ èíòåëëåêòóàëüíûõ èíôîðìàöèîííûõ òåõíî-
ëîãèé è ìîäåëèðîâàíèÿ ìûøëåíèÿ // Êèáåðíåòèêà è âû÷èñëèòåëüíàÿ òåõíèêà. — 2013. —
Âûï. 173. — Ñ. 7–24.
8. P i c k e t t M , A h a D . Using cortically-inspired algorithms for analogical learning and reasoning //
Biologically Inspired Cognitive Architectures. — 2013. — 6. — P. 76–86.
9. E m r u l i B . , G a y l e r R . W . , S a n d i n F . Analogical mapping and inference with binary
spatter codes and sparse distributed memory // International Joint Conference on Neural Networks
(IJCNN), 4–9 Aug. 2013, Dallas, TX, IEEE. — 2013. — P. 1–8.
10. E m r u l i B . , S a n d i n F . Analogical mapping with sparse distributed memory: A simple model
that learns to generalize from examples // Cognitive Computation. — 2014. — 6, N 1. — P. 74–88.
11. W i d d o w s D . , C o h e n T . Reasoning with vectors: a continuous model for fast robust inference
// Logic Journal of the IGPL. — 2015. — 23, N 2. — P. 141–173.
12. I n d y k P . , M a t o u s e k J . Low-distortion embeddings of finite metric spaces // Handbook of
discrete and computational geometry, discrete mathematics and its applications / J.E. Goodman,
J. O’Rourke (Eds). — Boca Raton, FL: Chapman & Hall/CRC, 2004. — P. 177–196.
166 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5
13. U p a d h y a y a S . R . Parallel approaches to machine learning — A comprehensive survey //
Journal of Parallel and Distributed Computing. — 2013. — 73, N3. — P. 284–292.
14. K u s s u l N . , S h e l e s t o v A . , S k a k u n S . , K r a v c h e n k o O . High-performance
intelligent computations for environmental and disaster monitoring // International Journal
Information Technologies and Knowledge. — 2009. — 3, N 2. — P. 135–156.
15. K u s s u l N . , S h e l e s t o v A . , S k a k u n S . Grid technologies for satellite data processing and
management within international disaster monitoring projects // Grid and Cloud Database Management
/ S Fiore, G. Aloisio (Eds). — Berlin; Heidelberg: Springer-Verlag, 2011. — P. 279–306.
16. V a n d e r M a a t e n L . J . P . , P o s t m a E . O . , v a n d e n H e r i k H . J . Dimensionality
reduction: A comparative review // Tech. Rep. TiCC-TR 2009-005, Tilburg Centre Creative
Comput., Tilburg Univ., Tilburg, The Netherlands, 2009. — 35 p.
17. B u r g e s C . J . C . Dimension reduction: A guided tour // Foundations and Trends in Machine
Learning. — 2010. — 2, N 4. — P. 275–365.
18. S o k o l o v A . , R i e z l e r S . Task-driven greedy learning of feature hashing functions //
Proceedings of the NIPS’13 Workshop “Big Learning: Advances in Algorithms and Data
Management”, Lake Tahoe, USA, 2013. — P. 1–5.
19. V e m p a l a S . S . The Random Projection Method. — Providence, RI: American Mathematical
Society, 2004. — 105 p.
20. L i P . , H a s t i e T . J . , C h u r c h K . W . Very sparse random projections // 12th ACM SIGKDD
International Conference on Knowledge Discovery and Data Mining. — Philadelphia, PA, USA:
ACM Press, 2006. — P. 287–296.
21. R e v u n o v a E . G . , R a c h k o v s k i j D . A . Using randomized algorithms for solving discrete
ill-posed problems // Information Theories and Applications. — 2009. — 16, N 2. — P. 176–192.
22. R e v u n o v a E . G . Study of error components for solution of the inverse problem using random
projections // Mathematical Machines and Systems — 2010. — N 4. — P. 33–42.
23. R e v u n o v a E . G . , R a c h k o v s k i j D . A . Stable transformation of a linear system output to
the output of system with a given basis by random projections // The 5th International Workshop on
Inductive Modelling (IWIM-2012). — 2012. — P. 37–41.
24. R a c h k o v s k i j D . A . , R e v u n o v a E . G . Randomized method for solving discrete ill-posed
problems // Cybernetics and Systems Analysis. — 2012. — 48, N 4. — P. 621–635.
25. R a c h k o v s k i j D . A . , M i s u n o I . S . , S l i p c h e n k o S . V . Randomized projective
methods for construction of binary sparse vector representations // Cybernetics and Systems
Analysis. — 2012. — 48, N 1. — P. 146–156.
26. R a c h k o v s k i j D . A . Vector data transformation with random binary matrices // Cybernetics and
Systems Analysis. — 2014. — 50, N 6. — P. 960–968.
27. R a c h k o v s k i j D . A . Formation of similarity-reflecting binary vectors with random binary
projections // Cybernetics and Systems Analysis. — 2015. — 51, N 2. — P. 313–323.
28. R i n k u s G . Quantum computation via sparse distributed representation // NeuroQuantology. —
2012. — 10, N 2. — P. 311-315.
29. R i n k u s G . J . Sparsey™: Event recognition via deep hierarchical sparse distributed codes //
Frontiers in Computational Neuroscience. — 2014. — 8, Article 160. — P. 1–44.
30. K u s s u l E . M . , R a c h k o v s k i j D . A . Multilevel assembly neural architecture and processing of
sequences // Neurocomputers and Attention: Vol. II. Connectionism and neurocomputers / A.V. Holden,
V.I. Kryukov (Eds.). — Manchester; New York: Manchester University Press, 1991. — P. 577–590.
31. R a c h k o v s k i j D . A . , K u s s u l E . M . , B a i d y k T . N . Building a world model with
structure-sensitive sparse binary distributed representations // Biologically Inspired Cognitive
Architectures. — 2013. — 3. — P. 64–86.
32. K a r t a s h o v A . , F r o l o v A . , G o l t s e v A . , F o l k R . Quality and efficiency of retrieval for
Willshaw-like autoassociative networks: III. Willshaw-Potts model // Network: Computation in
Neural Systems. — 1997. — 8, N 1. — P. 71–86.
33. F r o l o v A . A . , R a c h k o v s k i j D . A . , H u s e k D . On information characteristics of Will-
shaw-like auto-associative memory // Neural Network World. — 2002 — 12, N 2. — P. 141–158.
34. F r o l o v A . A . , H u s e k D . , R a c h k o v s k i j D . A . Time of searching for similar binary vec-
tors in associative memory // Cybernetics and Systems Analysis. — 2006. — 42, N 5. — P. 615–623.
35. K l e y k o D . , O s i p o v E . , S e n i o r A . , K h a n A . I . , S e k e r c i o g l u Y . A . Holographic
graph neuron: a bio-inspired architecture for pattern processing. — 2015. — http://arxiv.org/pdf/
1501.03784v1.pdf.
36. E m r u l i B . , S a n d i n F . , D e l s i n g J . Vector space architecture for emergent interoperability
of systems by learning from demonstration // Biologically Inspired Cognitive Architectures. — 2015.
— 11. — P. 53–64.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5 167
37. N o w i c k i D . W . , D e k h t y a r e n k o O . K . Averaging on Riemannian manifolds and
unsupervised learning using neural associative memory. // Proc. ESANN 2005. — Bruges, Belgium,
April, 27–29, 2005. — P. 181–189.
38. K n o b l a u c h A . , P a l m G . , S o m m e r F . T . Memory capacities for synaptic and structural
plasticity // Neural Computation. — 2010. — 22, N2. — P. 289–341.
39. K o r o l e v V . , S h e v t s o v a I . An improvement of the Berry–Esseen inequality with applica-
tions to Poisson and mixed Poisson random sums // Scandinavian Actuarial Journal. — 2012. —
2012, N 2. — P. 81–105.
40. S h e v t s o v a I . G . On the absolute constants in the Berry–Esseen-type inequalities // Doklady
Mathematics. — 2014. — 89, N 3. — P. 378–381.
41. Â å í ö å ë ü Å . Ñ . Òåîðèÿ âåðîÿòíîñòåé. — Ì.: Íàóêà, 1969. — 576 c.
42. W i d d o w s D . , C o h e n T . Real, complex, and binary semantic vectors // Lecture Notes in
Computer Science. — 2012. — 7620. — P. 24–35.
43. Î ì å ë ü ÷ å í ê î Ð . Ñ . Ïðîãðàììà ïðîâåðêè îðôîãðàôèè (Spellchecker) íà îñíîâå ðàñïðåäå-
ëåííûõ ïðåäñòàâëåíèé // Ïðîáëåìû ïðîãðàììèðîâàíèÿ. — 2013. — ¹ 4. — Ñ. 35–42.
44. C o h e n T . , W i d d o w s D . , W a h l e M . , S c h v a n e v e l d t R . Orthogonality and
orthography: introducing measured distance into semantic space // Lecture Notes in Computer
Science. — 2014. — 8369. — P. 34–46.
45. K a n e r v a P . , S j o d i n G . , K r i s t o f e r s o n J . , K a r l s s o n R . , L e v i n B . ,
H o l s t A . , K a r l g r e n J . , S a h l g r e n M . Computing with large random patterns // Foundations
of Real-World Intelligence. — Stanford (California): CSLI Publications, 2001. — P. 251–311.
46. R e z n i k A . M . , G a l i n s k a y a A . A . , D e k h t y a r e n k o O . K . , N o w i c k i D . W .
Preprocessing of matrix QCM sensors data for the classification by means of neural network //
Sensors and Actuators B. — 2005. — 106. — P. 158–163.
47. C h e r n o d u b A . N . Direct method for training feed-forward neural networks using batch
extended Kalman filter for multi-step-ahead predictions // Lecture Notes in Computer Science. —
2013. — 8131. — P. 138–145.
48. C h e r n o d u b A . N . Training Neural Networks for classification using the Extended Kalman Filter:
A comparative study // Optical Memory and Neural Networks. — 2014. — 23, N 2. — P. 96–103.
49. Ì è ñ ó í î È . Ñ . , Ð à ÷ ê î â ñ ê è é Ä . À . , Ñ ë è ï ÷ å í ê î Ñ . Â . Âåêòîðíûå è ðàñïðåäåëåí-
íûå ïðåäñòàâëåíèÿ, îòðàæàþùèå ìåðó ñåìàíòè÷åñêîé ñâÿçè ñëîâ // Ìàòåìàòè÷åñêèå ìàøèíû
è ñèñòåìû. — 2005. — ¹ 3. — Ñ. 50–67.
50. S o k o l o v A . LIMSI: learning semantic similarity by selecting random word subsets // Proceedings
of the Sixth International Workshop on Semantic Evaluation (SEMEVAL’12). — Association for
Computational Linguistics, 2012. — P. 543–546.
51. S o k o l o v A . Vector representations for efficient comparison and search for similar strings //
Cybernetics and Systems Analysis. — 2007. — 43, N 4. — P. 484–498.
52. K l e y k o D . , O s i p o v E . On bidirectional transitions between localist and distributed
representations: The case of common substrings search using vector symbolic architecture //
Procedia Computer Science. — 2014. — 41. — P. 104–113.
53. R a s a n e n O . , K a k o u r o s S . Modeling dependencies in multiple parallel data streams with
hyperdimensional computing // Signal Processing Letters, IEEE. — 2014. — 21, N 7. — P. 899–903.
54. R e c c h i a G . L . , S a h l g r e n M . , K a n e r v a P . , J o n e s M . N . Encoding sequential
information in semantic space models: Comparing holographic reduced representation and random
permutation // Computational Intelligence and Neuroscience. — Article ID 986574. — 2015. — 18 p.
55. K v a s n i c k a V . , P o s p i c h a l J . Deductive rules in holographic reduced representation //
Neurocomputing. — 2006. — 69. — P. 2127–2139.
56. G a l l a n t S . I . , O k a y w e T . W. Representing objects, relations, and sequences // Neural
computation. — 2013. — 25, N8. — P. 2038–2078.
57. S a n d i n F . , K h a n A . I . , D y e r A . G . , A m i n A . H . M . , I n d i v e r i G . , C h i c c a E . ,
O s i p o v E . Concept learning in neuromorphic vision systems: What can we learn from insects? //
Journal of Software Engineering and Applications. — 2014. — 7, N 5. — P. 387–395.
58. L e t i c h e v s k y A . A . Theory of interaction, insertion modeling, and cognitive architectures //
Biologically Inspired Cognitive Architectures. — 2014. — 8. — P. 19–32.
59. L e t i c h e v s k y A . A . , L e t y c h e v s k y i O . O . , P e s c h a n e n k o V . S . , H u b a A . A .
Generating symbolic traces in the insertion modeling system // Cybernetics and Systems Analysis.
— 2015. — 51, N 1. — P. 5–15.
Ïîñòóïèëà 17.09.2014
168 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2015, òîì 51, ¹ 5
|