Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления
Предложен подход к созданию интеллектуальных информационных технологий на основе моделирования мышления человека и распределенного представления информации в мозге. Показано, что распределенные векторные представления позволяют эффективно оценивать сходство числовых векторов, а также решать дискретн...
Saved in:
| Published in: | Кибернетика и вычислительная техника |
|---|---|
| Date: | 2013 |
| Main Authors: | , , , , , , , , |
| Format: | Article |
| Language: | Russian |
| Published: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України
2013
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/84479 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления / В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно, Е.Г. Ревунова, С.В. Слипченко, А.М. Соколов, С.А. Талаев // Кибернетика и вычислительная техника. — 2013. — Вип. 173. — С. 7-24. — Бібліогр.: 34 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859488398651162624 |
|---|---|
| author | Гриценко, В.И. Рачковский, Д.А. Гольцев, А.Д. Лукович, В.В. Мисуно, И.С. Ревунова, Е.Г. Слипченко, С.В. Соколов, А.М. Талаев, С.А. |
| author_facet | Гриценко, В.И. Рачковский, Д.А. Гольцев, А.Д. Лукович, В.В. Мисуно, И.С. Ревунова, Е.Г. Слипченко, С.В. Соколов, А.М. Талаев, С.А. |
| citation_txt | Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления / В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно, Е.Г. Ревунова, С.В. Слипченко, А.М. Соколов, С.А. Талаев // Кибернетика и вычислительная техника. — 2013. — Вип. 173. — С. 7-24. — Бібліогр.: 34 назв. — рос. |
| collection | DSpace DC |
| container_title | Кибернетика и вычислительная техника |
| description | Предложен подход к созданию интеллектуальных информационных технологий на основе моделирования мышления человека и распределенного представления информации в мозге. Показано, что распределенные векторные представления позволяют эффективно оценивать сходство числовых векторов, а также решать дискретные некорректные задачи. Рассмотрено формирование распределенных представлений сложно структурированной реляционной информации, которые позволяют осуществлять эффективный поиск аналогов в рассуждениях по аналогии и служат основой возможной реализации функциональных актов Амосова как основы моделирования интеллектуального поведения.
Запропоновано підхід до створення інтелектуальних інформаційних технологій на основі моделювання мислення людини і розподіленого представлення інформації в мозку. Показано, що розподілені векторні представлення дозволяють ефективно оцінювати схожість числових векторів, а також вирішувати дискретні некоректні задачі. Розглянуто формування розподілених представлень складно структурованої реляційної інформації, які дозволяють здійснювати ефективний пошук аналогів в міркуваннях за аналогіями і служать основою можливої реалізації функціональних актів Амосова як основи моделювання інтелектуальної поведінки.
The purpose of the paper is to review our approach to creation of intelligent information technologies based on modeling human thinking and a special kind of vector representations that use the idea of distributed representations in the brain. This approach is the development of the ideas of Nikolai Mikhailovich Amosov and his scientific school.
|
| first_indexed | 2025-11-24T16:23:05Z |
| format | Article |
| fulltext |
7
Информационные технологии
и системы
УДК 004.8 + 004.032.26
НЕЙРОСЕТЕВЫЕ РАСПРЕДЕЛЕННЫЕ
ПРЕДСТАВЛЕНИЯ
ДЛЯ ИНТЕЛЛЕКТУАЛЬНЫХ
ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ
И МОДЕЛИРОВАНИЯ МЫШЛЕНИЯ
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович,
И.С. Мисуно, Е.Г. Ревунова, С.В Слипченко, А.М. Соколов
Международный научно-учебный центр информационных технологий
и систем НАН Украины и Министерства образования и науки Украины
Предложен подход к созданию интеллектуальных
информационных технологий на основе моделирования мышления
человека и распределенного представления информации в мозге.
Показано, что распределенные векторные представления позволяют
эффективно оценивать сходство числовых векторов, а также решать
дискретные некорректные задачи. Рассмотрено формирование
распределенных представлений сложно структурированной реляционной
информации, которые позволяют осуществлять эффективный поиск
аналогов в рассуждениях по аналогии и служат основой возможной
реализации функциональных актов Амосова как основы моделирования
интеллектуального поведения.
Запропоновано підхід до створення інтелектуальних
інформаційних технологій на основі моделювання мислення людини і
розподіленого представлення інформації в мозку. Показано, що
розподілені векторні представлення дозволяють ефективно оцінювати
схожість числових векторів, а також вирішувати дискретні некоректні
задачі. Розглянуто формування розподілених представлень складно
структурованої реляційної інформації, які дозволяють здійснювати
ефективний пошук аналогів в міркуваннях за аналогіями і служать
основою можливої реалізації функціональних актів Амосова як основи
моделювання інтелектуальної поведінки.
ВВЕДЕНИЕ
Постановка задачи. Предлагается подход к созданию интеллектуальных
информационных технологий (ИИТ), который основан на моделировании
мышления человека и особенностей нейросетевой организации мозга.
Подход является развитием идей Николая Михайловича Амосова и его
научной школы [1–9]. В основе подхода — два направления исследований:
— моделирование рассуждений по примерам и по аналогии;
— особый формат векторного представления информации,
использующий идею распределенного представления информации в мозге.
Рассуждения на основе примеров — известный продуктивный подход,
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
8
который используют люди при решении разного рода задач в условиях
неполноты, неточности, противоречивости входной информации. В ИИТ
такой подход требует использования баз примеров прошлого опыта для
обучения и решения задач поиска, классификации, принятия решений и
других задач ИИТ. Перманентный рост количества и объемов доступных
информационных массивов создает предпосылки для использования все
большего количества информации в качестве баз примеров, тем самым
расширяя возможности подхода. В то же время это усложняет хранение,
доступ и обработку информации о примерах.
В современном арсенале методов искусственного интеллекта и
машинного обучения хорошо развиты методы обработки данных,
представленных в векторной форме. Многие методы решения задач на основе
векторных представлений имеют приемлемую (полиномиальную)
вычислительную сложность, что позволяет применять их на практике.
Однако традиционные векторные представления больших массивов сложных
данных имеют большую размерность, что недопустимо замедляет обработку.
В то же время обработка сложно структурированных данных,
представленных в символьной форме, осуществляется последовательными и
часто вычислительно сложными (переборными) алгоритмами. Так, сходство
графов часто определяется на основе установления изоморфизма их
подграфов, что является NP-полной задачей. Такого рода методы
практически не применимы в масштабных приложениях.
Для решения этих проблем мы разрабатываем методы на основе
распределенных представлений (РП) — особого формата векторного
представления разнотипной информации, по аналогии с идеей
распределенного представления информации в мозге. Сходные методы
разрабатываются математиками в областях, известных как
«рандомизированные алгоритмы», «случайные проекции» и др. Наш подход
является развитием парадигмы ассоциативно-проективных нейронных сетей
(АПНС) [2–8] — одного из направлений реализации идей Н.М. Амосова.
Цель данной работы:
— представить обзор некоторых направлений развиваемого подхода;
— показать, каким образом распределенные представления создают
возможность повысить эффективность хранения и обработки числовых
векторных данных, основанных на определении их сходства, и эффективно
решать дискретные некорректные обратные задачи;
— исследовать формирование распределенных представлений сложно-
структурированной реляционной информации, используемой в рассуждениях
по аналогии, которые позволяют осуществлять поиск аналогов по сходству с
одновременным учетом структуры и семантики информации;
— разработать схему реализации с помощью РП функциональных актов
Амосова как основы для моделирования интеллектуального поведения.
РАССУЖДЕНИЯ НА ОСНОВЕ ПРИМЕРОВ И АНАЛОГИЙ
Моделирование рассуждений на основе примеров и его разновидности
— рассуждения на основе прецедентов (case-based reasoning) и аналогий
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
9
(analogy-based reasoning) [10] — применяется в ИИТ для решения задач
поиска, классификации, аппроксимации, прогнозирования, планирования,
диагностики, управления и др.
Для реализации подхода рассуждений по примерам формируется база
примеров — память системы. В базе запоминаются описания
индивидуальных или обобщенных примеров — ситуации вместе с
прогнозами их развития, реакциями на них, задачи с их решениями, т.е.
примеры прошлого опыта, которые обычно называют прецедентами или
аналогами. Для входной ситуации система находит в базе одну или несколько
сходных ситуаций и принимает решения, делает прогнозы или выводы о
входной ситуации, адаптируя к ней знания из найденных примеров. Такой
подход позволяет прогнозировать в исследуемом объекте или процессе
наличие неизвестных свойств, отношений, причинно-следственных связей и
т.п. на основе фактов их существования в похожих объектах.
Ключевой этап в задаче рассуждений на примерах — этап поиска.
Важную роль на этапе поиска ближайшего примера играет поиск по
сходству. В некоторых приложениях рассуждений на основе примеров можно
адекватно оценивать сходство по «поверхностным» признакам
(surface features). Обычно поверхностные признаки представлены в виде пар
атрибут-значение и даются как часть описания примера. Таким образом,
пример для целей поиска может быть представлен как простой вектор
числовых признаков. Меры сходства-различия векторов, такие как
расстояние, скалярное произведение, угол, имеют линейную от размерности
вектора вычислительную сложность, т.е. вычислительно эффективны.
Рассуждения по прецедентам — разновидность методологии
рассуждений на основе примеров, где поиск прецедентов происходит по
поверхностным признакам, — показали свою полезность в широком спектре
приложений и областей. Однако они требуют трудоемкой ручной настройки
системы для выполнения конкретной задачи, знаний о конкретной
предметной области и характерных для нее признаках [10]. Кроме того, на
этапах автоматической обработки в рассуждениях по прецедентам
игнорируются знания о структуре примеров.
В последние годы растет понимание важности структуры информации
как в области рассуждений на основе примеров, так и в других областях,
таких как базы данных и знаний, веб и т.д. Появляются базы примеров в виде
баз данных и баз знаний, в том числе в формате XML. Это порождает
потребность в универсальных механизмах извлечения и обработки примеров
базы, а не специфичных для конкретной цели и конкретной базы примеров.
Поэтому все больше внимания привлекают рассуждения по аналогии, где
акцент делается именно на учете структуры примеров-аналогов. Аналоги
представляют собой реляционные структуры — т.е. структуры, где выделены
иерархические системы отношений между сущностями предметной области.
Рассуждения по аналогии моделирует общие когнитивные процессы,
позволяя более универсальную обработку примеров, которая не зависит от
предметной области.
На рис. 1 в виде графа представлено схематическое описание
реляционной структуры аналога — эпизода базы знаний, соответствующего
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
10
солнечной системе в известной аналогии Резерфорда атом — солнечная
система. Описания аналогов включают описания их элементов — объектов
(сущностей), атрибутов (признаков) и отношений. Сущности — это объекты
предметной области (например, Солнце, планеты и т.п.). Атрибуты
описывают свойства объектов (например, масса, температура и т.п.).
Отношения определяют взаимоотношения между элементами аналогов
(например, притягивать, больше, если … то и т.д.). Аргументами отношений
могут быть объекты, атрибуты или другие отношения. Атрибуты могут
рассматриваться как отношения с одним аргументом.
2
1 2
1
2 1
TEMP
PLANET SUN
MASS
GRAVITY
ATTRACT
CAUSE
GREATER
AND
REVOLVE
CAUSE
TEMP
GREATER
MASS
Рис. 1. Схематическое описание аналога в виде графа
Модели рассуждений по аналогии (рис. 2) по входному эпизоду находят
наиболее сходные эпизоды-аналоги в памяти, используя меру сходства,
учитывающую структуру аналогов. Затем входной эпизод сравнивается с
найденным аналогом и определяется соответствие между элементами двух
эпизодов (т.н. «отображение», [11]). Часть аналога из памяти, которая
отсутствует во входном эпизоде (отношение или система отношений)
переносится на входной эпизод, адаптируясь к нему (вывод по аналогии).
{ai ↔ bi}
b
БЛОК
ВЫВОДА
Выводы
{ai* ← bi}
Ближайший
аналог b
Отображения
{ai ↔ bi}
БЛОК
ПОИСКА
БЗ АНАЛОГОВ
a
БЛОК
ОТОБРАЖЕНИЯ
a
Входной
аналог x
Рис. 2. Схема реализации рассуждений по аналогии
Поиск и обработка аналогов требует использования вычислительно
сложных операций оценки сходства структур. Однако такие затраты
оправданы тем, что могут быть найдены более релевантные примеры.
Структурное сходство аналогов отражает то, как элементы аналогов
(например, сущности, отношения и подструктуры различных иерархических
уровней) расположены (организованы) по отношению друг к другу. Оно
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
11
основано на понятии «структурной согласованности» [12] или
«изоморфизма» [13]. Аналоги также сравниваются по «поверхностному» или
«внешнему сходству» [14] на основе общих элементов аналогов, или по более
широкому «семантическому сходству» [13] на основе, например,
принадлежности к одной таксономической категории или сходству векторов
характеристических признаков. Эксперименты по оценке людьми сходства и
аналогии подтвердили, что как поверхностное, так и структурное сходство
необходимы для поиска адекватных аналогов [14].
Реляционную структурированную информацию в эпизодах или аналогах,
которые применяют в рассуждениях по аналогии, часто рассматривают как
помеченные ориентированные упорядоченные ациклические графы. Это
порождает соблазн использовать меры сходства графов из теории графов. К
сожалению, эти методы (меры), как правило, требуют решения NP-полных
задач или подвержены комбинаторному взрыву [15].
Исследователями рассуждений по аналогии предложен ряд
эвристических моделей поиска аналогов на основе сходства. Наиболее
продвинутыми из них являются MAC/FAC, которая работает с символьными
структурами [14], и ARCS, использующая локалистские нейросетевые
структуры [13]. Эти методы оценки сходства имеют полиномиальную
вычислительную сложность. Однако полиномиальная сложность для
больших аналогов и баз примеров также неприемлема, по крайней мере, для
степени полинома более двух-трех.
Таким образом, традиционные методы работы со структурами
вычислительно дорогие и плохо учитывают семантику. Альтернативный
подход заключается в преодолении высокой вычислительной сложности и
плохого учета семантики путем вложения (преобразования) графов во
внутренние векторные представления. В отличие от рассуждений по
прецедентам, в рассуждениях по аналогии такие векторы должны отражать
не только семантику, но и структуру примеров.
РАСПРЕДЕЛЕННЫЕ ПРЕДСТАВЛЕНИЯ В АПНС
Оригинальные методы вложений графов в векторные пространства были
предложены в области исследований, известной как распределенные
представления (distributed representations) [16]. Это нейросетевой подход,
основанный на моделировании представления информации в мозге, к
которому привели идеи распределенного или «голографического»
представления информации, как альтернативы «локалистским»
представлениям [17].
В локалистских представлениях каждому объекту (например, признак,
физический объект, отношение и т.п.) соответствует некоторый узел, символ,
или компонент вектора. Распределенное представление (РП) информации —
форма векторного представления, где каждый объект представлен
множеством компонентов вектора и каждый компонент вектора может
принадлежать представлениям многих объектов [16]. Поэтому, в РП
семантика отдельных компонентов векторов представления не определена, в
отличие от обычного (локалистского) векторного представления.
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
12
Распределенные представления обеспечивают:
— высокую информационную емкость (например, если один объект
представлен M компонентами N-мерного вектора представления, число
представимых объектов распределенными представлениями равно числу
сочетаний из N по М, в отличие от N / M в локалистских представлениях);
— явное представление релевантных аспектов объектов как элементов
многомерного вектора, что обеспечивает непосредственный доступ к ним:
информация может быть извлечена с помощью простой обработки и без
дополнительного обращения к памяти (без прослеживания указателей и т.п.);
— непосредственное представление сходства (сходные объекты имеют
сходные представления) и использование эффективно вычислимых мер
сходства (скалярное произведение или расстояние);
— возможность использования хорошо развитых методов векторной
обработки информации.
К достоинствам РП относятся также нейробиологическая релевантность;
способность работать в условиях шума и сбоев, надежность.
Считалось, что главным недостатком распределенных представлений
является неспособность представлять структуру (см., например, [18] и ссылки
в ней). Однако в последнее время появились схемы «структурно-
чувствительных» распределенных представлений в виде векторов различных
форматов, где для представления структуры используются операции
связывания (binding) [19–21].
Разрабатываемая нами парадигма АПНС является одной из ветвей
работы по моделированию процессов мышления, инициированной
Н.М. Амосовым [9] в начале 60-х гг. [1]. Другим направлением этой работы
являлась разработка семантических сетей — M-сетей [22, 23]. Первоначально
эти два направления развивались параллельно, в результате чего был создан
первый в мире автономный робот, управляемый с помощью нейронных сетей
в естественной среде [24]. Основы парадигмы АПНС были предложены Э.M.
Куссулем в 1983 г. и опубликованы в [4]. Идея АПНС состоит в соединении
иерархической организации модели мира Амосова с преимуществами
структурно-чувствительных РП и ансамблей Хебба.
В АПНС для РП используются двоичные векторы с компонентами {0, 1},
которые мы называем кодвекторами. Любой объект х (атрибут, объект,
отношение) представлен кодвектором X (x→X). Кодвекторы — разреженные
векторы, т.е. доля ненулевых компонентов вектора М кодвектора X
размерностью N мала: M / N << 1 / 2.
Сходные (в контексте задачи) объекты должны иметь сходные
кодвекторы. Сходство определяется на основании скалярного произведения,
которое для двоичных векторов равно числу общих единичных компонентов,
т.е. перекрытию X, Y: |X ∧ Y|, где ∧ — покомпонентная конъюнкция, |Z| —
число ненулевых компонентов в Z. Для связывания используется
специальная операция контекстно-зависимого прореживания [18].
В последующих разделах рассмотрим разработанные методы
формирования и обработки РП векторных данных и реляционных структур.
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
13
ПРЕОБРАЗОВАНИЕ ВЕКТОРНЫХ ДАННЫХ В РАСПРЕДЕЛЕННЫЕ
ПРЕДСТАВЛЕНИЯ
Большая часть электронных цифровых данных может быть представлена
в виде матриц или таблиц. Например, массивы текстов для целей поиска или
классификации рассматривают как матрицы слова-тексты, где в столбцах —
тексты, а в строках — слова. Эту же информацию можно трактовать как
набор точек в многомерном пространстве. Размерность пространства может
составлять сотни тысяч (по числу слов в языке), а число точек — миллионы и
миллиарды (по числу веб-страниц Интернета).
Многие методы и алгоритмы информационного поиска, классификации,
кластеризации, аппроксимации, обучения и рассуждений на основе
примеров, ассоциативной памяти и др. оперируют мерами различия и
сходства векторов, такими как расстояние, скалярное произведение, угол.
Поэтому было бы полезно оперировать с преобразованными векторными
представлениями, которые имеют сходство, согласующееся со сходством в
исходном векторном пространстве, но при этом более эффективны с точки
зрения экономии памяти, скорости обработки, возможности применения
специальных методов хранения и обработки данных.
Такое преобразование может быть выполнено при помощи
персептроноподобной нейронной сети. Для решения задач классификации,
аппроксимации, гетероассоциативной памяти и др. веса связей таких сетей
обычно настраивают на обучающей выборке, стартуя со случайных весов.
Однако ряд полезных свойств имеют и нейросети со случайной начальной
структурной организацией.
Преобразуем входной массив данных, представленный в виде входной
матрицы X(A x L), L — число векторов, в массив Y(N x L) путем его
повекторной подачи на однослойный персептрон (рис. 3) со случайными
связями, представленными в виде матрицы R(N x A): Y = RX.
При определенном выборе R по результату (т.е. по N-мерным векторам
матрицы Y) можно с высокой точностью и вычислительно эффективно
оценить расстояния между исходными А-мерными векторами в Х, даже при
N << A. Например, это справедливо для случайной матрицы R, элементы
которой сформированы как реализации Гауссовой случайной величины [25].
Применим в выходных нейронах персептронной сети бинаризирующее
пороговое преобразование y → z:
zj = 1 при yj > tj; zj = 0 иначе, j = 1, ..., N, (1)
где tj — величина порога.
Тогда по бинарным выходным векторам z1, z2 тоже можно оценивать
угол между входными векторами [26] как
θ* = g–1 ((z1, z2) / |z1|), (2)
где g–1 — функция, обратная функции g условной вероятности совпадения
единичных компонентов результирующих бинарных разреженных векторов,
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
14
(z1, z2) / |z1| — оценка этой вероятности по бинарным векторам, (z1, z2) —
скалярное произведение z1, z2. Функция g вычисляется по формуле
p(z1j=1| z2j=1) = p(z1j=1, z2j=1) / p(z2j=1), (3)
где )1( 2 =zp — вероятность единичного компонента z2, p(z1 = 1, z2 = 1)
p(z1=1, z2=1) — вероятность совпадения единичных компонентов z1 и z2,
которая, в свою очередь, при бинаризации порогами t1 и t2 вычисляется как
p(z1j = 1, z2j = 1| θ, t1, t2) = p(y1j > t1, y2j > t2 | θ) =
21
)θcos1(2
θcos2
2
1 2
2
2
221
2
1
)θcos1(π2
1 dydye
t t
yyyy
∫ ∫
∞ ∞
−
+−
−
−
.
(4)
Степень разреженности бинарных выходных векторов регулируется
величиной порога. При этом число бит для представления бинарных векторов
может быть меньше, чем число бит на представление векторов с плавающей
точкой, даже если размерность бинарных векторов больше.
...
1 A
R
...
1 N
...
x
z
...
x1 x2 x3 xA
z1 z2 z3 zN
y
Рис. 3. Однослойный персептрон
Заметим, что у компонентов входных векторов в нашем примере с
представлением текстов имелась явная семантика — компонент
соответствовал слову, а его значение являлось функцией от частоты
встречаемости слова в тексте. У компонентов выходных векторов,
соответствующих текстам, такой семантики компонентов уже нет. Тем не
менее, сходным входным векторам соответствуют сходные выходные
векторы. Такие векторы являются примером РП.
Случайные числа с плавающей точкой, требующиеся для представления
Гауссовых случайных величин, генерировать вычислительно сложно, и они
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
15
занимают много места. Очевидно, самый простой вариант — это бинарные
случайные величины со значениями 0 и 1. Они очень легко генерируются и
хранятся. Тогда и умножение на бинарную матрицу сводится к сложению,
т.е. является вычислительно простым. Поэтому представляют интерес
методы формирования РП с помощью случайных бинарных матриц.
Рассмотрим еще одну задачу, решение которой требуется для многих
практических приложений. Пусть дана линейная система
Ax = b, (5)
где матрица A(m x n) и вектор b известны, вектор x требуется оценить.
В случае когда сингулярные значения A плавно убывают до нуля и
отношение между наибольшим и наименьшим ненулевым сингулярными
значениями велико, вектор b искажен аддитивным шумом, эта задача
известна как дискретная некорректная задача (см. ссылки в [27]). Дискретные
некорректные задачи возникают, например, при дискретизации интегральных
уравнений Фредгольма и Вольтерры первого рода в спектрометрии,
гравиметрии, магнитометрии, электроразведки и др. (см. [28–29] и ссылки).
Решения дискретных некорректных задач как задач наименьших
квадратов с использованием численных методов линейной алгебры являются
неустойчивыми. Нами предложен и развивается подход к устойчивому
решению дискретных некорректных задач, использующий идеи
распределенного представления и рандомизированных проекций.
Обе части исходного уравнения превратим в РП случайной проекцией
RAx = Rb. (6)
Число столбцов n матрицы RA(k x n) определяется размерностью матрицы A,
число строк k априорно неизвестно. Решение получим с помощью
псевдообратной матрицы (RA)+:
x = (RA)+Rb. (7)
Оказывается, ошибка такого решения меняется в зависимости от
размерности k проекционной матрицы. Причем имеется оптимальная
размерность k < n, при которой достигается минимум ошибки.
Для выбора размерности k, близкой к оптимальной, на основе анализа
поведения составляющих ошибки решения — смещения и дисперсии —
предлагается использовать критерии выбора моделей Маллоуза Cp, Акаике
AIC, Бин Ю gMDL, а также выбора параметра резуляризации Тихонова
методом кросс-валидации GCV, обобщенной невязки Dsc, L-кривой и др.
В табл. 1 приведены ошибки решения дискретной некорректной задачи
для аэро-гаммы съемки [28], полученные обычной псевдоинверсией — ePin,
методами регуляризации Тихонова (без случайного проецирования) eRegT и
предлагаемым способом со случайным проецированием ePin(Q)R.
В скобках указаны значения k. При оптимальной размерности k ошибка
решения на несколько порядков меньше, чем методом псевдообращения без
преобразования в РП и находится на уровне ошибки регуляризации
Тихонова.
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
16
На рис. 4 приведены зависимости от k ошибки решения псевдоинверсией
с проецированием (левая ось Y) и критерия выбора модели gMDL (правая ось
Y) при разных уровнях шума (1e–2, 1e–6, 1e–10). Минимумы ошибки и
критерия достигаются при близких значениях k.
Таблица 1
Ошибка решения дискретной некорректной задачи разными методами
Ошибка решений
без случайной проекции
Ошибка решений
со случайной проекцией Уровень
шума
в b ePin
eRegT
Lcur
eRegT
GCV
eRegT
Dsc
ePinR
(k)
ePinQR
(k)
ePinR
gMDL(k)
ePinQR
gMDL(k)
ePinR
Lcur(k)
ePinQR
Lcur(k)
10–2 7,3 108 48,9 47,3 64 53,8(26) 50,3(29) 53,8(26) 51,3(27) 53,8(26) 51,9(30)
10–6 7,3 104 21,1 1,6 103 22,8 21,9(35) 21,7(39) 21,9(35) 21,8(35) 22,0(36) 21,7(39)
10–10 11,1 9,4 11,1 15,5 9,01(77) 8,3(47) 21,9(35) 12,5(45) – –
Значение размерности k, при котором достигается минимум ошибки
решения, уменьшается с увеличением уровня шума в b. Это создает
возможность уменьшения вычислительных затрат на получение решения.
Разложение по сингулярным значениям SVD для получения
псевдообратной матрицы, с помощью которой вычисляется решение,
выполняется для RA (k x n). Поэтому, когда k составляет малую долю m,
вычислительные затраты O(mn min{m,n}) на SVD уменьшаются по
сравнению с затратами на SVD исходной матрицы A(m x n). Выигрыш
увеличивается при большом уровне шума, когда оптимальное k мало.
1.E+00
1.E+02
1.E+04
1.E+06
1.E+08
0 10 20 30 40 50 60K
ePinQR
0
1000
2000
3000
4000
5000
6000gMDLePinQR 1e-2
ePinQR 1e-6
ePinQR 1e-10
gMDL 1e-2
gMDL 1e-6
gMDL 1e-10
Рис. 4. Зависимость ошибки и значений критерия выбора модели gMDL
от размерности проекционной матрицы k
Дальнейшее развитие работ в этом направлении включает применение
критериев выбора модели, которые дают размерность проекционной
матрицы, ближайшую к оптимальной; разработку новых критериев выбора
модели, использование инкрементных методов разложения по сингулярным
значениям.
ПРЕДСТАВЛЕНИЕ И ОБРАБОТКА СТРУКТУР С ПОМОЩЬЮ РАСПРЕДЕЛЕННЫХ
ПРЕДСТАВЛЕНИЙ
Оперирование структурами считают более высокой ступенью обработки
информации для человеческого интеллекта и компьютеров. Так, способность
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
17
проводить более сложные аналогии, требующие анализа иерархических
систем отношений, появляется у детей, начиная с определенного возраста
(см. ссылки в [30]). А в работе по созданию новых, гораздо более
эффективных компьютеров в рамках программы Ubiquitous High Performance
Computing [31], DARPA в качестве одного из основных направлений
выделяет Graph-based Computing — вычисления на основе графов.
Утверждается, что продвижения здесь гораздо более трудные, чем в обычных
числовых вычислениях, но в перспективе гораздо более важные.
Анализ этого направления показывает, что:
— оперирование структурами требует прослеживания связей или
указателей, наверное, поэтому сходство структур определяется сложными,
зачастую переборными алгоритмами;
— меры сходства обычно не учитывают степень сходства элементов
структур, либо учитывают только совпадение или различие имен элементов;
— оперирование структурами и числами рассматривается как отдельные
самостоятельные направления.
Однако часто требуется соединять структурированную и числовую
информацию. Например, вершины графов могут представлять собой
объекты, которые отличаются не только символьным именем, но могут иметь
свое векторное представление. Более того, замена объекта именем
представляет собой отрыв от семантической основы, который многие
считают ахиллесовой пятой традиционного искусственного интеллекта.
Возникает вопрос, нельзя ли превратить структуру в вектор, доступный
для последующего эффективного оперирования, с сохранением в нем
полезной информации о структуре? Нами разработаны подходы
преобразования структур в РП [11, 18, 30, 32, 33], которые позволяют
сохранить в векторах полезную информацию о структуре и семантике, и
использовать полученные РП для оценки сходства реляционных структур.
Группа (подмножество) элементов представляется покомпонентной
дизъюнкцией Z = ∨i Xi их кодвекторов [18]. Однако, если формировать
кодвектор «множества множеств» покомпонентной дизъюнкцией
кодвекторов групп, информация о первоначальных наборах теряется, что
приводит к «катастрофе суперпозиции» (см., например, [18]). Поэтому для
сохранения информации о группировке элементов в иерархических
структурах, а также о порядке следования элементов, требуется операция
связывания.
Кроме того, покомпонентная дизъюнкция дает вектор, в котором больше
единичных компонентов, чем в каждом из входных векторов. Для сохранения
разреженности кодвекторов требуется нормализация числа единиц.
Рассмотрим один из вариантов процедуры контекстно-зависимого
прореживания, которая используется в АПНС для связывания и
нормализации (см. подробное описание и обсуждение в [18]).
Связанный кодвектор 〈Z〉 формируется из связываемых кодвекторов Xi:
Z = ∨i Xi 〈Z〉 = ∨k=1,K ( Z ∧ Z~
(k) ) = Z ∧ ∨k=1,K Z~
(k). (8)
Здесь Z~
(k) есть Z с переставленными компонентами. Для каждого k,
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
18
используется случайная независимая перестановка, фиксированная для этого
k. Число используемых перестановок K управляет числом единичных
компонентов в итоговом 〈Z〉.
Подмножество единичных компонентов каждого кодвектора Xi, которое
сохраняется в 〈Z〉, зависит от Z, и, следовательно, от каждого и всех Xi.
Таким образом сохраняется информация о конкретном (под)множестве
элементов структур, кодвекторы которых участвовали в формировании 〈Z〉,
чем и обеспечивается связывание.
Процедура связывания может рассматриваться как функциональный
аналог группирующих скобок в символьной нотации, позволяющий
сохранить информацию о группировке элементов структур: (a, b, c...) →
〈A, B, C...〉, где (a, b, c...) — элементы группы, A, B, C... — их кодвекторы,
〈...〉 — процедура связывания.
Важным типом структур являются последовательности. Для РП
последовательности можно использовать связывание кодвекторов элементов
с их положением: 〈A ∨ №〉, где № — кодвектор номера.
Другой разрабатываемый нами подход к представлению
последовательности связан с преобразованием в векторы q-грамм
переменной длины, и последующее формирование РП [34]. Показано, что
такие РП аппроксимируют расстояние Левенштейна. Разработанные методы
эффективного поиска ближайших последовательностей в больших базах
использовались для решения ряда задач классификации рассуждениями по
примерам — поиск дубликатов текстов в базах поисковых систем,
идентификация спама в электронной почте, поиск кодирующих участков
генов, выявление аномалий в поведении пользователей компьютеров.
На базе процедур связывания контекстно-зависимым прореживанием
[18] были предложены методы представления иерархических реляционных
структур в виде кодвекторов [11, 30, 32, 33]. Их основой является
формирование кодвекторов отношений. Элементы отношений — их имена,
роли, аргументы — мы представляем кодвекторами. Из них с помощью
разработанных методов формируются кодвекторы отношений.
Сформированные кодвекторы отношений имеют ту же размерность, что
и кодвекторы элементов отношений, и содержат подмножества единичных
компонентов кодвекторов элементов отношений. Поэтому сходные по
составу элементов отношения продуцируют сходные результирующие
кодвекторы. Из кодвекторов отношений рекурсивно формируются
кодвекторы сложных иерархических реляционных структур, содержащих
отношения высших порядков. В результате для структур со сходными
объектами и отношениями созданные методы обеспечивают продуцирование
сходных кодвекторов.
Таким образом, находя сходство кодвекторов реляционных структур по
некоторой мере сходства векторов, например по скалярному произведению,
мы одновременно оцениваем сходство структур и сходство объектов в этих
структурах. Это создает основу для создания вычислительно эффективных и
качественно новых методов обработки реляционных структур баз данных и
знаний, которые основаны на сходстве и одновременно учитывают и
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
19
структуру, и семантику знаний.
На рис. 5 дано кодвекторное представление SOLAR_SYSTEM
(см. рис. 1), сконструированное с применением связывания из кодвекторов
сущностей SUN, PLANET и ролей отношений CAUSE_1, CAUSE_2,
GRAVITY_1, GRAVITY_2, MASS, TEMPERATURE, ATTRACTS_1,
ATTRACTS_2, GREATER_1, GREATER_2, REVOLVE-AROUND_1,
REVOLVE-AROUND_2.
В описании ситуаций (эпизодов) баз знаний сложность отношений много
выше, чем в приведенном примере. Так, в экспериментах по поиску аналогов
мы использовали эпизоды, состоящие в среднем из 90 отношений.
Результаты получены на уровне (или выше) лучших символьных моделей
рассуждений по аналогии MAC/FAC при меньшей вычислительной
сложности. Рассмотрим в качестве примера один из экспериментов.
SOLAR_SYSTEM =
〈 CAUSE_1
∨ 〈GRAVITY_1 ∨ 〈MASS ∨ SUN〉 〉
∨ 〈GRAVITY_2 ∨ 〈MASS ∨ PLANET〉〉 〉
∨ 〈CAUSE_2
∨ 〈ATTRACTS_1 ∨ SUN〉
∨ 〈ATTRACTS_2 ∨ PLANET〉 〉
∨
〈 GREATER_1 ∨ 〈TEMPERATURE ∨ SUN 〉〉
∨ 〈 GREATER_2 ∨ 〈TEMPERATURE ∨ PLANET〉 〉
∨
〈 CAUSE_1
∨ 〈 AND ∨ 〈GREATER_1∨〈MASS∨SUN〉〉
∨ 〈GREATER_2∨〈MASS∨PLANET〉〉 〉
∨ 〈 AND ∨ 〈ATTRACTS_1 ∨ SUN〉
∨ 〈ATTRACTS_2 ∨ PLANET〉〉 〉
∨ 〈 CAUSE_2
∨ 〈 REVOLVE-AROUND_1 ∨ PLANET〉
∨ 〈REVOLVE-AROUND_2∨SUN〉 〉
Рис 5. Кодвекторное представление аналога
Известно, что люди находят одни виды аналогов легче, чем другие. На
основе анализа различных видов аналогов психологами были выявлены типы
их сходства и упорядочены по легкости нахождения [14]. Типы сходства
представлены в табл. 2. Здесь все эпизоды имеют одинаковые отношения
первого порядка (в данном случае — атаковать, давать отпор). Имеется
два отношения более высокого порядка (отношение следования =>):
=>(атаковать, давать отпор) и =>( давать отпор => атаковать), и
признаковые отношения (атрибуты объектов) страна, фирма.
Эпизоды с «буквальным сходством» LS имеют одинаковые отношения
более высокого порядка (отношение следования «в результате») и атрибуты
объектов. Эпизоды «истинная аналогия» AN имеют одинаковые отношения
более высокого порядка, но другие атрибуты объектов. Эпизоды
«поверхностное сходство» SF имеют одинаковые атрибуты объектов, но
другие отношения более высокого порядка. Эпизоды «только отношения
первого порядка» FOR отличаются и по отношениям более высокого порядка,
и по атрибутам. Как правило, при поиске аналогов считается, что порядок
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
20
легкости выражается как LS ≥ SF > AN ≥ FOR [14].
В экспериментах [30] на вход базы знаний подавали эпизоды, имеющие
сходство типа LS, SF, AN и FOR с эпизодами в базе. Из базы извлекались
наиболее сходные эпизоды и подсчитывались меры качества поиска —
полнота R (recall) и точность P (precision):
R = n1 / n2; P = n1 / n3, (9)
где n1 — число найденных правильных аналогов, n2 — число правильных
аналогов в базе, n3 — общее число найденных аналогов.
Результаты экспериментов приведены в табл. 3. Цифры в скобках (10 %)
обозначают поиск аналогов в интервале сходства 10 % от максимально
похожего на запрос эпизода, а (1) — поиск одного максимально похожего
эпизода. Значение полноты поиска для всех экспериментов было равно 1.
Таблица 2
Типы сходства аналогов
Тип
сходства
Общие
отнош.
1-го
порядка
Общие
отнош.
высшего
порядка
Общие
атрибуты
объектов
Пример эпизода
Входной аналог:
страна(США); страна(Вьетнам);
=> (атака(США, Вьетнам), отпор(Вьетнам, США))
LS + + + Страна(Ирак); страна(Кувейт);
=> (атака(Ирак, Кувейт), отпор(Кувейт, Ирак))
SF + – + страна(CCCР); страна(Афганистан);
=>(отпор(Афган, СССР), атака(СССР, Афган))
AN + + – фирма(IBM); фирма (Apple);
=> (атака(IBM, Apple), отпор(Apple, IBM))
FOR + – – фирма(IBM); фирма (Apple);
=> (отпор(Apple, IBM), атака(IBM, Apple))
Таблица 3
Точность поиска аналогов для разных типов сходства
Тип сходства LS SF AN FOR
MAC (10 %) 0,5 0,1 0,08 0,09
MAC/FAC (10 %) 1,00 1,00 1,00 0,5
АПНС (1) FCDT=0.1 1,00 1,00 1,00 1,00
АПНС (1) FCDT=0.2 1,00 1,00 1,00 1,00
АПНС (10 %) FCDT=0.1 1,00 1,00 1,00 1,00
АПНС (10 %) FCDT=0.2 1,00 1,00 1,00 0,63
Результаты по точности поиска показывают, что для АПНС
максимальные значения точности поиска, равные 1, получены для
большинства запросов и параметров формирования РП (обозначены FCDT).
Исключение составляют FOR для АПНС (10 %) FCDT = 0,2, где точность
равна 0,63. Этот результат сопоставим с результатом лучшей символьной
модели MAC/FAC (10 %), где точность равна 0,5. По сравнению с первой
стадией MAC (10 %) модели MAC/FAC, для АПНС точность в 5–10 раз выше
для сходства типа SF, AN и FOR, а для сходства типа LS — в 2 раза выше.
ФУНКЦИОНАЛЬНЫЕ АКТЫ КАК ОСНОВА МОДЕЛИРОВАНИЯ
ИНТЕЛЛЕКТУАЛЬНОГО ПОВЕДЕНИЯ
Н.М. Амосов [1, 2] рассматривал действия агента в сложной среде как
совокупность «функциональных актов» (ФА), направленных на достижение
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
21
некоторых целей, поставленных извне или самим агентом. Предложим
возможную реализацию ФА на основе РП (см. также [4, 8]). Примером агента
будет автономный робот, действующий в сложной среде.
В процессе взаимодействия с окружающей средой робот формирует
сенсорные представления объектов в разных модальностях, получая
информацию от датчиков, и распределенно представляет их с помощью
кодвекторов. Кодвекторы сохраняются в долговременной распределенной
ассоциативной памяти. Хранимые представления образуют ансамбли Хебба.
В памяти формируются и хранятся РП внешних ситуаций и внутренних
состояний робота, последовательностей его действий. Критерии
функционирования робота и его цели (например, желаемые состояния
внешней среды и внутренних состояний) также представлены в памяти
соответствующими кодвекторами.
Из кодвекторов текущей ситуации (situation1), действия (action) и
результирующей (целевой) ситуации (situation2), кодвекторов их оценок
(evaluation1, evaluation2) и затрат на достижение (cost), с помощью
описанной выше процедуры контекстно-зависимого прореживания
формируются представления соответствующих структур (троек ситуация 1 —
действие — ситуация 2):
〈 〈situation1 ∨ evaluation1〉 ∨ 〈action ∨ cost〉 ∨ 〈situation2 ∨
∨ evaluation2〉 〉.
(10)
Таким образом, по сходству кодвекторов situation1 и/или situation2 из
памяти можно извлечь кодвектор всей тройки, и выделить его элемент —
кодвектор действия (action), которое трансформирует текущую ситуацию в
целевую. Таким же путем, по кодвекторам текущей ситуации (situation1) и
действия (action) можно извлечь кодвектор результирующей ситуации
(situation2), в которой окажется робот после выполнения соответствующего
действия в текущей ситуации. Или по сходству с кодвектором целевой
ситуации (situation2) можно извлечь кодвекторы ситуаций и действий,
которые приводили ранее к целевой ситуации, вместе с соответствующими
оценкой и затратами. Таким образом, накопление опыта в виде структур,
ассоциирующих действия с целями, создает основу для принятия решений и
планирования действий.
На первом этапе ФА агент воспринимает текущее состояние
окружающей среды и представляет его в виде кодвекторов. Для сложных
ситуаций внутренние кодвекторные представления воспринимаемых
признаков, объектов, их отношений образуют сложные иерархические РП в
рабочей памяти и РП (кодвектор) наиболее похожей ситуации извлекается из
долговременной памяти, как было описано в предыдущем разделе. Затем,
используя модель рассуждений по аналогии, агент может извлечь связанный
опыт эволюции аналогичных ситуаций в прошлом и, следовательно,
спрогнозировать будущее текущей ситуации и ее результаты для агента (с
использованием отображения и вывода по аналогии [11, 30, 33]).
На следующем этапе выполняется оценка ситуации и планирование
действий. Текущая ситуация и прогноз оцениваются с точки зрения их
потенциала для удовлетворения потребностей агента или внешне
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
22
поставленных целей (таких, как задание агента), с учетом связанных с ними
оценок. После выбора целевой ситуации, инициируется процесс
планирования действий. В простейшем случае он состоит в извлечении из
памяти кодвектора действия, связанного с устранением разницы между
представлениями текущей и целевой ситуаций, и стоимости этого действия.
Затем по кодвекторам текущей ситуации и выбранного действия из памяти
извлекается кодвектор ожидаемой ситуации. Так как ассоциативное
извлечение из памяти осуществляется на основе приближенного сходства,
ожидаемая ситуация может не совпадать с целевой. Тогда процесс
прогнозирования может быть повторен с использованием ожидаемой
ситуации в качестве исходной.
Совокупность полученных кодвекторов действий, ведущих к хорошему
соответствию между целевой и прогнозируемой ситуациями, может
рассматриваться как план верхнего уровня. Для того чтобы получить более
детальный план, кодвекторы, соответствующие сложным наборам действий и
целей, должны быть использованы для извлечения их составляющих —
кодвекторов, соответствующих простым действиям и подцелям, вплоть до
последовательности элементарных моторных актов. При этом нужно
учитывать совместимость действий с условиями окружающей среды и
затраты на их реализацию. Если цель может быть достигнута с разумными
затратами, принимается решение о реализации плана и план передается на
этап реализации.
Таким образом, поведение строится как совокупность ФА. ФА более
высоких уровней иерархии разворачиваются через ФА нижних уровней, а
последние, в свою очередь, реализуются через конкретные действия. Наличие
у агента разных целей приводит к сети ФА, направленных на достижение
нескольких целей. Оценка реально достигнутых агентом результатов и
фактически потраченных усилий должны использоваться для корректировки
планов действий и модификации соответствующих кодвекторов действий, их
результатов и затрат на выполнение.
ВЫВОДЫ
Таким образом, распределенные представления, построенные на основе
идей о представлении информации в мозге, при использовании в
информационных технологиях позволяют повысить их вычислительную
эффективность за счет преобразования разнотипных данных — как
неструктурированной информации в виде массивов векторов, так и
реляционных структур баз знаний — в специальный формат бинарных
векторов. Кроме того, распределенные представления позволяют
естественным образом соединить информацию о структуре и семантике,
открывая возможности создания вычислительно эффективных и качественно
новых методов обработки реляционных структур баз данных и знаний по
сходству их представлений. Нейробиологическая релевантность
распределенных представлений открывает возможности создания на их базе
интеллектуальных информационных технологий, функционирующих
аналогично человеческому мозгу.
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
23
1. Амосов Н.М. Моделирование мышления и психики / Н.М. Амосов. — К. : Наукова
думка, 1965. 304 с.
Amosov N.M. Modelling of thinking and the mind. New York: Spartan Books, 1967.
2. Амосов Н.М. Алгоритмы разума / Н.М. Амосов. — К. : Наукова думка, 1979. — 223 с.
Amosov N.M. Algorithms of the Mind. Kiev: Naukova Dumka, 1979. – 223 p.
3. Нейрокомпьютеры и интеллектуальные роботы / Н.M. Амосов, T.Н. Байдык,
A.Д. Гольцев и др. — К. : Наукова думка, 1991. — 269 c.
Amosov N.M., Baidyk T.N., Goltsev A.D., Kasatkin A.M., Kasatkina L.M., Kussul E.M.,
Rachkovskij D.A. Neurocomputers and intelligent robots. Kiev: Naukova dumka, 1991.
269 p.
4. Куссуль Э.M. Ассоциативные нейроподобные структуры / Э.M. Куссуль. — К. :
Наукова думка, 1992. — 144 с.
Kussul E.M. Associative neuron-like structures. Kiev: Naukova Dumka, 1992. 144 p.
5. Байдык Т.Н. Нейронные сети и задачи искусственного интеллекта / Т.Н. Байдык. —
К. : Наукова думка, 2001. — 263 с.
Baidyk T.N. Neural networks and problems of Artificial Intelligence. Kiev: Naukova Dumka,
2001. 263 p.
6. Гольцев А.Д. Нейронные сети с ансамблевой организацией / А.Д. Гольцев. — К. :
Наукова думка, 2005. — 200 с.
Goltsev A.D. Neural networks with assembly organization. Kiev: Naukova Dumka, 2005.
200 p.
7. Kussul E.M., Baidyk T.N., Wunsch D.C. Neural Networks and Micro Mechanics. New York:
Springer, 2010. 210 p.
8. Rachkovskij D.A., Kussul E.M., Baidyk T.N. Building a world model with structure-
sensitive sparse binary distributed representations. Biologically Inspired Cognitive
Architectures, 2013, vol. 3., pp. 64–86.
9. 100th anniversary of the birth of Mykola (Nikolai) Amosov, scientist (1913-2002).
Celebration of anniversaries with which UNESCO is associated in 2012-2013, Ukraine.
UNESCO, 2013. Available at: http://www.unesco.org/new/en/unesco/events/prizes-and-
celebrations/celebrations/anniversaries-celebrated-by-member-states/2013/ (accessed 15
April 2013).
10. Lopez De Mantaras R., Mcsherry D., Bridge D. Retrieval, reuse, revision and retention in
case-based reasoning. Knowledge Engineering Review, 2005, vol. 20, no. 3., pp. 215–240.
11. Slipchenko S.V., Rachkovskij D.A. Analogical mapping using similarity of binary
distributed representations. Information Theories and Applications, 2009, no. 3, pp. 269-290.
12. Falkenhainer B., Forbus K.D., Gentner D. The structure-mapping engine: Algorithm and
examples. Artificial Intelligence, 1989, vol. 41, pp. 1–63.
13. Thagard P., Holyoak K.J., Nelson G., Gochfeld D. Analog retrieval by constraint satisfaction.
Artificial Intelligence, 1990, vol. 46, no. 1–2, pp. 259–310.
14. Forbus K.D., Gentner D., Law K. MAC/FAC: A model of similarity-based retrieval.
Cognitive Science, 1995, vol. 19, no. 2, pp.141–205.
15. Schenker A., Bunke H., Last M., Kandel A. Graph-theoretic Techniques for Web Content
Mining. River Edge, NJ: World Scientific, 2005. 248 p.
16. Thorpe S. Localized versus distributed representations. The Handbook of Brain Theory and
Neural Networks, edited by M.A. Arbib. Cambridge, MA: The MIT Press, 2003,
pp. 643–646.
17. Page M. Connectionist modelling in psychology: A localist manifesto. Behavioral and Brain
Sciences, 2000, vol. 23, pp. 443–512.
18. Rachkovskij D.A., Kussul E. Binding and normalization of binary sparse distributed
representations by context-dependent thinning. Neural Computation, 2001, vol. 13, no. 2.
pp. 411–452.
19. Plate T. Holographic Reduced Representation: Distributed Representation for Cognitive
Structures. Stanford: CSLI Publications, 2003. 300 p.
20. Kanerva P. Hyperdimensional computing: an introduction to computing in distributed
representation with high-dimensional random vectors. Cognitive Computation. 2009, vol. 1,
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
24
no. 2, pp. 139–159.
21. Gayler R. Multiplicative binding, representation operators, and analogy. Advances in
Analogy Research: Integration of Theory and Data from the Cognitive, Computational, and
Neural Sciences, edited by K. Holyoak, D. Gentner, and B. Kokinov. Sofia, Bulgaria: New
Bulgarian University, 1998. 405 p.
22. Амосов Н.М. Автоматы и разумное поведение / Н.М. Амосов, А.М. Касаткин,
Л.М. Касаткина, С.А. Талаев — К. : Наукова думка, 1973 — 374 с.
AmosovN.M., Kasatkin A.M., Kasatkina L.M., Talayev S.A. Automata and the mindful
behaviour. Kiev: Naukova Dumka, 1973. 374 p.
23. Amosov N.M., Kasatkin A.M., Kasatkina L.M. et. al Intelligent behaviour systems based on
semantic networks. Kybernetes, 1973, vol. 2, no. 4, pp. 211–216.
24. Amosov N.M., Kussul E.M., Fomenko V.D. Transport robot with a neural network control
system. Advance papers of the Fourth Intern. Joint Conference on Artificial intelligence,
1975, vol. 9, pp. 1–10.
25. Johnson W., Lindenstrauss J. Extensions of Lipschitz mappings into a Hilbert space.
Contemporary Mathematics, 1984, vol. 26, pp. 189–206.
26. Рачковский Д.А. Рандомизированные проекционные методы формирования бинарных
разреженных векторных представлений / Д.А. Рачковский, И.С. Мисуно,
С.В. Слипченко // Кибернетика и системный анализ — 2012. — № 1. — С. 176–188.
Rachkovskij D.A., Misuno I.S., Slipchenko S.V. Randomized projective methods for the
construction of binary sparse vector representations. Cybernetics and Systems Analysis, 2012,
vol. 48, no. 1. pp. 146–156.
27. Revunova E.G., Rachkovskij D.A. Using randomized algorithms for solving discrete ill-
posed problems. Information Theories and Applications, 2009, no. 2, pp. 176–192.
28. Rachkovskij D.A., Revunova E.G. Intelligent gamma-ray data processing for environmental
monitoring. Intelligent Data Processing in Global Monitoring for Environment and Security.
Kiev-Sofia: ITHEA, 2011, pp. 136–157.
29. Рачковский Д.А. Рандомизированный метод решения дискретных некорректных задач
/ Д.А. Рачковский, Е.Г. Ревунова // Кибернетика и системный анализ. — 2012. — № 4.
— С. 163–181.
Rachkovskij D.A., Revunova E.G. Randomized method for solving discrete ill-posed
problems. Cybernetics and Systems Analysis, 2012, vol. 48, no. 4, pp. 621–635.
30. Rachkovskij D.A., Slipchenko S.V. Similarity-based retrieval with structure-sensitive sparse
binary distributed representations. Computational Intelligence, 2012, vol. 28, no. 1,
pp. 106–129.
31. Ubiquitous High Performance Computing (UHPC), 2010. Available at:
https://www.fbo.gov/index?s=opportunity&mode=form&id=cbc05c86eb555a334708b57056
4dddca&tab=core&tabmode=list&= (accessed 15 April 2013).
32. Rachkovskij D.A. Representation and processing of structures with binary sparse distributed
codes. IEEE Transactions on Knowledge and Data Engineering, 2001, vol. 13, no. 2,
pp. 261–276.
33. Rachkovskij D.A. Some approaches to analogical mapping with structure sensitive
distributed representations. Journal of Experimental and Theoretical Artificial Intelligence,
2004, vol. 16, no. 3, pp. 125–145.
34. Sokolov A. Vector representations for efficient comparison and search for similar strings.
Cybernetics and Systems Analysis, 2007, vol. 43, no. 4, pp. 484–498.
Получено 18.04.2013
В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно,
Е.Г. Ревунова, С.В Слипченко, А.М. Соколов, 2013
ISSN 0452-9910. Кибернетика и вычисл. техника. 2013. Вып. 173
91
Поправка:
В выпуске 173 (2013 год) журнала «Кибернетика и вычислительная техника» в статье
Гриценко В.И., Рачковский Д.А., Гольцев А.Д., Лукович В.В., Мисуно И.С., Ревунова Е.Г.,
Слипченко С.В, Соколов А.М. «Нейросетевые распределенные представления для
интеллектуальных информационных технологий и моделирования мышления»
следует читать:
Гриценко В.И., Рачковский Д.А., Гольцев А.Д., Лукович В.В., Мисуно И.С., Ревунова Е.Г.,
Слипченко С.В, Соколов А.М., Талаев С.А. «Нейросетевые распределенные представления
для интеллектуальных информационных технологий и моделирования мышления».
(Основание: ходатайство авторов статьи и обоснование необходимисти включения
С.А. Талаева в список авторов статьи)
|
| id | nasplib_isofts_kiev_ua-123456789-84479 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0452-9910 |
| language | Russian |
| last_indexed | 2025-11-24T16:23:05Z |
| publishDate | 2013 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України |
| record_format | dspace |
| spelling | Гриценко, В.И. Рачковский, Д.А. Гольцев, А.Д. Лукович, В.В. Мисуно, И.С. Ревунова, Е.Г. Слипченко, С.В. Соколов, А.М. Талаев, С.А. 2015-07-08T18:43:14Z 2015-07-08T18:43:14Z 2013 Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления / В.И. Гриценко, Д.А. Рачковский, А.Д. Гольцев, В.В. Лукович, И.С. Мисуно, Е.Г. Ревунова, С.В. Слипченко, А.М. Соколов, С.А. Талаев // Кибернетика и вычислительная техника. — 2013. — Вип. 173. — С. 7-24. — Бібліогр.: 34 назв. — рос. 0452-9910 https://nasplib.isofts.kiev.ua/handle/123456789/84479 004.8 + 004.032.26 Предложен подход к созданию интеллектуальных информационных технологий на основе моделирования мышления человека и распределенного представления информации в мозге. Показано, что распределенные векторные представления позволяют эффективно оценивать сходство числовых векторов, а также решать дискретные некорректные задачи. Рассмотрено формирование распределенных представлений сложно структурированной реляционной информации, которые позволяют осуществлять эффективный поиск аналогов в рассуждениях по аналогии и служат основой возможной реализации функциональных актов Амосова как основы моделирования интеллектуального поведения. Запропоновано підхід до створення інтелектуальних інформаційних технологій на основі моделювання мислення людини і розподіленого представлення інформації в мозку. Показано, що розподілені векторні представлення дозволяють ефективно оцінювати схожість числових векторів, а також вирішувати дискретні некоректні задачі. Розглянуто формування розподілених представлень складно структурованої реляційної інформації, які дозволяють здійснювати ефективний пошук аналогів в міркуваннях за аналогіями і служать основою можливої реалізації функціональних актів Амосова як основи моделювання інтелектуальної поведінки. The purpose of the paper is to review our approach to creation of intelligent information technologies based on modeling human thinking and a special kind of vector representations that use the idea of distributed representations in the brain. This approach is the development of the ideas of Nikolai Mikhailovich Amosov and his scientific school. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України Кибернетика и вычислительная техника Информационные технологии и системы Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления Нейромережеві розподілені представлення для інтелектуальних інформаційних технологій та моделювання мислення Neural distributed representation for intelligent information technologies and modeling of thinking Article published earlier |
| spellingShingle | Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления Гриценко, В.И. Рачковский, Д.А. Гольцев, А.Д. Лукович, В.В. Мисуно, И.С. Ревунова, Е.Г. Слипченко, С.В. Соколов, А.М. Талаев, С.А. Информационные технологии и системы |
| title | Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления |
| title_alt | Нейромережеві розподілені представлення для інтелектуальних інформаційних технологій та моделювання мислення Neural distributed representation for intelligent information technologies and modeling of thinking |
| title_full | Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления |
| title_fullStr | Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления |
| title_full_unstemmed | Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления |
| title_short | Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления |
| title_sort | нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления |
| topic | Информационные технологии и системы |
| topic_facet | Информационные технологии и системы |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/84479 |
| work_keys_str_mv | AT gricenkovi neirosetevyeraspredelennyepredstavleniâdlâintellektualʹnyhinformacionnyhtehnologiiimodelirovaniâmyšleniâ AT račkovskiida neirosetevyeraspredelennyepredstavleniâdlâintellektualʹnyhinformacionnyhtehnologiiimodelirovaniâmyšleniâ AT golʹcevad neirosetevyeraspredelennyepredstavleniâdlâintellektualʹnyhinformacionnyhtehnologiiimodelirovaniâmyšleniâ AT lukovičvv neirosetevyeraspredelennyepredstavleniâdlâintellektualʹnyhinformacionnyhtehnologiiimodelirovaniâmyšleniâ AT misunois neirosetevyeraspredelennyepredstavleniâdlâintellektualʹnyhinformacionnyhtehnologiiimodelirovaniâmyšleniâ AT revunovaeg neirosetevyeraspredelennyepredstavleniâdlâintellektualʹnyhinformacionnyhtehnologiiimodelirovaniâmyšleniâ AT slipčenkosv neirosetevyeraspredelennyepredstavleniâdlâintellektualʹnyhinformacionnyhtehnologiiimodelirovaniâmyšleniâ AT sokolovam neirosetevyeraspredelennyepredstavleniâdlâintellektualʹnyhinformacionnyhtehnologiiimodelirovaniâmyšleniâ AT talaevsa neirosetevyeraspredelennyepredstavleniâdlâintellektualʹnyhinformacionnyhtehnologiiimodelirovaniâmyšleniâ AT gricenkovi neiromereževírozpodílenípredstavlennâdlâíntelektualʹnihínformacíinihtehnologíitamodelûvannâmislennâ AT račkovskiida neiromereževírozpodílenípredstavlennâdlâíntelektualʹnihínformacíinihtehnologíitamodelûvannâmislennâ AT golʹcevad neiromereževírozpodílenípredstavlennâdlâíntelektualʹnihínformacíinihtehnologíitamodelûvannâmislennâ AT lukovičvv neiromereževírozpodílenípredstavlennâdlâíntelektualʹnihínformacíinihtehnologíitamodelûvannâmislennâ AT misunois neiromereževírozpodílenípredstavlennâdlâíntelektualʹnihínformacíinihtehnologíitamodelûvannâmislennâ AT revunovaeg neiromereževírozpodílenípredstavlennâdlâíntelektualʹnihínformacíinihtehnologíitamodelûvannâmislennâ AT slipčenkosv neiromereževírozpodílenípredstavlennâdlâíntelektualʹnihínformacíinihtehnologíitamodelûvannâmislennâ AT sokolovam neiromereževírozpodílenípredstavlennâdlâíntelektualʹnihínformacíinihtehnologíitamodelûvannâmislennâ AT talaevsa neiromereževírozpodílenípredstavlennâdlâíntelektualʹnihínformacíinihtehnologíitamodelûvannâmislennâ AT gricenkovi neuraldistributedrepresentationforintelligentinformationtechnologiesandmodelingofthinking AT račkovskiida neuraldistributedrepresentationforintelligentinformationtechnologiesandmodelingofthinking AT golʹcevad neuraldistributedrepresentationforintelligentinformationtechnologiesandmodelingofthinking AT lukovičvv neuraldistributedrepresentationforintelligentinformationtechnologiesandmodelingofthinking AT misunois neuraldistributedrepresentationforintelligentinformationtechnologiesandmodelingofthinking AT revunovaeg neuraldistributedrepresentationforintelligentinformationtechnologiesandmodelingofthinking AT slipčenkosv neuraldistributedrepresentationforintelligentinformationtechnologiesandmodelingofthinking AT sokolovam neuraldistributedrepresentationforintelligentinformationtechnologiesandmodelingofthinking AT talaevsa neuraldistributedrepresentationforintelligentinformationtechnologiesandmodelingofthinking |