Нейросетевые технологии в задаче распознавания рукописных символов

Описаны структуры и механизмы работы классификатора LiRA и модульных нейронных сетей. Оба классификатора решают задачу распознавания изображений на основе поиска признаков в них. Эксперименты в сравнении двух классификаторов, показали, что последняя версия модульной нейронной сети обладает более выс...

Повний опис

Збережено в:

Бібліографічні деталі
Опубліковано в: :	Управляющие системы и машины
Дата:	2018
Автори:	Гольцев, А.Д., Гриценко, В.И.
Формат:	Стаття
Мова:	Російська
Опубліковано:	Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України 2018
Теми:	100-летие Национальной академии наук Украины
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/150486
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Нейросетевые технологии в задаче распознавания рукописных символов / А.Д. Гольцев, В.И. Гриценко // Управляющие системы и машины. — 2018. — № 4. — С. 3-20. — Бібліогр.: 49 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1859851599752462336
author	Гольцев, А.Д. Гриценко, В.И.
author_facet	Гольцев, А.Д. Гриценко, В.И.
citation_txt	Нейросетевые технологии в задаче распознавания рукописных символов / А.Д. Гольцев, В.И. Гриценко // Управляющие системы и машины. — 2018. — № 4. — С. 3-20. — Бібліогр.: 49 назв. — рос.
collection	DSpace DC
container_title	Управляющие системы и машины
description	Описаны структуры и механизмы работы классификатора LiRA и модульных нейронных сетей. Оба классификатора решают задачу распознавания изображений на основе поиска признаков в них. Эксперименты в сравнении двух классификаторов, показали, что последняя версия модульной нейронной сети обладает более высокой эффективностью (распознающей способностью), чем классификатор LiRA, хотя и несколько уступает ему в быстродействии. Результат - в статті розглянуті два типи нейронних класифікаторів: нейронний класифікатор LiRA і модульні нейронні мережі. Обидва класифікатора призначені для вирішення практичних завдань з розпізнавання зображень. Обидва класифікатора вирішують задачу на основі пошуку в зображеннях деякого набору заздалегідь сконструйованих ознак. Функціонування обох класифікаторів розглянуто на прикладі використання так званих LiRA-ознак. Здатність класифікаторів ефективно розпізнавати зображення базується саме на використанні дуже великої кількості (десятків і сотень тисяч) простих і ефективних LiRA-ознак. На основі результатів ряду експериментів в порівнянні класифікатора LiRA і модульної нейронної мережі, показано, що остання версія модульної нейронної мережі володіє більш високою ефективністю ніж класифікатор LiRA, хоча і дещо поступається йому за швидкодією. Results the article considers two types of neural classifiers: LiRA neural classifier and modular neural networks. Both classifiers are designed to solve practical problems of image recognition. Both classifiers solve the problem by searching a certain set of pre-constructed features in the images. Both classifiers use the so-called LiRA-features. The ability of classifiers to effectively recognize visual images is largely based on the use of a very large number (tens and hundreds of thousands) of simple and effective LiRA functions. A series of experiments is conducted comparing the LiRA classifier and the modular neural network. The experiments show that the latest version of the modular neural network has a higher efficiency (recognition ability) than the LiRA classifier, although it is slightly inferior in speed.
first_indexed	2025-12-07T15:41:59Z
format	Article
fulltext	ISSN 0130-5395, УСиМ, 2018, № 4 3 100-летие Национальной академии наук Украины Введение Отдел Нейросетевых технологий обработ- ки информации Международного научно- учебного центра информационных технологий и систем образовался из Отдела биологиче- ской и медицинской кибернетики, организо- ванного академиком Н.М. Амосовым в 1962 г. В начальный период разработки отдела управ- лялись прежде всего гипотезой о механизмах переработки информации мозгом человека, предложенной Н.М. Амосовым [1] и результа- тами моделирования этой исходной гипотезы [2]. Подробное описание работ в этот ранний период представлено в [3], а более поздних — в [4-5]. В настоящее время цель данного исследова- ния — разработка эффективных нейросетевых технологий обработки информации на основе компьютерного моделирования нейронной ор- га ни за ции мозга человека и механизмов его мышления. Разработанные нейросетевые тех- нологии предназначены для использования в решении актуальных практических задач Ис- кус ственного Интеллекта: разработка нейросетевых векторных распреде- ленных представлений данных разной природы; интеллектуальная обработка сигнальной информации; обработка и классификация изображений и звуков с использованием нейронных сетей; быстрая оценка сходства и поиск по сходству (с использованием нейросетевых методов). В 80-х годах прошлого века Э.M. Куссу- лем была предложена теория ассоциативно- проективных нейронных сетей [6], которая может стать основой для построения нейросе- тевого искусственного интеллекта. Эта теория в значительной степени базируются на распре- DOI https://doi.org/10.15407/usim.2018.04.003 УДК 004.8 + 004.032.26 А.Д. ГОЛЬЦЕВ, канд. техн. наук, ст. научн. сотр., и.о. зав. отделом, Міжнародний науково-навчальний центр інформаційних технологій та систем НАН та МОН України, просп. Глушкова, 40, Київ 03187, Україна, root@adg.kiev.ua В.И. ГРИЦЕНКО, член-кор. НАН України, директор, Міжнародний науково-навчальний центр інформаційних технологій та систем НАН та МОН України, просп. Глушкова, 40, Київ 03187, Україна, vig@irtc.org.ua НЕЙРОСЕТЕВЫЕ ТЕХНОЛОГИИ В ЗАДАЧЕ РАСПОЗНАВАНИЯ РУКОПИСНЫХ СИМВОЛОВ Описаны структуры и механизмы работы классификатора LiRA и модульных нейронных сетей. Оба классификатора решают задачу распознавания изображений на основе поиска признаков в них. Эксперименты в сравнении двух классификаторов, показали, что последняя версия модульной нейронной сети обладает более высокой эффективностью (распознающей способностью), чем классификатор LiRA, хотя и несколько уступает ему в быстродействии. Ключевые слова: нейроны, нейронные слои, обучаемые связи, LiRA—признаки, тормозные связи. 4 ISSN 0130-5395, Control systems and computers, 2018, № 4 А.Д. Гольцев, В.И. Гриценко деленных представлениях (РП) различных типов данных. Распределенные представления — это форма векторного представления данных, к которой привели идеи распределенного или «голографического» представления инфор- мации в мозге. В распределенных векторных представлениях данных каждый объект (раз- личной природы и сложности) представлен множеством компонентов вектора, и каждый из них может принадлежать представлениям многих объектов. В обычных векторных пред- ставлениях смысл каждого компонента опре- делен, чего нельзя сказать о векторах РП, где каждый компонент вектора можно считать не- которым признаком, выделенным из исходно- го представления объекта. Сходство этих век- торов отражает некоторую функцию сходства представляемых ими объектов. Использование РП позволяет эффективно оценивать сходство объектов и дает возможность решать задачи их поиска и классификации [7-11]. Распределенные представления тесно свя- заны с ассоциативной памятью [12-14]. Они используются не только для представления векторных объектов [4, 15-18], но и для сложно структурированных исходных данных [4, 19- 22]. Распределенные представления применя- ются для решения различных задач, в частно- сти, для регуляризации машинного обучения [23-25] и для моделирований рассуждений по аналогии [4, 21]. В рамках исследований, относящиеся к задаче распознавания, были разработаны несколько высокопроизводительных ней- росетевых классификаторов на основе про- стых линейных персептронов: RTC (Random Threshold Classifier), RSC (Random Subspace Coding), LiRA (Limited Receptive Area). Рассмотрим два нейронных классификатора: LiRA и модульные нейронные сети. Оба классификатора моделируют в неко- торой степени нейронную структуру мозга человека, и поэтому обладают определен- ной нейробиологической релевантностью. Кроме того, оба классификатора можно счи- тать интеллектуальными информационными технологиями, предназначенными в первую очередь для решения практических задач в области распознавания некоторых типов изображений. Нейросетевой классификатор LiRA Задача классификации состоит в назначении меток классов неизвестным объектам. Для ней- ронной сети наиболее распространенным спо- собом обучения классификации является работа с учителем, т.е. формирование структуры меж- нейронных связей сети в учебном процессе с ис- пользованием заданного множества обучающих образцов объектов, для каждого из которых за- дана метка его класса. Рассмотрим структуру и алгоритмы функ- ционирования нейронного классификатора LiRA, разработанного прежде всего для клас- сификации изображений [26-30]. Классификатор LiRA, фактически, — про- стой линейный персептрон. Процедура рас- познавания осуществляется в нем поиском на изображении некоторого набора заранее скон- струированных признаков. Это — специаль- ные признаки, называемые LiRA-признаками. Отметим, что высокая распознающая спо- собность классификатора LiRA базируется именно на использовании множества (десят- ков и сотен тысяч) простых и эффективных LiRA-признаков. Каждый признак представляет собой не- которую совокупность значений, которые принимает небольшое число (четыре—10) фиксированных пикселей изображения. Для бинарных изображений, часть этих пикселей должна принадлежать распознаваемому объ- екту (обычно это единичные пиксели), а другая часть принадлежит фону (нулевые пиксели). Обозначим количество используемых LiRA- признаков через N. Алгоритм формирования каждого LiRA- признака для бинарных изображений заклю- чается в следующем. Квадрат, размер которого составляет малую часть размера изображения, случайным образом располагается внутри изо- бражения (растра). Все пиксели формируемого признака также случайно выбираются внутри ISSN 0130-5395, УСиМ, 2018, № 4 5 Нейросетевые технологии в задаче распознавания рукописных символов этого квадрата. Затем их координаты запоми- наются вместе с информацией о том, являются ли эти пиксели единичными или нулевыми. Классификатор LiRA состоит из трех сло- ев: S, A и R. Входное изображение подается на входной слой S — двумерную матрицу яркостей (растр). Промежуточный слой А состоит из N двоичных A-нейронов, каждый из которых есть представитель одного LiRA-признака. Выходной слой R представляет классы распо- знаваемых объектов (изображений); обозначим количество классов через M. Введем целочислен- ный вектор (столбец) R из M компонент для пред- ставления активности выходных R-нейронов. Когда на входной слой S классификатора подается некоторое изображение, в нем осу- ществляется поиск всех N LiRA-признаков. Признак считается найденным на изображе- нии, если все его единичные и нулевые пиксе- ли совпадают с единичными и нулевыми пик- селями изображения соответственно. Для представления всех признаков, обна- руженных на изображении, введем двоичный вектор А (нулевой изначально), состоящий из N компонент. Каждый компонент вектора А представляет соответствующий LiRA-признак, т.е. если некоторый j-й признак идентифици- рован на изображении, то соответствующий j-й компонент двоичного вектора А устанав- ливается в единицу. Таким образом, выходная активность всех N нейронов слоя А представляется распределе- нием нулей и единиц вектора А[N]. Отметим, что, хотя на последующих рисунках вектор А изображается в виде линейки или горизон- тальной колонки, определяем его вектором столбцом. В процессе распознавания выход (двоич- ный) каждого нейрона слоя А (A-нейрона) передается на входы всех нейронов слоя R (R-нейронов) посредством M обучаемых свя- зей. Введем целочисленную матрицу W[M][N] для представления весов обучаемых связей классификатора. Тогда элемент w[m][j] этой матрицы обозначает вес связи, передающей бинарный выход A j -го нейрона на вход ней- рона R m , представляющего класс m. До начала обучения все компоненты матрицы W устанав- ливаются равными нулю. В процессе обучения веса связей матрицы W изменяются, как опи- сано ниже. На рис. 1 показана общая структура классификатора LiRA. В процессе распознавания некоторое те- стовое изображение подается на слой S классификатора. Все LiRA-признаки, по- казанные на изображении, выделяются, как описано выше, и фиксируются в векторе А в виде его единичных компонент. Выходная активность всех N нейронов слоя А (вектор А) через матрицу связей W и передается на входы R-нейронов. Реализуется алгоритм распознавания так. Сначала, посредством умножения матрицы W на вектор (столбец) A, вычисляется вектор R: R = W A. (1) Затем определяется R-нейрон максималь- ной активности. Номер этого R-нейрона соот- ветствует классу распознанного входного изо- бражения; обозначим номер распознанного класса через z: . (2) Рис. 1. Классификатор LiRA. z m 1 M MAX= = arg rm 6 ISSN 0130-5395, Control systems and computers, 2018, № 4 А.Д. Гольцев, В.И. Гриценко В процессе обучения классификатора ис- пользуется модифицированное правило обуче- ния персептрона [26-30]. Все учебные образцы изображений подаются на слой S поочередно. Пусть на вход подается изображение, при- надлежащее классу c. Классификатор осущест- вляет распознавание этого изображения. Как описано ранее, в результате выполнения про- цедуры распознавания вычисляется вектор R с его компонентом r[c], представляющим пра- вильный класс c. После этого, уровень актив- ности R c -го нейрона искусственно снижается; новое значение активности R c -го нейрона обо- значим как r[c]: r[c] = r[c] (1 - T), где T — «па- раметр защитной полосы», 0 ≤ T < 1. Сниженный уровень активности r[c] срав- нивается с уровнями активности всех других R-нейронов, чтобы определить победителя согласно уравнению (2). Учебное изображе- ние считается правильно распознанным, если сниженное значение r[c] превышает уровни активности всех других R-нейронов. В этом случае никакой модификации весов связей не происходит. Если же оказывается, что какой- либо другой R-нейрон, соответствующий не- правильному классу d (d ≠ c), имеет макси- мальную активность, то веса связей матрицы W изменяются так: w[c][j] = w[c][j] + Δw, (3) w[d][j] = w[d][j] - Δw, (4) где j= 1, 2, 3, ..., N, а Δw — модификатор веса связи. Из формул (3) и (4) следует, что веса связей матрицы W могут иметь как положительные, так и отрицательные значения. Затем обрабатывается следующий учеб- ный образец. Понятие эпохи, часто ис- пользуется в области алгоритмов обучения. Эпоха — это один полный цикл последова- тельного рассмотрения всех образцов обу- чающего набора. Последовательное рассмотрение всех учеб- ных образцов продолжается многократно, эпоха за эпохой, до достижения сходимости, т.е. до отсутствия ошибочной классификации всех учебных образцов. Cходимость достигается, когда персептрон способен образовывать достаточно сложные поверхности во входном пространстве S для разделения всех учебных образцов. Введение защитной полосы с параметром T направлено на отдаление разделительной поверхности от образцов учебного набора (опосредованно, через удаление разделительной гиперплоско- сти от соответствующих этим объектам век- торов слоя A). Это можно рассматривать как некоторый аналог разделительной полосы SVM [31], но формируемый не офф-лайн, а в процессе он-лайн обучения. Это, в некото- рой степени, аналогично идеям алгоритмов [32—34]. Введение защитной полосы обычно приво- дит к улучшению возможностей обобщения и повышению процента правильной класси- фикации. Алгоритм обучения LiRA позволяет обрабатывать большие обучающие наборы в пространстве LiRA-признаков большой раз- мерности N и не нуждается в решении задачи оптимизации квадратичного программирова- ния в отличие, например, от SVM. Классификатор LiRA успешно использо- вался во многих задачах, таких, например, как распознавание рукописных цифр, распо- знавание текстур поверхностей, границ объ- ектов, в микромеханике и в сельском хозяй- стве [26-30, 35, 36]. На основе классификатора LiRA разработа- ны нейросетевые технологии идентификации диктора по голосу и обработки речевых запи- сей большой длительности [37]. В этой работе результаты многополосной фильтрации звуко- вых сигналов рассматривались как двумерные изображения. Индивидуальные особенности голосов фиксируются в структуре нейронной сети в процессе ее обучения. Сеть автомати- чески формирует индивидуальные портреты голосов как совокупности речевых признаков. Система работает как в режиме поиска в голо- совых базах данных, так и в режиме реального времени. Обеспечивается достоверность иден- тификации микрофонных сигналов в пределах 94—98 процентов и телефонных сигналов в пределах 85—94 процентов. Технология ори- ISSN 0130-5395, УСиМ, 2018, № 4 7 Нейросетевые технологии в задаче распознавания рукописных символов ентирована на работу с фонотеками с произ- вольным количеством голосов разных людей, записанных по микрофонному и телефонному каналам связи. Реализована также возмож- ность поиска определяемых пользователем го- лосов в многочасовых аудиозаписях (индекса- ция аудиоданных). Отметим, что результаты, достигнутые при решении перечисленных задач, свидетель- ствуют, что простой линейный персептрон (которым, фактически, является классифи- катор LiRA) демонстрирует способность рас- познавания на уровне таких методов, как Backpropagation и SVM, в условиях использо- вания им множества простых LiRA-признаков (десятков и сотен тысяч). При этом класси- фикатор LiRA обладает следующими достоин- ствами: классификатор — простое линейное устройство, алгоритмы работы которого не сравнимы по сложности с перечисленными методами; благодаря простым алгоритмам функционирования, процедура распознавания выполняется классификатором очень быстро, что существенно для практических задач. Модульные нейронные сети Согласно гипотезе Хебба, функциональным элементом мышления человека и высших животных является не отдельный нейрон, а нейронный ансамбль, состоящий из многих нейронов, объединенных в некоторую функ- циональную структуру [38]. С целью модели- рования мышления человека в соответствии с этой гипотезой, проведены исследования нейронных сетей с ансамблевой организа- цией. В результате этих исследований разра- ботаны эффективные модульные нейронные сети [39-48]. Модульная нейронная сеть предназначена для распознавания объектов из ограниченно- го количества классов. Сеть имеет модульную предорганизацию, т.е. она изначально разде- лена на несколько одинаковых модулей, по одному на каждый распознаваемый класс. В процессе обучения в каждом модуле форми- руется собственная индивидуальная структура связей между составляющими его нейронами. Эта структура межнейронных связей пред- ставляет собой обобщенное описание соот- ветствующего класса. Поскольку каждому классу соответствует определенный модуль, структуры межнейронных связей в разных модулях (описания классов) не пересекаются, в результате чего каждая такая структура адек- ватно отражает характерные особенности со- ответствующего класса. Описание первой версии модульной ней- ронной сети опубликовано в 1991 г. в [39]. Ранние версии модульных нейронных сетей (например, [39-44]) носили название ансам- блевых нейронных сетей. В процессе обучения каждый образец обучающей выборки запоми- нался в сети в виде нейронного ансамбля. В результате, в каждом модуле сети формирова- лось множество пересекающихся нейронных ансамблей. В процессе распознавания в сети проис- ходил многократный пересчет нейронной активности, благодаря которому сеть сходи- лась к устойчивому состоянию. Ансамблевые сети с многократным пересчетом нейронной активности обладали высокой распознаю- щей способностью, но нуждались для своего функционирования в больших вычислитель- ных затратах. В дальнейшем, для ускорения работы сети, многократный пересчет активности сети был сокращен до однократного. Поэтому в на- стоящее время, из названия рассматриваемых сетей изъят термин «ансамблевые», хотя и те- перь процедуру обучения сети можно интер- претировать, как образование в ней нейрон- ных ансамблей. В процессе исследования модульных ней- ронных сетей разработано много различных их модификаций. Например, в 1998 г. была предложена модульная сеть с тормозными связями между модулями [41], а позднее бы- ла исследована модульная ансамблевая сеть с обучаемыми возбуждающими связями между модулями [46]. Как и классификатор LiRA, модульная ней- ронная сеть распознает объекты с использо- 8 ISSN 0130-5395, Control systems and computers, 2018, № 4 А.Д. Гольцев, В.И. Гриценко ванием некоторого заданного набора заранее сконструированных признаков; обозначим размер этого набора через N. Эффективность модульных ансамблевых се- тей тестировалась на различных задачах рас- познавания с различными типами признаков: текстурными [40-41], поплавковыми [43], дво ичными и многозначными. В сравнительно недавних работах, с целью сравнения модуль- ной сети с классификатором LiRA использо- вались описанные LiRA-признаки. Модульная нейронная сеть также является линейным персептроном, но состоит из четы- рех слоев: S, A, E и R. Как и в классификаторе LiRA, в модульной нейронной сети выходной слой R с его R-нейронами представляет клас- сы объектов (изображений). Как и в классификаторе LiRA, в процессе распознавания, некоторое тестовое изобра- жение подается на S слой сети. Выделяются все признаки на изображении и фиксируются в двоичном векторе А[N] в виде его единич- ных компонент. В отличие от классификатора LiRA, выход- ная активность нейронов слоя А передается на промежуточный слой Е, состоящий из M × N нейронов. Слой E разделен на M частей — мо- дулей так, что каждый модуль содержит N ней- ронов. Каждый Е-нейрон представляет один из N признаков. Все нейроны слоя Е пронуме- рованы индексами j, раздельно в каждом моду- ле (j = 1, 2, 3,…, N) так, что нейроны, представ- ляющие одинаковые признаки, но представ- ленны в разных модулях, имеют одинаковые индексы j в последующих формулах. Все Е-нейроны имеют линейную, беспоро- говую выходную характеристику. Таким об- разом, выходная активность Е-нейронов из- меряется целыми числами. Введем целочис- ленную матрицу E[M][N] для представления нейронной активности всего слоя Е. Выходы всех N нейронов каждого модуля представле- ны m-й строкой матрицы E или, в другом обо- значении, вектором-строкой E[m]. Рассмотрим связи нейронов слоя А со сло- ем E на примере некоторого m-го модуля. Каждый нейрон слоя А имеет обучаемые связи, направленные на входы всех Е-нейронов m-го модуля через m-й пучок связей. Для представ- ления весов обучаемых связей m-го пучка вве- дем отдельную целочисленную матрицу W m [N] [N]. Таким образом, в общем случае, матрица обучаемых связей каждого пучка содержит N2 элементов. Такая модульная сеть называется полносвязной, в отличие от сети с меньшим ко- личеством связей. Рис. 2. Схематическое изображение общей структуры модульной нейронной сети Рис. 3. Тормозные связи одного пучка (m-го) модуль- ной нейронной сети ISSN 0130-5395, УСиМ, 2018, № 4 9 Нейросетевые технологии в задаче распознавания рукописных символов Общая структура модульной нейронной сети показана на рис. 2. На этом рисунке все горизонтальные нейронные колонки сети изображены как состоящие из N = 12 ней- ронов. В дополнение к обучаемым связям, каждый их пучок, направленный от слоя А к каждому модулю сети, содержит еще и N необучаемых проективных тормозных связей. Каждая такая связь соединяет j-й нейрон слоя А с соответ- ствующим, т.е. с тем же порядковым номером j, нейроном модуля. Система тормозных свя- зей вводится в сеть во избежание активации нейронов всех модулей, соответствующих ну- левым компонентам вектора A. Отметим, что эта система тормозных связей работает инверсным образом, т.е. торможение передается от неактивных нейронов слоя А, в то время, как его активные нейроны не оказы- вают тормозного воздействия на соответству- ющие нейроны модулей. Таким образом, система тормозных связей передает всем модулям сети информацию о распределении нулей в векторе A, т.е. инфор- мацию об отсутствии данных признаков на входном изображении. Рис. 3 иллюстрирует это описание — только один (m-тый) модуль сети. Тормозные связи, фактически подавляю- щие активацию нейронов m-го модуля, обо- значены черным цветом, неактивные тормоз- ные связи — серым. Рассмотрим процедуру распознавания в мо- дульной сети. Двоичная нейронная активность нейронов слоя А (вектор А) передается обучен- ными связями каждого m-го пучка (матрица W m [N][N]) на входы всех Е-нейронов каждого m-го модуля. В результате передачи связями с разными весами в нейронах всех M модулей (в слое E) создается некоторое распределение вторичной градуальной (целочисленной) нейронной ак- тивности. Вследствие наличия системы тормозных связей в составе всех M пучков, только такие нейроны модулей, которые не подавляются проективными тормозными связями, будут иметь ненулевую активность. Распределение вторичной градуальной ней- ронной активности в нейронах каждого m-го модуля представляется m-й строкой матрицы E или вектором E[m]. Это распределение опре- деляется формулой 1 [ ][ ] [ ] [ ] [ ][ ] N m i e m j a j a j w i j , = = ∑ (5) где i = 1, 2, 3, ..., N; j = 1, 2, 3, ..., N; m = 1, 2, 3, ..., M. Эквивалентное матричное уравнение вы- глядит так: E[m] = [W m A]T. (6) Операция транспонирования в формуле (6) применена для превращения результата умно- жения в вектор-строку E[m], т.е. в строку ма- трицы E. Разница между активностью соответству- ющих нейронов в слоях А и Е (векторов А и E[m]) показана на рис. 4. В отличие от ней- ронов слоя А, активность Е-нейронов может иметь как положительные, так и отрицатель- ные значения. Выходы всех Е-нейронов каждого модуля передаются на соответствующий R-нейрон (идентификатор класса) по необучаемым связям с единичным весом (аналогично тому, как это реализовано в классификаторе LiRA). Таким образом в процессе распознавания каждый R m -нейрон суммирует выходную активность всех Е-нейронов m-го модуля в соответствии с уравнением Рис. 4. Различия между активностью соответствующих нейронов в слоях А и Е (векторов А и E[m]) 10 ISSN 0130-5395, Control systems and computers, 2018, № 4 А.Д. Гольцев, В.И. Гриценко 1 [ ] [ ] [ ][ ]. N j r m a j e m j = = ∑ (7) Эта же формула в виде матричного уравне- ния имеет следующий вид: R = E A. (8) Как и в случае классификатора LiRA, при рас- познавании некоторого изображения, R-ней- рон с максимальной активностью, определяет его класс в соответствии с уравнением (2). Как и при обучении классификатора LiRA, в процессе обучения модульной нейронной се- ти, все образцы обучающего набора подаются на вход сети последовательно и многократно, эпоха за эпохой, до достижения сетью сходи- мости. Для обучения весов связей сети также используется правило Хебба. В начале обуче- ния все компоненты матриц W m [N][N] (m = 1, 2, 3, ..., M) устанавливаются равными нулю. Алгоритм обучения также предусматривает использование защитной полосы. Так, обуче- ние ансамблевой сети происходит аналогично процедуре обучения классификатора LiRA со следующими изменениями. Если на вход подается изображение, при- надлежащее классу c, и, оказывается, что не- который R d -нейрон, соответствующий не пра- виль но му классу d (d≠c), имеет максимальную активность, т.е. r[d]>r*[c], то веса связей в ма- трицах W c и W d (в модулях c и d) изменяются следующим образом W c [i][j] = w c [i][j]+ΔW (a[i] ∧ a[j]) , (9) w d [i][j] = w d [i][j]-ΔW (a[i] ∧ a[j]) , (10) где i = 1, 2, 3, ..., N, j = 1, 2, 3, ..., N, ∧ — знак конъюнкции, Δw — модификатор веса связи. В формулах (9), (10) сомножитель a i ∧a j опи- сывает действие системы тормозных связей в процессе обучения. Наличие этого сомножи- теля означает, что модификация весов связей в матрицах W c и W d осуществляется только между теми нейронами векторов A и E, которые соот- ветствуют единичным компонентам вектора A. Это описание иллюстрируется на рис. 5, где показана структура обучаемых связей правильного m-го модуля (т.е. модуля, соот- ветствующего классу обучающего образца) ансамблевой сети в процессе обучения. На рисунке показаны связи, идущие от одного активного А-нейрона ко всем Е-нейронам m-го модуля. Связи, в которых происходит увеличение их весов, изображены черным цветом, в отличие от связей, существующих в сети, но не участвующих в процессе модифи- кации весов — серым цветом. Как упомянуто ранее, в общем случае ма- трица связей каждого модуля сети содержит N2 обучаемых связей. Это означает, что сум- марное количество обучаемых связей в мо- дульной сети достигает значения M×N2, кото- рое в N раз превышает соответствующее ко- личество обучаемых связей классификатора LiRA (M×N). Такая значительная разница в количестве связей приводит к следующим двум различи- ям между рассматриваемыми устройствами. Скорость распознавания тестовых задач у клас- сификатора LiRA намного превосходит ско- рость работы модульной ансамблевой сети. С другой стороны, модульная сеть, как име- ющая больше возможностей для обучения, об- Рис. 5. Структура обучаемых связей одного из модулей (m-го) модульной нейронной сети ISSN 0130-5395, УСиМ, 2018, № 4 11 Нейросетевые технологии в задаче распознавания рукописных символов ладает более высокой распознающей способ- ностью, чем классификатор LiRA, при условии использования обоими устройствами одина- кового количества одинаковых признаков. Этот результат получен в экспериментах, про- веденных с целью прямого сравнения указан- ных устройств. Эксперименты проводились на базе рукописных цифр MNIST [49]. В базе MNIST размер каждого изображения равен S= 28×28 пикселей. LiRA-признаки фор- мировались посредством квадрата, состоящего из 10×10 пикселей, в котором для каждого при- знака случайным образом выбирались два еди- ничных пикселя и четыре нулевых. В этих экс- периментах оба устройства использовали N=7 тыс. одинаковых LiRA-признаков, отобранных специальной процедурой из исходных 60 тыс. признаков, с целью выделить среди них наи- более информативные. Графики зависимостей процента ошибок, допущенных классификатором LiRA и мо- дульной сетью, от размера защитной полосы (параметр T) показаны на рис. 6. Число, рас- положенное возле каждой точки графиков, указывает количество эпох обучения, необхо- димых для достижения сходимости при соот- ветствующем значении параметра Т. Как видно на рис. 5, модульной сети необходимо значи- тельно меньше циклов обучения в сравнении с классификатором LiRA, что свидетельствует о ее лучшей способности образовывать раз- делительные гиперплоскости в пространстве LiRA-признаков. Уменьшение количества обучаемых связей в модульной нейронной сети Как следует из приведенного описания мо- дульной сети, ее основная проблема — это большое количество связей, следствием чего является ее сравнительно невысокое быстро- действие в режиме распознавания. Решение этой проблемы посредством значительного уменьшения количества обучаемых связей се- ти предложено в [39]. В редуцированной версии модульной ней- ронной сети каждый нейрон слоя A имеет обу- чаемые связи только с ограниченным количе- ством нейронов каждого модуля. Обозначим это количество через F, причем 1 < F < N. Во всех M пучках, соединяющих нейроны слоя A с Рис. 6. Графики зависимостей процента оши- бок, допущенных классификатором LiRA и модульной сетью, от размера защитной по- лосы (параметр T) Рис. 7. Веер обучаемых связей одного нейрона m-го модуля модульной нейронной сети. 12 ISSN 0130-5395, Control systems and computers, 2018, № 4 А.Д. Гольцев, В.И. Гриценко структура связей к смежным F нейронам фак- тически реализует случайное распределение связей внутри каждого пучка. Структура обучаемых связей, описанная ранее, показана на рис. 7, где изображен только один ве- ер, состоящий из F = 5 связей, направленный от одного нейрона слоя A к нейронам m-го модуля. Черным цветом отмечены связи, в процессе распознавания изменяющие активность ней- ронов m-го модуля. Связи данного веера, суще- ствующие в сети, но не изменяющие активность нейронов m-го модуля в процессе распознава- ния (поскольку нейроны, на вход которых они поступают, заторможены) — серым. Процедуры обучения и распознавания в ре- дуцированной модульной сети выполняются в полном соответствии приведенным описани- ям. Однако, теперь, каждая матрица W m стано- вится матрицей, содержащей не N2, а только N×F весов связей каждая. Таким образом, общее количество обу- чаемых связей в редуцированной версии модульной сети равно M×N×F. В связи с со- кращнием количества связей в сравнении с полносвязной сетью (M×N2), время обра- ботки каждого изображения существенно снижается (но остается в F раз больше, чем у классификатора LiRA). Однако, вследствие наличия большего числа обучаемых связей, чем в классификаторе LiRA, данная версия модульной нейронной сети должна иметь более высокую распознающую способность. Это предположение было проверено в сле- дующих экспериментах. Чтобы оценить зависимость распознающей способности модульных нейронных сетей с разным количеством обучаемых связей при изменении размера веера F, были проведены четыре серии экспериментов с F = 1, F = 11, F = 21 и F = 51. Отметим, что модульная нейронная сеть с F = 1 является эквивалентом классификатора LiRA. Таким образом, результаты первой серии экспериментов с F = 1 позволяют провести сравнение между классификатором LiRA и мо- дульными нейронными сетями с различным числом обучаемых связей. Рис 8. Зависимость процента ошибок модуль- ной нейронной сети с F = 51 (тонкая черная линия) и процента ошибок классификатора LiRA (широкая пунктирная линия) от значе- ний защитной полосы (параметр T) с исполь- зованием одного и того же набора из 60 тыс. LiRA-признаков Рис. 9. Зависимость минимального про- цента ошибок мо- дульной нейронной сети от значения па- раметра F нейронами модулей, создается такая структура обучаемых связей, в которой каждый нейрон слоя A соединяется с F случайно выбранными нейронами каждого модуля. В экспериментах, представленных далее, случайный выбор связей реализуется следую- щим образом. Одинаковый веер, состоящий из F связей, идет от каждого нейрона слоя A к F со- седних нейронов каждого модуля. Поскольку все N признаков распределены случайным об- разом в векторе A[N], постольку такая веерная ISSN 0130-5395, УСиМ, 2018, № 4 13 Нейросетевые технологии в задаче распознавания рукописных символов Эксперименты проведены на базе рукопис- ных цифр MNIST с использованием одинако- вого набора из 60 тыс. LiRA-признаков, сфор- мированных в соответствии с описанием пред- ыдущего раздела. Результаты первой и четвертой серий экс- периментов, а именно, зависимость процента ошибок классификатора LiRA (широкая пун- ктирная линия) и модульной нейронной сети с F = 51 (тонкая черная линия) от значений параметра T показаны на рис. 8. Наилучший результат этой версии модульной сети состав- ляет 1,36 процентов (136 ошибок) и достига- ется при T = 0,75. Как видно из рисунка, в задаче распознава- ния рукописных чисел базы MNIST, распозна- ющая способность редуцированной модуль- ной нейронной сети значительно превышает способность классификатора LiRA. Зависимость минимального процента оши- бок модульной нейронной сети с разным коли- чеством обучающих связей (параметр F), полу- ченные в результате четырех серий эксперимен- тов показана на рис 9. Кривая на рис. 9 показывает, что процент ошибок редуцированной модульной сети экс- поненциально уменьшается с ростом F, т.е. абсолютное снижение процента ошибок экс- поненциально замедляется с ростом F. Это существенный результат; основываясь на нем, можно экстраполировать кривую (рис. 9) на F = 60 тыс., т.е. на случай полносвязной сети. Как видно из рис. 9, при такой экстраполя- ции, минимальный процент ошибок едва ли достигнет значения 1,33 процента. Однако лучший результат модульной сети с F = 51 составляет 1,36 процента. Очевидно, что раз- ница между значениями 1,36 процента и 1,33 процента невелика. Следовательно, сеть с F = 50, т.е. с M×N×F = 30 млн связей, имеет лишь незначительно меньшую распознаю- щую способность, чем полносвязная сеть с M×N2 = 36 млрд связей. Итак, можно сделать вывод, что полносвяз- ная модульная нейронная сеть — крайне избы- точное устройство исходя из количества обу- чаемых связей. Отметим, что результат распознавания ру- кописных чисел базы MNIST, составляющий 1,36 процента ошибок, достигнутый модуль- ной сетью с F = 51, находится на уровне луч- ших современных результатов среди класси- фикаторов, не использующих искусственное расширение набора обучающих примеров посредством различных имеющихся в базе де- формаций цифр. Таким образом, эксперименты показывают, что модульная нейронная сеть с уменьшенным числом связей обладает более высокой эффек- тивностью (распознающей способностью), чем классификатор LiRA. Причем, эта версия модульной сети имеет более высокую скорость обработки изображений, приближающуюся к скорости классификатора LiRA. Итак, что ско- рость работы классификатора LiRA — его важ- нейшее преимущество. Заключение В статье рассмотрены два типа нейронных классификаторов, а именно, нейронный классификатор LiRA и модульные нейрон- ные сети. Оба классификатора предназна- чены для решения практических задач по распознаванию некоторых типов изображе- ний. Оба классификатора решают задачу рас- познавания изображений на основе поиска в изображениях некоторого набора заранее сконструированных признаков. В данной статье функционирование обоих классифи- каторов рассмотрено на примере использо- вания LiRA-признаков. Отметим, что высо- кая распознающая способность классифика- торов базируется именно на использовании очень большого количества (десятков и со- тен тысяч) простых и эффективных LiRA- признаков. Рассмотрены структуры и механизмы ра- боты обоих классификаторов. Отмечено, что классификатор LiRA обладает следующими достоинствами: классификатор — это про- стое линейное устройство; благодаря своим простым алгоритмам функционирования, процедура распознавания выполняется клас- 14 ISSN 0130-5395, Control systems and computers, 2018, № 4 А.Д. Гольцев, В.И. Гриценко сификатором быстро, что существенно для практических задач. Модульная нейронная сеть — несколько более сложное устройство. В частности, такая сеть содержит большее количество обучаемых связей. В статье отражена эволюция модульных нейронных сетей, изначально задуманных как нейронная сеть, моделирующая нейронные ан- самбли Хебба, и названные, соответственно — модульные нейронные сети с ансамблевой ор- ганизацией. В начале ансамблевые сети функционирова- ли посредством многократного пересчета ней- ронной активности сети, вплоть до достижения ею устойчивого состояния. Вследствие этого, такие сети нуждались для своего функциониро- вания в очень больших вычислительных и вре- менных затратах. В дальнейшем, для ускорения работы сети, многократный пересчет нейрон- ной активности был сокращен до однократно- го. Следующим шагом совершенствования мо- дульной нейронной сети явилось уменьшение количества обучаемых связей сети. В результате таких изменений, модульная нейронная сеть превратилась в эффективное и достаточно бы- строе устройство. На основе результатов ряда экспериментов в сравнении двух классификаторов показано, что последняя версия модульной нейронной сети обладает более высокой эффективностью (распознающей способностью), чем класси- фикатор LiRA, хотя и несколько уступает ему в быстродействи. Нейробиологическая релевантность обоих нейронных классификаторов открывает воз- можности создания на их базе интеллектуаль- ных информационных технологий, функцио- нирующих аналогично человеческому мозгу. СПИСОК ЛИТЕРАТУРЫ 1. Amosov N.M. Modelling of Thinking and the Mind. New York: Spartan Books, 1967. 2. Амосов Н.M., Байдык T.Н., Гольцев A.Д., Касаткин А.М., Касаткина Л.М., Рачковский Д.А. Нейрокомпьютеры и интеллектуальные роботы. Киев: Наукова думка. 1991. 269 c. 3. Касаткина Л.М., Касаткин А.М., Гольцев А.Д., Рачковский Д.А. Реализация идей акад. Н.М. Амосова в нейросетевых информационных технологиях. Кибернетика и вычислительная техника. 2013. Вып. 174. С. 18—29. 4. Гриценко В.И., Рачковский Д.А., Гольцев А.Д., Лукович В.В., Мисуно И.С., Ревунова Е.Г., Слипченко С.В., Соколов А.М. Нейросетевые распределенные представления для интеллектуальных информационных технологий и моделирования мышления. Кибернетика и вычислительная техника. 2013. Вып. 173. С. 7—24. 5. Gritsenko V.I., Rachkovskij D.A., Revunova E.G. Neural distributed representations of vector data in intelligent infor- mation technologies. Cybernetics and Computer Engineering. 2018. N 4(194). 6. Куссуль Э.M. Ассоциативные нейроподобные структуры. Киев: Наукова думка. 1992. 144 с. 7. Мисуно И.С., Рачковский Д.А., Слипченко С.В., Соколов А.М. Поиск текстовой информации с помощью векторных представлений. Проблемы программирования. 2005. N 4. С. 50—59. 8. Kleyko D., Rahimi A., Rachkovskij D., Osipov E., Rabaey J. Classification and recall with binary hyperdimensional computing: Tradeoffs in choice of density and mapping characteristics. IEEE Transactions on Neural Networks and Learning Systems. 2018. DOI 10.1109/TNNLS.2018.2814400 9. Kussul E.M., Baidyk T.N., Lukovich V.V., Rachkovskij D.A. Adaptive neural network classifier with multifloat input coding. The 6th International Conference Neural Networks & their Industrial & Cognitive Applications “Neuro- Nimes’93”. Nîmes, France. 1993 (October 25—29). P. 209—216. 10. Lukovich V.V., Goltsev A.D., Rachkovskij D.A. Neural network classifiers for micromechanical equipment diagnostics and micromechanical product quality inspection. The 5th European Congress on Intelligent Techniques and Soft Com- puting “EUFIT’97”. Aachen, Germany. 1997 (September 8—11). P. 534—536. ISSN 0130-5395, УСиМ, 2018, № 4 15 Нейросетевые технологии в задаче распознавания рукописных символов 11. Kussul E.M., Kasatkina L.M., Rachkovskij D.A., Wunsch D.C. Application of random threshold neural networks for diagnostics of micro machine tool condition. IEEE International Joint Conference on Neural Networks “IJCNN’01”. Anchorage, Alaska, USA. 1998 (May 4—9). P. 241—244. 12. Frolov A.A., Husek D., Rachkovskij D.A. Time of searching for similar binary vectors in associative memory. Cybernet- ics and Systems Analysis. 2006. Vol. 42, N 5. P. 615—623. 13. Gritsenko V.I., Rachkovskij D.A., Frolov A.A., Gayler R., Kleyko D., Osipov E. Neural distributed autoassociative memories: A survey. Cybernetics and Computer Engineering. 2017. N 2 (188). P. 5—35. 14. Frady E. P., Kleyko D., Sommer F. T. A theory of sequence indexing and working memory in recurrent neural networks. Neural Computation. 2018. Vol. 30, N 6. P. 1449—1513. 15. Rachkovskij D.A. Vector data transformation using random binary matrices. Cybernetics and Systems Analysis. 2014. Vol. 50, N 6. P. 960—968. 16. Rachkovskij D.A. Formation of similarity-reflecting binary vectors with random binary projections. Cybernetics and Systems Analysis. 2015. Vol. 51, N 2. P. 313—323. 17. Ferdowsi S., Voloshynovskiy S., Kostadinov D., Holotyak T. Fast content identification in highdimensional feature spac- es using sparse ternary codes. The 8th IEEE International Workshop on Information Forensics and Security (WIFS’16). Abu Dhabi, UAE. 2016 (December 4—7). P. 1—6. 18. Kleyko D., Osipov E., Rachkovskij D.A. Modification of holographic graph neuron using sparse distributed representa- tions. Procedia Computer Science. 2016. Vol. 88. P. 39—45. 19. Sokolov A., Rachkovskij D. Approaches to sequence similarity representation. Information Theories and Applications. 2005. Vol.13, N 3. P. 272—278. 20. Kanerva P. Hyperdimensional computing: An introduction to computing in distributed representation with high-dimen- sional random vectors. Cognitive Computation. 2009. Vol. 1, N 2. P. 139—159. 21. Slipchenko S. V., Rachkovskij D.A. Analogical mapping using similarity of binary distributed representations. Informa- tion Theories and Applications. 2009. Vol. 16, N 3. P. 269—290. 22. Gallant S. I., Okaywe T.W. Representing objects, relations, and sequences. Neural Computation. 2013. Vol. 25, N 8. P. 2038—2078. 23. Revunova E.G., Rachkovskij D.A. Using randomized algorithms for solving discrete ill-posed problems. Information Theories and Applications. 2009. Vol. 16, N 2. P. 176—192. 24. Rachkovskij D.A., Revunova E.G. Randomized method for solving discrete ill-posed problems. Cybernetics and Sys- tems Analysis. 2012. Vol. 48, N 4. P. 621—635. 25. Revunova E.G., Rachkovskij D.A. Random projection and truncated SVD for estimating direction of arrival in antenna array. Cybernetics and Computer Engineering. 2018. N 3(193). P. 5—26. 26. Kussul E., Baidyk T., Kasatkina L. Lukovich V. Rosenblatt perceptrons for handwritten digit recognition. International Joint Conference on Neural Networks “IJCNN’01”. Washington, USA, 2001. P. 1516—1521. 27. Kussul E., Baidyk T. Improved method of handwritten digit recognition tested on MNIST database. Image and Vision Computing. 2004. Vol. 22. P. 971—981. 28. Kussul E., Baidyk T. LIRA neural classifier for handwritten digit recognition and visual controlled microassembly. Neu- rocomputing. 2006.Vol. 69(16—18). P. 2227—2235. 29. Makeyev O., Sazonov E., Baidyk T., Martin A. Limited receptive area neural classifier for texture recognition of me- chanically treated metal surfaces. Neurocomputing. 2008.Vol. 71, N 7—9. P. 1413—1421. 30. Kussul E., Baidyk T., Wunsch D. Neural Networks and Micro Mechanics. Springer. 2010. 221 p. 31. Cristianini N., Shawe-Taylor J. An Introduction to Support Vector Machines (and other Kernel-Based Learning Meth- ods). Cambridge University Press New York, NY, USA. 2000. 32. Шлезингер М.И., Калмыков И.Г., Сухоруков А.А. Сравнительный анализ алгоритмов, синтезирующих линейное решение для анализа сложных гипотез. Автоматика. 1981. 1. С. 3—9. 33. Schlesinger M.I., Hlavac V., Ten Lectures on Statistical and Structural Pattern Recognition. Dordrecht: Kluwer Aca- demic Publishers. 2002. 16 ISSN 0130-5395, Control systems and computers, 2018, № 4 А.Д. Гольцев, В.И. Гриценко 34. Franc V., Hlavác V. An iterative algorithm learning the maximal margin classifier. Pattern Recognition. 2003. Vol. 36, N 9. P. 1985—1996. 35. Baidyk T, Kussul E., Makeyev O., Vega A., Limited receptive area neural classifier based image recognition in microme- chanics and agriculture. International Journal of Applied Mathematics and Informatics. 2008. Vol. 2, N 3. P. 96—103. 36. Baydyk T., Kussul E., Hernández Acosta M. New Application of LIRA neural network. The 16th WSEAS International Conference on Circuits. Greece, Kos Island, 2012. P. 115—119. 37. Касаткина Л.М., Лукович В.В., Пилипенко В.В. Распознавание личности по голосу с помощью классификатора LIRA. Управляющие системы и машины. 2006. № 3. С. 67—73. 38. Hebb D.O. The Organization of Behavior. New York, USA: John Wiley & Sons Inc. 1949. 39. Gol’tsev A.D. Structured neural networks with learning for texture segmentation in images. Cybernetics and Systems Analysis. Plenum Publishing Corporation. New York, USA. 1991. Vol. 27, N 6. P. 927—936. 40. Goltsev A. An assembly neural network for texture segmentation. Neural Networks. 1996. Vol. 9, N 4. P. 643—653. 41. Goltsev A., Wunsch D.C. Inhibitory connections in the assembly network for texture segmentation. Neural Networks. 1998. Vol. 11, N 5. P. 951—962. 42. Goltsev A., Wunsch D.C. Generalization of features in the assembly neural networks. International Journal of Neural Systems (IJNS). 2004. Vol. 14, N 1. P. 39—56. 43. Goltsev A. Secondary learning in the assembly neural network. Neurocomputing. 2004. Vol. 62. P. 405—426. 44. Goltsev A., Rachkovskij D. Combination of the assembly neural network with a perceptron for recognition of handwrit- ten digits arranged in numeral strings. Pattern Recognition. 2005. Vol. 38, N 3. P. 315—322. 45. Гольцев А.Д. Нейронные сети с ансамблевой организацией. Киев: Наукова думка. 2005. 200 с. 46. Goltsev А., Gritsenko V. Modular neural networks with Hebbian learning rule. Neurocomputing. 2009. Vol. 72, N 10— 12. P. 2477—2482. 47. Goltsev A., Gritsenko V. Investigation of efficient features for image recognition by neural networks. Neural Networks. 2012. Vol. 28. P. 15—23. 48. Goltsev A., Gritsenko V. Modular neural networks with radial neural columnar architecture. Biologically Inspired Cog- nitive Architectures. 2015. Vol. 13. P. 63—74. 49. LeCun Y. The MNIST database of handwritten digits. http://yann.lecun.com/exdb/mnist/ Поступила 22.10.2018 REFERENCES 1. Amosov, M., 1967. Modelling of Thinking and the Mind. New York: Spartan Books, 192 p. 2. Amosov, N.M., Baidyk, T.N., Goltsev, A.D., Kasatkin, A.M., Kasatkina, L.M., Rachkovsky, D.A., 1991. Neurocomput- ers and intelligent robots. Kiev: Naukova Dumka, 269 p. (In Russian). 3. Kasatkina L.M., Kasatkin A.M., Goltsev A.D., Rachkovsky D.A. Implementation of the ideas of Acad. N.M. Amosova in neural network information technologies. Kibernetika i vycislitelnaa tehnika. 2013, 174. pp. 18—29. (In Russian). 4. Gritsenko, V.I., Rachkovskij, D.A., Goltsev, A.D., Lukovych, V.V., Misuno, I.S., Revunova, E.G., Slipchenko, S.V., Sokolov, A.M., Talayev, S.A., 2013. “Neural distributed representation for intelligent information technologies and modeling of thinking”. Cybernetics and Computer Engineering, V. 173, pp. 7—24. (in Russian). 5. Gritsenko V.I., Rachkovskij D.A., Revunova E.G. Neural distributed representations of vector data in intelligent infor- mation technologies. Cybernetics and Computer Engineering. 2018. N 4(194). 6. Kussul, E.M., 1992. Associative neural-like structures. Kiev: Naukova Dumka, 144 p. (In Russian). 7. Misuno I.S., Rachkovskij D.A., Slipchenko S.V., Sokolov A.M. Searching for text information with the help of vector representations. Problems of Programming. 2005. N. 4. P. 50—59. (in Russian). 8. Kleyko, D., Rahimi, A., Rachkovskij, D., Osipov, E., Rabaey, J., 2018. “Classification and recall with binary hyper- dimensional computing: Tradeoffs in choice of density and mapping characteristics”. IEEE Transactions on Neural Networks and Learning Systems, DOI 10.1109/TNNLS.2018.2814400. ISSN 0130-5395, УСиМ, 2018, № 4 17 Нейросетевые технологии в задаче распознавания рукописных символов 9. Kussul, E.M., Baidyk, T.N., Lukovich, V.V., Rachkovskij, D.A., 1993. “Adaptive neural network classifier with multi- float input coding”. The 6th International Conference Neural Networks & their Industrial & Cognitive Applications “Neuro-Nimes’93”, Nîmes, France, October 25—29, pp. 209—216. 10. Lukovich, V.V., Goltsev, A.D., Rachkovskij, D.A., 1997. “Neural network classifiers for micromechanical equipment diagnostics and micromechanical product quality inspection”. The 5th European Congress on Intelligent Techniques and Soft Computing “EUFIT’97”. Aachen, Germany, September 8—11, pp. 534—536. 11. Kussul, E.M., Kasatkina, L.M., Rachkovskij, D.A., Wunsch, D.C., 1998. “Application of random threshold neural networks for diagnostics of micro machine tool condition”. IEEE International Joint Conference on Neural Networks “IJCNN’01”. Anchorage, Alaska, USA, May 4—9, pp. 241—244. 12. Frolov, A.A., Husek, D., Rachkovskij, D.A., 2006. “Time of searching for similar binary vectors in associative memory”. Cybernetics and Systems Analysis, 42 (5), pp. 615—623. 13. Gritsenko V.I., Rachkovskij D.A., Frolov A.A., Gayler R., Kleyko, D., Osipov, E., 2017. “Neural distributed autoas- sociative memories: A survey”. Cybernetics and Computer Engineering, 2(188), pp. 5—35. 14. Frady, E. P., Kleyko, D., Sommer, F.T., 2018. “A theory of sequence indexing and working memory in recurrent neural networks”. Neural Computation, 30 (6), pp. 1449—1513. 15. Rachkovskij, D.A., 2014. “Vector data transformation using random binary matrices”. Cybernetics and Systems Analy- sis, 50 (6), pp. 960—967. 16. Rachkovskij, D.A., 2015. “Formation of similarity-reflecting binary vectors with random binary projections”. Cybernet- ics and Systems Analysis, 51 (2), pp. 313—323. 17. Ferdowsi, S., Voloshynovskiy, S., Kostadinov, D., Holotyak, T., 2016. “Fast content identification in highdimensional feature spaces using sparse ternary codes”. The 8th IEEE International Workshop on Information Forensics and Secu- rity (WIFS’16). Abu Dhabi, UAE, December 4—7, pp. 1—6. 18. Kleyko, D., Osipov, E., Rachkovskij, D.A., 2016. “Modification of holographic graph neuron using sparse distributed representations”. Procedia Computer Science, 88, pp. 39—45. 19. Sokolov, A., Rachkovskij, D., 2005. “Approaches to sequence similarity representation”. Information Theories and Ap- plications, 13 (3), pp. 272—278. 20. Kanerva, P., 2009. “Hyperdimensional computing: An introduction to computing in distributed representation with high-dimensional random vectors”. Cognitive Computation, l (2), pp. 139—159. 21. Slipchenko, S. V., Rachkovskij, D.A., 2009. “Analogical mapping using similarity of binary distributed representations”. Information Theories and Applications, 16 (3), pp. 269—290. 22. Gallant, S. I., Okaywe, T.W., 2013. “Representing objects, relations, and sequences”. Neural Computation, 25 (8), pp. 2038—2078. 23. Revunova, E.G., Rachkovskij, D.A., 2009. “Using randomized algorithms for solving discrete ill-posed problems”. In- formation Theories and Applications, 16 (2), pp. 176—192. 24. Rachkovskij, D.A., Revunova, E.G., 2012. “Randomized method for solving discrete ill-posed problems”. Cybernetics and Systems Analysis, 48 (4), pp. 621—635. 25. Revunova, E.G., Rachkovskij, D.A., 2018. “Random projection and truncated SVD for estimating direction of arrival in antenna array”. Cybernetics and Computer Engineering, 3 (193), pp. 5—26. 26. Kussul, E., Baidyk, T., Kasatkina, L. Lukovich, V., 2001. “Rosenblatt perceptrons for handwritten digit recognition”. International Joint Conference on Neural Networks “IJCNN’01”. Washington, USA, pp. 1516—1521. 27. Kussul, E., Baidyk, T., 2004. “Improved method of handwritten digit recognition tested on MNIST database”. Image and Vision Computing, 22, pp. 971—981. 28. Kussul, E., Baidyk, T., 2006. “LIRA neural classifier for handwritten digit recognition and visual controlled microas- sembly”. Neurocomputing, 69(16—18), pp. 2227—2235. 29. Makeyev, O., Sazonov, E., Baidyk, T., Martin, A., 2008. “Limited receptive area neural classifier for texture recognition of mechanically treated metal surfaces”. Neurocomputing, 71 (7—9), pp. 1413. 30. Kussul, E., Baidyk, T., Wunsch, D., 2010. Neural Networks and Micro Mechanics. Springer, 221 p. 18 ISSN 0130-5395, Control systems and computers, 2018, № 4 А.Д. Гольцев, В.И. Гриценко 31. Cristianini, N., Shawe-Taylor, J., 2000. An Introduction to Support Vector Machines (and other Kernel-Based Learning Methods). Cambridge University PressNew York, NY, USA. 32. Schlesinger, M.I., Kalmykov, V.G., Sukhorukov, A.A., 1981. “Comparative analysis of algorithms that synthesize a linear solution for the analysis of complex hypotheses.” Automation. 1981. pp. 3—9. 33. Schlesinger, M.I., Hlavac, V., 2002. Ten Lectures on Statistical and Structural Pattern Recognition. Dordrecht: Kluwer Academic Publishers, 522 p. 34. Franc, V., Hlavác, V., 2003. “An iterative algorithm learning the maximal margin classifier”. Pattern Recognition, 36 (9), pp. 1985—1996. 35. Baidyk, T, Kussul, E., Makeyev, O., Vega, A., 2008. “Limited receptive area neural classifier based image recognition in micromechanics and agriculture”. International Journal of Applied Mathematics and Informatics, 2 (3), pp. 96—103. 35. Baydyk, T., Kussul, E., Hernández Acosta, M., 2012. “New Application of LIRA neural network”. The 16th WSEAS International Conference on Circuits. Greece, Kos Island, pp. 115—119. 37. Kasatkina, L.M., Lukovich, V.V., Pilipenko, V.V., 2006. “Personality recognition by voice using the LIRA classifier“. Upravlausie sistemy i masiny, 3, pp. 67—73. (In Russian). 38. Hebb, D.O., 1949. The Organization of Behavior. New York, USA: John Wiley & Sons Inc., 335 p. 39. Goltsev, A.D., 1991. “Structured neural networks with learning for texture segmentation in images”. Cybernetics and Systems Analysis. Plenum Publishing Corporation. New York, USA, 27 (6), pp. 927—936. 40. Goltsev, A., 1996. “An assembly neural network for texture segmentation”. Neural Networks, 9 (4), pp. 643—653. 41. Goltsev, A., Wunsch, D.C., 1998. “Inhibitory connections in the assembly network for texture segmentation”. Neural Networks, 11 (5), pp. 951—962. 42. Goltsev, A., Wunsch, D.C., 2004. “Generalization of features in the assembly neural networks”. International Journal of Neural Systems (IJNS), 14 (1), pp. 39—56. 43. Goltsev, A., 2004. “Secondary learning in the assembly neural network”. Neurocomputing, 62, pp. 405—426. 44. Goltsev, A., Rachkovskij, D., 2005. “Combination of the assembly neural network with a perceptron for recognition of handwritten digits arranged in numeral strings”. Pattern Recognition, 38 (3), pp. 315—322. 45. Goltsev, AD, 2005. Neural networks with ensemble organization. Kiev: Naukova Dumka, 200 p. (In Russian). 46. Goltsev, A., Gritsenko, V., 2009. “Modular neural networks with Hebbian learning rule”. Neurocomputing, 72 (10— 12), pp. 2477—2482. 47. Goltsev, A., Gritsenko, V., 2009. “Investigation of efficient features for image recognition by neural networks”. Neural Networks, 28, pp. 15—23. 48. Goltsev, A., Gritsenko, V., 2015. “Modular neural networks with radial neural columnar architecture”. Biologically Inspired Cognitive Architectures, 13, pp. 63—74. 49. LeCun The MNIST database of handwritten digits. [online] Available at: <http://yann.lecun.com/exdb/mnist/> [Ac- cessed 16 Oct. 2018]. Received 22.10.2018 ISSN 0130-5395, УСиМ, 2018, № 4 19 Нейросетевые технологии в задаче распознавания рукописных символов A.D. Goltsev, КАНД. ТЕХН. НАУК, СТ. НАУЧН. СОТР., И.О. ЗАВ. ОТДЕЛОМ, Міжнародний науково—навчальний центр інформаційних технологій та систем НАН та МОН України, просп. Глушкова, 40, Київ 03187, Україна, root@adg.kiev.ua V.I. Gritsenko член—кор. НАН України, директор, Міжнародний науково—навчальний центр інформаційних технологій та систем НАН та МОН України, просп. Глушкова, 40, Київ 03187, Україна, vig@irtc.org.ua NEURAL NETWORK TECHNOLOGIES IN THE TASK OF RECOGNIZING HANDWRITING CHARACTERS Introduction. Department of Neural Network Information Processing Technologies of the International Research and Trainimg Center for Information Technologies and Systems is the successor to the Department of Biological and Medical Cybernetics, which was organized by Academician Amosov in 1962. Currently, the research goal is to develop the effective neural network information processing technologies based on computer simulation of the neural human brain organization and the mechanisms of its thinking. The developed neural network technologies are intended for solving the actual practical problems related to the field of Artificial Intelligence. The purpose is to describe some of the department’s work related to the field of image recognition and classification, in particular, the task of character image recognition. Methods are: basic definitions, recommendations and conclusions grounded on the analysis of the research results. Results the article considers two types of neural classifiers: LiRA neural classifier and modular neural networks. Both classifiers are designed to solve practical problems of image recognition. Both classifiers solve the problem by searching a certain set of pre-constructed features in the images. Both classifiers use the so-called LiRA-features. The ability of classifiers to effectively recognize visual images is largely based on the use of a very large number (tens and hundreds of thousands) of simple and effective LiRA functions. A series of experiments is conducted comparing the LiRA classifier and the modular neural network. The experiments show that the latest version of the modular neural network has a higher efficiency (recogni- tion ability) than the LiRA classifier, although it is slightly inferior in speed. Conclusion. The neurobiological relevance of the LiRA classifier and the modular neural network opens up the possibility of creating on their basis intelligent information technologies that function similarly to the human brain. Keywords: neurons, neural layers, trained connections, LiRA-features, inhibitory connections. 20 ISSN 0130-5395, Control systems and computers, 2018, № 4 А.Д. Гольцев, В.И. Гриценко А.Д. ГОЛЬЦЕВ, канд. техн. наук, ст. наук. співр., в.о. зав. віділом, Міжнародний науково—навчальний центр інформаційних технологій та систем НАН та МОН України, просп. Глушкова, 40, Київ 03187, Україна, root@adg.kiev.ua В.И. ГРИЦЕНКО, член—кор. НАН України, директор, Міжнародний науково—навчальний центр інформаційних технологій та систем НАН та МОН України, просп. Глушкова, 40, Київ 03187, Україна, vig@irtc.org.ua НЕЙРОМЕРЕЖЕВІ ТЕХНОЛОГІЇ В ЗАДАЧІ РОЗПІЗНАВАННЯ РУКОПИСНИХ СИМВОЛІВ Вступ. Відділ нейромережевих технологій обробки інформації Міжнародного науково-навчального центру інформаційних технологій і систем виокремився з відділу біологічної і медичної кібернетики, організованого академіком М.М. Амосовим у 1962 р. На даний час метою досліджень є розробка ефективних нейромережевих технологій обробки інформації на основі комп’ютерного моделювання нейронної організації мозку людини і механізмів його мислення. Розроблені нейромережеві технології призначені для використання у вирішенні актуальних практичних завдань, що належать до області штучного інтелекту. Мета статті – описати частину робіт відділу, що стосуються розпізнавання і класифікації зображень, зокрема розпізнавання символьних зображень. Методи - базові означення, рекомендації та висновки ґрунтуються на аналізі результатів власних досліджень. Результат - в статті розглянуті два типи нейронних класифікаторів: нейронний класифікатор LiRA і модульні нейронні мережі. Обидва класифікатора призначені для вирішення практичних завдань з розпізнавання зображень. Обидва класифікатора вирішують задачу на основі пошуку в зображеннях деякого набору заздалегідь сконструйованих ознак. Функціонування обох класифікаторів розглянуто на прикладі використання так званих LiRA-ознак. Здатність класифікаторів ефективно розпізнавати зображення базується саме на використанні дуже великої кількості (десятків і сотень тисяч) простих і ефективних LiRA-ознак. На основі результатів ряду експериментів в порівнянні класифікатора LiRA і модульної нейронної мережі, показано, що остання версія модульної нейронної мережі володіє більш високою ефективністю ніж класифікатор LiRA, хоча і дещо поступається йому за швидкодією. Висновок. Нейробіологічна релевантність класифікатора LiRA і модульної нейронної мережі відкриває можливості створення на їх базі інтелектуальних інформаційних технологій, які функціонують аналогічно людському мозку. Ключові слова: нейрони, нейронні шари, зв’язку яких навчають зв’язку (обучаемые связи), LiRA-ознаки, гальмівні зв’язку.
id	nasplib_isofts_kiev_ua-123456789-150486
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	0130-5395
language	Russian
last_indexed	2025-12-07T15:41:59Z
publishDate	2018
publisher	Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
record_format	dspace
spelling	Гольцев, А.Д. Гриценко, В.И. 2019-04-08T13:09:51Z 2019-04-08T13:09:51Z 2018 Нейросетевые технологии в задаче распознавания рукописных символов / А.Д. Гольцев, В.И. Гриценко // Управляющие системы и машины. — 2018. — № 4. — С. 3-20. — Бібліогр.: 49 назв. — рос. 0130-5395 DOI https://doi.org/10.15407/usim.2018.04.003 https://nasplib.isofts.kiev.ua/handle/123456789/150486 004.8 + 004.032.26 Описаны структуры и механизмы работы классификатора LiRA и модульных нейронных сетей. Оба классификатора решают задачу распознавания изображений на основе поиска признаков в них. Эксперименты в сравнении двух классификаторов, показали, что последняя версия модульной нейронной сети обладает более высокой эффективностью (распознающей способностью), чем классификатор LiRA, хотя и несколько уступает ему в быстродействии. Результат - в статті розглянуті два типи нейронних класифікаторів: нейронний класифікатор LiRA і модульні нейронні мережі. Обидва класифікатора призначені для вирішення практичних завдань з розпізнавання зображень. Обидва класифікатора вирішують задачу на основі пошуку в зображеннях деякого набору заздалегідь сконструйованих ознак. Функціонування обох класифікаторів розглянуто на прикладі використання так званих LiRA-ознак. Здатність класифікаторів ефективно розпізнавати зображення базується саме на використанні дуже великої кількості (десятків і сотень тисяч) простих і ефективних LiRA-ознак. На основі результатів ряду експериментів в порівнянні класифікатора LiRA і модульної нейронної мережі, показано, що остання версія модульної нейронної мережі володіє більш високою ефективністю ніж класифікатор LiRA, хоча і дещо поступається йому за швидкодією. Results the article considers two types of neural classifiers: LiRA neural classifier and modular neural networks. Both classifiers are designed to solve practical problems of image recognition. Both classifiers solve the problem by searching a certain set of pre-constructed features in the images. Both classifiers use the so-called LiRA-features. The ability of classifiers to effectively recognize visual images is largely based on the use of a very large number (tens and hundreds of thousands) of simple and effective LiRA functions. A series of experiments is conducted comparing the LiRA classifier and the modular neural network. The experiments show that the latest version of the modular neural network has a higher efficiency (recognition ability) than the LiRA classifier, although it is slightly inferior in speed. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Управляющие системы и машины 100-летие Национальной академии наук Украины Нейросетевые технологии в задаче распознавания рукописных символов Нейромережеві технології в задачі розпізнавання рукописних символів Neural Network Technologies in the Problem of Handwriting Recognition Article published earlier
spellingShingle	Нейросетевые технологии в задаче распознавания рукописных символов Гольцев, А.Д. Гриценко, В.И. 100-летие Национальной академии наук Украины
title	Нейросетевые технологии в задаче распознавания рукописных символов
title_alt	Нейромережеві технології в задачі розпізнавання рукописних символів Neural Network Technologies in the Problem of Handwriting Recognition
title_full	Нейросетевые технологии в задаче распознавания рукописных символов
title_fullStr	Нейросетевые технологии в задаче распознавания рукописных символов
title_full_unstemmed	Нейросетевые технологии в задаче распознавания рукописных символов
title_short	Нейросетевые технологии в задаче распознавания рукописных символов
title_sort	нейросетевые технологии в задаче распознавания рукописных символов
topic	100-летие Национальной академии наук Украины
topic_facet	100-летие Национальной академии наук Украины
url	https://nasplib.isofts.kiev.ua/handle/123456789/150486
work_keys_str_mv	AT golʹcevad neirosetevyetehnologiivzadačeraspoznavaniârukopisnyhsimvolov AT gricenkovi neirosetevyetehnologiivzadačeraspoznavaniârukopisnyhsimvolov AT golʹcevad neiromereževítehnologíívzadačírozpíznavannârukopisnihsimvolív AT gricenkovi neiromereževítehnologíívzadačírozpíznavannârukopisnihsimvolív AT golʹcevad neuralnetworktechnologiesintheproblemofhandwritingrecognition AT gricenkovi neuralnetworktechnologiesintheproblemofhandwritingrecognition

Нейросетевые технологии в задаче распознавания рукописных символов

Репозитарії

Схожі ресурси