Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений

Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений

В статье показана работа обобщенного алгоритма обучения Хебба при решении задачи кодирования изображений. Предложена процедура для кодирования изображений на основе этого алгоритма....

Full description

Saved in:
Bibliographic Details
Date:2008
Main Authors: Петров, А.В., Самохвалов, А.В.
Format: Article
Language:Russian
Published: Інститут проблем штучного інтелекту МОН України та НАН України 2008
Subjects:
Распознавание образов. Системы цифровой обработки сигналов и изображений
Online Access:https://nasplib.isofts.kiev.ua/handle/123456789/7485
Tags: Add Tag
No Tags, Be the first to tag this record!
Journal Title:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений / А.В. Петров, А.В. Самохвалов // Штучний інтелект. — 2008. — № 4. — С. 412-417. — Бібліогр.: 2 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id nasplib_isofts_kiev_ua-123456789-7485
record_format dspace
spelling nasplib_isofts_kiev_ua-123456789-74852025-02-23T17:12:23Z Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений Узагальнений алгоритм навчання Хебба при розв’язанні задачі кодування зображень The Generalized Hebbian Algorithm of Training at the Decision of a Problem of Coding of Images Петров, А.В. Самохвалов, А.В. Распознавание образов. Системы цифровой обработки сигналов и изображений В статье показана работа обобщенного алгоритма обучения Хебба при решении задачи кодирования изображений. Предложена процедура для кодирования изображений на основе этого алгоритма. У статті показана робота узагальненого алгоритму навчання Хебба при рішенні задачі кодування зображень. Запропонована процедура для кодування зображень на основі цього алгоритму. In article work of the generalized Hebbian algorithm of training is shown at the decision of a problem of coding of images. Procedure for coding of images on the basis of this algorithm is offered 2008 Article Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений / А.В. Петров, А.В. Самохвалов // Штучний інтелект. — 2008. — № 4. — С. 412-417. — Бібліогр.: 2 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/7485 004.921 + 004.932 + 621.397.12 ru application/pdf Інститут проблем штучного інтелекту МОН України та НАН України
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
language Russian
topic Распознавание образов. Системы цифровой обработки сигналов и изображений
Распознавание образов. Системы цифровой обработки сигналов и изображений
spellingShingle Распознавание образов. Системы цифровой обработки сигналов и изображений
Распознавание образов. Системы цифровой обработки сигналов и изображений
Петров, А.В.
Самохвалов, А.В.
Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений
description В статье показана работа обобщенного алгоритма обучения Хебба при решении задачи кодирования изображений. Предложена процедура для кодирования изображений на основе этого алгоритма.
format Article
author Петров, А.В.
Самохвалов, А.В.
author_facet Петров, А.В.
Самохвалов, А.В.
author_sort Петров, А.В.
title Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений
title_short Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений
title_full Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений
title_fullStr Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений
title_full_unstemmed Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений
title_sort обобщенный алгоритм обучения хебба при решении задачи кодирования изображений
publisher Інститут проблем штучного інтелекту МОН України та НАН України
publishDate 2008
topic_facet Распознавание образов. Системы цифровой обработки сигналов и изображений
url https://nasplib.isofts.kiev.ua/handle/123456789/7485
citation_txt Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений / А.В. Петров, А.В. Самохвалов // Штучний інтелект. — 2008. — № 4. — С. 412-417. — Бібліогр.: 2 назв. — рос.
work_keys_str_mv AT petrovav obobŝennyjalgoritmobučeniâhebbaprirešeniizadačikodirovaniâizobraženij
AT samohvalovav obobŝennyjalgoritmobučeniâhebbaprirešeniizadačikodirovaniâizobraženij
AT petrovav uzagalʹnenijalgoritmnavčannâhebbaprirozvâzannízadačíkoduvannâzobraženʹ
AT samohvalovav uzagalʹnenijalgoritmnavčannâhebbaprirozvâzannízadačíkoduvannâzobraženʹ
AT petrovav thegeneralizedhebbianalgorithmoftrainingatthedecisionofaproblemofcodingofimages
AT samohvalovav thegeneralizedhebbianalgorithmoftrainingatthedecisionofaproblemofcodingofimages
first_indexed 2025-11-24T03:43:02Z
last_indexed 2025-11-24T03:43:02Z
_version_ 1849641698936750080
fulltext «Искусственный интеллект» 4’2008 412 4П УДК 004.921 + 004.932 + 621.397.12 А.В. Петров, А.В. Самохвалов Ижевский государственный технический университет, г. Ижевск, Российская Федерация velyalin@mail.ru Обобщенный алгоритм обучения Хебба при решении задачи кодирования изображений В статье показана работа обобщенного алгоритма обучения Хебба при решении задачи кодирования изображений. Предложена процедура для кодирования изображений на основе этого алгоритма. Многие задачи, для решения которых используются нейронные сети, могут рассматриваться как частные случаи следующих основных проблем: классификация объектов, аппроксимация функции по конечному набору её значений, оптимизация, построение отношений на множестве объектов, смысловой поиск информации и ас- социативная память, фильтрация, сжатие информации, управление динамическими системами, нейросетевая реализация алгоритмов вычислительной математики. В статье показана работа обобщенного алгоритма обучения Хебба при решении задачи кодирования изображений. Предложена процедура для кодирования изобра- жений на основе этого алгоритма. Целью работы является разработка новых эффективных структурных представ- лений графических изображений, их математических моделей и методов кодирования, применение которых качественно повышает возможности передачи и использования графической информации в интеллектуальных телекоммуникационных системах. Для достижения поставленной цели в работе решаются следующие задачи: – разработка и исследование модели пространственной структуры графического изоб- ражения, обеспечивающей полноту и точность описания всех его структурных элементов и их взаимосвязей; – разработка и исследование структурного метода и алгоритмов анализа и кодирования графических изображений, обеспечивающих полноту и точность воспроизведения их структуры; – разработка метода кодирования изображений на основе анализа главных компо- нентов; – разработка технологии и создание программного обеспечения обработки графической информации, реализующих разработанные методы кодирования графических изоб- ражений. Анализ главных компонентов на основе фильтра Хебба Фильтр Хебба извлекает первый главный компонент из входного сигнала. Ли- нейная модель с одним нейроном может быть расширена до сети прямого распрост- ранения с одним слоем линейных нейронов с целью анализа главных компонентов для входного сигнала произвольной размерности [1]. Для большей конкретизации рассмотрим сеть прямого распространения, пока- занную на рис. 1. В ней сделаны следующие допущения относительно структуры. Обобщенный алгоритм обучения Хебба при решении задачи кодирования… «Штучний інтелект» 4’2008 413 4П 1. Все нейроны выходного слоя сети являются линейными. 2. Сеть имеет m входов и l выходов. Более того, количество выходов меньше количества входов (т.е. l < m). Рисунок 1 – Сеть прямого распространения с одним слоем вычислительных элементов Обучению подлежит только множество синаптических весов {ji}, соединяю- щих узлы i-го входного слоя с вычислительными узлами j-го выходного слоя, где i = 1, 2,..., m; j = 1, 2,..., l. Выходной сигнал уj(n) нейрона j в момент времени n, являющийся откликом на множество входных воздействий {хi(n)|i = 1, 2,..., m}, определяется по следующей формуле:       1 , 1, 2,..., m j ji i i y n n x n j l    . (1) Синаптический вес ji(n) настраивается в соответствии с обобщенной формой правила обучения Хебба [1]:             1 , 1, 2,..., ; 1, 2,..., , j ji j i j ki k k n y n x n y n n y n i m j l                (2) где xi(n) – i-й компонент входного вектора x(n) размерности mx1; l – требуемое число главных компонент;  ji n – коррекция, применяемая к синаптическому весу  ji n в момент времени n;  – параметр скорости обучения. Обобщенный алгоритм обучения Хебба (generalized Hebbian algorithm – GHA) (2) для слоя из l нейронов включает в себя следующий алгоритм (3) для одного нейрона в качестве частного случая, т.е. для l = 1:              21i i i in n y n x n y n n O           , где  – параметр интенсивности обучения (learning-rate parameter); элемент  2O  пред- ставляет собой слагаемые второго и более высоких порядкой по  . Для малых значений  это слагаемое вполне обосновано может быть проигнорировано. Петров А.В., Самохвалов А.В. «Искусственный интеллект» 4’2008 414 4П Алгоритм GHA в сжатом виде Вычисления, выполняемые обобщенным алгоритмом Хебба (GHA), являются простыми и их можно описать следующей последовательностью действий [2]. 1. В момент времени n = 1 инициализируем синаптические веса ji сети случайны- ми малыми значениями. Назначаем параметру скорости обучения  некоторое малое положительное значение. 2. Для n = 1, j = 1, 2,..., l и i = 1, 2,..., m вычислим (1) и (2). 3. Увеличиваем значение n на единицу, переходим к шагу 2 и продолжаем до тех пор, пока синаптические веса ji не достигнут своих установившихся (steady-state) значений. Для больших n синаптические веса ji нейрона j сходятся к i-му компоненту собственного вектора, связанного с j-м собственным значением матрицы корреляции входного вектора х(n). Компьютерное моделирование: кодирование изображений Проверим работу обобщенного алгоритма обучения Хебба при решении задачи кодирования изображений (image coding). На рис. 2а показана семейная фотография, использованная для обучения. Обратите внимание на границы (edge) фрагментов изображения. Это изображение формата 256 х 256 с 256 градациями серого цвета. Изображение было закодировано с помощью линейной сети прямого распространения, состоящей из одного слоя, содержащего 8 нейронов, каждый из которых имеет по 64 входа. Для обучения сети использовались непересекающиеся блоки размером 8 x 8. Эксперимент проводился для 2000 образцов сканирования этого изображения и маленького значения параметра скорости обучения,  =10-4. На рис. 2б показаны маски размера 8 x 8, представляющие синаптические веса сети. Каждая из восьми масок отображает множество синаптических весов, связанных с конкретным нейроном сети. В частности, возбуждающие синапсы (положительные веса) показаны белым цветом, тормозящие (отрицательные значения) – черным, а серым цветом показаны нулевые веса. В наших обозначениях маски представляют собой столбцы матрицы WT, состоящей из 64 х 8 синаптических весов, полученной после сходимости обобщенного алгоритма обучения Хебба. Для кодирования изображения использовалась следующая процедура. 1. Каждый из блоков изображения размером 8 x 8 пикселей был умножен на каж- дую из 8 масок, показанных на рис. 2б. Таким образом, генерируются 8 коэффици- ентов кодирования изображения. На рис. 2в показано реконструированное изображение, основанное на 8 доминирующих компонентах без дискретизации. 2. Каждый из коэффициентов был равномерно дискретизирован на множестве битов, приблизительно пропорциональном логарифму дисперсии этого коэффициента на изображении. Таким образом, первым трем маскам было выделено по 6 бит, сле- дующим двум – по 4, следующим двум – по 3, а оставшейся маске – 2 бита. На основе этого представления для кодирования каждого из блоков размерности 8 x 8 было выделено 34 бита, что соответствует уровню сжатия 0,53 бита на пиксель. Для восстановления изображения на основе дискретных коэффициентов все маски были взвешены своими коэффициентами дискретизации, после чего они использова- лись для восстановления каждого из блоков рисунка. Реконструированная семейная фотография с уровнем сжатия 15:1 показана на рис. 2г. Обобщенный алгоритм обучения Хебба при решении задачи кодирования… «Штучний інтелект» 4’2008 415 4П а) исходное изображение б) веса в) использование первых 8 компонентов г) сжатие 15:1 Рисунок 2 – Семейная фотография, использованная в эксперименте по кодированию изображений (а); маски размером 8 x 8, представляющие собой синаптические веса, обучаемые по алгоритму GHA (б); семейная фотография, восстановленная с помощью 8 доминирующих главных компонентов без дискретизации (в); реконструированная фотография с уровнем сжатия 15:1 при использовании дискретизации (г) В качестве второго примера для иллюстрации обобщенного алгоритма обучения Хебба рассмотрим изображение морского пейзажа (рис. 3а). На этом рисунке внима- ние акцентируется на текстурной информации. На рис. 3б показаны маски размером 8 x 8 синаптических весов сети. Выполняемая процедура аналогична описанной выше. Обратите внимание на различия в масках на рис. 3б и рис. 2б. На рис. 3в показано реконструированное изображение морского пейзажа, основанное на 8 доминирующих главных компонентах без дискретизации. Для изучения эффекта от дискретизации выходы первых двух масок были дискретизированы с использованием 5 бит для каж- дой, третья – с использованием 3 бит, а оставшиеся маски – с использованием 2 бит для каждой. Петров А.В., Самохвалов А.В. «Искусственный интеллект» 4’2008 416 4П а) б) в) г) д) Рисунок 3 – Изображение морского пейзажа (а); маски 8x8, представляющие синаптические веса, обучаемые по алгоритму HGA и при- меняемые к изображению (б); восстанов- ленное изображение морского пейзажа с использованием 8 доминирующих главных компонентов (в); восстановленное изображе- ние с уровнем сжатия 22:1 при использова- нии масок из пункта (б) без дискретизации (г); восстановленное изображение морского пейзажа с использованием масок, показан- ных на рис. 3б, с дискретизацией для до- стижения уровня сжатия 22:1, такого же, как в частях (г), (д) Обобщенный алгоритм обучения Хебба при решении задачи кодирования… «Штучний інтелект» 4’2008 417 4П Таким образом, для кодирования каждого из блоков 8 x 8 потребовалось 23 бита. В результате при кодировании в среднем использовалось 0,36 бита на пиксель. На рис. 3г показано восстановленное изображение морского пейзажа, в котором используются маски, дискретизированные описанным выше способом. Общий уровень сжатия сос- тавил 22:1. Для проверки общей эффективности «обобщения» обобщенного алгоритма Хебба использовались маски, показанные на рис. 2б, для декомпозиции изображения морс- кого пейзажа (рис. 3а). При этом применялась та же процедура, которая использо- валась для восстановления рис. 3г. Результат этого восстановленного изображения показан на рис. 3д, с уровнем сжатия 22:1, т.е. с тем же уровнем, который был получен для рис. 3г. Несмотря на то, что рис. 3г и д имеют поразительное сходство, мы видим, что на первом из них более «правдиво» представлена текстурная информация. В резуль- тате этот рисунок выглядит менее «блочным», чем рис. 3д. Это различие объясняется разными весами сети. Первые четыре веса, полученные после обучения нейронной сети на изображениях с семейной фотографией и морским пейзажем, являются до- вольно сходными. Однако последние четыре веса, кодирующие для первого рисунка информацию о контурах, в случае с морским пейзажем содержат информацию о текс- туре. Таким образом, для восстановления текстурной информации морского пейзажа применялись «контурные» веса, что и привело к блочному представлению. Литература 1. Sanger T.D. Optimal unsupervised learning in a single-layer linear feedforward neural network // Neural Networks. – 1989. – Vol. 12. – P. 459-473. 2. Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. – М.: ООО «И.Д. Вильямс», 2006. – 1104 с. О.В. Петров, А.В. Самохвалов Узагальнений алгоритм навчання Хебба при розв’язанні задачі кодування зображень У статті показана робота узагальненого алгоритму навчання Хебба при рішенні задачі кодування зображень. Запропонована процедура для кодування зображень на основі цього алгоритму. A.V. Petrov, A.V. Samorhvalov The Generalized Hebbian Algorithm of Training at the Decision of a Problem of Coding of Images In article work of the generalized Hebbian algorithm of training is shown at the decision of a problem of coding of images. Procedure for coding of images on the basis of this algorithm is offered. Статья поступила в редакцию 08.08.2008.

Similar Items