Алгоритм сжатия информации с использованием скалярного критерия распознавания образов
В данной работе построено изоморфное отображение множества образов на множество вещественных чисел из интервала [0,1], которое позволяет связать классификацию образов с поведением скаляр- ного критерия в пространстве ошибок. Задавая определенные интервалы для значений скалярного критерия, можем г...
Збережено в:
| Дата: | 2008 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Інститут проблем штучного інтелекту МОН України та НАН України
2008
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/7492 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Алгоритм сжатия информации с использованием скалярного критерия распознавания образов / П.В. Четырбок // Штучний інтелект. — 2008. — № 4. — С. 438-442. — Бібліогр.: 9 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-7492 |
|---|---|
| record_format |
dspace |
| spelling |
nasplib_isofts_kiev_ua-123456789-74922025-02-23T19:48:32Z Алгоритм сжатия информации с использованием скалярного критерия распознавания образов Алгоритм стиснення інформації з використанням скалярного критерію розпізнавання образів Algorithm of Information Compression using Scalor Criteria of Image Recognition Четырбок, П.В. Распознавание образов. Системы цифровой обработки сигналов и изображений В данной работе построено изоморфное отображение множества образов на множество вещественных чисел из интервала [0,1], которое позволяет связать классификацию образов с поведением скаляр- ного критерия в пространстве ошибок. Задавая определенные интервалы для значений скалярного критерия, можем группировать образы, распознавать, сравнивать и анализировать их. В работе построен алгоритм сжатия информации с использованием скалярного критерия. У даній роботі побудовано ізоморфне відображення безлічі образів на безліч дійсних чисел з інтервалу [0,1], яке дозволяє пов'язати класифікацію образів з поведінкою скалярного критерію в просторі помилок. Задаючи певні інтервали для значень скалярного критерію, можемо групувати образи, розпізнавати, порівнювати і аналізувати їх. У роботі побудований алгоритм стиснення інформації з використанням скалярного критерію. In the given work the displaying is built multiplicands of recognizable appearances on multiplied material numbers from interval [0,1], which allows to link classification of recognizable appearances with the conduct of scalar criterion in space of errors. Setting definite intervals for the values of scalar criterion can group appearances, recognize, compare and analyze them. In work algorithm of compression of information with the use of scalar criterion is built. 2008 Article Алгоритм сжатия информации с использованием скалярного критерия распознавания образов / П.В. Четырбок // Штучний інтелект. — 2008. — № 4. — С. 438-442. — Бібліогр.: 9 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/7492 004.032.26:004.8 ru application/pdf Інститут проблем штучного інтелекту МОН України та НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Распознавание образов. Системы цифровой обработки сигналов и изображений Распознавание образов. Системы цифровой обработки сигналов и изображений |
| spellingShingle |
Распознавание образов. Системы цифровой обработки сигналов и изображений Распознавание образов. Системы цифровой обработки сигналов и изображений Четырбок, П.В. Алгоритм сжатия информации с использованием скалярного критерия распознавания образов |
| description |
В данной работе построено изоморфное отображение множества образов на множество вещественных
чисел из интервала [0,1], которое позволяет связать классификацию образов с поведением скаляр-
ного критерия в пространстве ошибок. Задавая определенные интервалы для значений скалярного
критерия, можем группировать образы, распознавать, сравнивать и анализировать их. В работе построен
алгоритм сжатия информации с использованием скалярного критерия. |
| format |
Article |
| author |
Четырбок, П.В. |
| author_facet |
Четырбок, П.В. |
| author_sort |
Четырбок, П.В. |
| title |
Алгоритм сжатия информации с использованием скалярного критерия распознавания образов |
| title_short |
Алгоритм сжатия информации с использованием скалярного критерия распознавания образов |
| title_full |
Алгоритм сжатия информации с использованием скалярного критерия распознавания образов |
| title_fullStr |
Алгоритм сжатия информации с использованием скалярного критерия распознавания образов |
| title_full_unstemmed |
Алгоритм сжатия информации с использованием скалярного критерия распознавания образов |
| title_sort |
алгоритм сжатия информации с использованием скалярного критерия распознавания образов |
| publisher |
Інститут проблем штучного інтелекту МОН України та НАН України |
| publishDate |
2008 |
| topic_facet |
Распознавание образов. Системы цифровой обработки сигналов и изображений |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/7492 |
| citation_txt |
Алгоритм сжатия информации с использованием скалярного критерия распознавания образов / П.В. Четырбок // Штучний інтелект. — 2008. — № 4. — С. 438-442. — Бібліогр.: 9 назв. — рос. |
| work_keys_str_mv |
AT četyrbokpv algoritmsžatiâinformaciisispolʹzovaniemskalârnogokriteriâraspoznavaniâobrazov AT četyrbokpv algoritmstisnennâínformacíízvikoristannâmskalârnogokriteríûrozpíznavannâobrazív AT četyrbokpv algorithmofinformationcompressionusingscalorcriteriaofimagerecognition |
| first_indexed |
2025-11-24T19:39:00Z |
| last_indexed |
2025-11-24T19:39:00Z |
| _version_ |
1849701843140083712 |
| fulltext |
«Искусственный интеллект» 4’2008 438
4-Ч
УДК 004.032.26:004.8
П.В. Четырбок
Ялтинский филиал Европейского университета, г. Ялта, Украина
petr58@mail.ru
Алгоритм сжатия информации
с использованием скалярного
критерия распознавания образов
В данной работе построено изоморфное отображение множества образов на множество вещественных
чисел из интервала [0,1], которое позволяет связать классификацию образов с поведением скаляр-
ного критерия в пространстве ошибок. Задавая определенные интервалы для значений скалярного
критерия, можем группировать образы, распознавать, сравнивать и анализировать их. В работе построен
алгоритм сжатия информации с использованием скалярного критерия.
Постановка проблемы
Предложенный в статье алгоритм сжатия информации основан на использовании
скалярного критерия для распознавания образов нейронной сетью. На вход нейронной
сети подается двоичный ASCII код информации и рассчитывается скалярный критерий
для его распознавания. Так для кодирования сообщения «Алгоритм сжатия!» в ASCII
коде необходимо 128 битов, а скалярный критерий, являясь действительным числом
двойной точности требует 64 бита. То есть получаем сжатие информации в 2 раза. Но
для этого необходимо построить многослойную нейронную сеть с 128 нейронами на
входе и 128 выходными нейронами, которая является классификатором двоичной
информации на входе. То есть имеем задачу классификации.
Для задачи классификации М классов, в которой объединение М классов формирует
все пространство входных образов, для представления всех возможных результатов
классификации требуется М выходов [1]. Каким должно быть оптимальное решающее
правило, применяемое для классификации М выходов сети после обучения мно-
гослойного персептрона? В общем случае решающее правило должно основываться на
знании вектор-функции [1] : .M MF R x y R Обычно в качестве вектор-функции берется
непрерывная функция, минимизирующая функционал эмпирического риска [1]:
N
j
jj xFd
N
R
1
2
)(
2
1 ,
где jd – желаемый выход для прототипа jx ; – Евклидова норма вектора; N – общее
число примеров, представленных сети для обучения. Построить функционал и опти-
мальное решающее правило. В статье построен функционал, равный скалярному
произведению векторов ошибок при распознавании нейронной сетью образов и
соответствующих им эталонов, который является вектор-функцией.
Алгоритм сжатия информации с использованием скалярного критерия…
«Штучний інтелект» 4’2008 439
4-Ч
Цель статьи
Построение функционала и решающего правила (скалярного критерия для
распознавания образов) для решения задачи сжатия информации. Функционал равен
скалярному произведению векторов ошибок при распознавании нейронной сетью
образов и соответствующих им эталонов. Впервые построено решающее правило
для классификации образов в виде утверждения: каждому образу, распознаваемому
многослойным персептроном в многофакторном пространстве ошибок будет соответ-
ствовать свое значение cos(λ) и образ ближе к эталону, чем больше cos(λ).
cXcE
XE
),()cos( ,
где E – вектор ошибок в пространстве ошибок, полученный при распознавании ней-
ронной сетью входного образа, X – вектор ошибок, полученный при распознавании
нейронной сетью эталона. Что позволяет связать классификацию распознаваемых образов
с поведением cos(λ) в многофакторном пространстве ошибок.
Формулировка скалярного критерия близости образов
в пространстве ошибок
Переход из пространства параметров в пространство ошибок. Для распоз-
навания трудноразличимых образов построим функционал
F = E2×x1+E3×x2+E4×x3, (1)
E2 – среднеквадратическая ошибка в пространстве параметров образа, полученная
при обучении сети;
1 ( ) 2( ) ,,,22 ,
NE y dj pj pj p
где )(
,
N
pjy – реальное выходное состояние
нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; djp
– идеальное (желаемое) выходное состояние этого нейрона.
E3 – линейная ошибка сети, полученная как сумма модулей параметрического
отклонения образа от эталона;
1 ( )
,,23 ,
NE y dj pj pj p
,
где )(
,
N
pjy – реальное выходное состояние нейрона j выходного слоя N нейронной
сети при подаче на ее входы p-го образа; djp – идеальное (желаемое) выходное
состояние этого нейрона.
E4 – максимальная ошибка параметрического отклонения образа от эталона.
pjdN
pjy
pj pj
E ,
)(
,
, ,
max
2
1
4 ,
Четырбок П.В.
«Искусственный интеллект» 4’2008 440
4-Ч
где )(
,
N
pjy – реальное выходное состояние нейрона j выходного слоя N нейронной
сети при подаче на ее входы p-го образа; djp – идеальное (желаемое) выходное
состояние этого нейрона.
x1, x2, x3 – коэффициенты функционала, полученные при обучении сети. x1 –
среднеквадратическая ошибка, полученная при обучении сети, при заданном эта-
лоне на входе сети; x2 – линейная ошибка сети, полученная как сумма модулей па-
раметрического отклонения образа от эталона, при заданном эталоне на входе сети;
x3 – максимальная ошибка параметрического отклонения образа от эталона, при
заданном эталоне на входе сети.
Для каждого из распознаваемых образов получим свое значение функционала,
соответствующее этому образу при обучении сети. Если даже для двух различных
образов величины E2, E3, E4 совпадут, значения функционала для этих образов будут
различны. Если в качестве образов использовать волны, то первый член функцио-
нала отвечает за отклонение частоты образа от эталонной, второй член отвечает за
отклонение по амплитуде волны образа от эталонной, третий член анализирует
пиковые всплески сигнала. Функционал имеет нижнюю границу при F = 0.
Для образов волновой природы функционал позволяет выделить вредные гар-
моники, подавить шумы и выделить полезный сигнал.
В соответствии с введенным функционалом (1), минимизируемой целевой
функцией ошибки НС является величина:
pj
pjdN
pjywE
,
2),
)(
,(2
1
)( , (2)
где )(
,
N
pjy – реальное выходное состояние нейрона j выходного слоя N нейронной сети
при подаче на ее входы p-го образа; djp – идеальное (желаемое) выходное состояние
этого нейрона.
Суммирование ведется по всем нейронам выходного слоя и по всем обрабаты-
ваемым сетью образам. Минимизация ведется методом градиентного спуска [1].
При распознавании образа нейронной сетью вычисляем функционал, испо-
льзуя весовые коэффициенты, полученные при обучении сети.
Введем взвешенную норму в сепарабельном трехмерном пространстве
ошибок распознавания образов (3).
)()( CXTCXX , (3)
где С – матрица взвешенной нормы.
Функционал F, полученный при обучении сети, равен скалярному произведе-
нию векторов ошибок (E2,E3,E4) и (1, 2, 3).
XEXEF )cos(),( . (4)
Из определения нормы имеем:
)()( CETCEE ,
)()( CXTCXX .
Алгоритм сжатия информации с использованием скалярного критерия…
«Штучний інтелект» 4’2008 441
4-Ч
Найдем косинус угла между векторами ошибок:
XE
XE
),(
)cos( .
(5)
Аналогично находим косинусы для всех эталонных образов F1, F2,…, Fn , где
n – число образов, предъявленных сети при обучении, и сравниваем с cos(λ), полученным
при распознавании нейронной сетью входного образа. Тот функционал Fi, для которого
cos(λ) наиболее близок к единице, определяет соответствующий входному образу эталон-
ный образ. Взвешенный критерий близости образов в пространстве ошибок (5) получен
по аналогии с теоремой равновесия в задачах линейного программирования, которая
утверждает, что скалярное произведение вектора решения прямой задачи на вектор
решения обратной задачи равно нулю. То есть (E, X) = 0, где E – вектор ошибок в
пространстве ошибок, полученный при распознавании нейронной сетью входного
образа, а X – вектор ошибок, полученный при распознавании нейронной сетью
эталона. Вектор E – вектор решения прямой задачи линейного программирования, а
X – вектор решения обратной задачи линейного программирования. Для расчета
взвешенного критерия используется взвешенная норма в пространстве ошибок. В
общем случае вектора ошибок E = (e1, e2, …, ek) и X = (x1, x2, …, xk), где k – количество
факторов, влияющих на ошибку распознавания образов многослойным персептроном, т.е.
это не размерность пространства образов. Входной образ Yвх = (y1, y2, …, ym). Эталонный
образ Dвых = (d1, d2, …, dm), где m – количество входных нейронов, равное количеству
выходных нейронов в многослойном персептроне. Вектор E получен при распозна-
вании многослойным персептроном входного образа Yвх за эталон был взят Dвых, а вектор
X получен, когда на вход сети подали Dвых и ожидали Yвх. Теперь можно оценить близость
распознаваемых образов к эталону по правилу (взвешенный критерий): образ ближе к
эталону, чем больше cos(λ).
cXcE
XE
),()cos( .
В случае когда образ совпадает с эталоном cos(λ) = 1 (не учитывая вычисли-
тельные ошибки алгоритма).
Выводы
Каждому образу, распознаваемому многослойным персептроном в многофакторном
пространстве ошибок соответствует свое значение скалярного критерия cos(λ). В данной
работе построено отображение множества распознаваемых образов на множество
действительных чисел из интервала [0,1], которое позволяет связать классификацию
распознаваемых образов с поведением cos(λ) в многофакторном пространстве ошибок.
Задавая определенные интервалы для значений cos(λ), мы можем группировать образы,
распознавать, сравнивать и анализировать их. Впервые построено решающее правило для
классификации образов в виде утверждения: каждому образу, распознаваемому
многослойным персептроном в многофакторном пространстве ошибок, будет соответ-
ствовать свое значение cos(λ) и образ ближе к эталону, чем больше cos(λ).
cXcE
XE
),()cos( ,
Четырбок П.В.
«Искусственный интеллект» 4’2008 442
4-Ч
где E – вектор ошибок в пространстве ошибок, полученный при распознавании ней-
ронной сетью входного образа, X – вектор ошибок, полученный при распознавании
нейронной сетью эталона. Предложенный в статье алгоритм сжатия информации ос-
нован на использовании скалярного критерия для распознавания образов нейронной
сетью. На вход нейронной сети подается двоичный ASCII код информации и
рассчитывается скалярный критерий для его распознавания.
Литература
1. Хайкин Саймон. Нейронные сети: Полный курс, 2-е издание: Пер. с англ. – М.: Издательский дом
«Вильямс», 2006. – 1104 с.
2. Жураковський Ю.П., Полторак В.П. Теорія інформації та кодування. – Видавництво «Вища
школа», 2002. – 255 с.
3. Горбань А.Н. Обучение нейронных сетей. – М.: Изд. СССР-США СП «ПараГраф», 1990. – 160 с.
4. Кохонен Т. Ассоциативная память. – М.: Мир, 1980.
5. Рассоха А.А., Четырбок П.В. Скалярный критерий близости в пространстве распознаваемых
образов. – Европейский университет. – Ялта, 2007. – 26 с.–Укр.-Деп. в ГНТБ Украины
6. Амосов Н.М. Алгоритмы разума. – Киев: наукова думка, 1979. – 222 с.
7. Глибовець М.М., Олецький О.В. Штучний інтелект. – Київ: «КМ Академія», 2000.
8. Richard M.D. and Lipman R.P. Neural network classifiers estimate Bayesian a posteriori probabilities,
Neural Computation. 1991. – Vol. 3. – p. 461-483.
9. White H. Learning in artificial neural networks: A statistical perspective, Neural Computation. 1989. –
Vol.1. – P. 425-464.
П.В. Четирбок
Алгоритм стиснення інформації з використанням скалярного критерію розпізнавання образів
У даній роботі побудовано ізоморфне відображення безлічі образів на безліч дійсних чисел з
інтервалу [0,1], яке дозволяє пов'язати класифікацію образів з поведінкою скалярного критерію в
просторі помилок. Задаючи певні інтервали для значень скалярного критерію, можемо групувати
образи, розпізнавати, порівнювати і аналізувати їх. У роботі побудований алгоритм стиснення
інформації з використанням скалярного критерію.
P.V. Chetyrbok
Algorithm of Information Compression using Scalor Criteria of Image Recognition
In the given work the displaying is built multiplicands of recognizable appearances on multiplied material numbers
from interval [0,1], which allows to link classification of recognizable appearances with the conduct of scalar criterion
in space of errors. Setting definite intervals for the values of scalar criterion can group appearances, recognize,
compare and analyze them. In work algorithm of compression of information with the use of scalar criterion is built.
Статья поступила в редакцию 10.07.2008.
|