Інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів

Tendencies, methods and construction tools of intellectual tracking and guarding videosystems for objects of importance are reviwed. Approaches to creation and usage of the figurative computer, methods of recognition of the alphanumeric information are presented as well as methods of keeping track o...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2019
Hauptverfasser:	Pyusky, L., Vasyukhin, M. I., Vasyukhinа, I. M.
Format:	Artikel
Sprache:	Russisch
Veröffentlicht:	The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2019
Online Zugang:	https://journal.iasa.kpi.ua/article/view/173378
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	System research and information technologies
Завантажити файл:

Institution

System research and information technologies

_version_	1867334379936677888
author	Pyusky, L. Vasyukhin, M. I. Vasyukhinа, I. M.
author_facet	Pyusky, L. Vasyukhin, M. I. Vasyukhinа, I. M.
author_institution_txt_mv	[ { "author": "L. Pyusky", "institution": null }, { "author": "M. I. Vasyukhin", "institution": null }, { "author": "I. M. Vasyukhinа", "institution": null } ]
author_sort	Pyusky, L.
baseUrl_str	http://journal.iasa.kpi.ua/oai
collection	OJS
datestamp_date	2019-07-12T16:05:01Z
description	Tendencies, methods and construction tools of intellectual tracking and guarding videosystems for objects of importance are reviwed. Approaches to creation and usage of the figurative computer, methods of recognition of the alphanumeric information are presented as well as methods of keeping track of the objects on the basis of the intellectual system of videoobservation designed in the V.M. Glushkov Institute of Cybernetics of NAS of Ukraine.
first_indexed	2025-07-17T10:25:42Z
format	Article
fulltext	© Л. Пюшки, М.И. Васюхин, И.М. Васюхина, 2003 Системні дослідження та інформаційні технології, 2003, № 4 73 УДК 004.932.75:519.76 ИНТЕЛЛЕКТУАЛЬНЫЕ ВИДЕОСИСТЕМЫ СЛЕЖЕНИЯ И ОХРАНЫ ОСОБО ВАЖНЫХ ОБЪЕКТОВ Л. ПЮШКИ, М.И. ВАСЮХИН, И.М. ВАСЮХИНА Приведен обзор тенденций, методов и средств построения интеллектуальных видеосистем слежения и охраны особо важных объектов.Рассмотрены подхо- ды к созданию и использованию образного компьютера, методы распознава- ния алфавитно-цифровой информации, а также методы слежения за объектами на основе интеллектуальной системы видеонаблюдения, разработанной в Инс- титуте кибернетики им.В.М.Глушкова НАН Украины. ТЕНДЕНЦИИ ПОСТРОЕНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ ВИДЕОСИСТЕМ СЛЕЖЕНИЯ И ОХРАНЫ ОСОБО ВАЖНЫХ ОБЪЕКТОВ При построении интеллектуальных видеосистем слежения и охраны особо важных объектов весьма актуальна проблема создания средств автоматиза- ции интеллектуальных функций человека, связанных с восприятием, обра- боткой и распознаванием зрительных образов [1–12, 15]. Одним из наиболее мощных направлений создания таких средств мож- но назвать программу «Образный компьютер» [1]. Образный компьютер (ОК) — это кибернетическая система, где выполняется моделирование ин- теллектуальной (главное, подсознательной) деятельности человека и всего живого, что связано с восприятием зрительных, слуховых и других образов, анализом сложных динамических сцен, планированием действий и движе- ний, обобщением наблюдений, установлением закономерностей, прогнози- рованием, принятием решений. ОК оперирует образами и другими сложны- ми понятиями, реализует как образное, так и логическое мышление. ОК является параллельной мультимодальной системой, которая имеет в своем составе несколько каналов восприятия информации (слуховой, зри- тельной, текстовой, вкусовой, обонятельной), образную операционную сис- тему, модели внешнего мира (в том числе акустическую, оптическую, гео- метрическую, лингвистическую, семантическую, канонических форм), развитый интерфейс с человеком, способы взаимодействия с существую- щими компьютерными и телекоммуникативными сетями. Образная операционная система «синхронизирует» обработку инфор- мации, которая поступает разными каналами восприятия, и, оперируя моде- лями внешнего мира, выполняет комплексную семантическую интерпрета- цию всей полученной информации. Однако особые возможности ОК предполагают и значительные финан- совые затраты, часто недопустимые при разработке рассматриваемых авто- рами периметровых систем [2, 8, 15, 16]. В настоящей работе приведены результаты исследований методов по- строения периметровых автоматизированных систем слежения и охраны особо важных объектов (АССО ОВО) в реальном времени. Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 74 Для периметровых систем охраны в работе [2] предложена структура интегрированной автоматизированной системы, объединяющей достоинства трех подсистем: на основе Leaky feeder, пассивных сигнализаторов и интел- лектуальной видеокамеры. Последняя необходима для установки в районе ворот для контроля за въезжающим и выезжающим транспортом. Характерная задача для периметровых систем — распознавание номер- ного знака автотранспортных средств. Проведенный анализ условий функ- ционирования таких систем позволяет выделить следующие технические требования: • инвариантность к изменению в некоторых пределах угла поворота между осью камеры и вектором направления движения автомобиля как в вертикальной, так и в горизонтальной плоскостях; • инвариантность к изменению масштаба распознаваемого номера, т.е. расстояние между камерой и автомобилем в момент захвата изображения не должно быть строго фиксированным; • инвариантность к искажению номерного знака, так как при его уста- новке на автомобиле не в строго вертикальной плоскости и наблюдении сбоку знак представляет собой не прямоугольник, а параллелограмм (в этом случае раазмер символов на изображении несколько искажается); • сохранение работоспособности в условиях сильных помех (дождь, снег, грязь на номерном знаке). АНАЛИЗ МЕТОДОВ РАСПОЗНАВАНИЯ ЗРИТЕЛЬНЫХ ОБРАЗОВ В АССО ОВО Разработкам методов распознавания изображений символов посвящено дос- таточно много работ [2 – 15]. Одной из наиболее удачных, по нашему мнению, можно отметить работу [3], в которой описана оригинальная математическая модель, позволяющая достичь достоверности распознавания одного символа, равной 96%. Структура системы распознавания показана на рис. 1. Программное обеспечение системы состоит из модулей захвата изображе- ния, предварительной обработки, классификации, а также модуля базы данных. Видеокамера Видеоплата Модуль захвата изображения Модуль классификации Модуль БД Модуль предварительной обработки Модуль образца Рис. 1. Структура системы распознавания Интеллектуальные видеосистемы слежения и охраны особо важных объектов Системні дослідження та інформаційні технології, 2003, № 4 75 Модуль захвата изображения представляет собой программу, позво- ляющую производить покадровую передачу изображения в модуль предва- рительной обработки области номерного знака (ОНЗ). Модуль предварительной обработки осуществляет подготовку дан- ных, необходимых для распознавания. В него входят следующие процедуры. 1. Поиск местоположения ОНЗ осуществляется при помощи двумер- ного волнового преобразования Хаара, причем исходное изображение раз- бивается на клетки 2 х 2, для которых выполняется ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ +−−−+− −−++++ →⎥ ⎦ ⎤ ⎢ ⎣ ⎡ 32 10 32103210 32103210 32 10 22 22 bb bb aaaaaaaa aaaaaaaa aa aa . Элементы матрицы 210 ,, bbb и 3b имеют следующие значения: 0b — среднее арифметическое в окне 22× ; 1b — горизонтальные контурные пе- репады яркости; 2b — вертикальные, а 3b — диагональные. Размер каждой матрицы в два раза меньше размера исходного изображения. 2. Бинаризация. После волнового преобразования получается изобра- жение с подчеркнутыми контурными перепадами, ориентированными вер- тикально. В ОНЗ количество таких перепадов велико по сравнению со всем изображением, что приводит к появлению области прямоугольной формы, в которой наблюдаются резкие флюктуации интенсивности пикселей. В дан- ном случае можно сформулировать постановку задачи: выделить области, где сигнал, обычно не существенно отличающийся от общего фона, начина- ет резко колебаться. Для решения поставленной задачи производится оценка дисперсии ),( yxD сигнала в некоторой области относительно текущего пикселя изо- бражения ),( yxI и сравнивается с некоторым порогом крP . Бинаризация осуществляется согласно ⎩ ⎨ ⎧ < ≥ = ,),(,0 ,),(,1 ),( кр кр бин PyxD PyxD yxI где ),(бин yxI — интенсивность пикселя в бинаризованном изображении. 3. Фильтрация. В данном случае задачей фильтрации является удале- ние как можно большего числа объектов на бинаризованном изображении, не являющихся областью номерного знака. Процедура фильтрации состоит из двух частей: а) медианная фильтрация в окне 33× пикселя ⎪ ⎪ ⎩ ⎪ ⎪ ⎨ ⎧ < > = ∑ ∑ = = HN i S i SN i S i NI NI B 1 1 , 2 ,0 , 2 ,1 Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 76 где B — значение бинаризованного изображения в обрабатываемом пиксе- ле после медианной обработки; sN — количество точек в окрестности обрабатываемого пикселя в направлении сканирования; б) прослеживание слитных областей, определение их параметров и от- сеивание тех областей, которые однозначно не являются ОНЗ. Для каждой из таких групп областей определяются высота, ширина, площадь и отношение высоты к ширине. Объекты, не проходящие хотя бы по одному критерию, удаляются из бинаризованного изображения. 4. Выделение номерного знака. Для выделения ОНЗ используется ме- тод корреляционно-экстремального анализа. Суть метода заключается в плоскопараллельном смещении маски по обрабатываемому изображению и подсчете совпадающих пикселей. Положение маски и ОНЗ, для которых ко- личество таких пикселей максимально, принимается соответствующим реа- льному положению ОНЗ. Корреляционная функция определяется следую- щим образом: ∑∑ = = ++= X yL i L j ijMjyixByxK 1 1 ),(),( , где ),( yx — координаты обрабатываемой точки изображения; xL — размер маски по горизонтали; yL — размер маски по вертикали; B — бинаризован- ное изображение; ji, — координаты пикселей внутри маски; M — маска. 5. Определение типа изображения. Считаем позитивом светлые сим- волы на темном фоне. Данная процедура состоит из следующих шагов: а) вычисление медианы М гистограммы ОНЗ; б) пороговая бинаризация ОНЗ с использованием медианы М в качестве порога; в) если число черных пикселей больше числа белых, изображение счи- тается позитивным. Если наоборот, то инвертируется изображение ОНЗ. 6. Полосовая фильтрация. Формируем изображение ),(ОНЗ yxI ′ , яв- ляющееся результатом обработки изображения ОНЗ ),(ОНЗ yxI двумерным линейным фильтром с окном 3131× пиксель. ∑∑= n m MHМН mnIyxI 231/),(),(' , где 15,...,15 +−= xxn ; 15,...,15 +−= yym . Результирующее изображение определяется как ScaleyxIyxIyxI )),('),((),( ОНЗОНЗОНЗИФ −= , где Scale — масштабный коэффициент, позволяющий «растянуть» гисто- грамму изображения ОНЗ на весь диапазон яркости от 0 до 255. 7. Пороговая бинаризация. На данном этапе обработки получается хо- рошо контрастированное изображение ОНЗ. Такое изображение вполне мо- жно бинаризовать обычным пороговым методом. Однако исследования по- казали, что в случае существенно зашумленного изображения (грязь на номере, дождь, снег) данный метод неэффективен. Интеллектуальные видеосистемы слежения и охраны особо важных объектов Системні дослідження та інформаційні технології, 2003, № 4 77 Для решения задачи использовался метод пороговой бинаризации. После бинаризации изображение ОНЗ также подвергается «чистке» пу- тем прослеживания слитных групп, о которой говорилось выше. Предвари- тельный анализ на 50 изображениях автомобилей показал, что после бина- ризации изображения отдельных символов не сливаются между собой и с областями, не являющимися символами. Таким образом, в данном случае «чистка» путем прослеживания слитных групп допустима, хотя для полной уверенности требуются более детальные исследования. 8. Сегментация является ключевой во всем модуле предварительной обработки. Предшествующая обработка решала задачу получения как мож- но более качественного изображения символов номерного знака и подавле- ния при этом как можно больше шумов. Поскольку эта задача решена успе- шно и для сегментации изображения ОНЗ, то вполне успешно можно применить все тот же метод прослеживания слитных групп. Единственным замеченным недостатком сегментации является невоз- можность удаления крайней правой/левой области, соответствующей грани- це номерного знака. При этом после классификации в начале и конце распо- знанного номера может появиться символ «I». Для решения данной проблемы требуется разработать более интеллектуальные алгоритмы сег- ментации. 9. Трансформация сегментов. Производится трансформация выделен- ных сегментов к единому масштабу, что обеспечивает инвариантность сис- темы к масштабу символов. Модуль классификации позволяет непосредственно производить рас- познавание сегментированного изображения номерного знака на базе нейронной сети. НЕЙРОСЕТЕВОЙ МЕТОД РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ Отметим, что для реализации нейронной сети (НС) достаточно эффективно использовался метод стохастической геометрии [3]. Он предусматривает случайное наложение на изображение символа некоторого количества так называемых «иголочек» некоторой длины. Затем подсчитывается число нулевых, одинарных, двойных и тройных пересечений этих «иголочек» с символом. В построенном пространстве признаков печатный текст хорошо классифицируется без искажений и шумов. Однако при появлении шумов на его изображении классификация затрудняется либо становится вообще не- возможной. Более эффективен ассоциативный метод классификации изображений символов [3] — по неполному их изображению. Для этого нейронную сеть необходимо обучить восстанавливать полную картину, т.е. по части вы- бранного образа восстановить весь образ. При этом использовалась нейрон- ная сеть Хопфилда. Ее применение показало три недостатка. 1. Эта сеть оказалась чувствительной к искажениям и смещениям изо- бражений. 2. На «вспоминание» символа, существенно отличающегося от эталон- ного, требуется много времени. Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 78 3. Появление «фантома» при определении указанного символа, т.е. по- явление такого его изображения, которое не является ни одним из эталонов. Устранению этих недостатков способствовало применение моделей Кохонена [4], которые напоминают процессы, происходящие в мозгу чело- века, известные как «самоорганизующиеся карты Кохонена (СКК)». Для реализации алгоритма необходимо определить меру близости (зону соседства). Зоны соседства уменьшаются с течением времени. Сеть состоит из M нейронов, а )(tNej — множество нейронов, кото- рые считаются соседями нейрона j в момент времени t . Согласно алгоритму Кохонена необходимы такие шаги: 1. Инициализация сети. Весовым коэффициентам сети присваиваются малые случайные значения. Общее число синаптических весов — NM × . 2. Предъявление сети нового входного сигнала. 3. Вычисление расстояния до всех нейронов сети. Расстояние jd от входного сигнала до каждого нейрона j определяет- ся соотношением ∑ − = −= 1 0 2))()(( N i ijij twtxd , где ix — i -й элемент входного сигнала в момент времени t ; )(twij — вес связи от i -го элемента входного сигнала к нейрону j в момент времени t . 4. Выбор нейрона с наименьшим расстоянием. Выбираем нейрон j , для которого расстояние jd наименьшее. 5. Настройка весов нейрона j и его соседей. Производится подстройка весов для нейрона j и всех нейронов из его зоны соседства NE. Новые значения весов ))()()(()()1(* twtxtrtwtw ijiijij −+=+ , где )(tr — шаг обучения, уменьшающийся с течением времени (положи- тельное число, меньше единицы). 6. Возвращение к п.2. Следует отметить, что в общем случае размерность СКК может быть произвольной. В ходе лабораторных исследований было предложено использовать двумерное стробирование исходного изображения символа. Окно при стро- бировании представляет собой квадрат размером стрL , а величина шага рав- на 1стр −L . Каждый фрагмент изображения, получаемый при стробирова- нии, подается на вход НС. Из получающихся на выходе НС топологических карт отдельных фрагментов исходного изображения формируется карта все- го изображения. Далее производится окончательная классификация, причем полученная топологическая карта сравнивается со всеми эталонами, хранящимися в па- мяти. В качестве решения выбирается наиболее близкий к карте эталон. Интеллектуальные видеосистемы слежения и охраны особо важных объектов Системні дослідження та інформаційні технології, 2003, № 4 79 Критерием близости является сумма квадратов отклонений точек реальной карты от эталонной. Применение метода СКК позволило за несколько десятков секунд дос- тичь вероятности распознавания одного символа автомобильного номера, равной 96%, независимо от положения автомобиля в поле зрения камеры. Метод обратного распространения ошибки. Существенным развити- ем описанного выше метода распознавания явился метод обратного распро- странения ошибки [5]. В отличие от структуры сети, показанной на рис.1, предлагаемая сеть имеет структуру, содержащую две подсистемы: предва- рительной обработки сегментации изображения и распознавания символов номерного знака (рис. 2). Сначала производится процедура улучшения качества изображения не только для улучшения визуального восприятия, но и для упрощения ма- шинного анализа. Для этого применяют методы сглаживания и увеличения контрастности изображений. Входное изображение Улучшение качества изображения Выделение номерного знака из общего фона изображения Сегментация номерного знака на отдельные символы Формирование векторов для нейрон- ной сети из сегментированных символов изображения Распознавание номерного знака Распознанный номерной знак Подсистема распознавания символов номерного знака нейронной сетью Подсистема предварительной обработки и сегментации изображения Рис. 2. Структура нейросетевой системы Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 80 Медианный метод сглаживания изображений. Согласно работе [6], наиболее эффективный при наличии импульсного шума — медианный ме- тод. Каждая точка ija изображения заменяется медианой, вычисленной в заданной окрестности n х n следующим образом: 1. Все точки окрестности nn × ранжируются в порядке возрастания своих значений. 2. Медианой такой ранжированной последовательности точек является значение яркости точки, средней по счету в этой последовательности, т.е. значение яркости точки с порядком ] 2 2n [, где ][ — операция округления до большего целого числа. Метод увеличения контрастности осуществляется на основе алго- ритма (рис. 3), описываемого следующей формулой: ⎪ ⎪ ⎩ ⎪⎪ ⎨ ⎧ > ∈ < − − = , ,],[ , ,255 ),(255 ,0 , * Wp WBp Bp Bp BW p ji ji ji jiij где ijp — исходная яркость точки изображения; * ijp — результирующая яркость точки изображения; WB, — пороговые значения. В результате работы этого алгоритма линейно увеличивается разность яркостей точек, что приводит к тому, что темные области Новая контрастность 255 Яркость нового изо- бражения * ijP Пороги Яркость исходного изображения 0 В W 255 0 Исходная контрастность ijP Рис. 3. Алгоритм увеличения контрастности изображения Интеллектуальные видеосистемы слежения и охраны особо важных объектов Системні дослідження та інформаційні технології, 2003, № 4 81 изображения становятся еще более темными, а наиболее светлые — более светлыми, что обеспечивает решение задачи. Выделение знака из общего фона изображения осуществляется его построчным сканированием в окне размером 32=N и применением дис- кретного преобразования Фурье в тех его участках, где содержится сим- вольная информация. Спектр коэффициентов преобразования Фурье имеет пик на низких частотах, для других участков изображения — пик либо на высоких частотах, либо на нулевой частоте (наблюдается хаотический апе- риодический сигнал). Коэффициенты дискретного преобразования Фурье рассчитываются по формуле ∑ − = = 1 0 ,)(1)( N m km x WmX N kC 1,...,1,0 −= Nk , где N i eW π2− = . Для проведения сегментации предлагается алгоритм, в соответствии с которым изображение сканируется по горизонтали, а затем вычисляется функция как сумма квадратов перепадов яркости точек в каждом вертикаль- ном столбце изображения. ∑ +−= i xixi RRxf 2 ,1, )()( . Полученная функция имеет периодический характер, причем вершины соответствуют участкам, где расположены символы номерного знака, а ми- нимумы — промежуткам между ними. Для распознавания знака предлагается сеть типа многослойного пер- септрона, обучаемого методом обратного распространения ошибки. Сеть была обучена выборке, состоящей из печатных символов, используемых при написании автомобильных знаков. Особенность метода: в обучающую вы- борку добавляются искаженные символы, что в целом позволяет повысить надежность и быстродействие системы. Рассматриваемая нейросетевая система представлена в виде програм- ного модуля на языке Visual C++ 6.0 для OC WINDOWS. Результаты испы- таний показали надежную идентификацию номерных знаков при их смеще- ниях и поворотах в поле зрения, а также при наличии загрязненности и атмосферных помех. МЕТОДЫ СЛЕЖЕНИЯ ЗА ОБЪЕКТАМИ НА ОСНОВЕ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ ВИДЕОНАБЛЮДЕНИЯ Первым шагом в построении системы слежения на основе видеокамеры является построение разностного изображения (рис. 4). Для этого строятся матрицы приращений между двумя соседними кадрами. Далее разностное изображение (рис.4, в) делится на квадраты размером nn × , где 16...6=n . Для каждого из этих квадратов рассчитывается среднее значение яркости по формуле Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 82 а б в Рис. 4. Соседние кадры видеопоследовательности (а, б); разностное изображение инвертировано (в) Интеллектуальные видеосистемы слежения и охраны особо важных объектов Системні дослідження та інформаційні технології, 2003, № 4 83 2 0 0 ср ),( n yxb b n x n y ∑∑ = == , где ),( yxb — значение яркости отдельной точки на разностном изобра- жении. Затем полученные средние значения яркости сравниваются с некото- рым порогом P области разностного изображения. Если подсчитанное среднее значение срb меньше порога P , то изображения считаются не со- держащими межкадровых изменений и в дальнейшем не рассматриваются. Напротив, области, в которых среднее значение срb больше порога P , ука- зывают на движение или локальное изменение яркости. В результате полу- чаем матрицу M (рис. 5) размерностью в n раз меньше исходного изобра- жения и значениями ячеек, равными 0 при отсутствии межкадровых изме- нений и 1 при их наличии. По этой матрице легко определить габариты и расположение движущегося объекта — на него указывают ненулевые об- ласти. Здесь следует отметить, что на разностном изображении области с максимальными значениями будут приходиться как на исходное поло- жение движущегося объекта в первом кадре, так и на конечное положение во втором. Однако при достаточно высокой частоте кадров перемещение объекта в двух соседних кадрах не- значительно, и эти две области будут практически совпадать, указывая на положение движущегося объекта. Разумеется, регистрации подлежат только области, содержащие изменения (рис. 6). При сжатии информации доста- точно хранить базовый (опорный) кадр и изменившиеся области для каждого последующего. В условиях редко меняющейся обстановки изменения в кадре происходят редко, и с помощью предлагаемого алгоритма можно достичь сте- пени сжатия в десятки тысяч раз. Оптимизация алгоритма сжатия может производиться за счет уменьше- ния количества точек, в которых производится расчет разностного изобра- жения. В таком случае изображение покрывается сеткой с размером ячейки s , и расчет разностного изображения производится только в узлах этой сет- ки. В результате размеры разностного изображения уменьшаются в s раз, количество обрабатываемых пикселей, а, соответственно, и количество опе- раций по обработке — в 2s раз. Недостатком такой оптимизации является уменьшение точности определения областей со значительными изменения- ми, а также возможность пропуска мелких изменений. Рис. 5. Пример преобразования разност- ного изображения с фильтрацией шу- мовых составляющих (матрица М) Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 84 В случае, если в поле зрения видеокамеры находится два или более движущихся объекта, следу- ет проверить области, содержащие изменения, на принадлежность то- му или иному объекту. Для этого можно воспользоваться матрицей M (см. рис. 5). Для разделения не- скольких объектов применим алго- ритм «наращивания областей». Бе- рем произвольный ненулевой элемент и рекурсивно ищем смеж- ные с ним. Так находим все эле- менты, принадлежащие одному объекту. Далее берем следующий элемент, не принадлежащий пер- вому объекту, и повторяем операцию для второго объекта и далее для всех объектов. Таким образом можно получить расположение и габариты всех отдель- ных движущихся объектов, находящихся в поле зрения видеокамеры. Для построения траектории движения объекта (объектов) необходимо определить их геометрический центр в каждый момент времени. Координа- ты цx и цy геометрического центра объекта можно определить как центр прямоугольника, ограничивающего объект. Если координаты левого нижне- го угла прямоугольника — 00 , yx , ширина — b , высота — h , то координа- ты геометрического центра определяются как 2/2/0 hbx ++ . Возможен также другой вариант определения координат объекта как «центра тяжести» прямоугольника, ограничивающего объект, подсчитанного по разностному изображению. Расчет производится по следующим формулам ( ) ∑ ∑ ∑ ∑ + = + = + = + == bx xx hy yy bx xx hy yy yxP xyxP X 0 0 0 0 0 0 0 0 ),( ),( ЦТ , где ),( yxb — значение яркости разностного изображения в точке с коорди- натами yx, . Координаты, определенные таким образом, будут тяготеть к части объ- екта, содержащей максимум изменений от кадра к кадру. Геометрическое место точек таких центров, рассчитанных для кадров видеопоследователь- ности, и будет определять траекторию движения объекта. ( ) ∑ ∑ ∑ ∑ + = + = + = + == bx xx hy yy bx xx hy yy yxP yyxP Y 0 0 0 0 0 0 0 0 ),( ),( ЦТ . Рис. 6. Области кадра 2 (рис. 5), подле- жащие сохранению Интеллектуальные видеосистемы слежения и охраны особо важных объектов Системні дослідження та інформаційні технології, 2003, № 4 85 Траектория движения может дать информацию о том, какие именно со- бытия происходят в поле зрения видеокамеры: если траектория движения представляет собой точку или близка к ней, то имеет место локальное изме- нение яркости или геометрического размера объекта, если траектория — кривая линия, то происходит движение объекта. В случае движения двух или более объектов в точке пересечения их траекторий (точка A на рис. 7) может возникнуть неоднозначность принад- лежности последующей после пересечения части траектории тому или ино- му объекту. Критериями для разрешения неоднозначности могут служить: а) направление движения объекта: продолжение траектории выбирается без излома (критерием наличия/отсутствия излома могут служить значения производных координат объекта по времени); б) скорость и ускорение объектов: продолжением считается траектория, в которой объект имеет более близкую скорость (ускорение) по отношению к скорости (ускорению) на предыдущем участке; в) габаритные размеры движущихся объектов. Эти критерии, рассмотренные совместно, дают наиболее вероятные траектории движения объектов. Оптимизация алгоритма слежения может производиться за счет суже- ния зоны поиска последующего положения объекта, а также уменьшения количества обрабатываемых кадров. Сужение зоны поиска последующего положения объекта может произ- водиться в двух случаях. 1. Известны координаты движущегося объекта, неизвестны параметры движения (скорость, ускорение). В таком случае зону поиска следует раcсчитывать, исходя их максимальной предположительной горизонтальной maxxV и вертикальной maxyV скорости движения объекта в метрах в секун- ду и минимально возможного расстояния объекта до камеры minR в метрах. Максимальные перемещения maxx∆ и maxy∆ между соседними кадрами в пикселях можно выразить в долях от ширины (или высоты) кадра по форму- лам νγmin max max R V bx x=∆ , νβmin max max R V hy y=∆ , 1 2 А Рис. 7. Траектории движения объектов (1, 2) Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 86 где b и h — ширина и высота кадра; γ и β — угол захвата камеры по го- ризонтали и вертикали; ν — частота кадров съемки. 2. Известны координаты движущегося объекта, скорость и направле- ние его движения. На основании этих параметров можно предсказать после- дующее положение объекта. Двигаясь с той же скоростью, между соседни- ми кадрами объект переместится на расстояние , v Vx = где V — скорость движения объекта, подсчитанная по двум предыдущим кадрам. Однако ввиду возможного изменения скорости объекта его положение в следующем кадре может отличаться от предсказанного и, тогда зону поис- ка следует расширить на величину v V x max∆ =∆ , где maxV∆ — максималь- но возможное изменение скорости объекта. Во многих случаях можно уменьшить количество вычислений за счет уменьшения количества обрабатываемых кадров. Это достигается равно- мерным прореживанием потока кадров (для обработки берутся не соседние кадры, а с пропуском некоторого количества). Побочным эффектом данного способа уменьшения количества вычис- лений является уменьшение скорости реакции системы видеонаблюдения на перемещение объектов (время реакции равно времени между двумя обраба- тываемыми кадрами), возможность пропуска быстро движущихся объектов, а также неравномерность вычислительной загрузки процессора. Для обеспе- чения равномерности его загрузки вычисление разностного изображения может распределяться по времени и выполняться после приема каждого очередного кадра. Предлагаемый алгоритм слежения за объектами на основе визуальной информации может применяться в обычных системах видеонаблюдения, а также в тепловизорных системах, основанных на инфракрасном излучении. Приведенные способы оптимизации алгоритма вычислений позволяют зна- чительно уменьшить количество операций, для поиска движущихся объек- тов. МЕТОДЫ КРУГОВОГО ОБЗОРА НА ОСНОВЕ РАЗНОСТНОГО ПАНОРАМ- НОГО ОТОБРАЖЕНИЯ Интересный способ двухэтапного преобразования видеопоследовательно- сти, полученной с видеокамеры, обращающейся вокруг вертикальной оси. Первый этап — преобразование видеопоследовательности в статичное панорамное изображение. Второй — выделение и регистрация разностного изображения между двумя оборотами видеокамеры. Главная особенность интеллектуальных систем — умение автоматиче- ски выделять перемещение объектов в зоне наблюдения, а также изменение геометрических размеров, яркости и цвета. Наиболее известные способы компрессии динамических изображе- ний — стандарты MPEG-1 и MPEG-2, которые представляют собой комби- нацию наиболее прогрессивных способов компрессии. Их достоинства со- Интеллектуальные видеосистемы слежения и охраны особо важных объектов Системні дослідження та інформаційні технології, 2003, № 4 87 стоят в том, что они позволяют производить как покадровую компрессию — на основе дискретно-косинусного преобразования и кодирования по спосо- бу RLE, так и междукадровую — на основе компенсации перемещения ме- тодом оценки вектора перемещения для блока пикселей и двунаправленной интерполяции кадра по двум соседним [9 – 11]. Эти способы универсальны, обеспечивают довольно высокий уровень компрессии динамических изображений, однако требуют значительных ап- паратурных затрат для обработки больших массивов данных, что зачастую не обеспечивает требований режима реального времени. Выходом из этой ситуации могут быть следующие условия [16]: • значительное уменьшение избыточных данных при формировании видеопоследовательностей; • исключение из анализа массивов, представляющих фон. При круговом обзоре, представляемом серией кадров, следующий кадр содержит значительную часть предыдущего, смещенного в сторону, проти- воположную направлению движения камеры. При этом некоторая часть изображения выходит из кадра, а такая же часть нового изображения в него входит. Если выделить только новые неповторяющиеся части изображений и «склеить» их, то можно получить широкоформатное панорамное статич- ное изображение в результате одного поворота камеры. Основная проблема получения панорамного изображения — это обес- печение стыковки кадров, составляющих видеопоследовательность. Отме- чая B как ширину кадра, а b — ширину новой части изображения, для по- иска границы предыдущего кадра со следующим предлагается сканирование поля края изображения кадра (область А) шириной в зоне поиска bB − в кадре 1+n (рис.8). Степень соответствия выбранного поля кадра n в кадре 1+n на каж- дом шаге сканирования определяется по минимуму функции ∑ ∈ −= ),( ),(),( Rji jiBjiAF , где ),( jiA — значения яркостей элементов поля края изображения кадра n ; ),( jiB — значение яркостей элементов поля, выбираемое в зоне поиска кадра )1( +n . И сч ез аю щ . ( ст ар ая ) ин фо рм ац ия Н ов ая ин фо рм ац ия Кадр n Кадр n+1 Рис. 8. Кадры видеопоследовательности при вращении видеокамеры вправо Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 88 Минимум функции F будет наблюдаться при определении степени подобия областей A и Б (рис. 9). Сложность процедуры поиска края изображения при неравномерной скорости вращения может быть определена следующим образом. Для одной операции сравнения с полосой hb пикселей необходимо выполнить hb2≈ операций типа сложения. Если поиск осуществляется по зоне сканирования шириной )( bB − , то общее количество операций опре- делится как hbbB )(2 − . Если определить ширину контрольной полосы края изображения в от- носительных единицах от ширины кадра как Bkb = , где 1≤k , тогда коли- чество операций для реализации процедуры поиска определится как )1(2 2 khbBk − . Для улучшения зрительного восприятия панорамного изображения це- лесообразно выполнить состыковку новой части изображения со сглажива- нием границы состыковки [12]. Изображения должны плавно переходить друг в друга (рис. 10). Область Б bКадр n+1 Область А Кадр n Рис. 9. Поиск границы появления новой информации в следующем кадре. Жирной линией показана граница появления новой части видеоизображения б а Интеллектуальные видеосистемы слежения и охраны особо важных объектов Системні дослідження та інформаційні технології, 2003, № 4 89 Описанный способ панорамирования видеопоследовательности может быть использован при проведении съемки с объекта, движущегося прямо- линейно (например, с поезда, автомобиля). В результате будет получена широкая панорама и значительная компрессия. Этот подход может эффек- тивно использоваться при построении систем виртуальной реальности. Средний уровень компрессии видеопоследовательности за счет панорами- рования достигает 10. Представление видеопоследовательности в виде панорамного изображе- ния значительно облегчает условия контроля оператором зоны наблюдения. Полученная последовательность широкоформатных видеоизображений может дополнительно подвергаться сжатию любым алгоритмом компрессии динамических видеоизображений, в том числе и MPEG[10]. При этом обес- печивается степень компрессии значительно выше выходной последова- тельности кадров (степень компрессии зависит от скорости кругового дви- жения видеокамеры, частоты кадров съемки, а также от динамики смены окружения). Входное динамическое изображение может быть полностью восстанов- лено из панорамного последовательным вырезанием из панорамного изо- бражения отдельных областей. Для этого при создании панорамного изо- бражения следует сохранять ширину области, которая дополняется к панорамному изображению от кадра к кадру (это необходимо только в слу- чае сменной угловой скорости видеокамеры). Динамическая последователь- ность видеокадров может быть восстановлена из панорамного изображения в темпе съемки или в произвольном (замедленном или ускоренном) темпе. Следующим этапом уменьшения избыточной информации, которая предоставляется оператору, может быть удаление фона с изображения и вы- деление новой информации между оборотами видеокамеры. Это может быть реализовано путем выделения разностного изображения между панорамны- ми изображениями двух соседних оборотов видеокамеры (рис.11). На рис.11а, б показана панорама обзора видеокамеры соответственно для первого и второго оборотов камеры. Как видно, изображение фона не подлежит изменениям, разность между этими двумя изображениями заклю- чается в перемещении предмета из положения А в положение Б за время оборота камеры. На основании этих двух изображений построено третье, каждый пиксель которого является разницей значений яркости пикселей этих двух изображений (рис.11, в). Если ограничить это изображение по по- Рис. 10. Панорамное изображение, представленное суммой кадров, показанных на рис. 9 Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 90 рогу, то можно автоматически определить не только наличие изменений в обстановке, но и локализировать место, где происходят изменения. В ре- зультате автоматического определения получим две области повышенного внимания (на рис. 11 они выделены прямоугольниками). Таким образом осуществляется автоматическая регистрация и сигнализация наличия пе- ремещений или локального изменения яркости (например, при возгорании) в поле зрения видеокамеры кругового обзора. Ошибки построения панорамных изображений, складывающихся из полос, граница между которыми не всегда может быть определена с точно- стью до пикселя, а также наличие ошибки в механике системы кругового обзора приводят к появлению некоторого «шума контуров» на разностном изображении. Однако такой шум в большинстве случаев устраняется высо- кочастотной фильтрацией [12 –14]. В то же время, исчезнувшие движущиеся предметы или предметы, сменившие геометрическую форму, размеры, яр- кость или цвет, будут выделены практически полностью (если они отлича- ются от фона). А Б a б в Рис. 11. Пример разностного панорамного изображения, построенного из 160 кад- ров видеопоследовательности: а — панорамное изображение, снятое на первом обороте видеокамеры; б — то же на втором; в — разница изображений а и б (зна- чение разницы усилено в четыре раза, изображение инвертировано) Интеллектуальные видеосистемы слежения и охраны особо важных объектов Системні дослідження та інформаційні технології, 2003, № 4 91 Использование разностного панорамного изображения значительно об- легчает работу оператора и сокращает объем регистрируемой информации. В зависимости от частоты и масштабности происходящих изменений степень компрессии может достигать сотен тысяч раз. Если выполнялась постоянная регистрация (без фильтрации) разностных изображений, то па- норамные изображения, а при необходимости и входная видеопоследо- вательность, могут быть восстановлены в реальном или произвольном темпе. Кроме того, полученное разностное изображение создает предпосылки для автоматического раскрытия происходящих изменений, т.е. появляется реальная возможность создания интеллектуальных систем кругового обзора, выдающих сигнал тревоги и регистрирующих возникшие изменения или обращающих внимание оператора на имеющиеся изменения. ВЫВОДЫ 1. Применение комбинации методов обратного распространения оши- бки, медианного сглаживания изображений и увеличения контрастности явилось существенным развитием метода самоорганизующейся карты Ко- хонена, что позволило сократить время преобразования до нескольких се- кунд (с помощью известных методов оно длилось в течение десятков минут) с вероятностью распознавания 0,98. 2. Результаты распознавания с помощью нейронной сети, представ- ленной в виде программного модуля на языке Visual C++ 6.0 для OC Windows показали надежную идентификацию изображения государствен- ных номерных знаков автомобиля при смещениях и поворотах в поле зре- ния, а также при наличии значительной загрязненности и атмосферных по- мех. 3. Предложен способ панорамирования видеопоследовательности, ко- торый обеспечивает широкую панораму изображений при высокой комп- рессии данных, в результате чего средний уровень компрессии видеопосле- довательности за счет панорамирования достигает 10. 4. Установлено, что использование разностного панорамированного изображения значительно сокращает объем регистрируемой информации. При этом в зависимости от частоты и масштабности происходящих измене- ний степень компрессии может достигать сотен тысяч. ЛИТЕРАТУРА 1. Вінцюк Т.К. Образний комп’ютер: концепції, методологія, підходи // Укр ОБРАЗ, 2000. — Київ: ІК ім. В.М. Глушкова НАН України, 2000. — C. 9–16. 2. Васюхин М.И., Пюшки Л. Подходы к построению автоматизированной системы охраны особо важных объектов // УСиМ. — 2002. — № 1. — С. 88–91. 3. Крылов В.Н., Максимов М.В., Давыдов В.О. Автоматизированная система рас- познавания // Искусственный интеллект. — 2002. — № 4. — С. 462–469. 4. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика / Пер.с англ. — М.: Мир, 1992. — 240 с. Л. Пюшки, М.И. Васюхин, И.М. Васюхина ISSN 1681–6048 System Research & Information Technologies, 2003, № 4 92 5. Галуев Г.А., Тараненко А.С. Нейросетевая система автоматической идентифи- кации номерных знаков автомобилей // Искусственный интеллект. — 2002. — № 4. — С. 666–674. 6. O’Gorman L., Nickerson J.V. An approach to fingerprint filter design // Pattern re- cognition. — 1989. — 22, №1. — P. 29–38. 7. Ту Дж., Гонсалес Р. Принципы распознавания образов / Пер. с англ. — М.: Мир, 1978. — 411с. 8. Боюн В.П., Довгань В.В. Слежение за объектами на основе системы видеонаблюдения, оптимизация алгоритма слежения // Комп’ютерна математика. Оптимізація обчислень. — Київ: ІК ім. В.М. Глушкова НАН України, 2001. — С. 50–57. 9. Зелов С. Цифровое кодирование изображений // Компьютер-Пресс. — 1997. — № 3, 4. — С.13–14. 10. Сидоренко Ю. «MPEG» — Путь в цифровое завтра // Компьютерное обозре- ние. — 1997. — №17(90). — С.18–23. 11. Старовойтов В.В. Локальные геометрические методы цифровой обработки и анализа изображений. — Минск: Ин-т техн. киберн. НАН Беларуси, 1997. — 284 с. 12. Прэтт У. Цифровая обработка изображений: в 2-х кн. / Пер. с англ. под ред. Д.С.Лебедева. — М.: Мир, 1982. — 2. — 480 с. 13. Хирозе М. Создание виртуальных миров на основе реальных изображений // Компьютеры + программы. — 1997. — № 9(42). — С.14–20. 14. Абламейко С.В., Лагуновский Д.М. Обработка изображений: технология, методы, применение. — Минск: Ин-т техн. киберн. НАН Беларуси, 1999. — 300 с. 15. Бородин В.А., Васюхин М.И., Пюшки Л. Методы повышения надежности авто- матизированных систем охраны особо важных объектов, занимающих большие территории // Математичні машини і системи. — 2002. — № 3. — С.90–95. 16. Боюн В.П., Довгань В.В. Інтелектуалізація відеосистем колового огляду // Праці Міжнар. конф. УкрОБРАЗ-2000. — Київ: ІК ім. В.М. Глушкова НАН Укра- їни, 2000. — С.283–286. Поступила 02.04.2003
id	journaliasakpiua-article-173378
institution	System research and information technologies
keywords_txt_mv	keywords
language	Russian
last_indexed	2025-07-17T10:25:42Z
publishDate	2019
publisher	The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
record_format	ojs
resource_txt_mv	journaliasakpiua/13/efa8a73ef6cb1c06c918143ae79e9113.pdf
spelling	journaliasakpiua-article-1733782019-07-12T16:05:01Z Intellectual tracking and guarding videosystems for objects of importance Интеллектуальные видеосистемы слежения и охраны особо важных объектов Інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів Pyusky, L. Vasyukhin, M. I. Vasyukhinа, I. M. Tendencies, methods and construction tools of intellectual tracking and guarding videosystems for objects of importance are reviwed. Approaches to creation and usage of the figurative computer, methods of recognition of the alphanumeric information are presented as well as methods of keeping track of the objects on the basis of the intellectual system of videoobservation designed in the V.M. Glushkov Institute of Cybernetics of NAS of Ukraine. Приведен обзор тенденций, методов и средств построения интеллектуальных видеосистем слежения и охраны особо важных объектов. Рассмотрены подходы к созданию и использованию образного компьютера, методы распознавания алфавитно-цифровой информации, а также методы слежения за объектами на основе интеллектуальной системы видеонаблюдения, разработанной в Институте кибернетики им.В.М.Глушкова НАН Украины. Подано огляд тенденцій, методів і засобів побудови інтелектуальних відеосистем спостереження та охорони особливо важливих об'єктів. Освітлено підходи до створення і використання образного комп'ютера, методи розпізнавання алфавітно-цифрової інформації, а також методи спостереження за об'єктами на основі інтелектуальної системи відеоспостереження, розробленої в Інституті кібернетики ім. В.М.Глушкова НАН України. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2019-07-12 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/173378 System research and information technologies; No. 4 (2003); 73-92 Системные исследования и информационные технологии; № 4 (2003); 73-92 Системні дослідження та інформаційні технології; № 4 (2003); 73-92 2308-8893 1681-6048 ru https://journal.iasa.kpi.ua/article/view/173378/173093 Copyright (c) 2021 System research and information technologies
spellingShingle	Pyusky, L. Vasyukhin, M. I. Vasyukhinа, I. M. Інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів
title	Інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів
title_alt	Intellectual tracking and guarding videosystems for objects of importance Интеллектуальные видеосистемы слежения и охраны особо важных объектов
title_full	Інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів
title_fullStr	Інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів
title_full_unstemmed	Інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів
title_short	Інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів
title_sort	інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів
url	https://journal.iasa.kpi.ua/article/view/173378
work_keys_str_mv	AT pyuskyl intellectualtrackingandguardingvideosystemsforobjectsofimportance AT vasyukhinmi intellectualtrackingandguardingvideosystemsforobjectsofimportance AT vasyukhinaim intellectualtrackingandguardingvideosystemsforobjectsofimportance AT pyuskyl intellektualʹnyevideosistemysleženiâiohranyosobovažnyhobʺektov AT vasyukhinmi intellektualʹnyevideosistemysleženiâiohranyosobovažnyhobʺektov AT vasyukhinaim intellektualʹnyevideosistemysleženiâiohranyosobovažnyhobʺektov AT pyuskyl íntelektualʹnívídeosistemisposterežennâtaohoroniosoblivovažlivihobêktív AT vasyukhinmi íntelektualʹnívídeosistemisposterežennâtaohoroniosoblivovažlivihobêktív AT vasyukhinaim íntelektualʹnívídeosistemisposterežennâtaohoroniosoblivovažlivihobêktív

Інтелектуальні відеосистеми спостереження та охорони особливо важливих об’єктів

Institution

Ähnliche Einträge