Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности
В статье рассматривается задача поиска объектов на аэрофотоснимках земных сцен, сделанных в различных спектральных диапазонах. Эталонные изображения искомых объектов представляют собой бинарные изображения контуров. Предлагается процедура сравнения эталона и текущего изображения, основанная на...
Gespeichert in:
| Veröffentlicht in: | Штучний інтелект |
|---|---|
| Datum: | 2011 |
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Russisch |
| Veröffentlicht: |
Інститут проблем штучного інтелекту МОН України та НАН України
2011
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/59894 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности / Ю.Б. Блохинов, А.С. Чернявский // Штучний інтелект. — 2011. — № 3. — С. 220-227. — Бібліогр.: 3 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859463481563021312 |
|---|---|
| author | Блохинов, Ю.Б. Чернявский, А.С. |
| author_facet | Блохинов, Ю.Б. Чернявский, А.С. |
| citation_txt | Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности / Ю.Б. Блохинов, А.С. Чернявский // Штучний інтелект. — 2011. — № 3. — С. 220-227. — Бібліогр.: 3 назв. — рос. |
| collection | DSpace DC |
| container_title | Штучний інтелект |
| description | В статье рассматривается задача поиска объектов на аэрофотоснимках земных сцен, сделанных в различных
спектральных диапазонах. Эталонные изображения искомых объектов представляют собой бинарные
изображения контуров. Предлагается процедура сравнения эталона и текущего изображения, основанная на
анализе полей градиентов яркости, и позволяющая использовать несколько изображений одной сцены для
повышения устойчивости процедуры поиска к различным помехам.
The subject of the paper is the search of objects in aerial photographs made in various spectral ranges.
Templates of objects to be sought are represented as binary images containing the contours of objects. A
procedure for comparing the template and a reference image is proposed. It is based on the analysis of
gradient of the image brightness. This procedure allows using several images of the same scene in order to
enhance the robustness of the search with respect to various kinds of noise.
|
| first_indexed | 2025-11-24T05:41:33Z |
| format | Article |
| fulltext |
«Искусственный интеллект» 3’2011 220
4Б
УДК 004.89,004.93
Ю.Б. Блохинов, А.С. Чернявский
Федеральное государственное унитарное предприятие «Государственный
научно-исследовательский институт авиационных систем» (ФГУП «ГосНИИАС»),
г. Москва, Россия
achern@gosniias.ru
Метод комплексирования данных
разноракурсной съемки для обнаружения
сложных объектов в условиях
сильной зашумленности
В статье рассматривается задача поиска объектов на аэрофотоснимках земных сцен, сделанных в различных
спектральных диапазонах. Эталонные изображения искомых объектов представляют собой бинарные
изображения контуров. Предлагается процедура сравнения эталона и текущего изображения, основанная на
анализе полей градиентов яркости, и позволяющая использовать несколько изображений одной сцены для
повышения устойчивости процедуры поиска к различным помехам.
Введение
Одним из перспективных направлений в совершенствовании систем навигации ле-
тательных аппаратов является использование технологий машинного зрения. При работе
в этом направлении необходимо учитывать априорную информацию о сцене (типы и
размеры объектов, их взаимное расположение), формулировать ее эталонное описание в
виде некоторой структуры данных или в виде эталонного изображения (ЭИ). Во время
полета эталонное изображение сравнивается с текущим изображением (ТИ), получаемым
при помощи бортовых датчиков (камер) с целью обнаружения искомых объектов и
уточнения их координат.
Целью данной работы является разработка методов решения задачи поиска на-
земного объекта на ТИ по имеющемуся ЭИ. Предлагается функция сходства для сравне-
ния эталонного изображения, заданного в виде контуров (ребер) с растровыми текущими
изображениями, а также процедура, позволяющая использовать разноракурсные снимки
одной сцены для увеличения устойчивости поиска к наличию различных помех.
Постановка задачи поиска объекта
по контурному эталону
Эталонное описание сцены содержит бинарные реберные (скелетные) изображения
объектов. Яркость объектов не входит в эталонное описание, поскольку при создании
эталонного описания объекта (трехмерной модели) достоверная информация о яркости и
текстуре, как правило, недоступна. Кроме того, форма и расположение граней объектов
меньше всего варьируются при изменении условий съемки, в то время как яркостная
составляющая ТИ может сильно меняться в зависимости от освещения, времени суток и
времен года. Для каждого объекта, включенного в эталонное описание, область поиска на
текущем изображении считается заданной. Текущее изображение представляет собой
Метод комплексирования данных разноракурсной съемки для обнаружения...
«Штучний інтелект» 3’2011 221
4Б
аэрофотоснимок местности, полученный в видимом или инфракрасном диапазоне.
Считается, что заранее заданный контурный эталон представляет собой ребра объекта,
видимого под тем же углом, что и искомые объекты на ТИ. Задача поиска заключается в
уточнении координат (локализации) искомого объекта.
Функция сходства контурного эталона
и текущего изображения
На рис. 1 приводятся примеры текущих изображений, представляющих собой изобра-
жения наземного сооружения и взлетно-посадочной полосы, сделанные в инфракрасном
и видимом диапазонах, и соответствующих им контурных эталонов (КЭ). Для нахожде-
ния наиболее вероятного положения объекта на текущем снимке вычисляется функция
сходства контурного эталона и ТИ. Алгоритм нахождения функции сходства основан на
поиске минимума разности направлений градиентов яркости на текущем изображении и
эталоне. Поскольку направление градиента яркости является более инвариантной ха-
рактеристикой, чем сама яркость, метод позволяет сравнивать изображения, полученные
при разных условиях освещения, в разное время и в разных диапазонах [1]. В данной
статье используется модификация алгоритма, в которой в качестве расстояния между
эталоном и исходным изображением в каждом пикселе считается величина угла между
направлением градиента на исходном снимке и нормалью к контуру на контурном
эталоне (рис. 2).
Рисунок 1 – Примеры ТИ и КЭ
Для вычисления функции сходства методом разности направлений к изображению
контурного эталона применяется фильтр Гаусса. Это делается для того, чтобы, «размазав»
эталон, снизить эффект малой площади эталона (предполагается, что изначально контуры
КЭ имеют ширину один пиксель) и вычислять меру сходства эталона и фрагмента ТИ
по большей части текущего изображения. Затем в каждой ненулевой точке сглаженного
эталона находится направление градиента яркости:
)/arctg(),( y xE EEjiR , (1)
где ),( jiE – изображение контурного эталона. Та же процедура проводится и для
ТИ, в результате чего получаем массив значений ),(I jiR . Для того чтобы внутренние и
Блохинов Ю.Б., Чернявский А.С.
«Искусственный интеллект» 3’2011 222
4Б
внешние нормали к контуру вносили одинаковый вклад в итоговую функцию сходства,
к отрицательным величинам ),( jiRE и ),(I jiR добавляется число – в результате все
направления градиентов и нормалей принадлежат интервалу ) ,0[ .
Рисунок 2 – Подсчет угла между нормалью к контурному эталону и градиентом
яркости текущего изображения
Для ускорения вычислений значения направлений квантуются; используется шесть
равных ячеек, от )6/ ,0[ до ) ,6/5[ . Для нахождения функции сходства между
эталоном и ТИ верхний левый угол двумерного массива ),( jiRE , содержащего поле на-
правлений градиента эталона, переносится в позицию (m,n) в системе координат ТИ и
накладывается на массив ),(I jiR , содержащий поле направлений градиентов ТИ. В каждой
точке, принадлежащей контурному эталону, вычисляется величина
иначе, ,0
),(bin),(bin если ,1
),(
TjiRjiR
jip EI (2)
где ),(bin jiRI – номер ячейки, в которой лежит направление градиента теку-
щего изображения в точке (i,j), а T – значение порога на разность ячеек. Итоговая
функция сходства равна сумме функций сходства, посчитанных во всех пикселях
эталона:
],[],,[
),(),(
EE WnnjHmmi
jipnmD , (3)
где EH и EW – высота и ширина эталонного изображения. В данной статье ис-
пользуется значение порога T = 2. При использовании метода направлений гра-
диентов яркости функция сходства считается во всех точках, где сглаженное изобра-
жение эталонного контура не равно нулю. Из рассмотрения исключаются лишь те
точки, в которых амплитуда градиента мала, что соответствует однородным участкам
изображения. Порог для формирования маски пикселей, входящих в выражение (3),
зависит от диапазона яркости.
Поскольку при подсчете выражения (3) пространственное расположение пикселей
внутри эталона не учитывается, функция сходства может иметь ложные локальные
максимумы. Эталон дает хороший отклик на тех участках ТИ, в которых присутствуют
Метод комплексирования данных разноракурсной съемки для обнаружения...
«Штучний інтелект» 3’2011 223
4Б
контуры схожего с эталоном направления. В частности, для дорог, длинных стен и крыш
функция сходства имеет ряд протяженных линейно «гребней», где сосредоточены
локальные максимумы. Для более точного нахождения положения объектов обычно
используется априорная информация о взаимном расположении объектов, позволяющая
отсечь ложные максимумы функции сходст-ва [2], [3]. Функция сходства контурных
(бинарных) эталонов и растровых текущих изображений успешно была успешно при-
менена в работах [2], [3]. В них было показано, что метод поиска объектов по контур-
ному эталону с использованием функции сходства, основанной на сравнении полей
градиентов яркости ТИ и нормалей к контурному эталону, проявляет устойчивость к
нормально-распределенному шуму с 25 (при динамическом диапазоне яркости
от 0 до 255), к импульсному шуму «соль-перец» с 7.0p и, в определенной
степени, к загораживанию сцен облаками. В следующем разделе предлагается даль-
нейшее усовершенствование процедуры поиска, основанное на использовании ин-
формации с нескольких снимков одной трехмерной сцены, сделанных с разных ракурсов.
Комплексирование данных разноракурсной съемки
Во время подлета к цели возможна ситуация, при которой искомый объект не
попадает целиком в поле зрения, а попадает лишь какой-то его фрагмент. В таком
случае, особенно при наличии шума и при больших ошибках ориентирования (и, как
следствие, при большом размере области поиска объекта) возможно появление ложных
максимумов функции сходства, поскольку посторонние объекты на снимке могут
давать больший отклик, чем фрагмент искомого объекта. В связи с этим была из-
учена возможность улучшения локализации объектов путем использования нескольких
снимков, сделанных последовательно в небольшом временном интервале с разных ракур-
сов. Улучшение локализации объекта может быть достигнуто путем «склеивания»
функций сходства искомого объекта по нескольким снимкам в одну функцию сход-
ства. Опишем алгоритм улучшенной локализации по N снимкам одной сцены.
В первую очередь, для каждого изображения необходимо найти функцию сход-
ства всех объектов, для которых имеется эталонное описание (контурный эталон).
Затем функция сходства, определенная в двумерной пиксельной системе координат,
трактуется как голос, полученный в пользу гипотезы о том или ином расположении
объекта в трехмерной геодезической системе координат. Пусть размер области поиска
искомого объекта на изображении с номером i равен WiхHi пикселей. Каждая ко-
ордината (x, y) двумерного прямоугольного массива размером WiхHi, в котором хра-
нится функция сходства, соответствует сдвигу некоторой точки объекта в трехмерной
геодезической системе координат относительно ее истинного положения, которое, в
свою очередь, может быть приближенно вычислено на основе информации об ориенти-
ровании. В качестве характерной точки объекта можно выбрать как некоторую геоме-
трическую особенность здания (угол крыши, вершину купола, середину окна), так и
искусственно введенную точку, например, центр масс объекта. Если функция сход-
ства в точке с пиксельными координатами (x, y) равна f(x, y), то можно говорить о
том, что гипотеза о расположении центра масс объекта в точке с геодезическими
координатами (x0, y0, z0) получает голос, равный f.
Выполнив описанные шаги для всех K изображений, по которым проводится
сборка сцены, получим K массивов голосов, отданных за то или иное расположение
центра объекта на местности, а не в пространстве каждого отдельного изображения.
Таким образом, все функции сходства комплексируются, то есть становится возмож-
Блохинов Ю.Б., Чернявский А.С.
«Искусственный интеллект» 3’2011 224
4Б
ным сравнить голоса, полученные за гипотезу о расположении центра масс путем
анализа одного изображения, с голосами, полученными при анализе другого изобра-
жения. Для тех точек трехмерного пространства, за которые голосует только один
снимок, берется одно значение функции сходства. Если же за какую-либо область
пространства голосуют несколько снимков, то проводится следующее сравнение:
если i-е изображение голосует за точку (x0, y0, z0) или ее ближайшую окрестность
величиной fi, а j-е изображение голосует за точку (x0, y0, z0) величиной fj, причем fj
превосходит fi (например, в силу того, что на j-м кадре искомый объект занимает
80% площади снимка, а на i-м всего 25%), то из двух функций сходства берется
максимум. В завершение процедуры сборки сцены по нескольким изображениям
находится точка в трехмерном пространстве, получившая максимальный голос. Считается,
что центр масс объекта лежит в данной точке в геодезической системе координат.
Применяя данные ориентирования, можно вычислить соответствующее положение
контурного эталона объекта в пиксельных координатах всех снимков, использовав-
шихся для сборки сцены.
10 20 30 40 50 60 70 80 90 100
10
20
30
40
50
60
70
80
90
100
10 20 30 40 50 60 70 80 90 100
10
20
30
40
50
60
70
80
90
100
10 20 30 40 50 60 70 80 90 100
10
20
30
40
50
60
70
80
90
100
Рисунок 3 – Фрагменты зашумленных ИК-снимков наземного сооружения
и функция сходства контурного эталона объекта по каждому из снимков
Метод комплексирования данных разноракурсной съемки для обнаружения...
«Штучний інтелект» 3’2011 225
4Б
На рис. 3 представлены исходные изображения – это снимки наземного сооружения,
полученные в инфракрасном диапазоне. Снимки искусственно зашумлены нормально-
распределенным шумом с 20 . На рис. 3 также показаны функции сходства для
каждого из снимков в отдельности, отображенные в пиксельной системе координат
(ПСК). Ширина и высота области поиска контурного эталона на изображениях равна
101 пиксель (50 пикселей в каждую сторону от истинного положения объекта, извест-
ного из данных целеуказания). На рис. 4 отображены области – уже в геодезиической
(ГСК), а не пиксельной системе координат, – в пределах которых ведется поиск объекта
по каждому снимку. Размер области поиска на местности составляет примерно 65 м по
оси Ox и 13 м по оси Oy. Из рис. 3 видно, что максимум функции сходства достигается
примерно в одной и той же точке, однако наряду с максимумом присутствуют ложные
локальные максимумы, вызванные наличием шума. Отметим, что на всех снимках зда-
ния, использованных в данном эксперименте, присутствуют лишь некоторые небольшие
части объекта, что также влияет на точность локализации объекта по отдельным снимкам.
На рис. 5 отображена итоговая функция сходства, собранная путем «склейки» в ГСК
функций сходства, полученных по каждому отдельному снимку (ин-терполяция значе-
ний функций сходства при переходе из ПСК в ГСК выполнена по методу ближайших
соседей). Из рис. 5 видно, что максимум итоговой функции сходства гораздо более
выраженный, ложные локальные максимумы подавлены. На рис. 6 отображен контур-
ный эталон наземного сооружения, наложенный на исходные изображения в координатах,
найденных при помощи сборки сцены по трем снимкам.
-30 -20 -10 0 10 20 30
-30
-20
-10
0
10
20
30
Рисунок 4 – Области поиска на местности (в ГСК), соответствующие областям
поиска контурного эталона по снимкам
20 40 60 80 100
10
20
30
40
50
60
70
80
90
100
Рисунок 5 – Итоговая функция сходства контурного эталона наземного сооружения,
найденная по трем последовательным ИК-снимкам
Блохинов Ю.Б., Чернявский А.С.
«Искусственный интеллект» 3’2011 226
4Б
Рисунок 6 – Контурный эталон наземного сооружения, наложенный на ТИ,
в положении, найденном путем анализа трех последовательных ИК-снимков
На рис. 7 показаны три последовательных снимка ВПП, сделанные в видимом
диапазоне, а также функции сходства контурного эталона ВПП и текущих изображений.
Взлетно-посадочная полоса представляет собой протяженный объект, который ни на
одном снимке не попадает полностью в кадр. На каждом отдельном кадре в основном
представлено две полосы, границы которых образуют параллельные прямые. Из рис. 7
видно, что функция сходства, построенная по каждому ТИ в отдельности, имеет вид вы-
тянутых гребней, совпадающих по направлению с полосой, и четкого пика функция
сходства не имеет. На рис. 8 показана функция сходства, собранная по трем снимкам
ВПП, в геодезической системе координат. Пик агрегированной функции сходства, по-
строенной по результатам анализа трех снимков, гораздо более отчетлив.
10 20 30 40 50 60 70 80 90 100
10
20
30
40
50
60
70
80
90
100
10 20 30 40 50 60 70 80 90 100
10
20
30
40
50
60
70
80
90
100
10 20 30 40 50 60 70 80 90 100
10
20
30
40
50
60
70
80
90
100
Рисунок 7 – Фотоснимки объекта «ВПП» и функция сходства контурного
эталона объекта по каждому из снимков
Метод комплексирования данных разноракурсной съемки для обнаружения...
«Штучний інтелект» 3’2011 227
4Б
20 40 60 80 100 120 140
10
20
30
40
50
60
70
80
90
100
Рисунок 8 – Итоговая функция сходства контурного эталона объекта «ВПП»,
найденная по трем последовательным кадрам
Выводы
Предложенный алгоритм позволяет проводить быстрый поиск объектов по контур-
ному эталону. Алгоритм устойчив к разным видам шума и был успешно применен к
изображениям, полученным в ИК и видимом диапазонах. Применение нескольких
снимков для построения одной функции сходства (комплексирование) позволяет снизить
влияние шума, а также позволяет работать со снимками, на которых большая часть
искомых объектов выходит за пределы кадра.
Литература
1. Haber E. Intensity gradient based registration and fusion of multi-modal images / Haber E., Modersitzki J. //
International Conference on Medical Image Computing and Computer-Assisted Intervention. – 2006. –
Vol. 9. – P. 726-733.
2. Гнилицкий В.В. Алгоритмы принятия решения в задаче селекции объектов на изображениях
наземных сцен / В.В.Гнилицкий, В.В.Инсаров, А.С. Чернявский // Известия Академии Наук. –
2010. – № 6. – С. 143-151.
3. Алгоритм анализа и принятия решения в задаче селекции объектов на изображениях наземных
сцен / Ю.Б.Блохинов, В.В.Гнилицкий, В.В.Инсаров [и др.] ; под ред. Р.Р. Назирова // Техническое
зрение в системах управления мобильными объектами – 2010 : труды научно-технической конфе-
ренции-семинара. Вып. 4. – М. : КДУ, 2011. – С. 92-108.
Literatura
1. Haber E. International Conference on Medical Image Computing and Computer-Assisted Intervention.
2006. Vol. 9. P. 726-733.
2. Gnilickij V.V. Izvestija Akademii Nauk, TiSU. № 6. 2010. S. 143-151.
3. Blohinov Ju.B.Tehnicheskoe zrenie v sistemah upravlenija mobil'nymi ob"ektami-2010: Trudy nauchno-
tehnicheskoj konferencii-seminara. Vyp. 4. M.: KDU. 2011. S. 92-108.
Y.B. Blokhinov, A.S. Chernyavskiy
The Method of Data Fusion in Multi-angle Shot for Detection of Complex Objects in the Presence of
Strong Noise
The subject of the paper is the search of objects in aerial photographs made in various spectral ranges.
Templates of objects to be sought are represented as binary images containing the contours of objects. A
procedure for comparing the template and a reference image is proposed. It is based on the analysis of
gradient of the image brightness. This procedure allows using several images of the same scene in order to
enhance the robustness of the search with respect to various kinds of noise.
Статья поступила в редакцию 22.07.2011.
|
| id | nasplib_isofts_kiev_ua-123456789-59894 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1561-5359 |
| language | Russian |
| last_indexed | 2025-11-24T05:41:33Z |
| publishDate | 2011 |
| publisher | Інститут проблем штучного інтелекту МОН України та НАН України |
| record_format | dspace |
| spelling | Блохинов, Ю.Б. Чернявский, А.С. 2014-04-10T14:30:24Z 2014-04-10T14:30:24Z 2011 Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности / Ю.Б. Блохинов, А.С. Чернявский // Штучний інтелект. — 2011. — № 3. — С. 220-227. — Бібліогр.: 3 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/59894 004.89,004.93 В статье рассматривается задача поиска объектов на аэрофотоснимках земных сцен, сделанных в различных спектральных диапазонах. Эталонные изображения искомых объектов представляют собой бинарные изображения контуров. Предлагается процедура сравнения эталона и текущего изображения, основанная на анализе полей градиентов яркости, и позволяющая использовать несколько изображений одной сцены для повышения устойчивости процедуры поиска к различным помехам. The subject of the paper is the search of objects in aerial photographs made in various spectral ranges. Templates of objects to be sought are represented as binary images containing the contours of objects. A procedure for comparing the template and a reference image is proposed. It is based on the analysis of gradient of the image brightness. This procedure allows using several images of the same scene in order to enhance the robustness of the search with respect to various kinds of noise. ru Інститут проблем штучного інтелекту МОН України та НАН України Штучний інтелект Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки изображений Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности The Method of Data Fusion in Multi-angle Shot for Detection of Complex Objects in the Presence of Strong Noise Article published earlier |
| spellingShingle | Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности Блохинов, Ю.Б. Чернявский, А.С. Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки изображений |
| title | Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности |
| title_alt | The Method of Data Fusion in Multi-angle Shot for Detection of Complex Objects in the Presence of Strong Noise |
| title_full | Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности |
| title_fullStr | Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности |
| title_full_unstemmed | Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности |
| title_short | Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности |
| title_sort | метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности |
| topic | Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки изображений |
| topic_facet | Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки изображений |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/59894 |
| work_keys_str_mv | AT blohinovûb metodkompleksirovaniâdannyhraznorakursnoisʺemkidlâobnaruženiâsložnyhobʺektovvusloviâhsilʹnoizašumlennosti AT černâvskiias metodkompleksirovaniâdannyhraznorakursnoisʺemkidlâobnaruženiâsložnyhobʺektovvusloviâhsilʹnoizašumlennosti AT blohinovûb themethodofdatafusioninmultiangleshotfordetectionofcomplexobjectsinthepresenceofstrongnoise AT černâvskiias themethodofdatafusioninmultiangleshotfordetectionofcomplexobjectsinthepresenceofstrongnoise |