Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості

Вирішується задача відстеження переміщення реперних об’єктів на зображеннях, що отримуються системою технічного зору, призначеною для вимірювання відносного положення і орієнтації некооперованих космічних апаратів на малих відстанях у складі системи забезпечення автоматичного стикування. Дана задача...

Повний опис

Збережено в:

Бібліографічні деталі
Опубліковано в: :	Проблемы управления и информатики
Дата:	2022
Автори:	Мельничук, С.В., Шевченко, В.М.
Формат:	Стаття
Мова:	Українська
Опубліковано:	Інститут кібернетики ім. В.М. Глушкова НАН України 2022
Теми:	Космічні інформаційні технології та системи
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/210879
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості / С.В. Мельничук, В.М. Шевченко // Проблеми керування та інформатики. — 2022. — № 2. — С. 113-127. — Бібліогр.: 10 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1859531757276102656
author	Мельничук, С.В. Шевченко, В.М.
author_facet	Мельничук, С.В. Шевченко, В.М.
citation_txt	Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості / С.В. Мельничук, В.М. Шевченко // Проблеми керування та інформатики. — 2022. — № 2. — С. 113-127. — Бібліогр.: 10 назв. — укр.
collection	DSpace DC
container_title	Проблемы управления и информатики
description	Вирішується задача відстеження переміщення реперних об’єктів на зображеннях, що отримуються системою технічного зору, призначеною для вимірювання відносного положення і орієнтації некооперованих космічних апаратів на малих відстанях у складі системи забезпечення автоматичного стикування. Дана задача виникає при формуванні вихідних даних для так званої задачі PnP, в якій положення та орієнтація тіла у просторі визначаються за зображеннями контрольних точок поверхні цього тіла, отриманими камерою перспективної проєкції. При цьому положення контрольних точок відносно системи координат цільового тіла мають бути відомими. Оскільки цільовим тілом виступає абстрактний некооперований космічний апарат, для визначення контрольних точок можуть використовуватися лише наявні видимі неоднорідності його поверхні. Тому виникає запитання, як вибирати контрольні точки, щоб вони були прив’язані до поверхні тіла і могли бути знайдені з високою точністю на зображеннях за різних зовнішніх умов зйомки. Одним із варіантів вирішення є використання для прив’язки дрібнорозмірних конструктивних елементів некооперованого космічного апарата, які з великою ймовірністю будуть присутні на його поверхні. Тоді прив’язка контрольної точки здійснюється до відомої форми поверхні відповідного елемента, а визначення її положення на зображенні виконується через розпізнавання відповідного образу. У даній статті розглядається випадок використання системи технічного зору з монокулярною камерою. Розглядається етап роботи на близьких відстанях, коли в полі зору камери знаходиться ділянка поверхні стикування з розміщеними на ній елементами, що використовуються як реперні. Запропоновано метод знаходження на зображеннях положення точок прив’язки окремого класу реперних об’єктів при виконанні періодичної зйомки. The problem of tracking the movement of reference objects on images obtained by the technical vision system, designed to measure the relative position and orientation of uncooperative spacecraft at short distances within the automatic docking support system, is being solved. This problem arises when forming the input data for the so-called PnP problem, where the position and orientation of an object in space are determined based on images of control points on the surface of the object, obtained by a perspective projection camera.
first_indexed	2026-03-13T07:41:17Z
format	Article
fulltext	© С.В. МЕЛЬНИЧУК, В.М. ШЕВЧЕНКО, 2022 Міжнародний науково-технічний журнал «Проблеми керування та інформатики», 2022, № 2 113 КОСМІЧНІ ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ ТА СИСТЕМИ УДК 004.93’1, 004.932.2 С.В. Мельничук, В.М. Шевченко РОБОТА СИСТЕМИ ТЕХНІЧНОГО ЗОРУ ПО ЕЛЕМЕНТАХ ПОВЕРХНІ КОСМІЧНОГО АПАРАТА В УМОВАХ ЇЇ НЕПОВНОЇ ВИДИМОСТІ Мельничук Сергій Вікторович Інститут космічних досліджень НАН України та ДКА України, sergvik@ukr.net Шевченко Володимир Миколайович Інститут космічних досліджень НАН України та ДКА України, vovan_16@ukr.net Вирішується задача відстеження переміщення реперних об’єктів на зображеннях, що отримуються системою технічного зору, призначеною для вимірювання віднос- ного положення і орієнтації некооперованих космічних апаратів на малих відстанях у складі системи забезпечення автоматичного стикування. Дана задача виникає при формуванні вихідних даних для так званої задачі PnP, в якій положення та орієнта- ція тіла у просторі визначаються за зображеннями контрольних точок поверхні цьо- го тіла, отриманими камерою перспективної проєкції. При цьому положення конт- рольних точок відносно системи координат цільового тіла мають бути відомими. Оскільки цільовим тілом виступає абстрактний некооперований космічний апарат, для визначення контрольних точок можуть використовуватися лише наявні видимі неоднорідності його поверхні. Тому виникає запитання, як вибирати контрольні то- чки, щоб вони були прив’язані до поверхні тіла і могли бути знайдені з високою то- чністю на зображеннях за різних зовнішніх умов зйомки. Одним із варіантів вирі- шення є використання для прив’язки дрібнорозмірних конструктивних елементів некооперованого космічного апарата, які з великою ймовірністю будуть присутні на його поверхні. Тоді прив’язка контрольної точки здійснюється до відомої форми поверхні відповідного елемента, а визначення її положення на зображенні викону- ється через розпізнавання відповідного образу. У даній статті розглядається випадок використання системи технічного зору з монокулярною камерою. Розглядається етап роботи на близьких відстанях, коли в полі зору камери знаходиться ділянка поверхні стикування з розміщеними на ній елементами, що використовуються як реперні. Запропоновано метод знаходження на зображеннях положення точок при- в’язки окремого класу реперних об’єктів при виконанні періодичної зйомки. Ключові слова: система технічного зору, некооперований космічний апарат, автоматичне зближення, визначення положення і орієнтації, обробка зображень. Вступ Впродовж останнього десятиріччя у світі активно ведуться дослідження, пов’язані з розробкою автоматичних систем зближення і стикування космічних апаратів. Інтерес до цього напрямку мотивується перспективами вирішення широкого спектра нових робототехнічних задач: обслуговування космічних апаратів на орбіті, боротьба з кос- мічним сміттям та інших. Серед задач, що на даний час найбільш актуальні, — збли- ження з некооперованими космічними апаратами (НКА), тобто з такими штучними космічними об’єктами, які не підтримують можливості стикування з ними [1–6]. mailto:sergvik@ukr.net mailto:vovan_16@ukr.net 114 ISSN 1028-0979 Необхідною складовою системи керування зближенням є вимірювання від- носного положення і руху апаратів. На останніх етапах зближення для цього ви- користовуються оптичні прилади, що потенційно можуть забезпечити достатньо високу точність вимірювання на малих відстанях. Одним з небагатьох типів таких приладів є системи технічного зору (СТЗ), що в якості датчиків використовують одну або декілька камер. Функція такої СТЗ полягає в періодичному вимірюванні параметрів відносного положення і орієнтації НКА на основі отримуваних цифро- вих фотографій. Для знаходження відносного положення і орієнтації використовується метод розв’язку за точками прив’язки, що знаходяться по зображенням реперних елемен- тів поверхні НКА. При великій розмірності цифрових зображень пошук і розпізнан- ня реперних об’єктів на кожному кадрі вимагає значних обчислювальних ресурсів. Спростити задачу можна при повторному використанні результатів обчислень, зроблених на основі раніше отриманих зображень. Для цього необхідно відстежува- ти переміщення знайдених реперних елементів від одного кадру до іншого. При кратному зменшенні відстані до НКА в процесі зближення характер отримуваних камерами зображень істотно змінюється. Так, на дальніх відстанях у поле зору СТЗ потрапляє весь НКА, а надійно розпізнаними можуть бути лише великомасштабні елементи конструкції. На близьких відстанях у поле зору каме- ри потрапляє лише частина поверхні НКА, зате на ній можуть бути розпізнані й відстежені більш дрібні елементи або неоднорідності поверхні. У даній роботі розглядається задача відстеження покадрового переміщення зображень окремих локалізованих особливих елементів поверхні, що використо- вуються для прив’язки систем координат НКА і СТЗ при роботі на близьких від- станях. При цьому робиться ряд припущень щодо властивостей видимої ділянки поверхні НКА і вигляду реперних елементів, виправданий з точки зору практич- ної направленості роботи. Постановка задачі та її розв’язок розглядаються не в за- гальному випадку, а в розрізі практичної задачі, що виникає на кінцевому етапі зближення космічних апаратів. Для випадку, коли видима СТЗ частина поверхні НКА є монотонною площи- ною, запропоновано підхід до визначення координат точок прив’язки реперних об’єктів за їхніми спостережуваними зовнішніми контурами. При цьому для зна- ходження контурів застосовується не розпізнавання образів реперних об’єктів, що можуть мати складну геометрію поверхні, а аналіз оточуючого фону. Постановка задачі Розглядається кінцевий етап зближення активного космічного апарата (АКА) з цільовим НКА, що не обертається або має дуже малу швидкість обертального руху. На даному етапі АКА вже завершив основні маневри і вийшов на пряму траєкторію зближення з НКА. Поверхня НКА зі сторони, з якої здійснюється під- хід АКА, представлена площиною стикування (ПС), на якій розміщені дрібні конструктивні елементи. Вимірювання відносного положення і орієнтації НКА і АКА виконується бор- товою СТЗ з однією камерою, що нерухомо закріплена в корпусі АКА. Цільова траєкторія зближення співпадає з нормаллю до ПС. Цільова відносна орієнтація визначається співпадінням оптичної вісі камери СТЗ з нормаллю до ПС. Відхи- лення від цільової відносної орієнтації НКА і АКА визначається кутами танга- жу  і курсу , значення яких на даному етапі зближення підтримуються близь- кими до нуля. У полі зору камери знаходиться фрагмент ПС, що має монотонне забарвлен- ня, а також розміщені на ПС «об’єкти плоскої форми», що будуть використовува- Міжнародний науково-технічний журнал «Проблеми керування та інформатики», 2022, № 2 115 тись як реперні. Об’єктами плоскої форми будемо називати такі плоскі або об’ємні конструктивні елементи, висота яких над рівнем ПС є достатньо малою відносно розмірів їхньої проєкції на ПС. При освітленні Сонцем «об’єкти плоскої форми» відкидають на ПС тіні відносно малого розміру. Камера СТЗ виконує періодичну зйомку і в кожний момент часу kt захоплює кадр .kI Необхідно реалізувати супроводження реперних об’єктів НКА, тобто побудувати алгоритм визначення положення реперних об’єктів на поточному кад- рі, використовуючи оцінки їхнього положення на попередньому. У задачі використовуються три системи координат (СК). Перша СК — СК НКА, жорстко зв’язана з корпусом НКА. У цій СК задана геометрія поверхні всього НКА, у тому числі положення реперних об’єктів. Напрями координатних осей СК НКА обрані таким чином, щоб ПС, до якої буде підходити АКА, була пер- пендикулярна до першої з них. Друга СК — СК СТЗ, жорстко зв’язана з корпусом камери СТЗ. У цій СК мають визначатись положення та орієнтація НКА. Третя СК вводиться на площині зображення (ПЗ), що отримується камерою. Положення і орієнтацію СК НКА відносно СК СТЗ будемо визначати вектором параметрів ,p що об’єднує в собі координати відносного положення і набір параметрів, що од- нозначно визначає поворот у просторі. Розглянемо реперний об’єкт ,A що є об’єктом плоскої форми. Геометрія по- верхні A відома, визначена в СК НКА і може бути дуже складною. Для загально- сті представлення будемо використовувати її ортогональну проєкцію на ПС, яку позначимо як .A Положення реперного об’єкта A в СК НКА визначатимемо точкою прив’язки, яку розмістимо в центрі мас A і позначимо вектором .Ac Та- кож для реперного об’єкта A задано таку область A на ПС, що охоплює A ра- зом з деяким її околом і не містить інших реперних об’єктів. Позначимо вектором kp положення і орієнтацію СК НКА відносно СК СТЗ на момент часу ,kt вектором \| 1ˆk kp − — прогнозоване значення на момент ,kt об- числене в момент 1,kt − а вектором 1ˆkp − — апостеріорну оцінку на момент 1.kt − Будемо позначати величини, отримані переходом від СК НКА до СК СТЗ, верхнім індексом ,C вказуючи у дужках вектор параметрів, що задає цей перехід. Тоді \| 1ˆ( )C A k kp − — прогнозоване розміщення області A відносно камери в момент ;kt \| 1ˆ( )C A k kp − — прогнозоване розміщення області A відносно камери в мо- мент .kt Камера СТЗ вважається відкаліброваною, тому відомим є перетворення перс- пективного проєктування, що переводить точку в просторі, визначену в СК СТЗ, у точку на площині зображення, визначену в СК ПЗ. Позначимо цей оператор проєк- тування Im[ ]. Тоді \| 1ˆIm[ ( )]С А k kp − — прогнозована область на кадрі ,kI що співпадає з зображенням ;A \| 1ˆIm[ ( )]С А k kp − — прогнозована область на кадрі ,kI що співпадає з зображенням .A Передбачається, що точність прогнозу \| 1ˆk kp − і розміри області A гаранту- ють знаходження об’єкта A в прогнозованій області зображення ,A тобто ви- конується умова \| 1ˆIm[ ( )] Im[ ( )].С С А k А k kp p −   116 ISSN 1028-0979 Необхідно на основі заданих областей A і ,A відомого оператора перспе- ктивного проєктування камери Im[ ], зображень 1kI − і ,kI а також оцінок поло- ження і орієнтації 1ˆkp − і \| 1ˆk kp − знайти на зображенні kI положення точки прив’язки реперного об’єкта ,A що є центром мас області .A Підхід до розв’язання задачі Розглянемо, як на зображеннях можуть виглядати реперні об’єкти плоскої форми, розміщені на ПС. На рис. 1 представлено фрагмент фотографії космічного корабля «Союз», зробленої під час його наближення до МКС. На ньому виділені зображення окремих елементів конструкції, розміщені на плоских ділянках пове- рхні, та вигляд потенційних реперних об’єктів ПС. Рис. 1 Реперні об’єкти поділимо на два типи по розташуванню їхньої поверхні від- носно ПС. До першого віднесемо виступаючі об’єкти, які відкидають тінь на ПС. До другого типу віднесемо западаючі об’єкти — отвори або виїмки, які на ПС тіні не відкидають. Зображення області A виступаючого об’єкта A розіб’ємо на три частини, які умовно позначимо областями «O» (object, реперний об’єкт), «S» (shadow, тінь) та «P» (plane, площина). Ці області характеризуються наступними властивостями. «O» — зображення об’єкта .A Форма задана проекцією області ,A а колір визначається геометрією поверхні та ефектами освітлення — тінями і відблиска- ми. Оскільки форма поверхні A може бути доволі складною, а прояв ефектів освітлення залежить від невідомого напрямку падіння променів, яскравість піксе- лів цієї області в загальному випадку будемо вважати випадковою. «S» — зображення ПС, на яку падає тінь від об’єкта .A Форма визначається геометрією поверхні об’єкта A і невідомим напрямком освітлення. Колір цієї об- ласті має бути практично однаковим. «P» — зображення ПС, що не знаходиться в тіні об’єкта .A Колір області та- кож має бути практично однаковим. Для западаючого реперного об’єкта A зображення області A є більш прос- тим — воно складається тільки з областей «O» та «P», оскільки тіней на ПС такий об’єкт A не відкидає. На рис. 2 показано розбиття зображення на області для двох прикладів з рис. 1. Міжнародний науково-технічний журнал «Проблеми керування та інформатики», 2022, № 2 117 Рис. 2 Межі областей показано пунктирними лініями. Зліва наведено зображення виступаючих об’єктів (двох циліндрів), а справа — западаючого (отвір з різьбою). Як було визначено, для знаходження точки прив’язки реперного об’єкта A достатньо знайти зображення області .A Оскільки у вихідних даних інформація про об’єкт A надається лише у вигляді області ,A то знаходження положення на зображенні може бути виконане лише через співставлення форм — A і обла- сті зображення «O». Для знаходження області «O» можна скористатися тим, що зображення обла- сті A є об’єднанням областей «O», «S» і «P» (для виступаючого об’єкта )A або «O» і «P» (для западаючого об’єкта ).A Знаходження форми «O» є тотожним зна- ходженню форм областей «S» і «P», а ті, в свою чергу, можуть бути знайденими з монотонності кольору. Таким чином, вирішення поставленої задачі зводиться до послідовності на- ступних операцій. 1. Знайти на зображенні A області «S» та «P» за монотонністю кольору. 2. Знайти область «O» як доповнення до областей «S» та «P». 3. Співставити форму знайденої області «O» з формою .A 4. Знайти положення центра мас. З перелічених операцій нетривіальними є тільки операції 1 і 3, саме вони будуть розглянуті далі. У випадку, якщо розділити області «O» та «S» неможливо, на кро- ці 3 необхідно співставляти форму A з формою об’єднання областей «O» та «S». Знаходження зображення реперного об’єкта Ідея методу знаходження реперного об’єкта на зображенні полягає у заміні за- дачі розпізнання реперного об’єкта задачею розпізнання оточуючого фону. Моти- вація цього проста — зображення реального реперного об’єкта може бути складним внаслідок складної геометрії та ефектів освітлення (тіней, відблисків і т.д.), тоді як зображення фону, що відповідає монотонному зображенню ПС, є більш простим. На рис. 3 показано гістограми яскравості пікселів зображення, що відповіда- ють істинному положенню западаючого реперного об’єкта (отвір з різьбою; звер- ху) і пікселів зображення ПС навколо нього (знизу). Рис. 3 118 ISSN 1028-0979 На рис. 3 яскравість пікселів зображення реперного об’єкта сильно варіюєть- ся, а на графіку розподілу яскравості немає чітко вираженого максимуму. Навпа- ки, яскравість оточуючого фону (зображення ПС) варіюється значно менше і ха- рактеризується розподілом, схожим на нормальний. Виходячи з цього, визначимо умови приналежності пікселів до неспотвореного тінями зображення ПС в околі реперного об’єкта, яку будемо використовувати на першому кроці алгоритму для знаходження області «P». У випадку западаючого реперного об’єкта ,A коли зображення області A на кадрі kI не містить області затінення ПС, тобто виконується C , ,Im[ ( )] ,A k A k A kp O P =  (1) де C , Im[ ( )]A k A kO p=  — область зображення об’єкта ,A а ,A kP — область зо- браження ПС, що не лежить у тіні ,A для знаходження множини ,A kP можна ви- користати характеристики яскравості незатіненої ПС, обчислені на основі попере- днього кадру 1.kI − Твердження 1. При великій частоті зйомки розподіли яскравості пікселів зо- браження незатіненої ПС на кадрах 1kI − та kI будуть близькими. За вказаних вище умов, при яких зближення АКА з НКА відбувається прак- тично вздовж нормалі до ПС, справедливість цього твердження очевидна. Яскра- вість зображення ПС визначається кутами між напрямком освітлення Сонцем, нор- маллю до ПС НКА і оптичною віссю камери СТЗ, які за час періоду зйомки змі- нюються дуже мало. На основі твердження 1 можна визначити перший загальний принцип знахо- дження області ,A kP для випадку западаючого реперного об’єкта :A на зобра- женні kI в області C \| 1ˆIm[ ( )]A k kp − необхідно знайти таку зв’язну множину пік- селів, розподіл яскравості по якій є таким самим, що і для області , 1 ˆ A kP − = C C 1 1ˆ ˆIm[ ( )] \ Im[ ( )]A k A kp p− −=   на зображенні 1.kI − Для перевірки того, чи є два емпіричні розподіли (гістограми яскравості) од- наковими, необхідно перевірити гіпотезу про те, що обидві виборки взяті з одного розподілу ймовірності. Для цього використовуються статистичні критерії однорід- ності [7]: непараметричні, що не передбачають будь-якої апріорної інформації про закон розподілу, або параметричні, що базуються на додаткових припущеннях. Замість порівняння розподілів яскравості можна використати спрощені харак- теристики, наприклад інтервальну оцінку, що охоплює певну долю пікселів обла- сті , 1 ˆ .A kP − Визначимо ( , ) ( , ) ,A Ax y P I x y   (2) де ( , )x y — піксель зображення, CIm[ ( )]A AP p  — область зображення ПС в околі реперного об’єкта ,A що не лежить у його тіні, ( , )I x y — яскравість піксе- ля, min max[ , ]A A A =   — діапазон яскравості зображення незатіненої ПС. Для зна- ходження оцінки A необхідно визначити величину хвостів розподілу, що бу- дуть відкидатися. Міжнародний науково-технічний журнал «Проблеми керування та інформатики», 2022, № 2 119 Окрім розподілу кольору, для виконання розбиття (1) можна використати роз- міри областей A і ,A які є відомими. Це виявляється можливим завдяки тому, що форма поверхні НКА в околі реперного об’єкта представлена площиною. Твердження 2. Для камери перспективної проекції відношення площ зо- бражень A та A дорівнює відношенню площ A та ,A тобто виконується Im[ ( )] , Im[ ( )] C A A C AA p p   =  (3) де знак норми  позначає площу області. Справедливість твердження очевидна, оскільки A і A лежать в одній площині. Внаслідок дискретності цифрових зображень твердження 2 буде вико- нуватись приблизно. На основі твердження 2 можна визначити додаткову умову знаходження об- ласті AP для випадку западаючого реперного об’єкта A . Згідно з (3) площа обла- сті AP має визначатися виразом 1 Im[ ( )] . A C A A A P p   = −     (4) Користуючись наведеними міркуваннями, запропонуємо алгоритм знахо- дження оцінки області , ˆ A kP для западаючого реперного об’єкта .A Виконуємо побудову області , ˆ A kP попіксельно. Включаємо до , ˆ A kP всі кра- йові пікселі прогнозованої області C \| 1ˆIm[ ( )]A k kp − зображення .kI Проходимо всі пікселі області C \| 1ˆIm[ ( )]A k kp − зображення ,kI що межують із вже включеними до , ˆ A kP пікселями. Для кожного з них перевіряємо, наскільки розподіл яскравості пікселів області , ˆ A kP разом із цим пікселем відрізняється від розподілу яскравості пікселів області , 1 ˆ .A kP − Піксель, що забезпечує найбільшу близькість цих розподілів, включається в , ˆ .A kP Повторюємо пункт 2 доти, доки площа , ˆ A kP не досягне величини, визначеної виразом (4). У спрощеному варіанті алгоритму в пункті 2 замість перевірки гіпотези про однаковість розподілів використаємо перевірку на приналежність до ін- тервалу яскравості , 1A k− (2), що будемо визначати за областю , 1 ˆ A kP − = C C 1 1ˆ ˆIm[ ( )] \ Im[ ( )]A k A kp p− −=   на попередньому кадрі 1.kI − Межі цього інтерва- лу отримуються відкиданням хвостів гістограми яскравості, що означає, що до нього будуть належати не всі пікселі області , 1 ˆ .A kP − Відповідно, умова принале- жності до інтервалу яскравості , 1A k− буде визначати таку оцінку області «P», яка за площею буде меншою, ніж визначено в (4). Тому для побудови , ˆ A kP необ- хідної площі потрібно включити в неї додаткові пікселі, розширюючи, відповідно, інтервал приналежності. Критерієм включення додаткових пікселів до множини , ˆ A kP можна обрати, наприклад, мінімальність відхилення від середньої яскравості області , 1 ˆ ,A kP − що визначається як 120 ISSN 1028-0979 , 1 1 ˆ , 1 , 1 ( , ) , ˆ A k k P A k A k I x y e P − − − − =  (5) або мінімальність відхилення від середньої яскравості поточної множини пікселів області , ˆ .A kP Запропонований метод попіксельної побудови області , ˆ A kP не виключає ви- падку отримання всередині , ˆ A kP виколотих пікселів, що насправді належать неза- тіненому зображенню ПС і мають бути включені до , ˆ .A kP Для виправлення цього недоліку необхідно передбачити перевірку на виникнення областей всередині , ˆ ,A kP які не відносяться до зображення реперного об’єкта. Цю перевірку необхід- но здійснювати при додаванні кожного нового пікселя до , ˆ ,A kP після чого вклю- чати знайдені області до , ˆ .A kP На рис. 4 показано етапи побудови області , ˆ A kP для випадку 1 .k kI I− = Зліва представлено зображення області , 1,A k− на якому задано розбиття на області , 1 ˆ A kP − і , 1 ˆ .A kO − З розподілу яскравості в , 1 ˆ A kP − побудовано інтервал , 1A k− = , 1 , 1[ , ],A k A ke e− −= − + де  обрано рівним середньоквадратичному відхиленню яскравості пікселів , 1 ˆ .A kP − Середнє зображення на рис. 4 відповідає включенню в , ˆ A kP пікселів, що належать , 1.A k− Праве зображення відповідає кінцевому ре- зультату, що отримується при досягненні заданої площі , ˆ .A kP Сірим кольором по- значено пікселі, що не віднесені до , ˆ .A kP Рис. 4 На рис. 4 показано, що вихідне і отримане розбиття на зображення реперного об’єкта і зображення ПС не співпадають. Це означає, що знайдена за таким алго- ритмом область , ˆ A kO сама по собі не може забезпечити високоточної прив’язки реперного об’єкта, що є зрозумілим з огляду на використання при її побудові ли- ше інтегральних характеристик зображень. Для оцінювання точки прив’язки реперного об’єкта необхідно доповнити ви- хідні дані такими, що несуть у собі просторову інформацію. Такі дані є доступни- ми — це форма прогнозованого зображення реперного об’єкта на момент зйомки останнього кадру \| 1ˆIm[ ( )].С А k kp − Проблема співставлення знайденої області , ˆ A kO з прогнозованою формою зображення реперного об’єкта розглядається у на- ступному розділі. Міжнародний науково-технічний журнал «Проблеми керування та інформатики», 2022, № 2 121 Розглянемо тепер випадок, коли реперний об’єкт A є виступаючим. У цьому випадку маємо C , , ,Im[ ( )] ,A k A k A k A kp O S P =   (6) де ,A kO — область зображення реперного об’єкта, ,A kS — область зображення затіненої частини ПС, ,A kP — область зображення незатіненої частини ПС. Роз- глянемо розподіли яскравості пікселів цих областей на прикладі зображення ви- ступаючого реперного об’єкта, наведеного на рис. 2. Гістограми яскравості піксе- лів по цим областям наведено на рис. 5. Рис. 5 Як і для западаючого реперного об’єкта, з розподілу яскравості більш-менш точно можна виділити зображення незатіненої ПС — області , ˆ .A kP Згідно з (6) доповнення до неї визначає оцінку множини, що є об’єднанням зображень репер- ного об’єкта і тіні від нього. Інтегральні характеристики кольору, що не містять інформації про просторо- вий розподіл, в загальному випадку недостатні для відокремлення зображення ре- перного об’єкта від зображення затіненої ПС. На рис. 6 наведено приклад, у яко- му більш темний колір виступаючого реперного об’єкта практично співпадає з кольором тіні на більш світлій ПС. Рис. 6 122 ISSN 1028-0979 Таким чином, для виступаючого реперного об’єкта A запропонований вище алгоритм побудови , ˆ A kP зможе забезпечити лише знаходження оцінки , , .A k A kO S Знаходження точки прив’язки для виступаючого реперного об’єкта, так само як і для западаючого, буде проводитись з використанням інформації про форму області \| 1ˆIm[ ( )],С А k kp − але вже у більш складному варіанті. При застосуванні запропонованого алгоритму попіксельної побудови множи- ни , ˆ A kP для виступаючого реперного об’єкта A цільова площа , ˆ A kP не може ви- значатися рівнянням (4), оскільки невідомою є площа тіні , ˆ A kS — вона залежить від положення Сонця відносно ПС НКА і може змінюватися у часі. Але у разі по- вільного власного обертального руху НКА, що є необхідною умовою для забезпе- чення можливості стикування з ним, площа тіні від реперного об’єкта на ПС та- кож змінюється повільно. Тому для останову алгоритму побудови , ˆ A kP можна використати умову рівності площ множин , ˆ A kP і , 1 ˆ .A kP − У такому випадку для компенсації розбіжності між площею області AP та площею оцінки , ˆ ,A kP що на- копичується від одного кадру до іншого, необхідно час від часу проводити пере- оцінку області , ˆ ,A kP наприклад, на основі апостеріорної оцінки області зобра- ження реперного об’єкта ˆIm[ ( )].С А kp На рис. 7 показано результат побудови області , ˆ A kP для виступаючого репе- рного об’єкта у випадку 1 .k kI I− = Зліва приведено зображення області , 1,A k− на якому задано розбиття на множини , 1 , 1 ˆ ˆ A k A kO S− − та , 1 ˆ .A kP − По центру при- ведено проміжний результат попіксельної побудови , ˆ ,A kP що включає всі пікселі, яскравість яких лежить в інтервалі , 1 , 1 , 1[ , ],A k A k A ke e− − − = − + де , 1A ke − — се- редня яскравість (5), а  — середньоквадратичне відхилення яскравості в області , 1 ˆ .A kP − Справа наведено кінцевий результат, що відповідає збереженню пло- щі , ˆ .A kP Рис. 7 Як показано на рис. 7, запропонований алгоритм дає майже такий самий ре- зультат, як і у випадку западаючого об’єкта. Знаходження точки прив’язки реперного об’єкта При вирішенні задачі розпізнання пікселів незатіненого зображення ПС вда- лося обмежитися використанням тільки статистичних характеристик яскравості пікселів, що дозволило побудувати дуже простий алгоритм знаходження множини , ˆ .A kP Ці статистичні характеристики не несуть у собі інформації про просторовий Міжнародний науково-технічний журнал «Проблеми керування та інформатики», 2022, № 2 123 розподіл яскравості пікселів, і, відповідно, інформація щодо форми області , ˆ A kP виявилася незадіяною. У даному розділі розглядається можливість її використан- ня для знаходження координат точок прив’язки реперних об’єктів. У випадку западаючого реперного об’єкта знаходження області , ˆ A kP означає також автоматичне знаходження області , ˆ A kO — розпізнаної області зображення реперного об’єкта. Як було показано вище, область , ˆ A kO може не співпадати з областю Im[ ( )],С А kp що відповідає істинному зображенню реперного об’єкта. У такому випадку знаходження точки прив’язки реперного об’єкта на зображенні kI як центру мас , ˆ A kO буде давати оцінку з похибкою. Виходячи з алгоритму побудови області , ˆ A kP можна очікувати, що області , ˆ A kO та Im[ ( )]С А kp будуть розрізнятися лише у окремих пікселях, розташованих біля границь , ˆ ,A kO як показано на рис. 4. Тоді для уточнення області , ˆ A kO необ- хідно провести корекцію її форми, приводячи її до форми області Im[ ( )].С А kp Оскільки вектор істинного відносного положення й орієнтації kp є невідо- мим, область Im[ ( )]С А kp також є невідомою. Однак за постановкою задачі відо- мою є прогнозована оцінка \| 1ˆ ,k kp − що визначає прогнозовану область зображення реперного об’єкта \| 1ˆIm[ ( )].С А k kp − Виходячи з близькості оцінки \| 1ˆk kp − до істин- ного kp можна вважати, що область Im[ ( )]С А kp практично співпадає по формі з областю \| 1ˆIm[ ( )]С А k kp − і отримується з неї плоским переносом, поворотом на малий кут і масштабуванням з коефіцієнтом, близьким до 1. Зовнішній контур області будемо представляти у вигляді об’єднання всіх граничних пікселів, впорядкованих у напрямку обходу, наприклад, за годиннико- вою стрілкою: 1 , N i i a = де ia — координати n-го пікселя контуру, N — довжина контуру. Позначимо операцію взяття зовнішнього контуру області функцією . Визначимо контур прогнозованого положення зображення реперного об’єкта A \| 1 ˆ ˆ(Im[ ( )])C A A k kC p −=   (7) і зовнішній контур розпізнаного зображення западаючого реперного об’єкта A , ˆ( ).A A kC O=  (8) Щоб знайти положення точки прив’язки реперного об’єкта на зображенні, необхідно визначити величини переміщення, масштабування та повороту прогно- зованого контуру ˆ AC (7) для суміщення його з отриманим контуром AC (8), а по- тім знайти положення його центру мас. 124 ISSN 1028-0979 У випадку виступаючого реперного об’єкта область , ˆ A kP визначає об’єд- нання областей зображення реперного об’єкта та тіні від нього. У такому випадку границя цієї області буде визначена як \| 1 , ˆˆ(Im[ ( )] \ ).C A A k k A kC p P−=   (9) Оскільки єдиним джерелом освітлення поверхні НКА є Сонце, тінь від ви- ступаючого реперного об’єкта буде знаходитись з однієї сторони від зображення об’єкта. З протилежної від тіні сторони границя області \| 1 , ˆˆIm[ ( )] \C A k k A kp P− бу- де співпадати з границею області , ˆ A kO — зображенням реперного об’єкта. Тоді для знаходження точки прив’язки реперного об’єкта можна використати аналогі- чну операцію — співставлення ділянки масштабованого і повернутого контуру ˆ AC з ділянкою контуру AC (9). На рис. 8 схематично показано ідеалізовані вихідні дані задачі. Пунктиром показано прогнозований контур круглого реперного об’єкта ,A а неперервною лінією — знайдений контур. На лівому зображенні показано випадок западаючого реперного об’єкта, на правому — виступаючого реперного об’єкта (з тінню). Точ- не значення центру реперного об’єкта позначено хрестиком. Рис. 8 Для западаючого реперного об’єкта форми контурів AC і ˆ AC будуть схожи- ми між собою, тому для порівняння контурів недоцільно використовувати методи Hu чи розкладання в ряд Фур’є [8]. Також, оскільки контур AC може бути спотворений (відносно істинного ˆ AC ) в окремих пікселях або навіть у значній своїй частині (у випадку наявності тіні від виступаючого реперного об’єкта), для встановлення міри його співпадіння з кон- туром ˆ AC будемо використовувати такий критерій, що не вимагає близькості для всіх точок контуру .AC У загальному випадку для співставлення контуру ˆ AC з AC будемо зміщува- ти, повертати та масштабувати ˆ AC на площині зображення так, щоб максимізува- ти кількість пікселів контуру ,AC що лежать у ˆ AC — деякому околі конту- ру ˆ .AC Таким чином, задача співставлення контурів зводиться до співставлення фактичного контуру AC з розширенням прогнозованого контуру ˆ ,AC що дозволяє: — нівелювати викиди, що отримуються при знаходженні області , ˆ ;A kP — для деяких форм реперного об’єкта, наприклад близьких до круглих, від- мовитись від необхідності масштабування, оскільки розширення буде включати в себе вихідний контур, масштабований у певному діапазоні значень; — регулювати точність співставлення контурів по величині розширення. Міжнародний науково-технічний журнал «Проблеми керування та інформатики», 2022, № 2 125 На рис. 9 показано результат розширення контуру ˆ AC на один піксель. Рис. 9 Розглянемо функцію , 1 ˆ( , , ) I ( ), ( , , , ), N X i A i F x, y,α a X C x y =   = =    (10) де ( )X  — індикаторна функція, , ˆ ( , , , )AC x y   — множина пікселів  -околу контуру ˆ ,AC зміщеного на вектор T( , ) ,x y повернутого на кут  і збільшеного у  разів, ia — точки контуру ,AC N — довжина контуру .AC Координати піксе- лів контуру, що отримуються при повороті, масштабуванні і переміщенні контуру ˆ AC , будуть визначатись як ˆ0 cos sin ˆ0 sin cos i i i x x x x a y y y y −  −                  = + +        −          , де Tˆ( , )i ix y — координати i-го пікселя контуру ˆ ,AC а T( , )x y — центр мас про- гнозованої області зображення реперного об’єкта. Позначимо як M( ) операцію знаходження центру мас. Тоді T \| 1ˆ( , ) M(Im[ ( )]).С А k kx y p −=  Співставлення розпізнаного контуру AC та прогнозного контуру ˆ AC буде відповідати максимуму функції (10) , , , F( , , , , ) max x y x y α     ⎯⎯⎯⎯→ (11) при фіксованому значенні величини розширення . Знаходження з критерію (11) оптимальних значень x та y дає оцінку положення точки прив’язки реперного об’єкта на зображенні: T( , ) .x x y y + + (12) Оскільки камера СТЗ є відкаліброваною, знайдене значення (12) визначає промінь у просторі, на якому лежить точка прив’язки реперного об’єкта .A Із групи рівнянь променів, обчислених для всіх видимих реперних об’єктів, для де- яких із методів розв’язку задачі PnP [9, 10] знаходяться відносне положення й орі- єнтація СК НКА відносно СК СТЗ, що дає апостеріорну оцінку вектора парамет- рів ˆ .kp На основі цієї й попередніх апостеріорних оцінок положення й орієнтації, з використанням моделі динаміки взаємного руху пари тіл у просторі, отримуєть- ся прогноз на наступний такт 1\|ˆ .k kp + 126 ISSN 1028-0979 Слід зазначити, що критерій (11) може давати більше одного розв’язку. На- приклад, у випадку виступаючого реперного об’єкта критерій не розрізняє між собою границю з областю зображення об’єкта і границю з областю тіні. Це може привести до появи пари розв’язків: один буде побудовано по границі зображення реперного об’єкта, а інший — по границі тіні реперного об’єкта на ПС. Приклад отримання двох розв’язків (11) представлено на рис. 10. Рис. 10 Для розпізнавання фіктивних розв’язків можуть бути застосовані додаткові критерії відбору, наприклад за відстанню до прогнозованого положення зобра- ження реперного об’єкта або за сумісністю отримуваної задачі PnP. Висновок Запропонований у роботі підхід до вирішення задачі супроводження елементів поверхні НКА системою технічного зору на кінцевому етапі зближення дозволяє ви- користовувати в якості реперних елементів невеликі за розміром плоскі або об’ємні елементи конструкції, що розміщуються на плоских однорідних ділянках поверхонь. Для такого класу реперних об’єктів знаходження точкових оцінок положення реалізо- вано в два етапи, що дозволяє використати окремо інформацію, що міститься в кольорі зображення (інформативні характеристики на основі інтегрального розподілу яскра- вості), і інформацію, що міститься у геометрії поверхні (форма зображення реперного об’єкта). Таке розбиття дозволило побудувати обгрунтований алгоритм вирішення задачі на базі доволі простих операцій і процедур. S. Melnychuk, V. Shevchenko OPERATION OF THE COMPUTER VISION SYSTEM ON THE SPACECRAFT SURFACE ELEMENTS WITH ITS PARTIAL VISIBILITY Serhii Melnychuk Institute of Space Research of NAS of Ukraine and SSA of Ukraine, sergvik@ukr.net Volodymyr Shevchenko Institute of Space Research of NAS of Ukraine and SSA of Ukraine, vovan_16@ukr.net The problem of tracking reference objects by a computer vision system designed to estimate the relative position and attitude of uncooperative spacecraft at short dis- tances is considered. This vision system is an integral part of the onboard control sys- mailto:sergvik@ukr.net mailto:vovan_16@ukr.net Міжнародний науково-технічний журнал «Проблеми керування та інформатики», 2022, № 2 127 tem for autonomous rendezvous and docking in space. The problem under considera- tion arises when determining the initial data for the well-known PnP problem, in which the position and orientation of a body in space is determined by the images of control points, obtained by a perspective projection camera. The position of the con- trol points relative to the coordinate system of the target body must be known. Since the target body is an abstract uncooperative spacecraft, only obvious visible inhomo- geneities of its surface can be used to determine the control points. Therefore, the problem arises — how to choose control points so that they are tied to the surface of the body, and could be found with high accuracy in images under different external shooting conditions. One of the possible solutions is to use for binding small-sized structural elements of an uncooperative spacecraft, which are most likely present on its surface. Then the control point is bound to the known shape of the surface of the corresponding element, and its position on the image is determined through pattern recognition. This article discusses the case of using computer vision with a monocu- lar camera. We consider operation at close distances, when only a part of the docking side of the target spacecraft is in the camera's field of view. Elements placed on its surface are used as reference objects. A method is proposed for finding the positions of control points on images for a certain class of reference objects during periodic shooting. Keywords: computer vision system, uncooperative spacecraft, autonomous rendez- vous, pose determination, image processing. REFERENCES 1. Shi J.-F., Ulrich S., Ruel S., Anctil M. Uncooperative spacecraft pose estimation using an infrared camera during proximity operations. AIAA Space 2015 Conference and Exposition. Issue AIAA 2015-4429. 17 p. DOI: 10.2514/6.2015-4429. 2. Shijie Z., Fenghua L., Xibin C., Liang H. Monocular vision-based two-stage iterative algorithm for relative position and attitude estimation of docking spacecraft. Chinese Journal of Aero- nautics. 2010. 23, I. 2. P. 204–210. DOI: 10.1016/S1000-9361(09)60206-5. 3. Gubarev V.F., Vasylyev V.V., Volosov V.V., Maksymyuk L.V., Melnychuk S.V., Salnikov N.N., Shevchenko V.N., Godunok L.A., Derkach S.V. Computer vision system for spacecraft relative pose determination during rendezvous and docking. Space Research in Ukraine. Report to CO- SPAR. 2018–2020 / Ed. O. Fedorov. Kyiv : Akademperiodyka, 2021. P. 127–132. 4. Gubarev V.F., Volosov V.V., Salnikov N.N., Shevchenko V.N., Melnychuk S.V., Maksy- myuk L.V. Computer Vision system for spacecraft relative pose determination during rendezvous and docking. Science and innovations. 2021. 17, N 2. P. 50–63. 5. Губарев В.Ф., Боюн В.П., Мельничук С.В., Сальников Н.Н. Использование систем техни- ческого зрения для определения параметров относительного движения космических аппа- ратов. Международный научно-технический журнал «Проблемы управления и информа- тики». 2016. № 6. С. 103–119. 6. Gubarev V.F., Salnikov N.N., Melnychuk S.V. Ellipsoidal pose estimation of an uncooperative spacecraft from video image data. Control Systems: Theory and Applications. River Publishers Series in Automation, Control and Robotics, 2018. Р. 169–195. 7. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работ- ников. М. : ФИЗМАТЛИТ, 2006. 816 с. 8. Казбеков А.В., Максимов Н.А. Методы сравнения контуров в задачах распознавания образов. Научный вестник МГТУ ГА. 2012. № 185. С. 37–42. 9. Youyang F., Qing W., Yuan Y., Chao Y. Robust improvement solution to perspective-n-point problem. International Journal of Advanced Robotic Systems. 2019. 16, N 6. DOI: 10.1177/ 1729881419885700. 10. Terzakis G., Lourakis M. A consistently fast and globally optimal solution to the perspective-n- point problem. In: Vedaldi, A., Bischof, H., Brox, T., Frahm, JM. (eds). Computer Vision — ECCV 2020. Lecture Notes in Computer Science. 12346. P. 478–494. DOI: 10.1007/978-3-030- 58452-8_28. Отримано 31.05.2022 http://dx.doi.org/10.2514/6.2015-4429 https://www.sciencedirect.com/science/article/pii/S1000936109602065#! https://www.sciencedirect.com/science/article/pii/S1000936109602065#! https://www.sciencedirect.com/science/article/pii/S1000936109602065#!
id	nasplib_isofts_kiev_ua-123456789-210879
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	0572-2691
language	Ukrainian
last_indexed	2026-03-13T07:41:17Z
publishDate	2022
publisher	Інститут кібернетики ім. В.М. Глушкова НАН України
record_format	dspace
spelling	Мельничук, С.В. Шевченко, В.М. 2025-12-19T17:37:31Z 2022 Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості / С.В. Мельничук, В.М. Шевченко // Проблеми керування та інформатики. — 2022. — № 2. — С. 113-127. — Бібліогр.: 10 назв. — укр. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/210879 004.93’1, 004.932.2 10.34229/2786-6505-2022-2-8 Вирішується задача відстеження переміщення реперних об’єктів на зображеннях, що отримуються системою технічного зору, призначеною для вимірювання відносного положення і орієнтації некооперованих космічних апаратів на малих відстанях у складі системи забезпечення автоматичного стикування. Дана задача виникає при формуванні вихідних даних для так званої задачі PnP, в якій положення та орієнтація тіла у просторі визначаються за зображеннями контрольних точок поверхні цього тіла, отриманими камерою перспективної проєкції. При цьому положення контрольних точок відносно системи координат цільового тіла мають бути відомими. Оскільки цільовим тілом виступає абстрактний некооперований космічний апарат, для визначення контрольних точок можуть використовуватися лише наявні видимі неоднорідності його поверхні. Тому виникає запитання, як вибирати контрольні точки, щоб вони були прив’язані до поверхні тіла і могли бути знайдені з високою точністю на зображеннях за різних зовнішніх умов зйомки. Одним із варіантів вирішення є використання для прив’язки дрібнорозмірних конструктивних елементів некооперованого космічного апарата, які з великою ймовірністю будуть присутні на його поверхні. Тоді прив’язка контрольної точки здійснюється до відомої форми поверхні відповідного елемента, а визначення її положення на зображенні виконується через розпізнавання відповідного образу. У даній статті розглядається випадок використання системи технічного зору з монокулярною камерою. Розглядається етап роботи на близьких відстанях, коли в полі зору камери знаходиться ділянка поверхні стикування з розміщеними на ній елементами, що використовуються як реперні. Запропоновано метод знаходження на зображеннях положення точок прив’язки окремого класу реперних об’єктів при виконанні періодичної зйомки. The problem of tracking the movement of reference objects on images obtained by the technical vision system, designed to measure the relative position and orientation of uncooperative spacecraft at short distances within the automatic docking support system, is being solved. This problem arises when forming the input data for the so-called PnP problem, where the position and orientation of an object in space are determined based on images of control points on the surface of the object, obtained by a perspective projection camera. uk Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Космічні інформаційні технології та системи Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості The operation of the technical vision system on the surface elements of the spacecraft under conditions of partial visibility Article published earlier
spellingShingle	Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості Мельничук, С.В. Шевченко, В.М. Космічні інформаційні технології та системи
title	Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості
title_alt	The operation of the technical vision system on the surface elements of the spacecraft under conditions of partial visibility
title_full	Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості
title_fullStr	Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості
title_full_unstemmed	Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості
title_short	Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості
title_sort	робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості
topic	Космічні інформаційні технології та системи
topic_facet	Космічні інформаційні технології та системи
url	https://nasplib.isofts.kiev.ua/handle/123456789/210879
work_keys_str_mv	AT melʹničuksv robotasistemitehníčnogozorupoelementahpoverhníkosmíčnogoaparatavumovahíínepovnoívidimostí AT ševčenkovm robotasistemitehníčnogozorupoelementahpoverhníkosmíčnogoaparatavumovahíínepovnoívidimostí AT melʹničuksv theoperationofthetechnicalvisionsystemonthesurfaceelementsofthespacecraftunderconditionsofpartialvisibility AT ševčenkovm theoperationofthetechnicalvisionsystemonthesurfaceelementsofthespacecraftunderconditionsofpartialvisibility

Робота системи технічного зору по елементах поверхні космічного апарата в умовах її неповної видимості

Репозитарії

Схожі ресурси