Software package for estimation of the stereo camera calibration error in the computer vision system
The approach for accuracy assessment of the object model a for the problem of stable grasping in the combined system of the proposal of grasping and the reconstruction of the three-dimensional model of the object was considered. Such a combined system allows stable capture of objects of any shape wi...
Збережено в:
| Дата: | 2023 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Інститут програмних систем НАН України
2023
|
| Теми: | |
| Онлайн доступ: | https://pp.isofts.kiev.ua/index.php/ojs1/article/view/548 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Problems in programming |
| Завантажити файл: |  |
Репозитарії
Problems in programming| id |
pp_isofts_kiev_ua-article-548 |
|---|---|
| record_format |
ojs |
| resource_txt_mv |
ppisoftskievua/f5/79282636f6c669a872d555f017aa13f5.pdf |
| spelling |
pp_isofts_kiev_ua-article-5482023-06-25T08:19:26Z Software package for estimation of the stereo camera calibration error in the computer vision system Програмний пакет для оцінки похибки калібрування стереокамери в системі комп’ютерного зору Vitiuk, A.Ye. Doroshenko, A.Yu. three-dimensional reconstruction; camera calibration; stable grip; point cloud; manipulator robot; mobile robot UDC 004.031.42 тривимірна реконструкція; калібрування камер; стійкий захват; хмара точок; робот-маніпулятор; мобільний робот УДК 004.031.42 The approach for accuracy assessment of the object model a for the problem of stable grasping in the combined system of the proposal of grasping and the reconstruction of the three-dimensional model of the object was considered. Such a combined system allows stable capture of objects of any shape without restrictions on the types of shapes in the training data set. Novel approaches to surface reconstruction of the object are based on restoring the depth of points from a pair of images from two cameras. The quality of the 3D reconstruction is affected by several factors: the movement of the camera and environmental objects, spatial quantization of the image coordinates, correspondence of key points, camera calibration parameters, unaccounted camera distortions, as well as numerical and statistical properties of the selected reconstruction method. Camera parameter errors can be minimized by improving the calibration procedure, so the impact of errors on the quality of the 3D model was investigated. The deviation of the model from the plane is chosen as a metric for quality assessment. For its calculation, the point cloud is processed by plane identification and segmentation, for which an algorithm based on the RANSAC method is considered. The software package for accuracy estimation was developed. An experiment was conducted to obtain the dependence of the accuracy of the reconstructed planes on the errors of the camera parameters. The impact of calibration errors on 3D reconstruction was evaluated by comparing metrics for individual planes at different levels of artificial error and evaluating the impact of the error on these metrics. Modeling the error of the camera calibration parameters with a given noise level shows that the calibration parameters deteriorate as the noise level increases. In particular, it was established that an increase in error contributes to an increase in the error of estimation of calibration parameters. In addition, orientation parameters (rotation and translation) are more complex and therefore more sensitive to measurement noise than other parameters.Prombles in programming 2022; 3-4: 469-477 струкції тривимірної моделі об’єкта. Така комбінована система дозволяє здійснювати стійкий захват об’єктів будь-якої форми без обмежень на типи форм у тренувальному наборі даних. Класичні підходи реконструкції поверхні об’єкту базуються на віднов- ленні глибини точок по парі зображень з двох камер. На якість тривимірної реконструкції впливає декілька факторів: рух камери та об’єктів середовища, просторове квантування координат зображення, відповідність ключових точок, параметри калібрування камери, невраховані спотворення камери, а також числові та статистичні властивості обраного методу реконструкції. Похибки параметрів камери можуть бути мінімізовані шляхом покращення процедури калібрування, тому було досліджено вплив похибок на якість тривимірної моделі. Метрикою для оцінки точності обрано відхилення моделі від площини. Для її розрахунку здійсню- ється обробка хмари точок шляхом ідентифікації площин та сегментації, для яких розглянуто алгоритм, що базується на методі RANSAC. Розроблено програмний пакет для здійснення оцінки точності реконструйованої моделі. Проведено експеримент для отримання залежності точності реконструйованих площин від похибок параметрів камер. Оцінку впливу похибок калібрування на тривимірну реконструкцію було здійснено шляхом порівняння метрик для окремих площин при різному рівні внесеної штучно похибки та оцінки впливу величини похибки на ці метрики.Prombles in programming 2022; 3-4: 469-477 Інститут програмних систем НАН України 2023-01-23 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/548 10.15407/pp2022.03-04.469 PROBLEMS IN PROGRAMMING; No 3-4 (2022); 469-477 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 3-4 (2022); 469-477 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 3-4 (2022); 469-477 1727-4907 10.15407/pp2022.03-04 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/548/601 Copyright (c) 2023 PROBLEMS IN PROGRAMMING |
| institution |
Problems in programming |
| baseUrl_str |
https://pp.isofts.kiev.ua/index.php/ojs1/oai |
| datestamp_date |
2023-06-25T08:19:26Z |
| collection |
OJS |
| language |
Ukrainian |
| topic |
three-dimensional reconstruction camera calibration stable grip point cloud manipulator robot mobile robot UDC 004.031.42 |
| spellingShingle |
three-dimensional reconstruction camera calibration stable grip point cloud manipulator robot mobile robot UDC 004.031.42 Vitiuk, A.Ye. Doroshenko, A.Yu. Software package for estimation of the stereo camera calibration error in the computer vision system |
| topic_facet |
three-dimensional reconstruction camera calibration stable grip point cloud manipulator robot mobile robot UDC 004.031.42 тривимірна реконструкція калібрування камер стійкий захват хмара точок робот-маніпулятор мобільний робот УДК 004.031.42 |
| format |
Article |
| author |
Vitiuk, A.Ye. Doroshenko, A.Yu. |
| author_facet |
Vitiuk, A.Ye. Doroshenko, A.Yu. |
| author_sort |
Vitiuk, A.Ye. |
| title |
Software package for estimation of the stereo camera calibration error in the computer vision system |
| title_short |
Software package for estimation of the stereo camera calibration error in the computer vision system |
| title_full |
Software package for estimation of the stereo camera calibration error in the computer vision system |
| title_fullStr |
Software package for estimation of the stereo camera calibration error in the computer vision system |
| title_full_unstemmed |
Software package for estimation of the stereo camera calibration error in the computer vision system |
| title_sort |
software package for estimation of the stereo camera calibration error in the computer vision system |
| title_alt |
Програмний пакет для оцінки похибки калібрування стереокамери в системі комп’ютерного зору |
| description |
The approach for accuracy assessment of the object model a for the problem of stable grasping in the combined system of the proposal of grasping and the reconstruction of the three-dimensional model of the object was considered. Such a combined system allows stable capture of objects of any shape without restrictions on the types of shapes in the training data set. Novel approaches to surface reconstruction of the object are based on restoring the depth of points from a pair of images from two cameras. The quality of the 3D reconstruction is affected by several factors: the movement of the camera and environmental objects, spatial quantization of the image coordinates, correspondence of key points, camera calibration parameters, unaccounted camera distortions, as well as numerical and statistical properties of the selected reconstruction method. Camera parameter errors can be minimized by improving the calibration procedure, so the impact of errors on the quality of the 3D model was investigated. The deviation of the model from the plane is chosen as a metric for quality assessment. For its calculation, the point cloud is processed by plane identification and segmentation, for which an algorithm based on the RANSAC method is considered. The software package for accuracy estimation was developed. An experiment was conducted to obtain the dependence of the accuracy of the reconstructed planes on the errors of the camera parameters. The impact of calibration errors on 3D reconstruction was evaluated by comparing metrics for individual planes at different levels of artificial error and evaluating the impact of the error on these metrics. Modeling the error of the camera calibration parameters with a given noise level shows that the calibration parameters deteriorate as the noise level increases. In particular, it was established that an increase in error contributes to an increase in the error of estimation of calibration parameters. In addition, orientation parameters (rotation and translation) are more complex and therefore more sensitive to measurement noise than other parameters.Prombles in programming 2022; 3-4: 469-477 |
| publisher |
Інститут програмних систем НАН України |
| publishDate |
2023 |
| url |
https://pp.isofts.kiev.ua/index.php/ojs1/article/view/548 |
| work_keys_str_mv |
AT vitiukaye softwarepackageforestimationofthestereocameracalibrationerrorinthecomputervisionsystem AT doroshenkoayu softwarepackageforestimationofthestereocameracalibrationerrorinthecomputervisionsystem AT vitiukaye programnijpaketdlâocínkipohibkikalíbruvannâstereokamerivsistemíkompûternogozoru AT doroshenkoayu programnijpaketdlâocínkipohibkikalíbruvannâstereokamerivsistemíkompûternogozoru |
| first_indexed |
2024-09-12T19:29:54Z |
| last_indexed |
2024-09-12T19:29:54Z |
| _version_ |
1815407595973771264 |
| fulltext |
469
Прикладне програмне забезпечення
УДК 004.031.42 http://doi.org/10.15407/pp2022.03-04.469
ПРОГРАМНИЙ ПАКЕТ ДЛЯ ОЦІНКИ ПОХИБКИ
КАЛІБРУВАННЯ СТЕРЕОКАМЕРИ
В СИСТЕМІ КОМП’ЮТЕРНОГО ЗОРУ
Альона Вітюк, Анатолій Дорошенко
Застосовано метод оцінки точності моделі об’єкта для задачі стійкого захвату у комбінованій системі пропозиції захвату та рекон-
струкції тривимірної моделі об’єкта. Така комбінована система дозволяє здійснювати стійкий захват об’єктів будь-якої форми без
обмежень на типи форм у тренувальному наборі даних. Класичні підходи реконструкції поверхні об’єкту базуються на віднов-
ленні глибини точок по парі зображень з двох камер. На якість тривимірної реконструкції впливає декілька факторів: рух камери
та об’єктів середовища, просторове квантування координат зображення, відповідність ключових точок, параметри калібрування
камери, невраховані спотворення камери, а також числові та статистичні властивості обраного методу реконструкції. Похибки
параметрів камери можуть бути мінімізовані шляхом покращення процедури калібрування, тому було досліджено вплив похибок
на якість тривимірної моделі. Метрикою для оцінки точності обрано відхилення моделі від площини. Для її розрахунку здійсню-
ється обробка хмари точок шляхом ідентифікації площин та сегментації, для яких розглянуто алгоритм, що базується на методі
RANSAC. Розроблено програмний пакет для здійснення оцінки точності реконструйованої моделі. Проведено експеримент для
отримання залежності точності реконструйованих площин від похибок параметрів камер. Оцінку впливу похибок калібрування
на тривимірну реконструкцію було здійснено шляхом порівняння метрик для окремих площин при різному рівні внесеної штучно
похибки та оцінки впливу величини похибки на ці метрики.
Ключові слова: тривимірна реконструкція, калібрування камер, стійкий захват, хмара точок, робот-маніпулятор, мобільний робот.
The approach for accuracy assessment of the object model a for the problem of stable grasping in the combined system of the proposal
of grasping and the reconstruction of the three-dimensional model of the object was considered. Such a combined system allows
stable capture of objects of any shape without restrictions on the types of shapes in the training data set. Novel approaches to surface
reconstruction of the object are based on restoring the depth of points from a pair of images from two cameras. The quality of the 3D
reconstruction is affected by several factors: the movement of the camera and environmental objects, spatial quantization of the image
coordinates, correspondence of key points, camera calibration parameters, unaccounted camera distortions, as well as numerical and
statistical properties of the selected reconstruction method. Camera parameter errors can be minimized by improving the calibration
procedure, so the impact of errors on the quality of the 3D model was investigated. The deviation of the model from the plane is chosen
as a metric for quality assessment. For its calculation, the point cloud is processed by plane identification and segmentation, for which
an algorithm based on the RANSAC method is considered. The software package for accuracy estimation was developed. An experiment
was conducted to obtain the dependence of the accuracy of the reconstructed planes on the errors of the camera parameters. The impact of
calibration errors on 3D reconstruction was evaluated by comparing metrics for individual planes at different levels of artificial error and
evaluating the impact of the error on these metrics. Modeling the error of the camera calibration parameters with a given noise level shows
that the calibration parameters deteriorate as the noise level increases. In particular, it was established that an increase in error contributes
to an increase in the error of estimation of calibration parameters. In addition, orientation parameters (rotation and translation) are more
complex and therefore more sensitive to measurement noise than other parameters.
Keywords: three-dimensional reconstruction, camera calibration, stable grip, point cloud, manipulator robot, mobile robot.
Вступ
Планування стійкого захвату та ефективне переміщення об’єктів в неструктурованому середовищі є акту-
альною проблемою робототехніки. У техногенних умовах процес тривимірної реконструкції на основі декількох
зображень може бути використаний для допомоги роботам у визначенні їхнього положення у просторі, побудові
тривимірної карти навколишнього середовища та розпізнавання оточуючих об»єктів. Крім того, планування стійко-
го захвату може бути застосовано для побудови комплексної системи, що включає розпізнавання та прогнозування
жестів [1]. Система захоплення невідомого об’єкту мобільним роботом складається з камери, роботизованої руки
та захватної кінцівки. На основі відеопотоку з камери відбувається побудова карти навколишнього середовища та
реконструкція моделі об’єкта. В процесі сканування система отримує важливу інформацію щодо структури об’єкта,
форми, розміру та орієнтації у просторі. Така обробка та побудова моделі має відбуватися у режимі реального часу.
Останнім часом підходи керовані даними, які здійснюють планування захвату безпосередньо на основі
даних із сенсорів (без проміжного стану) привели до значного прогресу у здійсненні захватів та узагальненні
підходів планування їх переміщення. Існуючі методи використовують архітектури згорткових нейронних ме-
реж та очікують на вхід RGB-D зображення [2]. Вони можуть бути застосовані у роботизованій системі високої
надійності, але потребують великих обсягів даних захватів та тривимірних моделей об’єктів. Розмір цих даних
безпосередньо впливає на відсоток успішних захватів. Система Contact-GraspNet [3] використовує зазначений
підхід для ефективної генерації розподілу паралельних захватів для 6 степенів свободи безпосередньо з даних
глибини сцени. Інші системи використовують підхід, керований сприйняттям, і часто використовують пред-
ставлення задачі в піксельному просторі, як-от, вивчення піксельних карт доступності [4] або обмеження за-
хвату нормаллю площини зображення [5].
Представлення піксельного простору мають явні обчислювальні переваги, але є й очевидні фізичні пе-
реваги генерування повних захватів для 6 ступенів свободи під час взаємодії з реальними об’єктами. Крім того,
© А.Ю. Дорошенко, А.Є. Вітюк, 2022
ISSN 1727-4907. Проблеми програмування. 2022. № 3-4. Спеціальний випуск
470
Прикладне програмне забезпечення
в деяких випадках корисно мати інформацію про наявність точки здійснення захвату, яка не є безпосередньо
видимою на спостережуваному зображенні. Насамперед тому, що вона представляє найкращу можливість для
захвату (наприклад, ручка чашки) або через обмеження здійснення захвату (наприклад, захват по лише види-
мим точкам може ускладнити розміщення об’єкта в необхідній конфігурації після захвату). Багато існуючих
методів на основі даних генерують захват, вибираючи видимий піксель як точку прикладення робочої кінцівки,
обмежуючи планування захвату видимими точками на об’єкті.
Даний недолік може бути усунуто з використанням комплексного підходу до планування захвату з ви-
користанням підсистем пропозиції захвату та реконструкції об’єкту відомої форми. Проте, існуючі системи, що
використовують методи машинного навчання для двох модулів (мережу пропозицій навчених захватів та ме-
режу реконструкції об’єктів навчених форм [5]), мають обмеження щодо захвату об’єктів невідомих форм, які
не були використані під час навчання мережі тривимірної реконструкції. Використання аналітичних підходів
до тривимірної реконструкції у поєднанні з підходами навчання для пропозиції захвату дозволить спланувати
захват об’єктів будь-якої форми для підвищення точності маніпулятора. На вхід такої системи реконструкції
подається послідовність кадрів (відео), за допомогою якої можливо отримати зображення об’єкту з різних ра-
курсів та розрахувати тривимірну модель об’єкту достатньої щільності.
Монокулярна камера надає інформацію з сенсорів у вигляді двовимірних зображень. Тому глибина
кожного пікселя оцінюється з відношення координат точки реального світу між зображеннями з різних пози-
цій камери. Такі відповідності виявляються шляхом порівняння фотометричних шаблонів на сусідніх пікселях
кожного окремого пікселя. Із використанням такого підходу виникають неточності: пікселі на малотекстурова-
них областях не можуть бути точно співставлені на зображеннях та точна тривимірна реконструкція зазвичай
обмежена областями зображень із великими градієнтами. Фотометричне калібрування може значно покращити
ефективність прямих методів візуальної одометрії для підвищення якості реконструкції.
В даній статті продемонстровано, як похибки при калібруванні стереокамери впливають на загальну
якість побудови тривимірної моделі. Адже як внутрішні, так і зовнішні параметри камери можуть вносити до-
даткову похибку при репроєкції пікселів. Крім того, необхідно враховувати, що пікселі, які відповідають одній
і тій же тривимірній точці, можуть мати різну інтенсивність на різних зображеннях внаслідок оптичного ві-
ньєтування камери, автоматичного підсилення та автоматичним налаштуванням експозиції. Розглянуто існуючі
підходи до фотометричного калібрування з метою відновлення значень інтенсивності зображення та встанов-
лення відповідності між пікселями для стереозображень. Здійснено аналіз реконструкції, отриманої за допо-
могою алгоритму позиціонування мобільного робота, та аналіз впливу похибок фотометричного калібрування
на якість прямих методів візуальної одометрії як частини системи тривимірної реконструкції.
1. Отримання моделі об’єкта та розрахунок параметрів стійкого захвату
Даний розділ присвячений розгляду моделі комбінованої системи пропозиції захвату та реконструкції
тривимірної моделі об’єкта невідомої форми для здійснення стійкого захвату та подальшого маніпулювання
об’єктом у навколишньому середовищі.
Система складається з двох модулів (рис. 1), результати яких поєднуються модулем уточнення для пла-
нування захвату. Вхідними даними є стерео зображення. Відсегментоване зображення з першої камери та карта
глибини подається на обробку в мережу для пропозиції захвату, а стереопара з параметрами камер подаються
на модуль тривимірної реконструкції.
Для першого модуля була взята реалізація мережі пропозиції захвату GPNet, яка видає позицію захвату
відносно кадру камери . Підсистема тривимірної реконструкції видає реконструйовану хмару то-
чок поверхні об’єкта, надаючи інформацію про форму та видимі частини об’єкта. Вихідні дані двох підсистем
об’єднуються шляхом проєктування пропозиції захвату на найближчу точку реконструйованої хмари точок,
що дає вдосконалену пропозицію захвату . Оскільки відоме положення камери відносно робота , то за-
хват у системі координат камери можна перевести у систему координат робота для виконання маніпулятором:
.
Прикладне програмне забезпечення
2
2
можливість для захвату (наприклад, ручка чашки) або через обмеження здійснення захвату (наприклад, захват
по лише видимим точкам може ускладнити розміщення об’єкта в необхідній конфігурації після захвату). Багато
існуючих методів на основі даних генерують захват, вибираючи видимий піксель як точку прикладення
робочої кінцівки, обмежуючи планування захвату видимими точками на об’єкті.
Даний недолік може бути усунуто з використанням комплексного підходу до планування захвату з
використанням підсистем пропозиції захвату та реконструкції об’єкту відомої форми. Проте, існуючі системи,
що використовують методи машинного навчання для двох модулів (мережу пропозицій навчених захватів та
мережу реконструкції об’єктів навчених форм [5]), мають обмеження щодо захвату об’єктів невідомих форм,
які не були використані під час навчання мережі тривимірної реконструкції. Використання аналітичних
підходів до тривимірної реконструкції у поєднанні з підходами навчання для пропозиції захвату дозволить
спланувати захват об’єктів будь-якої форми для підвищення точності маніпулятора. На вхід такої системи
реконструкції подається послідовність кадрів (відео), за допомогою якої можливо отримати зображення об’єкту
з різних ракурсів та розрахувати тривимірну модель об’єкту достатньої щільності.
Монокулярна камера надає інформацію з сенсорів у вигляді двовимірних зображень. Тому глибина
кожного пікселя оцінюється з відношення координат точки реального світу між зображеннями з різних позицій
камери. Такі відповідності виявляються шляхом порівняння фотометричних шаблонів на сусідніх пікселях
кожного окремого пікселя. Із використанням такого підходу виникають неточності: пікселі на
малотекстурованих областях не можуть бути точно співставлені на зображеннях та точна тривимірна
реконструкція зазвичай обмежена областями зображень із великими градієнтами. Фотометричне калібрування
може значно покращити ефективність прямих методів візуальної одометрії для підвищення якості
реконструкції.
В даній статті продемонстровано, як похибки при калібруванні стереокамери впливають на загальну
якість побудови тривимірної моделі. Адже як внутрішні, так і зовнішні параметри камери можуть вносити
додаткову похибку при репроєкції пікселів. Крім того, необхідно враховувати, що пікселі, які відповідають
одній і тій же тривимірній точці, можуть мати різну інтенсивність на різних зображеннях внаслідок оптичного
віньєтування камери, автоматичного підсилення та автоматичним налаштуванням експозиції. Розглянуто
існуючі підходи до фотометричного калібрування з метою відновлення значень інтенсивності зображення та
встановлення відповідності між пікселями для стереозображень. Здійснено аналіз реконструкції, отриманої за
допомогою алгоритму позиціонування мобільного робота, та аналіз впливу похибок фотометричного
калібрування на якість прямих методів візуальної одометрії як частини системи тривимірної реконструкції.
1. Отримання моделі об’єкта та розрахунок параметрів стійкого захвату
Даний розділ присвячений розгляду моделі комбінованої системи пропозиції захвату та реконструкції
тривимірної моделі об’єкта невідомої форми для здійснення стійкого захвату та подальшого маніпулювання
об’єктом у навколишньому середовищі.
Система складається з двох модулів (рис. 1), результати яких поєднуються модулем уточнення для
планування захвату. Вхідними даними є стерео зображення. Відсегментоване зображення з першої камери та
карта глибини подається на обробку в мережу для пропозиції захвату, а стереопара з параметрами камер
подаються на модуль тривимірної реконструкції.
Для першого модуля була взята реалізація мережі пропозиції захвату GPNet, яка видає позицію захвату
відносно кадру камери 𝑇𝑇𝐶𝐶𝐶𝐶 ∈ 𝑆𝑆𝑆𝑆(3). Підсистема тривимірної реконструкції видає реконструйовану хмару точок
поверхні об’єкта, надаючи інформацію про форму та видимі частини об’єкта. Вихідні дані двох підсистем
об’єднуються шляхом проєктування пропозиції захвату 𝑇𝑇𝐶𝐶𝐶𝐶 на найближчу точку реконструйованої хмари точок,
що дає вдосконалену пропозицію захвату 𝑇𝑇𝐶𝐶𝐶𝐶+ . Оскільки відоме положення камери відносно робота 𝑇𝑇𝑅𝑅𝐶𝐶, то
захват у системі координат камери можна перевести у систему координат робота для виконання маніпулятором:
𝑇𝑇𝑅𝑅𝐶𝐶+ = 𝑇𝑇𝑅𝑅𝐶𝐶𝑇𝑇𝐶𝐶𝐶𝐶+ .
Рис. 1. Комбінована система планування захвату
Рис. 1. Комбінована система планування захвату
471
Прикладне програмне забезпечення
Модуль отримання зображень представляє собою зв’язок основної системи з камерою. Сервіс надсилає
кольорові зображення у форматі, який підтримує система Robot Operating System (ROS). Зображення, отримане
з камери, є стиснутим для передачі з низькою пропускною спроможністю. Крім того, цей модуль також здій-
снює візуалізацію отриманих зображень.
Для ректифікації вихідного зображення здійснюється процедура тривимірного калібрування. Вона
представляє собою обчислення зовнішніх та внутрішніх параметрів камери. Для знаходження проєкції триви-
мірної точки на площину зображення, спочатку потрібно перетворити точку зі світової системи координат у
систему координат камери за допомогою зовнішніх параметрів (поворот і переміщення ). Далі, використо-
вуючи внутрішні параметри камери, ми проєктуємо точку на площину зображення [6].
Нехай P – тривимірна точка з координатами у світовій системі координат. Вектор координат точ-
ки P у системі камери: . Тут R – поворотна матриця, що відповідає вектору повороту om:
R = rodrigues(om). Тоді маємо координати : ( ) = (x, y, z).
Координати пінхольної проєкції точки P(a,b) можуть бути представлені:
.
Покладемо . Тоді модель дисторсії [14]:
Координати спотвореної точки представляють собою вектор :
Проєкція точки P на зображення представляє собою точку :
Метою процесу калібрування є знаходження матриці , матриці повороту і вектора переміщен-
ня за допомогою набору відомих тривимірних точок та їхніх відповідних координат зобра-
ження . Коли отримано значення внутрішніх і зовнішніх параметрів, камера вважається відкаліброваною.
Існує три типи методів калібрування камери: з шаблоном, по геометричним ключам та на основі гли-
бинного навчання. Перший підхід полягає в отримання набору зображень шаблонного об’єкту з відомими роз-
мірами та конфігурацією. Під час збирання набору даних камера здійснює переміщення та повороти навколо
шаблону для отримання зображень із різних точок зору. Цей метод найкраще підходить для лабораторних умов,
де є можливість використання шаблонного об’єкта, виготовленого з високою точністю геометричних параме-
трів. За візерунок шаблонного об’єкту можна використовувати різні схеми: шахова дошка, кола та складніші
маркери типу ArUco. Шахові візерунки чіткі і їх легко розпізнати на зображенні. Кути квадратів на шаховій
дошці ідеально підходять для їх локалізації, оскільки мають різкі градієнти в двох напрямках. Крім того, ці
кути розміщені на перетині шахових ліній, а, отже, утворюють повторювану структуру. Усі ці факти викорис-
товуються для надійного розташування кутів квадратів у шаховому порядку.
Калібрування по геометричним ключам можливе тоді, коли присутні геометричні підказки на до-
сліджуваній сцені: прямі лінії, площини чи зникаючі точки горизонту. Методи на основі глибокого навчан-
ня доцільно використовувати тоді, коли неможливо здійснити достатній контроль над процесом збору зо-
бражень (наприклад, коли наявне єдине зображення сцени). Точність методів на основі глибокого навчання
є значно нижчою.
Для отримання параметрів камери необхідно зібрати набір зображень калібрувального шаблону в різ-
них положеннях камери. Застосовуючи методи бібліотеки OpenCV, отримуються внутрішні параметри камери
та застосовуються до кожного вхідного зображення для усунення спотворень об’єктива. Алгоритм калібруван-
ня представлено на рис.2.
Світова система координат визначається шаблонним об’єктом із зображенням шахової дошки, який
надійно зафіксований у просторі. Тривимірні об’єкти точки - це кути квадратів на шаховій дошці. Центром
світової системи координат можна вибрати будь-який кут дошки. Осі і розташовані вздовж площини
кріплення, а вісь перпендикулярна до площини. Отже, усі точки на шаховій дошці розташовані на площині
XY (тобто для плаского шаблонного).
Таким чином, алгоритм калібрування камери має такі входи та виходи:
- вхідні дані: набір зображень із ключовими точками, де двовимірні координати у системі зображен-
ня і тривимірні координати у світовій системі відомі.
- вихідні дані: матриця камери з внутрішніми параметрами, поворот та переміщення кожного зо-
браження.
472
Прикладне програмне забезпеченняПрикладне програмне забезпечення
4
4
Рис.2 Алгоритм калібрування за допомогою OpenCV
Отримання тривимірної інформації про сцену та оцінки поточного положення модуля камери може бути
здійснено з допомогою модуля одночасної локалізації та картографування. Реалізація такої системи на основі
LSD-SLAM дозволяє отримати щільну хмару точок. Середня швидкість отримання нового ключового кадру в
системі та оцінки положення становить приблизно 5 та 10 Гц. Як показано на рисунку 3, оцінка глибини
відбувається переважно на контурах зображення. Такий результат є характерним для бібліотеки LSD-SLAM.
Принцип її роботи полягає у пошуку різниці інтенсивності зображень та знаходженні відповідностей на
контурах текстур залежно від контрасту сцени.
Рис.2 Тривимірна модель після реконструкції сцени
Для оптимальної реконструкції сцени необхідно забезпечити її статичність. Даний модуль забезпечує
збір та злиття від реконструйованих хмар точок з різних ключових кадрів. Подальша оптимізація реконструкції
може бути здійснена шляхом пост-обробки отриманої хмари точок.
2. Побудова моделі площини з хмари точок та її точність
У даному розділі розглянуто обробку хмари точок, яка представляє поверхню цільового об'єкта. Для
оцінки якості побудованої моделі поверхні виділено окремі площини, оскільки критерієм якості обрано
Рис.2 Алгоритм калібрування за допомогою OpenCV
Отримання тривимірної інформації про сцену та оцінки поточного положення модуля камери може
бути здійснено з допомогою модуля одночасної локалізації та картографування. Реалізація такої системи на
основі LSD-SLAM дозволяє отримати щільну хмару точок. Середня швидкість отримання нового ключового
кадру в системі та оцінки положення становить приблизно 5 та 10 Гц. Як показано на рисунку 3, оцінка глибини
відбувається переважно на контурах зображення. Такий результат є характерним для бібліотеки LSD-SLAM.
Принцип її роботи полягає у пошуку різниці інтенсивності зображень та знаходженні відповідностей на конту-
рах текстур залежно від контрасту сцени.
Прикладне програмне забезпечення
4
4
Рис.2 Алгоритм калібрування за допомогою OpenCV
Отримання тривимірної інформації про сцену та оцінки поточного положення модуля камери може бути
здійснено з допомогою модуля одночасної локалізації та картографування. Реалізація такої системи на основі
LSD-SLAM дозволяє отримати щільну хмару точок. Середня швидкість отримання нового ключового кадру в
системі та оцінки положення становить приблизно 5 та 10 Гц. Як показано на рисунку 3, оцінка глибини
відбувається переважно на контурах зображення. Такий результат є характерним для бібліотеки LSD-SLAM.
Принцип її роботи полягає у пошуку різниці інтенсивності зображень та знаходженні відповідностей на
контурах текстур залежно від контрасту сцени.
Рис.2 Тривимірна модель після реконструкції сцени
Для оптимальної реконструкції сцени необхідно забезпечити її статичність. Даний модуль забезпечує
збір та злиття від реконструйованих хмар точок з різних ключових кадрів. Подальша оптимізація реконструкції
може бути здійснена шляхом пост-обробки отриманої хмари точок.
2. Побудова моделі площини з хмари точок та її точність
У даному розділі розглянуто обробку хмари точок, яка представляє поверхню цільового об'єкта. Для
оцінки якості побудованої моделі поверхні виділено окремі площини, оскільки критерієм якості обрано
Рис.2 Тривимірна модель після реконструкції сцени
Для оптимальної реконструкції сцени необхідно забезпечити її статичність. Даний модуль забезпечує
збір та злиття від реконструйованих хмар точок з різних ключових кадрів. Подальша оптимізація реконструкції
може бути здійснена шляхом пост-обробки отриманої хмари точок.
473
Прикладне програмне забезпечення
2. Побудова моделі площини з хмари точок та її точність
У даному розділі розглянуто обробку хмари точок, яка представляє поверхню цільового об’єкта. Для
оцінки якості побудованої моделі поверхні виділено окремі площини, оскільки критерієм якості обрано відхи-
лення моделі від площини. Для обробки хмари точок здійснюється ідентифікація площин та сегментація, для
яких розглянуто алгоритм, що базується на методі Random Sample Consensus (RANSAC).
Класичним методом сегментації площини з хмари точок є алгоритм RANSAC. Цей метод оцінює па-
раметри математичної моделі для набору спостережуваних даних, які містять велику кількість викидів. Він
випадковим чином вибирає мінімальний набір точок для оцінки параметрів моделі. З випадкових зразків він
обирає той, який найкраще відповідає повному набору точок. За своїм загальним формулюванням, RANSAC
може бути легко застосований для опису будь-яких примітивних геометричних форм. Проте основний підхід
RANSAC передбачає, що вхідні дані можуть належати лише одній моделі.
Функція пріоритетів з м’яким порогом [6], що базується на двох вагових функціях, використовується
для поліпшення якості сегментації, яка враховує як відстань від точок до площини, так і узгодженість між век-
торами нормалі. Однак, це вимагає оцінки вектора нормалі в кожній точці, що є неефективним у хмарах точок
з великою щільністю.
Відповідно до оцінок, часова складність RANSAC залежить від розміру підмножини, частки викидів
та кількості точок у наборі. Час роботи RANSAC у деяких випадках може бути надмірно довгим. Тому розгля-
дається модифікація алгоритму для більш ефективного детектування форм у хмарах точок – включаючи плоскі
форми. Октодерево використовується для встановлення просторової близькості між зразками та їхня функція
оцінки враховує лише локальну підмножину зразків. Локальна вибірка шляхом відбору точок всередині кожно-
го вузла використовується для уникнення некоректних результатів.
На якість тривимірної реконструкції впливає декілька факторів: рух камери та об’єктів середовища,
просторове квантування координат зображення, відповідність ключових точок, параметри калібрування каме-
ри, невраховані спотворення камери, а також числові та статистичні властивості обраного методу реконструк-
ції. Оцінку впливу похибок калібрування на тривимірну реконструкцію було здійснено шляхом порівняння
метрик для окремих площин при різному рівні внесеної штучно похибки та оцінки впливу величини похибки
на ці метрики. Для цього розраховано величину середньоквадратичного відхилення хмари точок та на її основі
проведено оцінку площинності.
Маємо хмару точок, що являє собою набір точок у системі координат площини. Дана сис-
тема координат є такою, що вісь z є перпендикулярною до площини. Перетворення, що переводить точку з
глобальної системи координат реконструкції у локальну систему координат площини може бути представлено
у вигляді: .
Визначимо точку , таку що:
Розглянемо точку як центр координат нової локальної системи. Координати точок у новій системі
можуть бути представлені:
Представимо площину у локальній системі координат як , де та можуть бути оцінені з
наступних виразів (передбачаючи, що вимірювання відхилень здійснюється вздовж осі z):
Обчислимо відхилення між виміряними точками та відсегментованою площиною:
Відхилення площинності (FD) можна визначити за сумою значень максимуму додатного локального
відхилення (TP) та максимального значення модулю від’ємного локального відхилення (FP):
474
Прикладне програмне забезпечення
Повноту метрик (C1), правильність (C2) та якість (Q) для оцінки представленого методу виражають
такі представлення:
Тут TP – кількість дійсних площин, що вірно задетектовані, FN – кількість площин, що є нерозпізнани-
ми, FP – кількість невірно розпізнаних площин.
3. Результати експериментів
У даному розділі наведено результати експериментів здійснення реконструкції хмари точок на
трьох різних сценах. Для кожного випадку було здійснено сегментацію досліджуваної площини та отри-
мано її модель.
Основні параметри наборів даних представлені у табл.1.
Таблиця 1. Опис наборів даних
Індекс Довжина, м Ширина, м Висота, м Кількість точок Середня щільність
(точок/м3)
1 7 5.2 3.2 45361 389
2 8.5 9.4 2.6 38265 184
3 7.3 7.2 2.5 37472 285
Як видно з рис.2, отримані тривимірні моделі мають достатню щільність. Це спричинено тим, що
алгоритм застосований метод отримання хмари точок використовує всю інформацію на зображенні, включно
із контурами. Як бачимо, це забезпечує високу точність та надійність у мало текстурованих середовищах із
використанням однієї монокамери.
Для кожної сцени було проведено сегментацію площин та виокремлено хмари точок, які являють
собою набори вимірювань, що належать одній площині. Далі було проведено оцінку параметрів матема-
тичної моделі кожної з площин. Приклад окремої хмари точок, що відповідає зашумленій моделі площини,
наведено на рис.4.
Прикладне програмне забезпечення
6
6
Тут TP – кількість дійсних площин, що вірно задетектовані, FN – кількість площин, що є нерозпізнаними,
FP – кількість невірно розпізнаних площин.
3. Результати експериментів
У даному розділі наведено результати експериментів здійснення реконструкції хмари точок на трьох
різних сценах. Для кожного випадку було здійснено сегментацію досліджуваної площини та отримано її
модель.
Основні параметри наборів даних представлені у табл.1.
Таблиця 1.
Опис наборів даних
Індекс Довжина, м Ширина, м Висота, м Кількість точок Середня щільність
(точок/м3)
1 7 5.2 3.2 45361 389
2 8.5 9.4 2.6 38265 184
3 7.3 7.2 2.5 37472 285
Як видно з рис.2, отримані тривимірні моделі мають достатню щільність. Це спричинено тим, що
алгоритм застосований метод отримання хмари точок використовує всю інформацію на зображенні, включно із
контурами. Як бачимо, це забезпечує високу точність та надійність у мало текстурованих середовищах із
використанням однієї монокамери.
Для кожної сцени було проведено сегментацію площин та виокремлено хмари точок, які являють собою
набори вимірювань, що належать одній площині. Далі було проведено оцінку параметрів математичної моделі
кожної з площин. Приклад окремої хмари точок, що відповідає зашумленій моделі площини, наведено на рис.4.
Рис.4. Результат сегментації площини
Для кожної отриманої площини та відповідної їй хмари точок здійснено оцінку відхилень площинності
та розраховано показники повноти метрик, правильності та якості. Далі досліджено вплив зміни параметрів
калібрування на дані метрики. Для цього проведено аналіз чутливості параметрів камери, в якому здійснено
спотворення значень пікселів на площині зображення шумом зі стандартним відхиленням від 0.05 до 1.0
пікселя. У таблиці 2 наведено вибіркові результати аналізу чутливості. У змодельованій системі камера
розташовувалася так, що напрямок осі z глобальної та локальної систем координат співпадає.
Таблиця 2.
Дисперсія параметрів калібрування як функція шуму
0.05 0.1 0.5 1.0
𝑝𝑝𝑥𝑥 (пікс) 1.93 4.25 17.63 38.97
𝑝𝑝𝑦𝑦 (пікс) 0.43 0.86 4.87 9.75
𝑡𝑡𝑥𝑥 (м) 0.00 0.00 0.03 0.03
𝑡𝑡𝑦𝑦 (м) 0.00 0.00 0.02 0.01
𝑡𝑡𝑧𝑧 (м) 0.00 0.00 0.03 0.02
𝑅𝑅𝑥𝑥 (град) 0.00 0.01 0.02 0.02
𝑅𝑅𝑦𝑦 (град) 0.06 0.14 0.76 1.48
𝑅𝑅𝑧𝑧 (град) 0.08 0.23 1.13 2.27
На основі отриманих зашумлених параметрів камери було проведено процес реконструкції та сегментації
площин з отриманих моделей. Для кожного такого набору вхідних даних проведено оцінку відхилень
Рис.4. Результат сегментації площини
Для кожної отриманої площини та відповідної їй хмари точок здійснено оцінку відхилень пло-
щинності та розраховано показники повноти метрик, правильності та якості. Далі досліджено вплив
зміни параметрів калібрування на дані метрики. Для цього проведено аналіз чутливості параметрів ка-
мери, в якому здійснено спотворення значень пікселів на площині зображення шумом зі стандартним
відхиленням від 0.05 до 1.0 пікселя. У таблиці 2 наведено вибіркові результати аналізу чутливості. У
змодельованій системі камера розташовувалася так, що напрямок осі z глобальної та локальної систем
координат співпадає.
475
Прикладне програмне забезпечення
Таблиця 2. Дисперсія параметрів калібрування як функція шуму
0.05 0.1 0.5 1.0
(пікс) 1.93 4.25 17.63 38.97
(пікс) 0.43 0.86 4.87 9.75
(м) 0.00 0.00 0.03 0.03
(м) 0.00 0.00 0.02 0.01
(м) 0.00 0.00 0.03 0.02
(град) 0.00 0.01 0.02 0.02
(град) 0.06 0.14 0.76 1.48
(град) 0.08 0.23 1.13 2.27
На основі отриманих зашумлених параметрів камери було проведено процес реконструкції та сегмен-
тації площин з отриманих моделей. Для кожного такого набору вхідних даних проведено оцінку відхилень
площинності. Залежність відхилення площинності від рівня внесеної похибки для кожного з трьох наборів
даних представлено на рисунку 5.
Прикладне програмне забезпечення
[Введите текст]
площинності. Залежність відхилення площинності від рівня внесеної похибки для кожного з трьох наборів
даних представлено на рисунку 5.
Рис.5. Залежність відхилення площинності від величини похибки параметрів калібрування
Даний експеримент продемонстрував залежність точності реконструйованої хмари точок від відхилень
внутрішніх та зовнішніх параметрів камер у стереосистемі. Виявлено, що підвищення точності калібрування
камер уможливлює приріст точності тривимірної моделі до 60%.
Висновки
Розглянуто метод оцінки точності моделі об’єкта для задачі стійкого захвату за допомогою комбінованої
системи пропозиції захвату та реконструкції тривимірної моделі об’єкта, що дозволяє здійснювати стійкий
захват об’єктів невідомої форми. Метрикою для оцінки точності обрано відхилення моделі від площини, тому
для обробки хмари точок здійснюється ідентифікація площин та сегментація, для яких розглянуто алгоритм, що
базується на методі RANSAC. Проведено експеримент для отримання залежності точності реконструйованих
площин від похибок параметрів камер. Оцінку впливу похибок калібрування на тривимірну реконструкцію
було здійснено шляхом порівняння метрик для окремих площин за різного рівня штучно внесеної похибки та
оцінки впливу величини похибки на ці метрики. Моделювання похибки параметрів калібрування камери із
заданим рівнем шуму показує, що параметри калібрування погіршуються зі збільшенням рівня шуму. Зокрема,
проаналізувавши встановлені метрики площинності, було встановлено, що похибка визначення центру
зображення є пропорційною до похибки вимірювання. З цього випливає, що збільшення похибки сприяє
збільшенню похибки оцінки параметрів калібрування. Крім того, параметри орієнтації (поворот та зміщення) є
більш комплексними, а тому чутливішим до шуму вимірювань, аніж інші параметри.
Література
1. А.Ю. Дорошенко, Новак О.С. Програмування симулятора жестів методом статистичного моделювання // Проблеми програмування.-
2015, №1.- С. 58-64.
2. K. He, X. Zhang, S. Ren and J. Sun,. Deep Residual Learning for Image Recognition, 2016 IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), 2016, С. 770-778, doi: 10.1109/CVPR.2016.90.
3. Sundermeyer, Martin & Mousavian, Arsalan & Triebel, Rudolph & Fox, Dieter. Contact-GraspNet: Efficient 6-DoF Grasp Generation in
Cluttered Scenes, 2021.
4. Zeng, Andy & Song, Shuran & Yu, Kuan-Ting & Donlon, Elliott & Hogan, Francois & Bauza, Maria & Ma, Daolin & Taylor, Orion & Liu,
Melody & Romo Grau, Eudald & Fazeli, Nima & Alet, Ferran & Dafle, Nikhil & Holladay, Rachel & Morena, Isabella & Nair, Prem & Green,
Druck & Taylor, Ian & Liu, Weber & Rodriguez, Alberto. Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping
and Cross-Domain Image Matching. 1-8, 2018.
5. Staub, Benno & Tanwani, Ajay & Mahler, Jeffrey & Breyer, Michel & Laskey, Michael & Takaoka, Yutaka & Bajracharya, Max & Siegwart,
Roland & Goldberg, Kenneth. Dex-Net MM: Deep Grasping for Surface Decluttering with a Low-Precision Mobile Manipulator, 2019.
6. А. Є. Вітюк, Я. І. Корнага, А. О. Барабаш. Захоплення невідомих об’єктів мобільним роботом із використанням візуальної інформації,
Вчені записки Таврійського національного університету імені В. І. Вернадського. Серія : Технічні науки. - 2018. - Т. 29(68), № 1(1). -
С. 93-98
7. D. Yang, T. Tosun, B. Eisner, V. Isler and D. Lee, "Robotic Grasping through Combined Image-Based Grasp Proposal and 3D
Reconstruction," 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021, С. 6350-6356.
8. Xu, Bo & Chen, Zhen & Zhu, Qing & Ge, Xuming & Huang, Shengzhi & Zhang, Yeting & Liu, Tianyang & Wu, Di. Geometrical
Segmentation of Multi-Shape Point Clouds Based on Adaptive Shape Prediction and Hybrid Voting RANSAC. Remote Sensing. 2022.
Рис.5. Залежність відхилення площинності від величини похибки параметрів калібрування
Даний експеримент продемонстрував залежність точності реконструйованої хмари точок від відхилень
внутрішніх та зовнішніх параметрів камер у стереосистемі. Виявлено, що підвищення точності калібрування
камер уможливлює приріст точності тривимірної моделі до 60%.
Висновки
Розглянуто метод оцінки точності моделі об’єкта для задачі стійкого захвату за допомогою комбі-
нованої системи пропозиції захвату та реконструкції тривимірної моделі об’єкта, що дозволяє здійснювати
стійкий захват об’єктів невідомої форми. Метрикою для оцінки точності обрано відхилення моделі від пло-
щини, тому для обробки хмари точок здійснюється ідентифікація площин та сегментація, для яких розгляну-
то алгоритм, що базується на методі RANSAC. Проведено експеримент для отримання залежності точності
реконструйованих площин від похибок параметрів камер. Оцінку впливу похибок калібрування на тривимір-
ну реконструкцію було здійснено шляхом порівняння метрик для окремих площин за різного рівня штучно
внесеної похибки та оцінки впливу величини похибки на ці метрики. Моделювання похибки параметрів калі-
брування камери із заданим рівнем шуму показує, що параметри калібрування погіршуються зі збільшенням
476
Прикладне програмне забезпечення
рівня шуму. Зокрема, проаналізувавши встановлені метрики площинності, було встановлено, що похибка
визначення центру зображення є пропорційною до похибки вимірювання. З цього випливає, що збільшення
похибки сприяє збільшенню похибки оцінки параметрів калібрування. Крім того, параметри орієнтації (по-
ворот та зміщення) є більш комплексними, а тому чутливішим до шуму вимірювань, аніж інші параметри.
Література
1. А.Ю. Дорошенко, Новак О.С. Програмування симулятора жестів методом статистичного моделювання // Проблеми програмуван-
ня.- 2015, №1.- С. 58-64.
2. K. He, X. Zhang, S. Ren and J. Sun,. Deep Residual Learning for Image Recognition, 2016 IEEE Conference on Computer Vision and
Pattern Recognition (CVPR), 2016, С. 770-778, doi: 10.1109/CVPR.2016.90.
3. Sundermeyer, Martin & Mousavian, Arsalan & Triebel, Rudolph & Fox, Dieter. Contact-GraspNet: Efficient 6-DoF Grasp Generation in
Cluttered Scenes, 2021.
4. Zeng, Andy & Song, Shuran & Yu, Kuan-Ting & Donlon, Elliott & Hogan, Francois & Bauza, Maria & Ma, Daolin & Taylor, Orion
& Liu, Melody & Romo Grau, Eudald & Fazeli, Nima & Alet, Ferran & Dafle, Nikhil & Holladay, Rachel & Morena, Isabella & Nair,
Prem & Green, Druck & Taylor, Ian & Liu, Weber & Rodriguez, Alberto. Robotic Pick-and-Place of Novel Objects in Clutter with Multi-
Affordance Grasping and Cross-Domain Image Matching. 1-8, 2018.
5. Staub, Benno & Tanwani, Ajay & Mahler, Jeffrey & Breyer, Michel & Laskey, Michael & Takaoka, Yutaka & Bajracharya, Max &
Siegwart, Roland & Goldberg, Kenneth. Dex-Net MM: Deep Grasping for Surface Decluttering with a Low-Precision Mobile Manipulator,
2019.
6. А. Є. Вітюк, Я. І. Корнага, А. О. Барабаш. Захоплення невідомих об’єктів мобільним роботом із використанням візуальної ін-
формації, Вчені записки Таврійського національного університету імені В. І. Вернадського. Серія : Технічні науки. - 2018. - Т.
29(68), № 1(1). - С. 93-98
7. D. Yang, T. Tosun, B. Eisner, V. Isler and D. Lee, «Robotic Grasping through Combined Image-Based Grasp Proposal and 3D
Reconstruction,» 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021, С. 6350-6356.
8. Xu, Bo & Chen, Zhen & Zhu, Qing & Ge, Xuming & Huang, Shengzhi & Zhang, Yeting & Liu, Tianyang & Wu, Di. Geometrical
Segmentation of Multi-Shape Point Clouds Based on Adaptive Shape Prediction and Hybrid Voting RANSAC. Remote Sensing. 2022.
References
1. Gesture simulator programming using statistical modeling / A.Yu. Doroshenko, O.C. Novak // Problems of programming. — 2015. —
No. 1. — P. 58-64
2. K. He, X. Zhang, S. Ren and J. Sun, «Deep Residual Learning for Image Recognition,» 2016 IEEE Conference on Computer Vision and
Pattern Recognition (CVPR), 2016, pp. 770-778, doi: 10.1109/CVPR.2016.90.
3. Sundermeyer, Martin & Mousavian, Arsalan & Triebel, Rudolph & Fox, Dieter. (2021). Contact-GraspNet: Efficient 6-DoF Grasp
Generation in Cluttered Scenes.
4. Zeng, Andy & Song, Shuran & Yu, Kuan-Ting & Donlon, Elliott & Hogan, Francois & Bauza, Maria & Ma, Daolin & Taylor, Orion &
Liu, Melody & Romo Grau, Eudald & Fazeli, Nima & Alet, Ferran & Dafle, Nikhil & Holladay, Rachel & Morena, Isabella & Nair, Prem
& Green, Druck & Taylor, Ian & Liu, Weber & Rodriguez, Alberto. (2018). Robotic Pick-and-Place of Novel Objects in Clutter with
Multi-Affordance Grasping and Cross-Domain Image Matching. 1-8. 10.1109/ICRA.2018.8461044.
5. Staub, Benno & Tanwani, Ajay & Mahler, Jeffrey & Breyer, Michel & Laskey, Michael & Takaoka, Yutaka & Bajracharya, Max &
Siegwart, Roland & Goldberg, Kenneth. (2019). Dex-Net MM: Deep Grasping for Surface Decluttering with a Low-Precision Mobile
Manipulator. 1373-1379. 10.1109/COASE.2019.8842901.
6. A. E. Vitiuk, Y. I. Kornaga, A. O. Barabash. Capturing unknown objects by a mobile robot using visual information, Scientific notes of
V. I. Vernadskyi Tavra National University. Series: Technical sciences. - 2018. - Vol. 29(68), No. 1(1). - P. 93-98
7. D. Yang, T. Tosun, B. Eisner, V. Isler and D. Lee, «Robotic Grasping through Combined Image-Based Grasp Proposal and 3D
Reconstruction,» 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021, pp. 6350-6356, doi: 10.1109/
ICRA48506.2021.9562046
8. Xu, Bo & Chen, Zhen & Zhu, Qing & Ge, Xuming & Huang, Shengzhi & Zhang, Yeting & Liu, Tianyang & Wu, Di. (2022). Geometrical
Segmentation of Multi-Shape Point Clouds Based on Adaptive Shape Prediction and Hybrid Voting RANSAC. Remote Sensing. 14.
2024. 10.3390/rs14092024.
Одержано 26.08.2022
Про авторів:
Вітюк Альона Євгеніївна,
аспірант НТУУ “КПІ імені Ігоря Сікорського”.
Кількість наукових публікацій в українських виданнях – 2.
https://orcid.org/0000-0002-1445-9598,
Дорошенко Анатолій Юхимович,
доктор фізико-математичних наук, професор, завідувач відділу.
Кількість наукових публікацій в українських виданнях – понад 180.
Кількість наукових публікацій в зарубіжних виданнях – понад 60.
Індекс Хірша – 6.
http://orcid.org/0000-0002-8435-1451,
477
Прикладне програмне забезпечення
Місце роботи авторів:
Національний технічний університет України
«Київський політехнічний інститут імені Ігоря Сікорського»,
проспект Перемоги 37
та Інститут програмних систем НАН України,
03187, м. Київ-187,
проспект Академіка Глушкова, 40.
Тел.: (044) 526 3559.
E-mail: doroshenkoanatoliy2@gmail.com,
alyonavityuk@gmail.com,
Прізвища та ім’я авторів і назва доповіді англійською мовою:
Vitiuk A. Ye., Doroshenko A. Yu.,
Software package for estimation of the stereo camera calibration error
in the computer vision system
Прізвища та ім’я авторів і назва доповіді українською мовою:
Вітюк А. Є., Дорошенко А. Ю.,
Програмний пакет для оцінки похибки калібрування стереокамери
в системі комп’ютерного зору
Контакт для редактора: Вітюк Альона Євгеніївна, асистент
Національного технічного університету України
«Київський політехнічний інститут імені Ігоря Сікорського»,
e-mail: alyonavityuk@gmail.com, тел.: +380 (66) 482 49 91
|