Дослідження систем розпізнавання маркерів доповненої реальності
There are different ways to implement augmented reality. The marker method remains the most reliable and stable. An attempt has been made to determine which of the existing marker systems is better, more accurate, more reliable, and more convenient. A comparison of existing marker systems using visu...
Saved in:
| Date: | 2020 |
|---|---|
| Main Author: | |
| Format: | Article |
| Language: | Ukrainian |
| Published: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2020
|
| Subjects: | |
| Online Access: | https://journal.iasa.kpi.ua/article/view/216148 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | System research and information technologies |
| Download file: |  |
Institution
System research and information technologies| _version_ | 1867334407707164672 |
|---|---|
| author | Bezpalko, Oleksandr S. |
| author_facet | Bezpalko, Oleksandr S. |
| author_institution_txt_mv | [
{
"author": "Oleksandr S. Bezpalko",
"institution": "Кафедра технічної кібернетики Факультету інформатики та обчислювальної техніки Національного технічного університету України \"Київський політехнічний інститут імені Ігоря Сікорського\", Київ"
}
] |
| author_sort | Bezpalko, Oleksandr S. |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2021-01-19T13:44:38Z |
| description | There are different ways to implement augmented reality. The marker method remains the most reliable and stable. An attempt has been made to determine which of the existing marker systems is better, more accurate, more reliable, and more convenient. A comparison of existing marker systems using visual markers encrypted using planar squares was made. The assessment was made based on criteria such as convenience, efficiency, accuracy, and reliability. Techniques used during the experiments: determination of processing time for detection and decoding of the marker, accuracy of determination of special points, recognition of the marker in case of projective distortions, recognition of several markers, recognition with a small area of the marker in the image, recognition in poor image focus. Four marker recognition systems were used for comparison. The evaluation results of both qualitative and quantitative in terms of ease of use, efficiency, accuracy, and reliability of such systems are presented. This provides an analysis of the advantages and disadvantages of various aspects of marker tracking systems. |
| doi_str_mv | 10.20535/SRIT.2308-8893.2020.2.04 |
| first_indexed | 2025-07-17T10:26:51Z |
| format | Article |
| fulltext |
О.С. Безпалько, 2020
Системні дослідження та інформаційні технології, 2020, № 2 55
УДК 004.921
DOI: 10.20535/SRIT.2308-8893.2020.2.04
ДОСЛІДЖЕННЯ СИСТЕМ РОЗПІЗНАВАННЯ МАРКЕРІВ
ДОПОВНЕНОЇ РЕАЛЬНОСТІ
О.С. БЕЗПАЛЬКО
Анотація. Існують різні способи реалізації доповненої реальності. Найнадій-
нішим і найстабільнішим залишається маркерний спосіб. Зроблено спробу
з’ясувати, яка з існуючих маркерних систем краща, точніша, надійніша, зруч-
ніша. Виконано порівняння існуючих маркерних систем, у яких використову-
ються візуальні маркери, що шифруються за допомогою площинних квадратів.
Оцінку проведено на основі таких критеріїв, як зручність, ефективність, точ-
ність та надійність. Методики, які застосовувалися під час експериментів: ви-
значення часу оброблення для виявлення та декодування маркера, точність
визначення особливих точок, розпізнавання маркера у випадку проективних
спотворень, розпізнавання декількох маркерів, розпізнавання з малою ділян-
кою маркера на зображенні, розпізнавання в умовах поганого фокуса зобра-
ження. Для порівняння використано чотири системи розпізнавання маркерів.
Подано результати оцінювання як якісного, так і кількісного щодо зручності
використання, ефективності, точності та надійності таких систем. Це забезпе-
чує аналіз переваг та недоліків різних аспектів систем відстеження маркерів.
Ключові слова: доповнена реальність, маркери, швидкість розпізнавання.
ВСТУП
Мета дослідження — порівняння декількох маркерних систем, у яких ви-
користовуються візуальні маркери, що кодуються площинними квадрата.
У роботі наводяться основні результати роботи, підсумовуються і виклада-
ються передумови для майбутніх досліджень.
Візуальні маркери широко застосовують у додатках доповненої реаль-
ності (augmentedreality, AR) [1–3]. У більшості таких додатків продуктив-
ність системи AR залежить від системи відстеження для виявлення візуаль-
ного маркера та оцінювання розташування. Натепер доступно більше ніж
одна система відстеження на основі маркерів. Таким чином, користувачу
бажано знати, яка система відстеження маркерів, імовірно, найкраща для
конкретної програми AR.
Основні завдання, які були поставлені, полягають у поданні якісних і
кількісних результатів оцінювання для таких властивостей, як зручність,
ефективність, точність та надійність. Для конкретної програми AR існують
різні вимоги до виявлення та відстеження маркерів. Тому метою цієї роботи
є не тестування конкретної існуючої маркерної системи (як це, наприклад,
показано у праці [4]), а намагання проаналізувати силу та слабкість різних
аспектів різних систем відстеження маркерів та надати розробникам додат-
ків AR цю інформацію.
Технологія доповненої реальності (AR) поєднує в собі віртуальний та
реальний світи разом, щоб забезпечити глядачам розширений погляд на
О.С. Безпалько
ISSN 1681–6048 System Research & Information Technologies, 2020, № 2 56
навколишнє середовище. Завдяки прогресу досліджень, пов’язаних з AR,
в останнє десятиліття, разом з прогресом комп’ютерного обладнання та про-
грамного забезпечення, системам AR приділяють дедалі більше уваги в та-
ких галузях, як промисловість, медицина, військова та розважальна сфери
(наприклад, [1, 5]). Типова система AR містить дисплей та відстежувач (тре-
кер) руху з відповідним програмним забезпеченням. Програмне забезпечен-
ня зчитує події відстеження для знаходження положення дисплея і надсилає
віртуальний об’єкт. Щоб візуалізувати правильно, потрібно правильно роз-
межувати віртуальні об’єкти та реальний світ. Це розмежування передбачає,
що положення віртуальної камери, де відбувається доповнення реальності,
відоме стосовно реального світу.
Візуальні маркери широко використовуються в існуючих системах AR,
наприклад, ArToolKit [1], CyberCode [6], ArLoc [7] та ін. Усі вони викорис-
товують системи, засновані на візуальних маркерах, для відстеження руху та
оцінювання позиції. Продуктивність таких систем АР істотно залежить від
продуктивності виявлення, декодування та оцінювання маркерів. Натепер є
декілька систем відстеження маркерів. Залежно від конкретної програми
існують різні функції відстеження та оцінювання. Наприклад, 3D-графічні
об’єкти часто потрібно накладати в хорошому співвідношенні з реальним
світом. Це потребує від трекера забезпечення дуже точного оцінювання по-
зиції. У випадку, коли відображається лише текстова інформація, вимоги до
точності виявлення не такі високі. У простих програмах кількох маркерів
достатньо. У великих промислових програмах можуть бути потрібними сот-
ні або тисячі однозначно кодованих маркерів. Бажано дозволити розробнику
програми AR визначати маркерну систему найбільш доцільну для неї.
Попри те, що існують дослідження щодо відходу від маркерної техно-
логії (наприклад, [8], [9]), точність у цих дослідження є сумнівною, і тому
сьогодні маркерна система залишається найбільш надійною.
У програмах AR найчастіше використовуються маркери зору квадрат-
ної форми імовірно тому, що квадратна форма передбачає щонайменше чо-
тири компланарні точки для можливості калібрування камери з одним мар-
кером на сцені. Круговий маркер, навпаки, може надати лише одну точкову
відповідність, тобто центр, якщо тільки не використовується саме коло. Як-
що використовується центр, щонайменше три кругові маркери з відомими
тривимірними положеннями мають бути виконані в одному зображенні для
оцінювання позиції відносно камери [10]. У цій роботі оцінна робота зосе-
реджена на системах відстеження маркерів плоских візуальних маркерів
квадратної форми. Системи відстеження маркерів, які використовуються в
цьому порівняльному дослідженні:
1. ArToolKit (ATK) [11];
2. Institut Graphische Datenverarbeitung (IGD) [12];
3. Siemens Corporate Research (SCR);
4. Hoffman Marker System (HOM), яка використовується SCR і Frama-
tome ANP.
Ці маркерні системи вибрано тільки тому, що теорія фактично викори-
стовується в додатках AR і доступна для аналізу. Крім того, усі ці системи
маркерів дозволяють користувачам створювати декілька кодів і надто схожі
та порівнянні між собою у багатьох аспектах. Поки не вдалося протестувати
Дослідження систем розпізнавання маркерів доповненої реальності
Системні дослідження та інформаційні технології, 2020, № 2 57
всі існуючі системи для цієї оцінки, тому використовується репрезентатив-
ний набір систем на основі маркерів.
Оцінювалися системи відстеження маркерів за такими властивостями,
як зручність, ефективність, точність та надійність. Ці чотири основні влас-
тивості описують ефективність, переваги та недоліки цих систем відстежен-
ня маркерів. Зручність системи полягає в тому, чи легко користувачам інтег-
рувати систему в свої програми AR, враховується сумісність системи
з іншими комп’ютерними платформами, що працюють у системах. Зруч-
ність можна порівняти лише якісно. Ефективність системи відстеження мар-
керів можна оцінити, обчисливши ефективність часу відстеження. Цю влас-
тивість можна оцінити за необхідним часом роботи для виявлення та
декодування маркерів або частотою кадрів під час відстеження руху марке-
рів у відеороликах у режимі реального часу. Точність визначається щодо
помилок у вилученні функцій із 2D-зображень. Не враховувалися похибки
в оцінці позиції або проекції назад, оскільки вони залежать від внутрішніх
параметрів камери та алгоритмів калібрування. Незважаючи на те, що тех-
нології мають відмінності, використовувався відхід, відповідно до якого
оцінка проводилась за спільними ознаками функціонування і на основі яких
обчислювалися середні похибки та стандартні відхилення відповідних
функцій. Надійність описує можливість системи виявляти та відслідковува-
ти маркер у неідеальних умовах. Наприклад, виявлення маркерів у відео,
знятих погано сфокусованою камерою або з великим проективним викрив-
ленням. Також оцінюється здатність системи виявляти та правильно декоду-
вати маркери в малих регіонах, які нас цікавлять.
У роботі наведено чотири маркерні системи виявлення та декодування,
подано кількісні результати порівняльних досліджень з подальшим якісним
оцінюванням зручності використання та масштабованості цих систем, а та-
кож підбито підсумки та надано деякі підказки щодо вибору системи від-
стеження маркерів на основі додатків. Маркери ATK поставляються
з ArToolKit.
МАРКЕРНІ СИСТЕМИ
Маркер ATK показано на рис. 1. Маркер кодується із зображенням усереди-
ні внутрішнього квадрата маркера. Розшифру-
вання маркера ґрунтується на дуже спрощеному
алгоритмі відповідності шаблону, який порів-
нює три інваріанти геометрії маркерової ділянки
з тими шаблонами, які попередньо зареєстровані
в системі.
Вихідні коди ArToolKit як для Unix, так і
для систем Windows доступні в Інтернеті безкоштовно [11] разом з докумен-
тами, зразковими програмами та іншими утилітами для калібрування каме-
ри, накладання віртуальних об’єктів тощо. Виявлено, що пакет ATK добре
задокументований і дуже простий у використанні. Система маркерів ATK
широко використовується для прототипування додатків AR [1].
Система маркування HOM (рис. 2) була спочатку розроблена К. Хома-
ном у 1994 р. у компанії Siemens AG для фотограмметрії. Пізніше ця систе-
Рис. 1. Маркер для ArToolKit
О.С. Безпалько
ISSN 1681–6048 System Research & Information Technologies, 2020, № 2 58
ма використовувалася у промисловій документації та технічному обслуго-
вуванні. Окрім головної площі, є бічна смужка, яка забезпечує 6 біт коду-
вання для підвищення надійності розпізнавання маркера. Ця маркерна сис-
тема використовувалася для 3D реконструкції та AR документації на основі
зображень високої роздільної здатності (наприклад, 3000 × 2000 пікселів).
Ці маркери використовували Siemens і Framatome ANP для калібрування
камери та реконструкції в багатьох електростанцій, хімічних заводів та наф-
тових платформ.
Рис. 2. Зразки маркерів, розроблені компанією Siemens AG (HOM)
В оригінальній версії системи HOM є лише виконуваний файл для об-
роблення статичних зображень. Siemens Corporate Research (SCR) розробили
бібліотеку програмного забезпечення, яка може бути використана для
оброблення послідовностей відео в режимі реального часу.
Систему маркерів IGD реалізовано в IGD, який є партнером ARVIKA [12].
ARVIKA — це дослідницький проект, який підтримує уряд Німеччини
з розроблення програм, пов’язаних з AR. Багато програм, пов’язаних
з ARVIKA, розроблено за допомогою системи маркерів IGD. На рис. 3 пока-
зано два маркери IGD. Маркер IGD — це квадрат, розділений на 6×6 квадрат-
них плиток однакового розміру. Внутрішня плитка розміром 4×4 використо-
вується для визначення орієнтації та коду маркера. Попередньо складені
бібліотеки системи маркерів IGD доступні для учасників ARVIKA.
Рис. 3. Маркери, розроблені в IGD
Систему маркерів SCR розроблено в корпорації Siemens Corporate Research
(SCR) для локалізації та відстеження [5] у різних додатках AR (рис. 4) [4].
Рис. 4. Зразки маркерів, розроблені компанією SCR
Ця система використовується деякими партнерами ARVIKA. Маркери
SCR кодуються із внутрішньою матрицею. Кожен маркер SCR пропонує
вісім відповідних точок функції.
ДОСЛІДЖЕННЯ
Умови проведення експериментів
Параметри комп’ютера:
процесор — Intel(R) Core(TM) i7-9700K CPU @ 3.60GHz;
Дослідження систем розпізнавання маркерів доповненої реальності
Системні дослідження та інформаційні технології, 2020, № 2 59
оперативна пам’ять — 32 ГБ;
тип системи — Windows 10 Pro.
Параметри камери:
розширення матриці — 12 Мп + 12 Мп;
діафрагма — f/1.8 + f/2.4;
запис відео — Full HD (1920×1080);
оптична стабілізація — наявна;
кількість осей стабілізації — 4;
фокусування — фазова (PDAF);
друга камера — 5 Мп, f/2.0.
Відео. Оцінювання проводилось шляхом оброблення відеопослідов-
ностей на сотню кадрів. Усі послідовності відео в одному наборі для порів-
няння записуються в абсолютно однакових умовах. Процедура знімання на-
бору відеопослідовностей для порівняння:
1. Зачиняється вікно, умикається світло в кімнаті, камера фіксується на
штативі.
2. Маркери закріплюються на тлі, призначеному для оцінювання.
3. Зберігається відеопослідовність певної довжини з певною
швидкістю, наприклад, 45 с за 10 кадрів/с.
4. Під час відеознімання здійснюється повільний рух камери для
розрізнення зображень від кадру до кадру.
5. Маркери замінюються на одному й тому ж тлі, відео знімається
однакової довжини з однаковою швидкістю для всіх наборів маркерів.
6. Використовується відеоредактор: вирізаються перші 30–80 кадрів
кожної послідовності відео для збереження решти відеокадрів стабільної
інтенсивності від першого до останнього. Усі маркери друкуються на папері
однакового розміру.
Визначення часу оброблення для виявлення та декодування маркера
Середній час для відстеження маркера, який включає необхідне оброблення
зображення, виявлення та декодування маркерів, визначення особливих
функцій усіх розпізнаних маркерів, наведено в табл. 1, у якій розмір відео-
зображення у пікселях; ROM (region of marker) /MPF (number of markers
perframe) — ділянка маркерів (найменша прямокутна ділянка, яка містить
усі маркери на зображенні) та кількість маркерів на кадр.
Т а б л и ц я 1 . Середній час оброблення для розпізнавання маркера (мс/кадр)
Розширення ROM/MPF ATK HOM IGD SCR ScrT
68 × 68/1 4,0 5,0 6,0 11,4 3,6
60 × 70/1 4,1 4,8 6,5 12,0 3,0
190 × 150/3 7,0 10,1 — 15,0 —
2160 × 1080
256 × 206/10 24,0 35,3 — 20,0 —
Для кожної системи, крім HOM, визначався маркер 20 разів для кожно-
го кадру. Час оброблення осереднюється під час оброблення відеопослідов-
ностей на сотню кадрів. Навіть за допомогою DidierStriker в IGD не вдалося
виявити кілька маркерів на одному зображенні за допомогою системи IGD.
Тому відповідні комірки табл. 1 не заповнені для маркерів IGD.
О.С. Безпалько
ISSN 1681–6048 System Research & Information Technologies, 2020, № 2 60
Як бачимо з табл. 1, вищі показники часу роботи для виявлення та де-
кодування одного маркера отримує ATK. Час оброблення як систем ATK,
так і HOM-маркерів дуже залежить від кількості маркерів на зображенні.
Система SCR працює найгірше. Однак вона менше залежить від кількості
маркерів.
Показник ScrT — час оброблення з увімкненою функцією відстеження
маркерної системи SCR. Якщо функцію відстеження ввімкнено, система ма-
ркерів відстежує один маркер на основі особливостей маркера, витягнутих
з попереднього зображення. Продуктивність цієї системи в цьому випадку
різко зростає. Поточні версії інших систем не мають подібних механізмів.
Точність визначення особливих точок
Оскільки маркерні системи різні і алгоритми визначення також різні, можна
порівняти лише за спільними особливостями цих алгоритмів, а саме, кути,
вилучені за допомогою чітко встановленого алгоритму виявлення кутів. Під
час оцінювання кути виявляються за допомогою бібліотеки OpenCV (OCV)
[13] для обчислення відповідності. Перший критерій, який використовується
для оцінювання, отримується таким чином:
використовуються крайові точки, виявлені навколо кожного кута
маркера, для розміщення двох прямих у цій невеликій ділянці;
обчислюється перетин двох прямих як точки для порівняння.
Причиною для введення другого критерію для порівняння є те, що про-
цес виявлення ребер найменшої квадратної лінії та перетину (LIT, line of
intersection) може діяти як фільтр для усунення деяких шумів зображення та
отримання кращих точок функції.
Усі відео, що використовуються в цьому оцінюванні, мають розширен-
ня 2160 × 1080 з високим фокусом та одним маркером розміром 70×70 пік-
селів, що міститься в центрі зображень. При цьому вплив радіального ви-
кривлення зводиться до мінімуму. Таким чином, справжні точки
характеристики повинні бути дуже близькими до точок LIT або OCV. Се-
редня відстань та стандартне відхилення наведено в табл. 2. Кут — кут
огляду камери.
Т а б л и ц я 2 . Похибки, пов’язані з точками LIT (середня відстань) / (ста-
ндартне відхилення) (у пікселах)
Кут, º ATK HOM IGD SCR
90 1,42/0,56 0,97/0,47 0,85/0,30 0,47/0,26
75 1,42/0,50 0,85/0,44 0,85/0,31 0,59/0,35
60 1,28/0,44 0,88/0,35 0,83/0,32 0,60/0,33
45 1,60/0,44 0,93/0,47 0,98/0,43 0,63/0,40
30 1,26/0,39 0,91/0,36 0,95/0,39 0,62/0,31
Середнє
значення
1,40/0,46 0,91/0,42 0,89/0,35 0,58/0,33
Результати визначення похибок, пов’язаних з точками OCV, середня
відстань і стандартне відхилення наведено в табл. 3.
Дослідження систем розпізнавання маркерів доповненої реальності
Системні дослідження та інформаційні технології, 2020, № 2 61
Т а б л и ц я 3 . Похибки, пов’язані з точками OCV (середня відстань) /
(стандартне відхилення) (у пікселах)
Кут, º ATK HOM IGD SCR
90 1,54/0,31 1,23/0,15 0,16/0,09 0,59/0,41
75 1,44/0,07 1,11/0,04 0,21/0,10 0,58/0,08
60 1,41/0,11 1,16/0,04 0,37/0,13 0,77/0,23
45 1,51/0,22 1,06/0,14 0,40/0,12 0,54/0,13
30 1,24/0,19 1,16/0,06 0,45/0,25 0,72/0,18
Середнє
значення
1,43/0,18 1,14/0,09 0,32/0,14 0,64/0,15
З обох порівнянь з результатами LIT та OCV спостерігаємо, що похиб-
ка вилучення функцій вища для системи ATK. Причина полягає в тому, що
система ATK безпосередньо витягує функції з двійкових зображень. Цей
метод економить обчислювально-електронні ресурси, але залишає більшу
похибку з вилученням функції. Решта систем маркерів з цим дослідженням
упорались досить добре, якщо порівнювати результати LIT та OCV.
Розпізнавання маркера
Розпізнаваність маркера оцінює здатність системи маркерів надійно виявля-
ти і декодувати маркер у різних недружніх умовах. У цій роботі перевіря-
ються розпізнавання невеликої ділянки з маркером (ROM), швидкість розпі-
знавання маркера у випадку проективних спотворень та швидкість
розпізнавання маркерів із відео, записаного не добре сфокусованими каме-
рами.
Розпізнавання у випадку проективних спотворень. Рівень проектив-
них спотворень подано кутами огляду 90º – 15º. Результати порівняння на-
ведено в табл. 4. Ті ж відео були використані для оцінювання точності вилу-
чення ознак маркерних систем.
Т а б л и ц я 4 . Розпізнавання маркера у випадку проективних спотворень (%)
Кут, º ATK HOM IGD SCR
90 100 100 100 100
75 100 100 100 100
60 100 100 100 100
45 100 100 100 97
30 100 100 100 94
15
70/( cf ≥ 0,50)
17/( cf ≥ 0,67)
9/( cf ≥ 0,75)
100 0 8
Система ATK пов’язує кожен вилучений маркер зі значенням степеня
довіри cf (сonfidence) до розпізнавання для декодування маркера. Якщо
50,0cf , система ATK вважає маркер розпізнаваним. У системі HOM по-
рядок розпізнавання маркерів оцінюється за допомогою 7 рівнів, позначених
від 0 до 6, причому 0 є найвищим, а 6 – найнижчим. Коли значення степеня
довіри близьке до 1, маркер розпізнається з дуже високою вірогідністю.
Тільки коли маркер виявляється та декодується з високою вірогідністю, сис-
О.С. Безпалько
ISSN 1681–6048 System Research & Information Technologies, 2020, № 2 62
тема SCR вважає маркер розпізнаваним, інакше нічого не повідомлятиметь-
ся. Ця функція знижує помилкове розпізнавання, але може призвести до
відносно нижчого показника розпізнавання.
Розпізнавання відео з декількома маркерами. Показник розпізнаван-
ня маркерів для відео, на якому знято кілька маркерів, наведено в табл. 5.
Т а б л и ц я 5 . Розпізнавання маркера за їх великої кількості (%)
Розширення ROM/MPF ATK/cf HOM SCR
(516 × 416) / 10
89/(cf ≥ 0,50)
60/( cf ≥ 0,67)
47/( cf ≥ 0,75)
100 82
2160 × 1080
(260 × 220) / 10
82/( cf ≥ 0,50)
39/( cf ≥ 0,67)
30/( cf ≥ 0,75)
100 71
Зареєстровано 21 маркер до системи ATK для перевірки здатності сис-
теми розрізняти маркери, які мають схожі зразки. Виявлено деякі проблеми
з розпізнаванням маркерів. Наприклад, маркер із зображенням числа «3»
розпізнається як маркер із зображенням «2» з високим значенням степеня
довіри (cf = 0,85) системою ATK.
Розпізнавання з малою ділянкою маркера на зображенні. Оцінимо
продуктивність цих систем, коли розмір зображення (піксела) маркера неве-
ликий. Під час записування відео змінюємо лише масштабування камери
так, щоб маркер спочатку був великим, а потім плавно зменшуємо його до
дуже малого розміру. Зберігаємо всі інші фактори, такі як глибина від каме-
ри до маркера та фізичний розмір маркерів, які впливають на розмір зобра-
ження маркера (у пікселах), який не змінюється. Високошвидкісна функція
автофокусування тримає камеру добре сфокусованою від початку до кінця.
Результати показують, що система ATK показала найкращі результати
в цьому експерименті. Він може виявити і декодувати маркер розміром
1414 пікселів з 240320 пікселів. Цей показник для HOM становить
2119 , для SCR 2121 і для IGD 4444 .
Розпізнавання з поганим фокусом. Спочатку вручну налаштовується
фокус камери до найкращого рівня, а потім записується відео для кожної
системи маркерів. Далі погіршуємо фокусування камери приблизно на 20%
кожен крок, щоб вивести його із фокуса. Результати розпізнавання маркерів
наведено в табл. 6. Інтригує, що значення рівня довіри (cf), надане системою
ATK для найгіршого сфокусованого відео, вище, ніж у деяких із краще сфо-
кусованим відео. Це свідчить про те, що значення рівня довіри, отримане
системою ATK, може бути не надто надійним.
Т а б л и ц я 6 . Розпізнавання з погіршеним фокусом (%)
Фокус ATK HOM IGD SCR
Ідеальний 100 (cf = 0,78) 100 100 100
Гарний 100 (cf = 0,82) 100 100 100
Поганий 100 (cf = 0,63) 100 28 97
Гірший 100 (cf = 0,55) 0 12 0
Найгірший 100 (cf = 0,73) 0 0 0
Дослідження систем розпізнавання маркерів доповненої реальності
Системні дослідження та інформаційні технології, 2020, № 2 63
ДИСКУСІЯ ТА ПІДСУМКИ
Система маркерів ATK сумісна з більшістю комп’ютерних систем. Маркер
АТК добре документований і простий у використанні. Виявлення та декоду-
вання маркерів ATK швидке і стабільне. Він мав найкращі результати в де-
кількох аспектах, таких як швидкість оброблення одного маркера та розпізна-
вання невеликою ділянкою, у тестах, наведених у цій роботі. Придатний для
складання прототипів і широко застосовується в різних програмах AR. Про-
те для додатків, які потребують сотень чи тисяч різних маркерів, таких як
обслуговування та локалізація у великих промислових умовах або інших
будівлях, досить затратно реєструвати кожен маркер, а потім змінювати ре-
єстрацію маркера вручну, як цього вимагає система. Система ATK викорис-
товує дуже спрощений алгоритм відстеження шаблонів для декодування ма-
ркера. Алгоритм порівнює кілька інваріантів маркера, виявленого на
зображенні, із шаблонами, зареєстрованими в системі. Перевага такого під-
ходу — висока швидкість оброблення. Утім таке спрощення також зумов-
лює проблеми з розпізнавання помилкових маркерів. Для усунення пробле-
ми помилкового розпізнавання потрібен жорсткий алгоритм відповідності
шаблонів, який може бути затратним для обчислень, особливо за великої
кількості попередньо зареєстрованих маркерів. Система ATK безпосередньо
використовує двійкове зображення, яке створює маркерне виявлення для
вилучення точок зображення. Оскільки положення ребер маркера залежать
від порога бінарного зображення, це може спричинити системні похибки в
точності вилучених точок функції.
Система маркування HOM працює в багатьох аспектах. Маркер розроб-
лено із систематичним кодуванням, як і маркери IGD і SCR. Крім того, на
кожному маркері є додаткова візуальна структура, що підвищує надійність
декодування. Привабливою особливістю, що надається системою маркуван-
ня HOM, є те, що вона забезпечує 7 рівнів довіри (від 0 до 6), що вказують
на достовірність результатів виявлення та декодування маркера для кожного
виявленого маркера. Коли рівень довіри становить менше ніж 2, маркер
розпізнається з високою надійністю. Якщо рівень конфіденційності стано-
вить більше за 5, результати декодування маркера зазвичай не є надто на-
дійними. Із проведеного тестування та реального застосування в галузях ба-
чимо, що рівень довіри HOM надійний і відповідає якості зображення
маркерів. Це дуже відрізняється від того, що спостерігалося для рівня довіри
системи ATK, який не є настільки надійним та послідовним у деяких ви-
падках.
Система маркерів SCR надто повільна для виявлення та вилучення особ-
ливостей на одному кадрі. Однак вона використовує інформацію про тимча-
сове відстеження для швидшого виконання на відміну від інших систем, і
продуктивність знижується мінімально, у випадку коли кількість маркерів
на кадр збільшується. Добре працює в інших аспектах, таких як точність
вилучення точок функції та надійність виявлення і декодування. Систе-
матичне кодування не потребує жодної попередньої реєстрації на викорис-
тання маркерів SCR. Це стосується і маркерів HOM та IGD. Із матрицею ко-
дування 4 × 4 може бути більше 10 000 унікальних кодів. Кожен маркер SCR
пропонує 8 характеристичних точок для оцінювання пози, що забезпечує
кращу оцінку позицій.
О.С. Безпалько
ISSN 1681–6048 System Research & Information Technologies, 2020, № 2 64
Систему маркерів IGD широко використовують у багатьох проектах
ARVIKA. Як і маркери HOM і SCR, маркери IGD також систематично ко-
дуються. Вилучення функції маркера є точним, а швидкість оброблення —
прийнятною. Незважаючи на те, що не вдалося виявити кілька маркерів з
одного і того ж зображення за допомогою цієї системи, проте подібний фун-
кціонал міг бути реалізований, але не знайдений через недостатній досвід
роботи із системою IGD.
ВИСНОВКИ
Візуальні маркери широко використовуються в існуючих додатках доповне-
ної реальності (AR). У цій роботі порівнювались системи ATK ARtoolkit,
IGD, HOM та SCR. Подано результати оцінки як якісно, так і кількісно щодо
зручності використання, ефективності, точності та надійності цих систем.
Це забезпечує аналіз переваг та недоліків різних аспектів систем відстежен-
ня маркерів. Для конкретної програми AR є різні вимоги до виявлення та
відстеження маркерів. Результати оцінювання, продемонстровані в цій ро-
боті, можуть спрямовувати читачів на вибір правильної системи відстежен-
ня маркерів для їх конкретного застосування. Оцінка маркерних систем зі
спотвореннями камер за різних умов освітлення та зі складними множинни-
ми конфігураціями маркерів у 3D-просторі ще не проводились, що може
бути підґрунтям для майбутніх досліджень.
ЛІТЕРАТУРА
1. Y. Ham and M. Golparvar-Fard, “EPAR: Energy Performance Augmented Reality
models for identification of building energy performance deviations between actual
measurements and simulation results”, Energy and Buildings, vol. 63, pp. 15–28,
2013.
2. J. Scholz and K. Duffy, “We ARe at home: How augmented reality reshapes mobile
marketing and consumer-brand relationships”, Journal of Retailing and Consumer
Services, vol. 44, pp. 11–23, 2018.
3. S.M. C. Loureiro, J. Guerreiro and F. Ali, “20 years of research on virtual reality and
augmented reality in tourism context: A text-mining approach”, Tourism Manage-
ment, vol. 77, pp. 104028, 2020.
4. P.V. Esch, D. Arli, M. H. Gheshlaghi, V. Andonopoulos, T. V. D. Heidt, and
G. Northey, "Anthropomorphism and augmented reality in the retail environment",
Journal of Retailing and Consumer Services, vol. 49, pp. 35–42, 2019.
5. C. Goebert and G. P. Greenhalgh, “A new reality: Fan perceptions of augmented re-
ality readiness in sport marketing”, Computers in Human Behavior, vol. 106,
pp. 106231, 2020.
6. T. Liao, “Future directions for mobile augmented reality research: Understanding re-
lationships between augmented reality user’s nonusers content devices and indus-
try”, Mobile Media & Communication, vol. 7, no. 1, pp. 131–149, 2018.
7. M. S. Sidhu, “Evaluation Study Outcome of Augmented Reality Technology for
Solving Engineering Problems in UNITEN”, International Journal of Information
and Communication Technology Education, vol. 15, no. 2, pp. 69–84, 2019.
8. Y. Zhang, D. Guo, D. Yao, and P. Xu, “The extension of multivariate synchroniza-
tion index method for ssvep-based bci”, Neurocomputing, vol. 269, pp. 226–231,
2017.
Дослідження систем розпізнавання маркерів доповненої реальності
Системні дослідження та інформаційні технології, 2020, № 2 65
9. S. Kishore et al., “Comparison of ssvepbci and eye tracking for controlling a human-
oid robot in a social environment”, Presence-Teleoper. Virtual Env., vol. 23, no. 3,
pp. 242–252, 2014.
10. P. Achlioptas, O. Diamanti, I. Mitliagkas, and L. J. Guibas, “Learning representa-
tions and generative models for 3d point clouds”, in Proceedings of the 35th Interna-
tional Conference on Machine Learning ICML 2018, pp. 40–49,2018.
11. ArToolKit [Online]. Available: http://www.hitl.washington.edu/artoolkit/ (accessed
on: 10.05.2020).
12. ARVIKA [Online]. Available: http://www.arvika.de/www/index.htm (accessed on:
05.05.2020).
13. Open source computer vision library [Online]. Available: http://www.intel.com/
research/mrl/research/opencv/ (accessed on: 07.05.2020).
Надійшла 21.06.2020
INFORMATION ON THE ARTICLE
O.S. Bezpalko, ORCID: 0000-0001-7595-6179, National Technical University of Ukraine
“Igor Sikorsky Kyiv Polytechnic Institute”, Ukraine, e-mail: bos0x0mail@gmail.com.
RESEARCH OF AUGMENTED REALITY MARKER RECOGNITION SYSTEMS / O.S. Bez-
palko
Abstract. There are different ways to implement augmented reality. The marker
method remains the most reliable and stable. An attempt has been made to determine
which of the existing marker systems is better, more accurate, more reliable, and
more convenient. A comparison of existing marker systems using visual markers en-
crypted using planar squares was made. The assessment was made based on criteria
such as convenience, efficiency, accuracy, and reliability. Techniques used during
the experiments: determination of processing time for detection and decoding of the
marker, accuracy of determination of special points, recognition of the marker in
case of projective distortions, recognition of several markers, recognition with a
small area of the marker in the image, recognition in poor image focus. Four marker
recognition systems were used for comparison. The evaluation results of both quali-
tative and quantitative in terms of ease of use, efficiency, accuracy, and reliability of
such systems are presented. This provides an analysis of the advantages and disad-
vantages of various aspects of marker tracking systems.
Keywords: augmented reality, markers, recognition speed.
ИССЛЕДОВАНИЕ СИСТЕМ РАСПОЗНАВАНИЯ МАРКЕРОВ ДОПОЛНЕННОЙ
РЕАЛЬНОСТИ / А.С. Беспалько
Аннотация. Существуют различные способы реализации дополненной реаль-
ности. Наиболее надежным и стабильным остается маркерный способ. В рабо-
те выяснено какая с маркерных систем лучшая, точнее, надежнее, удобнее.
Выполнено сравнение существующих маркерных систем, в которых исполь-
зуются визуальные маркеры, шифруются с помощью плоскостных квадратов.
Оценку проведено на основе таких критериев, как удобство, эффективность,
точность и надежность. Методики, которые применялись во время экспери-
ментов: определение времени обработки для выявления и декодирования мар-
кера, точность определения особых точек, распознавание маркера при проек-
тивных искажениях, распознавание нескольких маркеров, распознавания
с малой областью маркера на изображении, распознавания в условиях плохого
фокуса изображения. Для сравнения использованы четыре системы распозна-
вания маркеров. Были представлены результаты оценки как качественно, так и
количественно с точки зрения удобства использования, эффективности, точно-
сти и надежности этих систем. Это обеспечивает анализ преимуществ и недос-
татков различных аспектов систем отслеживания маркеров.
Ключевые слова: дополненная реальность, маркеры, скорость распознавания.
О.С. Безпалько
ISSN 1681–6048 System Research & Information Technologies, 2020, № 2 66
REFERENCES
1. Y. Ham and M. Golparvar-Fard, “EPAR: Energy Performance Augmented Reality mod-
els for identification of building energy performance deviations between actual meas-
urements and simulation results”, Energy and Buildings, vol. 63, pp. 15–28, 2013.
2. J. Scholz and K. Duffy, “We ARe at home: How augmented reality reshapes mobile mar-
keting and consumer-brand relationships”, Journal of Retailing and Consumer Services,
vol. 44, pp. 11–23, 2018.
3. S.M.C. Loureiro, J. Guerreiro and F. Ali, “20 years of research on virtual reality and
augmented reality in tourism context: A text-mining approach”, Tourism Management,
vol. 77, pp. 104028, 2020.
4. P.V. Esch, D. Arli, M.H. Gheshlaghi, V. Andonopoulos, T.V.D. Heidt, and G. Northey,
“Anthropomorphism and augmented reality in the retail environment”, Journal of Retail-
ing and Consumer Services, vol. 49, pp. 35–42, 2019.
5. C. Goebert and G.P. Greenhalgh, “A new reality: Fan perceptions of augmented reality
readiness in sport marketing”, Computers in Human Behavior, vol. 106, pp. 106231,
2020.
6. T. Liao, “Future directions for mobile augmented reality research: Understanding rela-
tionships between augmented reality user’s nonusers content devices and industry”, Mo-
bile Media & Communication, vol. 7, no. 1, pp. 131–149, 2018.
7. M.S. Sidhu, “Evaluation Study Outcome of Augmented Reality Technology for Solving
Engineering Problems in UNITEN”, International Journal of Information and Communi-
cation Technology Education, vol. 15, no. 2, pp. 69–84, 2019.
8. Y. Zhang, D. Guo, D. Yao, and P. Xu, “The extension of multivariate synchronization
index method for ssvep-based bci”, Neurocomputing, vol. 269, pp. 226–231, 2017.
9. S. Kishore et al., “Comparison of ssvepbci and eye tracking for controlling a humanoid
robot in a social environment”, Presence-Teleoper. Virtual Env., vol. 23, no. 3,
pp. 242–252, 2014.
10. P. Achlioptas, O. Diamanti, I. Mitliagkas, and L. J. Guibas, “Learning representations
and generative models for 3d point clouds”, in Proceedings of the 35th International
Conference on Machine Learning ICML 2018, pp. 40–49, 2018.
11. ArToolKit [Online]. Available: http://www.hitl.washington.edu/artoolkit/ (accessed on:
10.05.2020).
12. ARVIKA [Online]. Available: http://www.arvika.de/www/index.htm (accessed on:
05.05.2020).
13. Open source computer vision library [Online]. Available: http://www.intel.com/
research/mrl/research/opencv/ (accessed on: 07.05.2020).
|
| id | journaliasakpiua-article-216148 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Ukrainian |
| last_indexed | 2025-07-17T10:26:51Z |
| publishDate | 2020 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/9c/61971d100c342573f91a70afd495eb9c.pdf |
| spelling | journaliasakpiua-article-2161482021-01-19T13:44:38Z Research of augmented reality marker recognition systems Исследование систем распознавания маркеров дополненной реальности Дослідження систем розпізнавання маркерів доповненої реальності Bezpalko, Oleksandr S. дополненная реальность маркеры скорость распознавания доповнена реальність маркери швидкість розпізнавання augmented reality markers recognition speed There are different ways to implement augmented reality. The marker method remains the most reliable and stable. An attempt has been made to determine which of the existing marker systems is better, more accurate, more reliable, and more convenient. A comparison of existing marker systems using visual markers encrypted using planar squares was made. The assessment was made based on criteria such as convenience, efficiency, accuracy, and reliability. Techniques used during the experiments: determination of processing time for detection and decoding of the marker, accuracy of determination of special points, recognition of the marker in case of projective distortions, recognition of several markers, recognition with a small area of the marker in the image, recognition in poor image focus. Four marker recognition systems were used for comparison. The evaluation results of both qualitative and quantitative in terms of ease of use, efficiency, accuracy, and reliability of such systems are presented. This provides an analysis of the advantages and disadvantages of various aspects of marker tracking systems. Существуют различные способы реализации дополненной реальности. Наиболее надежным и стабильным остается маркерный способ. В работе выяснено какая с маркерных систем лучшая, точнее, надежнее, удобнее. Выполнено сравнение существующих маркерных систем, в которых используются визуальные маркеры, шифруются с помощью плоскостных квадратов. Оценку проведено на основе таких критериев, как удобство, эффективность, точность и надежность. Методики, которые применялись во время экспериментов: определение времени обработки для выявления и декодирования маркера, точность определения особых точек, распознавание маркера при проективных искажениях, распознавание нескольких маркеров, распознавания с малой областью маркера на изображении, распознавания в условиях плохого фокуса изображения. Для сравнения использованы четыре системы распознавания маркеров. Были представлены результаты оценки как качественно, так и количественно с точки зрения удобства использования, эффективности, точности и надежности этих систем. Это обеспечивает анализ преимуществ и недостатков различных аспектов систем отслеживания маркеров. Існують різні способи реалізації доповненої реальності. Найнадійнішим і найстабільнішим залишається маркерний спосіб. Зроблено спробу з’ясувати, яка з існуючих маркерних систем краща, точніша, надійніша, зручніша. Виконано порівняння існуючих маркерних систем, у яких використовуються візуальні маркери, що шифруються за допомогою площинних квадратів. Оцінку проведено на основі таких критеріїв, як зручність, ефективність, точність та надійність. Методики, які застосовувалися під час експериментів: визначення часу оброблення для виявлення та декодування маркера, точність визначення особливих точок, розпізнавання маркера у випадку проективних спотворень, розпізнавання декількох маркерів, розпізнавання з малою ділянкою маркера на зображенні, розпізнавання в умовах поганого фокуса зображення. Для порівняння використано чотири системи розпізнавання маркерів. Подано результати оцінювання як якісного, так і кількісного щодо зручності використання, ефективності, точності та надійності таких систем. Це забезпечує аналіз переваг та недоліків різних аспектів систем відстеження маркерів. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2020-09-25 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/216148 10.20535/SRIT.2308-8893.2020.2.04 System research and information technologies; No. 2 (2020); 55-66 Системные исследования и информационные технологии; № 2 (2020); 55-66 Системні дослідження та інформаційні технології; № 2 (2020); 55-66 2308-8893 1681-6048 uk https://journal.iasa.kpi.ua/article/view/216148/219288 Copyright (c) 2021 System research and information technologies |
| spellingShingle | доповнена реальність маркери швидкість розпізнавання Bezpalko, Oleksandr S. Дослідження систем розпізнавання маркерів доповненої реальності |
| title | Дослідження систем розпізнавання маркерів доповненої реальності |
| title_alt | Research of augmented reality marker recognition systems Исследование систем распознавания маркеров дополненной реальности |
| title_full | Дослідження систем розпізнавання маркерів доповненої реальності |
| title_fullStr | Дослідження систем розпізнавання маркерів доповненої реальності |
| title_full_unstemmed | Дослідження систем розпізнавання маркерів доповненої реальності |
| title_short | Дослідження систем розпізнавання маркерів доповненої реальності |
| title_sort | дослідження систем розпізнавання маркерів доповненої реальності |
| topic | доповнена реальність маркери швидкість розпізнавання |
| topic_facet | дополненная реальность маркеры скорость распознавания доповнена реальність маркери швидкість розпізнавання augmented reality markers recognition speed |
| url | https://journal.iasa.kpi.ua/article/view/216148 |
| work_keys_str_mv | AT bezpalkooleksandrs researchofaugmentedrealitymarkerrecognitionsystems AT bezpalkooleksandrs issledovaniesistemraspoznavaniâmarkerovdopolnennojrealʹnosti AT bezpalkooleksandrs doslídžennâsistemrozpíznavannâmarkerívdopovnenoírealʹností |