Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності
Unlike a purely virtual world, it is much more difficult for the user to believe in the reality of augmented reality objects. Due to the lack of proper lighting or shadows, the object may appear to be floating in the air, detached from the real objects around it. One obvious problem with augmented r...
Збережено в:
| Дата: | 2020 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2020
|
| Теми: | |
| Онлайн доступ: | https://journal.iasa.kpi.ua/article/view/228535 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | System research and information technologies |
| Завантажити файл: |  |
Репозитарії
System research and information technologies| _version_ | 1866302722559442944 |
|---|---|
| author | Bezpalko, Oleksandr |
| author_facet | Bezpalko, Oleksandr |
| author_sort | Bezpalko, Oleksandr |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2021-04-08T14:17:06Z |
| description | Unlike a purely virtual world, it is much more difficult for the user to believe in the reality of augmented reality objects. Due to the lack of proper lighting or shadows, the object may appear to be floating in the air, detached from the real objects around it. One obvious problem with augmented reality is that a virtual object appears remote from the real object, but it still appears in front of it. An approach is proposed that will allow the interaction of real and virtual objects. Both real and virtual objects can be moved and rotated in the scene, preserving overlaps. A virtual object can also be placed in front of or behind a real object relative to the camera, which decides whether or not to overlap. The proposed algorithm consists of five stages and the system architecture. The evaluation is based on five defined criteria. Results and ways of improvement for the future research are presented. |
| doi_str_mv | 10.20535/SRIT.2308-8893.2020.4.10 |
| first_indexed | 2025-07-17T10:27:08Z |
| format | Article |
| fulltext |
О.С. Безпалько, 2020
ISSN 1681–6048 System Research & Information Technologies, 2020, № 4 132
TIДC
МАТЕМАТИЧНІ МЕТОДИ, МОДЕЛІ,
ПРОБЛЕМИ І ТЕХНОЛОГІЇ ДОСЛІДЖЕННЯ
СКЛАДНИХ СИСТЕМ
УДК 004.925.8
DOI: 10.20535/SRIT.2308-8893.2020.4.10
ВЗАЄМОДІЯ МОДЕЛЕЙ З РЕАЛЬНИМИ ОБ’ЄКТАМИ
ЯК СПОСІБ УДОСКОНАЛЕННЯ ДОПОВНЕНОЇ РЕАЛЬНОСТІ
О.С. БЕЗПАЛЬКО
Анотація. На відміну від чисто віртуального світу користувачеві значно скла-
дніше повірити у реальність об’єктів доповненої реальності. Через відсутність
правильного освітлення, або тіней може видатися, що предмет плаває у повіт-
рі, від’єднаний від реальних предметів навколо нього. Однією очевидною про-
блемою, яка існує в доповненій реальності, є те, що віртуальний об’єкт вида-
ється віддаленим від реального об’єкта, проте він все ще з’являється перед
ним. Запропоновано підхід, за якого стане можливою взаємодія реальних та
віртуальних об’єктів. Як реальні, так і віртуальні об’єкти можуть бути перемі-
щені й обертатись у сцені, зберігаючи перекривання. Віртуальний об’єкт та-
кож може міститися перед реальним об’єктом або позаду нього відносно каме-
ри, яка вирішить, чи має відбуватися перекриття, чи ні. Запропоновано
алгоритм, що складається з п’яти етапів та архітектури системи. Оцінка про-
водиться на основі п’яти визначених критеріїв. Подано результати та способи
вдосконалення для майбутніх досліджень.
Ключові слова: взаємодія моделей, перекривання, розпізнавання образів.
ВСТУП
Доповнена реальність (AR), або розширена реальність — захоплива сфера в
інформатиці, що лише останнім часом набула популярності. Розширена реа-
льність має на меті поєднувати реальний світ з віртуальним світом таким
чином, щоб він видавався природним, використовуючи певний тип екрана
для накладання віртуальних об’єктів на реальний світ, який захоплюється
камерою в режимі реального часу. Мета полягає в тому, щоб реальні та вір-
туальні об’єкти в середовищі користувача безперешкодно зливалися. Щоб
це було переконливо, реальні та віртуальні об’єкти повинні реально взаємо-
діяти. Поширений приклад — поставити віртуальну чашку на справжній
стіл, який буде виглядати і вести себе як справжня чашка. Натепер багато
компаній інвестують, щоб спробувати стати передовою компанією, яка ви-
користовує таку технологію. Існує безліч сфер, де використовується розши-
рена реальність (ігри, освіта, обмін інформацією тощо). Щодня вивчається
та розробляється дедалі більше випадків використання.
Дослідження проблеми в доповненій реальності обрано завдяки зрос-
танню популярності галузі та набуттю певного досвіду, який, імовірно, ста-
не корисним у майбутньому.
Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності
Системні дослідження та інформаційні технології, 2020, № 4 133
ПРОБЛЕМАТИКА
Мета роботи — запропонувати підхід, за якого стане можливою взаємодія
реальних та віртуальних об’єктів. Як реальні, так і віртуальні об’єкти мо-
жуть бути переміщені й обертатись у сцені, зберігаючи перекривання. Віртуа-
льний об’єкт також може перебувати як перед реальним об’єктом, так і по-
заду нього відносно камери, яка вирішить, чи має відбуватися перекривання,
чи ні. Необхідно з’ясувати чи працює перекривання в ідеалізованому сере-
довищі (наприклад, уніфікована таблиця з малою кількістю предметів),
у менш контрольованому середовищі (наприклад, на вулиці), або якщо реа-
льні чи віртуальні об’єкти перекладаються та обертаються, а також які фак-
тори підвищують або зменшують продуктивність системи відносно пере-
кривання.
ПОВ’ЯЗАНІ РОБОТИ
Існує багато підходів до вирішення проблеми оклюзії в межах доповненої
реальності. Їх можна поділити на два типи: на основі глибини та на основі
моделей.
У модельному підході іноді використовуються попередні знання про
реальні об’єкти, які потім переводяться на геометричні моделі. У дослі-
дженні, проведеному Д. Бріном [1], модель 3D-сцени вже відома. Але мати
тривимірну модель, доступну в будь-який час у додатку AR, не можливо,
вона може працювати лише для конкретних випадків використання.
У праці [2] у пропонованому вирішенні не використовується інформа-
ція про глибину чи реконструкцію моделі. Замість цього дозволяється кори-
стувачу спочатку визначити об’єкт для перекривання у першому кадрі, який
відстежується у наступних кадрах. Користувач визначає деякі пікселі, що
відповідають фоновому режиму, так, щоб алгоритм міг поділити всі пікселі
на об’єктні або фонові. Це потребує тісної взаємодії з користувачем, щоб
об’єкт завжди перекривав віртуальні об’єкти не залежно від того, чи реальне
розміщення об’єкта за ним чи перед ним.
Щоб усунути вимогу мати попередньо виготовлену 3D-модель сцени,
К. Онг [3] запропонував метод першої сегментації силуетів реального
об’єкта вручну у вибраних «ключових кадрах». Їх потім використовують
для автоматичної побудови приблизних 3D-комп’ютерних моделей, які мас-
кують реальні об’єкти. Ці маски стають невидимими, хоч вони все ще мо-
жуть закрити віртуальний об’єкт. Установлення цих масок потребує ручного
налаштування користувачем.
У підході, заснованому на глибині, запропонованому Шмідтом [4], ви-
користовується система бінокулярної стереокамери для обчислення щільних
карт нерівномірності. Результати дослідження за допомогою цього методу є
задовільними, але більшість пристроїв доповненої реальності сьогодні на-
кладаються на одну камеру, а не на декілька, що робить цей метод для них
непридатним. У майбутньому можливе звичайне встановлення систем камер
для звичайних користувачів.
Спроба побудувати віртуальний 3D-об’єкт, який відповідав би реаль-
ному об’єкту без заздалегідь відомих даних про об’єкт, виявилась непрос-
тою, що спонукало дослідити контурно-орієнтований підхід. Таким чином,
не потрібно знати або виявляти 3D-форму об’єкта. Вирішення, яке викорис-
О.С. Безпалько
134
товує контурний підхід, запропонував М. Бергер [5]. У цій праці автор ана-
лізує і порівнює карту краю сцени та карти віртуального об’єкта з різних
точок зору для визначення їх відносних позицій. Складність полягає в тому,
що віртуальні та реальні об’єкти мають бути статичними у сцені, а це по-
требує перерахунку, якщо об’єкти рухаються.
Підхід, що розглядається у цій роботі, не потребує взаємодії з користу-
вачем, крім переміщення камери для пошуку площини. Об’єкти можуть ві-
льно переміщатися по площині, і алгоритм автоматично в режимі реального
часу визначатиме розташування віртуального об’єкта — чи він за реальним
об’єктом, чи перед ним, і відповідно виконуватиме перекривання.
ЗАПРОПОНОВАНИЙ ПІДХІД ТА МЕТОДИ
Проблеми перекривання
На відміну від чисто віртуального світу, користувачу значно складніше по-
вірити у реальність об’єктів доповненої реальності. Це зумовлено тим, що
віртуальні об’єкти не виглядають правильно, коли їх застосовують до стан-
дартних об’єктів реального світу. Ось чому деякі особливі ефекти у фільмі
можуть видатися непоказними, коли в суто віртуальній сцені вони добре
сприймаються. Через відсутність правильного освітлення, або тіней може
видатись, що предмет плаває у повітрі, від’єднаний від реальних предметів
навколо нього. Однією очевидною проблемою, яка існує в доповненій реа-
льності, є те, що віртуальний об’єкт виглядає далі від реального об’єкта,
проте він все ще виникає перед реальним об’єктом, як це видно на рис. 1.
Цю проблему можна було б вирішити за ідеального перекривання. Досягну-
ти ідеального перекривання надзвичайно складно, утім воно і не має бути
ідеальним, щоб бути корисним у сучасних програмах.
Основна мета в разі перекри-
вання — збереження правильного
відображення в межах сцени додат-
кової реальності. Будь-які віртуальні
об’єкти, що містяться за реальни-
ми об’єктами, мають ховатися час-
тково або повністю за цим реаль-
ним об’єктом. Це підсилює
глибинне сприйняття об’єкта все-
редині сцени і усуває будь-які
сумніви щодо того, де віртуальний
об’єкт насправді перебуває у сцені.
Метод
Підхід, який пропонується в роботі, полягає у вибірковому запобіганні візу-
алізації частин віртуальної сцени на екрані на основі знань про реальну сце-
ну, отриману за допомогою алгоритмів комп’ютерного зору. Це робиться за
п’ять кроків:
1) знаходження принаймні однієї горизонтальної площини у сцені;
2) пошук об’єктів реального світу, розташованих на виявленій горизон-
тальній площині;
Рис. 1. Приклад некоректного перекривання
Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності
Системні дослідження та інформаційні технології, 2020, № 4 135
3) визначення відносної відстані між реальним об’єктом та камерою;
4) реконструкція віртуального 2D-силуету реального об’єкта;
5) надання цьому силуету прозорої маски, яка перекриває будь-які
віртуальні об’єкти за ним.
Найбільш важливою частиною є пошук різних предметів реального сві-
ту та перетворення їх у правильний віртуальний силует. Трудність різко
зростає зі збільшенням кількості різноманітних об’єктів у сцені. Крім того,
фон може складатися з різних типів будівель, кожна з яких має свої унікаль-
ні розміри та форми. Правильне визначення і відокремлення з динамічним
та автоматичним створенням реалістичних масок оклюзії потребують вели-
кої обчислювальної потужності або дуже ефективного алгоритму. Додатко-
вими обмежувальними факторами є поганий діапазон поточних пристроїв
розширеної реальності і дещо низька роздільна здатність.
Пошук горизонтальної площини та відстань до об’єкта. ARKit має
можливість виявляти горизонтальні поверхні, наприклад, столи чи підлоги.
Це робиться шляхом пошуку особливостей у зображенні, знятому камерою
для кожного кадру, а потім відстеженням цих функцій через кадри, одноча-
сно зчитуючи різні датчики руху пристрою для обчислення того, як камера
переміщується між кадрами. Знайдені площини можна використовувати для
розміщення віртуальних об’єктів у програмі доповненої реальності. Ці пло-
щини також дають уявлення про глибину двовимірних зображень, отрима-
них камерою, за допомогою яких можна визначити відстань від камери до
реальних об’єктів, розташованих на одній з цих площин.
Якщо силует об’єкта реального світу виявлено, його можна правильно
розмістити у віртуальному світі за умови, що об’єкт розташований на вияв-
леній горизонтальній площині. Тоді точки, де силует торкається площини,
можна використати, щоб визначити відстань до камери. Цю відстань можна
використовувати для встановлення відповідного силуету у віртуальному
світі на правильній відстані від камери. Віртуальні об’єкти у сцені можуть
чітко визначити, чи вони містяться за силуетом чи перед ним, оскільки вони
мають однаковий параметр відстані.
Пошук реальних предметів у сцені та побудова силуету. Правильне
й ефективне сегментування фону та переднього плану сцени потребує вели-
кої роботи. Метод, який пропонується в цьому дослідженні, — це перетво-
рення зображення, знятого з камери кожного кадру, у відтінок сірого. Із зобра-
женням сірого кольору легше працювати щодо розрізнення об’єктів на
основі контрастів. Зображення розмивається і видаляється частина візуаль-
ного шуму перед проведенням операції з визначення порогового значення.
Операція з визначення порогового значення сегментує зображення у сі-
рому форматі на бінарне зображення суто чорно-білого. Порогове значення
визначає значення піксела, виходячи з його інтенсивності. Якщо інтенсив-
ність нижча за порогове значення, то піксел стане чорним, а якщо вища —
піксел стане білим. Математично це можна описати так.
Для правильного визначення потрібно знати, чи фон від переднього
плану світліший, чи темніший. Алгоритм, який використовується для цього,
обчислює середнє значення всіх значень інтенсивності світла і відбирає його
для кількох кадрів.
Після встановлення порога зображення можуть бути застосовані додат-
кові морфологічні операції для видалення шуму та заповнені невеликі отво-
ри, які можуть з’явитися на зображенні. Це робиться шляхом застосування
операцій закривання та відкривання. Операцією закривання знаходяться ізо-
О.С. Безпалько
136
льовані чорні ділянки і пікселі перетворюються в білі пікселі, тоді як опе-
рацією відкривання виявляються ізольовані білі ділянки і вони перетворю-
ються у чорні.
Щоб мати можливість створити віртуальний силует об’єкта, потрібно
знайти лише контур об’єкта, оскільки об’єкт вважається повністю непрозо-
рим. Знайти контури у двійковому зображенні просто, оскільки він буде
скрізь, де чорний натрапляє на білий. Деякі об’єкти можуть після встанов-
лення порога містити отвори всередині об’єкта. Ці отвори іноді є в самому
об’єкті, наприклад, у пончику, тоді як інколи це зумовлено неправильним
порогом, спричиненим відбитим світлом, або непрозорою частиною, яка має
подібний колір до фону. Фільтрування цих отворів створює проблеми в
першому випадку, але значно зменшує проблеми у другому, що трапляється
дуже часто.
Після того, як контур знайдений, він міститиме багато вершин за раху-
нок порогового зображення, яке має багато нерівних країв через збільшення
масштабу. Для зниження обчислювальної потужності під час побудови вір-
туального силуету контур спочатку має бути наближеним, щоб зменшити
кількість вершин за допомогою алгоритму Дугласа–Пейкера. Після змен-
шення вершин проводиться тріангуляція і створюється віртуальний силует.
На нього наносять спеціальну текстуру, яка визначає, як буде передаватися
силует, щоб зробити його невидимим, але він ще здатний перекривати інші
віртуальні об’єкти.
Архітектура системи
Пропонується використовувати ARKit як платформу для доповненої реаль-
ності, оскільки вона була однією з найбільших платформ з постійними
оновленнями, або ж використовувати AR Core Google.
Unity пропонується як двигун для побудови системи. Unity пропонує
простий у користуванні інтерфейс і дуже потужні інструменти для оброб-
лення всіх віртуальних об’єктів та створення необ-
хідного користувальницького інтерфейсу.
OpenCV — бібліотека програмного забезпечення
для комп’ютерного зору. Вона містить алгоритми для
оброблення зображень, які можна застосовувати для
отримання великої кількості різної інформації зі сце-
ни. Крім того, матимемо не лише механізм оброблен-
ня відео чи зображень, а і механізм автоматичного
виявлення перекривання об’єктів, використовуючи
плагін для OpenCV в Unity.
Запропоновану архітектуру показано на рис. 2, а
спосіб оброблення одного кадру — на рис. 3. Спочатку
ARKit аналізує кадр і порівнює його з попередніми
кадрами для знаходження площин. Далі OpenCV
обробляє кадр для виявлення силуетів, які Unity ви-
користовує для створення віртуальних сіток, що відповідають силуетам.
Обмеження
Пропонується підхід насамперед для роботи в ідеалізованому середовищі,
де об’єкти та фон добре визначені. Це означає, що в приміщенні рівномірне
освітлення, коли предмети, що перекриваються, не надто схожі на фон.
Рис. 2. Архітектура
запропонованої архітектури
Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності
Системні дослідження та інформаційні технології, 2020, № 4 137
Зроблено це з метою спрощення дослідження через зменшення змінних, які
потрібно враховувати, оскільки враховувати всі можливі змінні надто складно
і це потребує спеціалізованої команди. Дія у зовнішніх умовах все ще буде
оцінена. Головне завдання роботи — пропозиція концепції, а не продукт.
РЕЗУЛЬТАТИ МОДЕЛЮВАННЯ
Передусім слід зазначити, що система перебуває на початковому етапі роз-
роблення і працює лише в тестовому режимі. Утім головною метою роботи
є не розроблення готового додатка, а висвітлення існуючої проблеми і про-
позиція можливої архітектури та алгоритму роботи для її вирішення.
Умови експериментів
Експерименти проводилися як у приміщенні, так і на відкритому повітрі.
Поверхні, що використовуються в приміщенні, — це однакові столи з різ-
ними кольорами, як світлими, так і темними, на яких розміщувались реальні
предмети. Об’єкти були непрозорими або блискучими, або матовими для
визначення ефекту, коли на об’єкт відбивається освітлення. Об’єкти мали
різні розміри, форми та кольори. Освітлення змінювалося від прямого світ-
ла, спричиняючи нерівномірне освітлення, до непрямого світла, яке рів-
номірно освітлює сцену.
На відкритому повітрі експерименти проводилися на сусідній вулиці
під прямими сонячними променями і в тіні. Поверхнями, на яких проводи-
лись експерименти, були асфальт, бруківка, трава тощо. Використовувані
об’єкти — це звичайні речі, такі як машини, дерева і т.ін.
Оцінювання
Критерії для оцінювання системи в кожному експерименті:
1) чи працює перекривання за призначенням, коли камера статична;
Frame
Frame
Frame
Plane
Detection
Processsed
Frame
Augmented Reality Scene
Image
Prossesing
Virtual
Silhouette
Constuction
Рис. 3. Спосіб оброблення одного кадру
О.С. Безпалько
138
2) чи мерехтить віртуальний об’єкт;
3) чи зберігається перекривання із переміщенням камери;
4) чи перекривання коректне лише тоді, коли віртуальний об’єкт роз-
ташований за реальним об’єктом, а не попереду;
5) чи додавання прямого світла негативно впливає на сцену.
Переміщення віртуального об’єкта перед реальним об’єктом має озна-
чати, що він більше не перекривається, а переміщення його назад за реаль-
ний об’єкт повинно змусити його знову перекриватися.
Експерименти
Проведено шість пробних тестів. Продемонструємо найкращий і найгірший
випадки.
Експеримент з найкращими результатами проведено в приміщенні на
чорному столі з білими предметами для перекривання (рис. 4). Освітлення
рівномірне і непряме. Перекривання працює тут за призначенням. Немає
візуального мерехтіння, а переміщення камери по сцені зберігає перетинан-
ня. Переміщення віртуального об’єкта за реальний об’єкт або перед ним усе
ще зберігає коректне перекривання. Додавання прямого світла не мало нега-
тивного впливу на оклюзію. Якщо один з білих предметів перекривався
білою стіною, це призводило до того, що вся стіна стає перекривальним
об’єктом.
Експеримент з найгіршим результатом проводився на вулиці біля ма-
шини (рис. 5). Перекривання
ледве спрацювало за призна-
ченням, маючи незначну
проблему від тіней дерев, ко-
ли камера була статичною під
певним кутом. Об’єкт мерех-
тів, а переміщення камери
зіпсувало перекривання.
Переміщення віртуального
об’єкта перед автомобілем не
дозволило належним чином
відділити автомобіль від вір-
туального об’єкта. Додавання
прямого освітлення не мало ефекту, оскільки сонячне світло було надто
сильним для створення помітної різності.
Рис. 4. Приклад найкращого функціонування системи
Рис. 5. Приклад найгіршого функціонування
системи
Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності
Системні дослідження та інформаційні технології, 2020, № 4 139
Загальні результати шести експериментів можна бачити в таблиці. Ре-
зультати демонструють, що алгоритм працює в приміщенні краще порівня-
но із зовнішнім середовищем щодо критеріїв, які використовувались для
оцінювання
Результати експериментів
Номер
експеримента
Статичне
перекриван-
ня
Мерехтіння Рух камери
є коректним
Перекривання
коректне,
якщо модель
за об’єктом
Вплив
прямого
світла
відсутній
1 Так Ні Так Так Ні
2 Так Ні Так Так Так
3 Ні Ні Ні Ні Так
4 Іноді Так Ні Ні Так
5 Іноді Так Ні Ні Так
6 Ні Так Ні Ні Так
ДИСКУСІЯ ТА ПІДСУМКИ
Етап оброблення зображень, що стосується відокремлення переднього плану
від фону, можна вдосконалити. Виявлення об’єктів на передньому плані є
важливою частиною системи, і якщо цю частину вдосконалити, то систему
можна застосовувати в більш складних середовищах з більш точним пере-
криванням. Однак це є великою проблемою, яку не легко вирішити, коли
камера рухома, а це означає, що фон не буде статичним. Це було б більш
можливим з додатковим обладнанням, таким як подвійне установлення
камери, яка забезпечує два дещо різні перегляди однієї сцени кожного кадру.
Обчислення різностей між переглядами може дати більше інформації про те,
яка частина сцени є фоном, а яка переднім планом.
Частина системи пошуку відстані покладається на ARKit та одну з його
виявлених площин. Це можна зробити окремо від ARKit, щоб дозволити
пошук відстані навіть тоді, коли площину не виявлено. Із додатковим облад-
нанням, наприклад подвійними камерами, або інфрачервоним датчиком
відстані, це можна реалізувати без особливих ускладнень. Алгоритм, що
визначає, чи фон переважно білий, чи переважно чорний, за середньої інте-
нсивності світла, імовірно можна покращити. За наявнсоті більшої інформа-
ції про те, яка частина зображення на передньому плані, а яка є фоном, цей
алгоритм може стати більш продуктивним.
ВИСНОВКИ
Перекривання працює за призначенням, коли реальні об’єкти розташовані
перед віртуальним об’єктом, що перекривається, а реальні об’єкти за вір-
туальним об’єктом не включають у себе сам віртуальний об’єкт. Нерів-
номірний рух камери може спричинити в алгоритмі стрибки вперед і назад
між тим, що він виявляє як об’єкти для перекривання, і тим, що він визначає
як фон. Це може зумовити ефект мерехтіння на віртуальному об’єкті. Пере-
міщення камери навколо сцени може спричинити збій перекривання через
зміни у фоні та передньому плані, через що алгоритм іноді працює лише
з певних ракурсів у середині сцени. Зміна освітлення сцени може впливати
на перекривання.
О.С. Безпалько
140
ЛІТЕРАТУРА
1. D.E. Breen, R.T. Whitaker, E. Rose, and M. Tuceryan, “Interactive occlusion and
automatic object placement for augmented reality”, Computer Graphics Forum,
vol. 15, no. 3, pp. 11–22, 1996.
2. Y. Tian, T. Guan, and C. Wang, “Real-time occlusion handling in augmented reality
based on an object tracking approach”, Sensors, vol. 10, no. 4, pp. 2885–2900, 2010.
3. K.C. Ong, H.C. Teh, and T.S. Tan, “Resolving occlusion in image sequence made
easy”, The Visual Computer, vol. 14, pp. 153–165, Oct 1998.
4. J. Schmidt, H. Niemann, and S. Vogt, “Dense disparity maps in real-time with an
application to augmented reality”, in Sixth IEEE Workshop on Applications of Com-
puter Vision, 2002 (WACV 2002). Proceedings, pp. 225–230, Dec 2002.
5. M. Berger, “Resolving occlusion in augmented reality: a contour based approach
without 3d reconstruction”, in Proceedings of IEEE Computer Society Conference
on Computer Vision and Pattern Recognition, pp. 91–96, June 1997.
Надійшла 21.06.2020
INFORMATION ON THE ARTICLE
Oleksandr S. Bezpalko, ORCID: 0000-0001-7595-6179, National Technical Univer-
sity of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Ukraine, e-mail:
bos0x0mail@gmail.com
INTERACTION OF MODELS WITH REAL OBJECTS AS A WAY TO IMPROVE
AUGMENTED REALITY / O.S. Bezpalko
Abstract. Unlike a purely virtual world, it is much more difficult for the user to be-
lieve in the reality of augmented reality objects. Due to the lack of proper lighting or
shadows, the object may appear to be floating in the air, detached from the real ob-
jects around it. One obvious problem with augmented reality is that a virtual object
appears remote from the real object, but it still appears in front of it. An approach is
proposed that will allow the interaction of real and virtual objects. Both real and vir-
tual objects can be moved and rotated in the scene, preserving overlaps. A virtual
object can also be placed in front of or behind a real object relative to the camera,
which decides whether or not to overlap. The proposed algorithm consists of five
stages and the system architecture. The evaluation is based on five defined criteria.
Results and ways of improvement for the future research are presented.
Keywords: model interaction, overlap, pattern recognition.
ВЗАИМОДЕЙСТВИЕ МОДЕЛЕЙ С РЕАЛЬНЫМИ ОБЪЕКТАМИ КАК
СПОСОБ СОВЕРШЕНСТВОВАНИЯ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ /
А.С. Безпалько
Аннотация. В отличие от чисто виртуального мира пользователю значительно
сложнее поверить в реальность объектов дополненной реальности. Из-за от-
сутствия правильного освещения, или теней может показаться, что предмет
плавает в воздухе, отсоединен от реальных предметов вокруг него. Одной оче-
видной проблемой, которая существует в дополненной реальности, является
то, что виртуальный объект кажется отдаленным от реального объекта, однако
он все еще появляется перед ним. Предложен подход, при котором станет воз-
можным взаимодействие реальных и виртуальных объектов. Как реальные, так
и виртуальные объекты могут быть перемещены и вращаться в сцене, сохраняя
перекрытия. Виртуальный объект также может находится перед реальным
объектом или позади него относительно камеры, которая решит, должно про-
исходить перекрытия или нет. Предложен алгоритм, который состоит из пяти
этапов и архитектуры системы. Оценка производится на основе пяти опреде-
ленных критериев. Представлены результаты и способы совершенствования
для будущих исследований.
Ключевые слова: взаимодействие моделей, перекрытия, распознавания
образов.
|
| id | journaliasakpiua-article-228535 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Ukrainian |
| last_indexed | 2025-07-17T10:27:08Z |
| publishDate | 2020 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/36/44d37ebab76d3277c2b5993e93252b36.pdf |
| spelling | journaliasakpiua-article-2285352021-04-08T14:17:06Z Interaction of models with real objects as a way to improve augmented reality Взаимодействие моделей с реальными объектами как способ совершенствования дополненной реальности Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності Bezpalko, Oleksandr взаимодействие моделей перекрытия распознавания образов model interaction overlap pattern recognition взаємодія моделей перекривання розпізнавання образів Unlike a purely virtual world, it is much more difficult for the user to believe in the reality of augmented reality objects. Due to the lack of proper lighting or shadows, the object may appear to be floating in the air, detached from the real objects around it. One obvious problem with augmented reality is that a virtual object appears remote from the real object, but it still appears in front of it. An approach is proposed that will allow the interaction of real and virtual objects. Both real and virtual objects can be moved and rotated in the scene, preserving overlaps. A virtual object can also be placed in front of or behind a real object relative to the camera, which decides whether or not to overlap. The proposed algorithm consists of five stages and the system architecture. The evaluation is based on five defined criteria. Results and ways of improvement for the future research are presented. В отличие от чисто виртуального мира пользователю значительно сложнее поверить в реальность объектов дополненной реальности. Из-за отсутствия правильного освещения, или теней может показаться, что предмет плавает в воздухе, отсоединен от реальных предметов вокруг него. Одной очевидной проблемой, которая существует в дополненной реальности, является то, что виртуальный объект кажется отдаленным от реального объекта, однако он все еще появляется перед ним. Предложен подход, при котором станет возможным взаимодействие реальных и виртуальных объектов. Как реальные, так и виртуальные объекты могут быть перемещены и вращаться в сцене, сохраняя перекрытия. Виртуальный объект также может находится перед реальным объектом или позади него относительно камеры, которая решит, должно происходить перекрытия или нет. Предложен алгоритм, который состоит из пяти этапов и архитектуры системы. Оценка производится на основе пяти определенных критериев. Представлены результаты и способы совершенствования для будущих исследований. На відміну від чисто віртуального світу користувачеві значно складніше повірити у реальність об’єктів доповненої реальності. Через відсутність правильного освітлення, або тіней може видатися, що предмет плаває у повітрі, від’єднаний від реальних предметів навколо нього. Однією очевидною проблемою, яка існує в доповненій реальності, є те, що віртуальний об’єкт видається віддаленим від реального об’єкта, проте він все ще з’являється перед ним. Запропоновано підхід, за якого стане можливою взаємодія реальних та віртуальних об’єктів. Як реальні, так і віртуальні об’єкти можуть бути переміщені й обертатись у сцені, зберігаючи перекривання. Віртуальний об’єкт також може міститися перед реальним об’єктом або позаду нього відносно камери, яка вирішить, чи має відбуватися перекриття, чи ні. Запропоновано алгоритм, що складається з п’яти етапів та архітектури системи. Оцінка проводиться на основі п’яти визначених критеріїв. Подано результати та способи вдосконалення для майбутніх досліджень. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2020-12-29 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/228535 10.20535/SRIT.2308-8893.2020.4.10 System research and information technologies; No. 4 (2020); 132-140 Системные исследования и информационные технологии; № 4 (2020); 132-140 Системні дослідження та інформаційні технології; № 4 (2020); 132-140 2308-8893 1681-6048 uk https://journal.iasa.kpi.ua/article/view/228535/227584 |
| spellingShingle | взаємодія моделей перекривання розпізнавання образів Bezpalko, Oleksandr Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності |
| title | Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності |
| title_alt | Interaction of models with real objects as a way to improve augmented reality Взаимодействие моделей с реальными объектами как способ совершенствования дополненной реальности |
| title_full | Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності |
| title_fullStr | Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності |
| title_full_unstemmed | Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності |
| title_short | Взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності |
| title_sort | взаємодія моделей з реальними об’єктами як спосіб удосконалення доповненої реальності |
| topic | взаємодія моделей перекривання розпізнавання образів |
| topic_facet | взаимодействие моделей перекрытия распознавания образов model interaction overlap pattern recognition взаємодія моделей перекривання розпізнавання образів |
| url | https://journal.iasa.kpi.ua/article/view/228535 |
| work_keys_str_mv | AT bezpalkooleksandr interactionofmodelswithrealobjectsasawaytoimproveaugmentedreality AT bezpalkooleksandr vzaimodejstviemodelejsrealʹnymiobʺektamikaksposobsoveršenstvovaniâdopolnennojrealʹnosti AT bezpalkooleksandr vzaêmodíâmodelejzrealʹnimiobêktamiâksposíbudoskonalennâdopovnenoírealʹností |