Багаторівнева архітектура системи автоматичного керування БПЛА для здійснення пошукових місій за відеоаналізом та металодетекцією
The article presents a multi-level automatic mission control system for an unmanned aerial vehicle designed to detect hazardous items in tasks involving the identification of suspicious objects. The proposed architecture combines edge–ground–cloud data processing from the onboard video camera and me...
Збережено в:
| Дата: | 2026 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
Vinnytsia National Technical University
2026
|
| Теми: | |
| Онлайн доступ: | https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/804 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Optoelectronic Information-Power Technologies |
Репозитарії
Optoelectronic Information-Power Technologies| _version_ | 1856543907175727104 |
|---|---|
| author | Роботько, С.П. Топалов, А.М. |
| author_facet | Роботько, С.П. Топалов, А.М. |
| author_sort | Роботько, С.П. |
| baseUrl_str | |
| collection | OJS |
| datestamp_date | 2026-01-12T10:58:28Z |
| description | The article presents a multi-level automatic mission control system for an unmanned aerial vehicle designed to detect hazardous items in tasks involving the identification of suspicious objects. The proposed architecture combines edge–ground–cloud data processing from the onboard video camera and metal detector, as well as the use of vision–language models (ChatGPT-4.1 Vision, Gemini 2.5 Flash) for semantic verification of suspected objects. At the ground station, initial detection of hazardous items is performed using YOLOv8 and metal-detector signal analysis. Frames with intermediate confidence are then sent to the cloud for additional verification by VLMs. Based on the combined assessment, a decision is generated regarding the presence of a hazardous item, which automatically adjusts the UAV mission via MAVLink: the drone is switched from AUTO to GUIDED mode, returns to the GPS coordinates of the suspicion, performs additional inspection, and then resumes the mission from the saved waypoint.
Experimental field tests with mock-ups of hazardous items demonstrated that combining YOLOv8, the metal detector, and VLMs makes it possible to achieve increasing precision to approximately 95.7% and maintaining near-real-time performance (effective 5 fps). The scientific novelty of the work lies in implementing a closed loop of “detection – semantic verification – automatic mission correction” for UAVs, which integrates multimodal data fusion with cloud-based AI models and reduces operator workload. |
| first_indexed | 2026-02-08T08:10:41Z |
| format | Article |
| id | oai:oeipt.vntu.edu.ua:article-804 |
| institution | Optoelectronic Information-Power Technologies |
| language | Ukrainian |
| last_indexed | 2026-02-08T08:10:41Z |
| publishDate | 2026 |
| publisher | Vinnytsia National Technical University |
| record_format | ojs |
| spelling | oai:oeipt.vntu.edu.ua:article-8042026-01-12T10:58:28Z Multi-level architecture of automatic UAVs control system for search missions using video analysis and metal detection Багаторівнева архітектура системи автоматичного керування БПЛА для здійснення пошукових місій за відеоаналізом та металодетекцією Роботько, С.П. Топалов, А.М. unmanned aerial vehicles (UAVs) computer vision, multi-level video-image analysis metal detector vision–language models automatic control system feedback multilevel architecture MAVLink безпілотні літальні апарати (БПЛА) комп’ютерний зір багаторівневий аналіз відеозображень металодетектор візуально-мовні моделі автоматизована система керування зворотний зв’язок багаторівнева архітектура MAVLink The article presents a multi-level automatic mission control system for an unmanned aerial vehicle designed to detect hazardous items in tasks involving the identification of suspicious objects. The proposed architecture combines edge–ground–cloud data processing from the onboard video camera and metal detector, as well as the use of vision–language models (ChatGPT-4.1 Vision, Gemini 2.5 Flash) for semantic verification of suspected objects. At the ground station, initial detection of hazardous items is performed using YOLOv8 and metal-detector signal analysis. Frames with intermediate confidence are then sent to the cloud for additional verification by VLMs. Based on the combined assessment, a decision is generated regarding the presence of a hazardous item, which automatically adjusts the UAV mission via MAVLink: the drone is switched from AUTO to GUIDED mode, returns to the GPS coordinates of the suspicion, performs additional inspection, and then resumes the mission from the saved waypoint. Experimental field tests with mock-ups of hazardous items demonstrated that combining YOLOv8, the metal detector, and VLMs makes it possible to achieve increasing precision to approximately 95.7% and maintaining near-real-time performance (effective 5 fps). The scientific novelty of the work lies in implementing a closed loop of “detection – semantic verification – automatic mission correction” for UAVs, which integrates multimodal data fusion with cloud-based AI models and reduces operator workload. У статті представлено багаторівневу систему автоматичного керування місіями безпілотного літального апарата у задачах виявлення підозрілих предметів. Запропонована архітектура поєднує edge–ground–cloud обробку даних з бортової відеокамери та металодетектора, а також використання візуально-мовних моделей (ChatGPT-4.1 Vision, Gemini 2.5 Flash) для семантичної верифікації підозрілих предметів. На наземній станції виконується первинна детекція небезпечних предметів за допомогою YOLOv8 та аналіз сигналу металодетектора, після чого кадри з проміжною впевненістю надсилаються у хмару для додаткової перевірки VLM. На основі об’єднаної оцінки формується рішення про наявність небезпечного предмета, яке через MAVLink автоматично коригує місію БПЛА завдяки чому дрон переводиться з режиму AUTO в GUIDED, повертається за GPS-координатами підозри, виконує додаткове обстеження та після цього відновлює маршрут із збереженої точки. Експериментальні випробування на полігоні з макетами небезпечних предметів показали, що комбінування YOLOv8, металодетектора та VLM дозволяє досягти підвищення точності до ≈95,7% і збереженні роботи в режимі, близькому до реального часу (ефективно 5 кадрів/с). Наукова новизна роботи полягає в реалізації замкненого циклу «виявлення – семантична перевірка – автоматичне коригування місії» для БПЛА, що поєднує мультимодальне злиття даних і хмарні AI-моделі та знижує навантаження на оператора. Vinnytsia National Technical University 2026-01-12 Article Article application/pdf https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/804 10.31649/1681-7893-2025-50-2-114-124 Optoelectronic Information-Power Technologies; Vol. 50 No. 2 (2025); 114-124 Оптико-електроннi iнформацiйно-енергетичнi технологiї; Том 50 № 2 (2025); 114-124 Оптико-електроннi iнформацiйно-енергетичнi технологiї; Том 50 № 2 (2025); 114-124 2311-2662 1681-7893 10.31649/1681-7893-2025-50-2 uk https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/804/733 |
| spellingShingle | безпілотні літальні апарати (БПЛА) комп’ютерний зір багаторівневий аналіз відеозображень металодетектор візуально-мовні моделі автоматизована система керування зворотний зв’язок багаторівнева архітектура MAVLink Роботько, С.П. Топалов, А.М. Багаторівнева архітектура системи автоматичного керування БПЛА для здійснення пошукових місій за відеоаналізом та металодетекцією |
| title | Багаторівнева архітектура системи автоматичного керування БПЛА для здійснення пошукових місій за відеоаналізом та металодетекцією |
| title_alt | Multi-level architecture of automatic UAVs control system for search missions using video analysis and metal detection |
| title_full | Багаторівнева архітектура системи автоматичного керування БПЛА для здійснення пошукових місій за відеоаналізом та металодетекцією |
| title_fullStr | Багаторівнева архітектура системи автоматичного керування БПЛА для здійснення пошукових місій за відеоаналізом та металодетекцією |
| title_full_unstemmed | Багаторівнева архітектура системи автоматичного керування БПЛА для здійснення пошукових місій за відеоаналізом та металодетекцією |
| title_short | Багаторівнева архітектура системи автоматичного керування БПЛА для здійснення пошукових місій за відеоаналізом та металодетекцією |
| title_sort | багаторівнева архітектура системи автоматичного керування бпла для здійснення пошукових місій за відеоаналізом та металодетекцією |
| topic | безпілотні літальні апарати (БПЛА) комп’ютерний зір багаторівневий аналіз відеозображень металодетектор візуально-мовні моделі автоматизована система керування зворотний зв’язок багаторівнева архітектура MAVLink |
| topic_facet | unmanned aerial vehicles (UAVs) computer vision, multi-level video-image analysis metal detector vision–language models automatic control system feedback multilevel architecture MAVLink безпілотні літальні апарати (БПЛА) комп’ютерний зір багаторівневий аналіз відеозображень металодетектор візуально-мовні моделі автоматизована система керування зворотний зв’язок багаторівнева архітектура MAVLink |
| url | https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/804 |
| work_keys_str_mv | AT robotʹkosp multilevelarchitectureofautomaticuavscontrolsystemforsearchmissionsusingvideoanalysisandmetaldetection AT topalovam multilevelarchitectureofautomaticuavscontrolsystemforsearchmissionsusingvideoanalysisandmetaldetection AT robotʹkosp bagatorívnevaarhítekturasistemiavtomatičnogokeruvannâbpladlâzdíjsnennâpošukovihmísíjzavídeoanalízomtametalodetekcíêû AT topalovam bagatorívnevaarhítekturasistemiavtomatičnogokeruvannâbpladlâzdíjsnennâpošukovihmísíjzavídeoanalízomtametalodetekcíêû |