Metadata as a tool of the semantic analysis of the complex contents of the big data. The images

The purpose of the research is to specify effective approaches for improving the semantic analysis of graphic contents of big data. This article considers images or video scenes as examples of such complex contents. Proposed approach takes into account the special features of these contents and crea...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2023
1. Verfasser:	Zakharova, O.V.
Format:	Artikel
Sprache:	Ukrainisch
Veröffentlicht:	PROBLEMS IN PROGRAMMING 2023
Schlagworte:	the big data the complex content the semantic similarity of the information visual features a descriptor a descriptor;space key points for an image a visual vector ontological similarity metrics textual models UDC 004.94
Online Zugang:	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/559
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	Problems in programming
Завантажити файл:

Institution

Problems in programming

_version_	1865435403932139520
author	Zakharova, O.V.
author_facet	Zakharova, O.V.
author_institution_txt_mv	[ { "author": "O.V. Zakharova", "institution": "Institute of Software Systems NAS of Ukraine" } ]
author_sort	Zakharova, O.V.
baseUrl_str	https://pp.isofts.kiev.ua/index.php/ojs1/oai
collection	OJS
datestamp_date	2023-10-23T11:50:31Z
description	The purpose of the research is to specify effective approaches for improving the semantic analysis of graphic contents of big data. This article considers images or video scenes as examples of such complex contents. Proposed approach takes into account the special features of these contents and create a hybrid annotation model that extends the text annotation model with more specific elements. For the visual data, these are characteristics of visualization. Determining the similarity of information contents is a critical problem for solving big data tasks. It is the basis for the big data categorization and enables the composition of the documents, conversion of an unstructured contents to relevant knowledge structures and the visualization of the information. Semantic analysis of information contents is usually based on their metadata, which form the basis of semantic annotations. Also, they are elements of a structured semantic description of the content and the basis for its automated processing. The approach is based on using ontologies to define semantic annotations. Ontologies provide various sources of knowledge to measure semantic similarity, contain a lot of information about the interpretation of concepts and other semantic relationships with a hierarchical structure based on hyponymy relations. But, in recent years, there is the rapid growth of the number of images and video resources. And, at this time, we can note a significant enrichment of available visual information. From a visual point of view, it is easier to understand whether two concepts are similar. Therefore, the integration of semantic and visual information of the image ensures the optimization of the ontological methods for similarity estimation and allows to obtain similarity metrics that are more consistent with human perception. De facto, such assessments of the complex semantic similarity of concepts are defined by the composition of two functions, the first of which, in fact, is an ontological measure of similarity, and the second is built on the basis of a complex facilities vector. It is a concatenation of semantic and visual characteristics with an established weight balance between these two types of features. The combination of visualization features with semantic and ontological characteristics of the contents in the similarity metrics is the central idea of this study.Prombles in programming 2023; 1: 58-65
doi_str_mv	10.15407/pp2023.01.058
first_indexed	2025-12-02T15:43:46Z
format	Article
fulltext	58 Моделі і засоби систем баз даних і знань УДК 004.94 http://doi.org/10.15407/pp2023.01.058 О. Захарова МЕТАДАНІ ЯК ЗАСІБ СЕМАНТИЧНОГО АНАЛІЗУ СКЛАДНИХ КОНТЕНТІВ ВЕЛИКИХ ДАНИХ. ЗОБРАЖЕННЯ Метою дослідження є визначення ефективних підходів щодо вдосконалення семантичного аналізу гра- фічних контентів великих даних, а саме таких як зображення або відеосцени. Сутність запропоновано- го підходу полягає в урахуванні особливих характеристик складних контентів та створенні гібридної моделі анотування, що розширює текстову модель більш специфічними елементами, наприклад, для візуальних даних, характеристиками візуалізації. Визначення подібності інформаційних контентів є критичною проблемою для вирішення цілої низки задач великих даних. В тому числі, є основою для категоризації цих контентів. Семантичний аналіз інформаційних контентів зазвичай базується на їхніх метаданих, які складають основу семантичних анотацій та є елементами структурованого семантич- ного опису контенту й базисом для його автоматизованої обробки. В основу підходу покладено ви- користання онтологій для визначення семантичних анотацій. Онтології надають різноманітні джерела знань для вимірювання семантичної подібності, містять багато інформації про тлумачення понять та інші семантичні зв’язки з ієрархічною структурою, що базується на відносинах гіпонімії. Але останні роки разом зі швидким зростанням кількості зображень та відеоресурсів, спостерігається суттєве зба- гачення доступної візуальної інформації. З візуальної точки зору легше зрозуміти, чи є подібними два поняття. Тому інтеграція семантичної та візуальної інформації зображення забезпечує оптимізацію методів оцінювання подібності, що засновані на онтологіях, та дозволяє отримати більш узгоджені з уявленням людини метрики подібності. Поєднання ознак візуалізації з семантичними та онтологічни- ми характеристиками контенту у формуванні оцінок подібності й становлять центральну ідею даного дослідження. Ключові слова: складний контент, семантична подібність інформації, візуальні дані, дескриптор, де- скрипторний простір, ключові точки зображення, вектор візуалізації, онтологічні показники подібнос- ті, текстова модель анотування, гібрідна модель анотування, словник візуальних слів, метадані вели- ких даних, характеристики візуалізації. © О. Захарова, 2023 ISSN 1727-4907. Проблеми програмування. 2023. №1 Вступ Нагальною задачею сучасної інфор маційної спільноти є створення методів, що уможливлювали б швидкий аналіз інфор- маційних джерел та представлених в них даних. Найголовнішою макроціллю такого аналізу є семантична категоризація інфор маційних контентів. Водночас, слід вра- ховувати, що інформація, як правило, різ норідна, містить дані різних типів (часто не текстові) і форматів представлення та вели кі об’єми. Але з цими інформаційними еле ментами, окрім саме їхнього контенту, мо- жуть бути ассоційовані такі об’єкти даних, як назва, опис, мітки тощо. Та їхній зміст є джерелом текстової семантичної інформації і становить базис для формування семан- тичних метаданих, які є елементами струк- турованого семантичного опису контенту та основою для його автоматичної обробки. Також існують метадані, що не завжди по- мітні користувачеві, та можуть бути роз- кидані по всьому контенту. Але вони дуже необхідні для пошуку, структуризації, кате- горизації та обробки інформації. Метадані можуть використовуватись для вирішення цілої низки задач великих даних, включно із категоризацією, композицією докумен- тів, конвертацією неструктурованого кон- тенту в структури релевантних знань, ві зуалізацію інформації на основі онтологій. Семантично анотований контент стає дже релом інформації, яку простіше інтерпре тувати, комбінувати та повторно викорис товувати автоматизовано. Це породжує цілу низку задач мета даних, які потребують вирішення. Перш за все, витягнення метаданих з контенту, ана- ліз їхніх зв’язків, створення й формалізація метаданих зі збереженням їхніх зв’язків, їх класифікація, приєднання додаткової семан- 59 Моделі і засоби систем баз даних і знань тичної інформації до документу великих даних, розробка схем використання мета- даних тощо. Зрозуміло, що, міркуючи про набори метаданих, які описують контенти різних типів, треба враховувати, що кож- ний з них має власні характеристики. У [1] вже були визначені спільні аспекти та під ходи до семантичного анотування контенту великих даних за допомогою метаданих та запропонована їхня загальна класифікація. Метою даного дослідження є вдосконален- ня запропонованої загальної класифікації з урахуванням особливих характеристик складних контентів та створення гібридної моделі анотування, що розширює тестову модель більш специфічними елементами, як-от, для візуальних даних, характеристи- ками візуалізації. Текстова модель анотування великих даних Текстова модель анотування охоплює всі можливі типи текстових метаданих, пов’язані з документом великих даних. Усі анотації за призначенням можна поділити на дві основні групи: метадані, що опису- ють загальні характеристики документу, та метадані прикладного контенту. Метадані для анотування загальних властивостей об’єктів великих даних є кон текстно-незалежними і для їх визначення розроблено чимало спеціальних стандартів. Насамперед, це загальні характеристики документу, такі як автори, дата та час ство рення, формат тощо. Або загальні катего- рії об’єктів, як особа, організація, локація тощо. Вони можуть бути застосовані до будь-якого документа, не залежно від фор- мату представлення. Найбільш розповсю- дженим стандартом, що специфікує мно- жину загальних характеристик документу, є відомий стандарт Dublin Core [2]. Наступна група – це метадані, що ви значають загальні характеристики контен- тів певних типів: відео, зображень, аудіо, веб-сторінок, постів (твітів) тощо, та врахо вують їхні специфічні характеристики. Для специфікації таких метаданих на сьогодні розроблено безліч стандартів та онтологій. Наприклад, онтології FOAF (Friend of a Fri end) [3], OntoWeb [4], KnowledgeWeb [5] для створення анотованої мережі домашніх сто рінок людей, груп або компаній, стандарти EXIF [6], DCF [7], IPTC, що визначають ме тадані для опису зображень, тощо. Такі групи онтологій та стандарти дозволяють автоматично визначити велику кількість технічних характеристик доку мента великих даних та деяку загальну його семантику, але не охоплюють деталей його контенту (можливо, лише деякі ключові слова та описи природною мовою в таких характеристиках, як тема або опис). Справжній семантичний опис, який викриває сутність та особливості контенту даних, вимагає визначення різних типів кон текстно-залежних метаданих, що не можли во без застосування прикладних онтологій домену. Це можуть бути загальні прикладні онтології, призначені для анотування доку ментів або вирішення проблем у певному широкому домені. Так, наприклад, онтоло гії Esperonto Cultural Tour [8] та Fund Finder дозволяють анотувати документи в прик ладних доменах культура та фінансування, відповідно. Такі онтології, як правило, ви значають загальні характеристики обраної прикладної області. А можуть бути більш специфічні прикладні онтології, які дозво ляють точніше визначити семантику даних. Але їх застосування у повністю автоматизо ваному режимі є проблематичним з огляду на те, що вони є досить специфічними для конкретного об’єкта даних та задачі, що ви рішується. Всі ці метадані або прямо визнача ються в контенті: в тегах, атрибутах, описах тощо, або непрямо - за допомогою посилань на інші джерела, стандарти та онтології. Але так чи інакше вони мають текстові значен- ня, їх можна вважати текстовими або описо вими. Більш структуровано загальна класи фікація текстових метаданих на верхньому рівні представлена на рис.1 [9] нижче. Великі дані за визначенням переваж- но мають не структурований контент знач ного розміру. Документ великих даних, ок рім пов’язаних з ним описових елементів (семантичних анотацій), може мати харак теристики, притаманні даному типу контен- ту, витягнення та аналіз яких дозволяє глиб- ше дослідити відношення подібності між використовуваними поняттями, та отримати достовірніше уявлення про зміст контенту. 60 Моделі і засоби систем баз даних і знань Загалом, подібність понять є резуль татом суб’єктивного сприйняття людини. Окрім семантичної інформації, саме зміст контенту (зображення, відео, аудіо тощо) й забезпечує інформацію зорового/слухового сприйняття, що також відіграє важливу роль в доступі до відношень подібності понять. Тому ці характеристики можуть бути використані для пошуку, порівняння й вста новлення відповідності контентів, та навіть у методах побудови кількісних показників відповідності для підвищення їхньої точ- ності. Для контентів типу зображення та- кими показниками можуть слугувати харак- теристики візуалізації. Характеристики візуалізації Характеристики візуалізації – це опи сові елементи зображення, що витягуються саме з контенту, переважно, за допомогою стандартного BoVW (bag-of-visual-words) представлення зображень [10]. Цей підхід базується на поняттях ключових точок зображення, дескрипторів, дескрипторного простору та словника візу альних слів. Ключовими точками [11, 12, 13] на- зивають помітні фрагменти зображення, що містять багату локальну інформацію про зображення, яка може бути автоматично виявлена за допомогою різноманітних де текторів [13, 14] й представлена багатьма дескрипторами [15]. Потім ключові точки поєднуються у групи – у велику кількість кластерів, водночас ті точки, що мають по дібні дескриптори, призначаються до одно- го й того самого кластера. Кожний кластер розглядається як «візуальне слово», що Рис.1. Загальна класифікація текстових метаданих верхнього рівня 61 Моделі і засоби систем баз даних і знань представляє конкретний локальний шаблон, який розділяється ключовими словами в цьому кластері. Це дозволяє отримати слов- ник візуальних слів, який описує всі види таких локальних шаблонів зображень. У та кому випадку зображення може бути пред- ставлене як «набір візуальних слів», або, зокрема, як вектор, який містить (зважену) кількість входжень кожного візуального слова в цьому зображенні, що використову- ється як вектор ознак в задачі класифікації. Такі вектори ознак називаються дескрипто- рами, а множина цих векторів ознак утво- рює дескрипторний простір. Тобто, кожне візуальне слово є ре зультатом аналізу певної області зобра ження. Первинне виявлення таких слів здійснюється шляхом розбору зображень, помічених текстовими тегами. Наприклад, маємо зображення, певна область якого помічена словом «кіт». Відповідний фраг- мент зображення декомпозується на групи графічних елементів конкретних форм та кольорів. Підраховується кількість екземп- лярів в кожній групі та з отриманих значень формується вектор ознак, що відповідає ві- зуальному слову «кіт» (рис.2). Рис.2. Формування вектору ознак Вектор ознак наведеного на рисунку прикладу базується на графічних складових зображення. Це відповідає SIFT (Scale-In variant Feature Transform) системі характе ристик візуалізації, але можуть викорис товуватися й інші системи характеристик. Наприклад, таких, що базуються лише на інформації з кольорових складових зобра- ження [19], або ребрах [17], текстурах [18], формах [19] тощо. Теги, що помічають зображення, та кож представляються векторами. Обидва типи векторів потребують загальної норма лізації, після чого їх можна конкатенувати. Вимірювання простору в даному ви падку можна сформувати наступним чином: значення кожного вимірювання обчислю ється як сума входжень відповідного візу ального слова у всіх зображеннях колекції, помічених цим словом. Поєднання текстового та візуального представлень створюють єдиний мультимо дальний простір. Для конкатенації векторів представленя можуть використовуватися різні підходи. У [20] запропоновано лінійну зважену функцію, що нормалізує та комбі- нує вектори текстового (Ft) та візуального (Fv) представлення: , (1) де ⊗ позначає операцію конкатена- ції, а – зважений параметр, що встанов- лює співвідношення між текстовим та візу альним представленнями контенту. У літературі описано чимало мето- дів, в тому числі експериментальних, до визначення візуальних, текстових та гібрід- них моделей [21] з аналізом ефективності їх застосування. Очевидно, що від якості представлення вектора візуалізації суттєво залежить адекватність вирішення подаль- ших задач. Підвищити ефективність векто- ра візуалізації можливо шляхом: - скорочення словника візуальних слів, - видалення з вектора візуального представлення «стоп-слів» - зважування візуальних слів у пред- ставленні, - становлення специфічних критеріїв вимірювання інформативності візуальних слів та видалення «не інформативних» слів з представлення, - збагачення представлення просто ровою інформацією, а саме врахування про сторового розташування ключових точок. Але дане дослідження не має за мету розробку або розгляд тих чи інших підходів до побудови векторів візуалізації, а швидше присвячене інтеграції семантичної та візу альної інформації зображення та визначен- ню оцінок подібності інформації на основі 62 Моделі і засоби систем баз даних і знань створеного мультимодального простору, й використанню їх для встановлення ступеня подібності даного типу контентів та для їх класифікації (чи категоризації). Водночас в основу побудови оцінок подібності покла- дені метрики, засновані на онтологіях, та, фактично, отримані показникі повинні яв- ляти собою оптимізацію вказаних метрик. Використання характеристик візуалізації в інтегрованих показниках семантичної подібності Перевагою визначення подібності понять онтологій є те, що ми одразу маємо справу з готовими концептами, тобто інфор мація є очищеною, без «шумів». У загаль ному випадку, у роботі зі складними кон тентами існує велика кількість «зашумле- них» даних, що призводить до неточних мір подібності. Використання візуальних особ ливостей зображення разом із пов’язаними з ними семантичними анотаціями дозволя- ють оптимізувати відношення семантичної подібності. Поєднання в онтології різних семантичних знань (що стосуються даного типу контенту), таких як ієрархічна струк- тура та семантичні відношення, дозволяє сформувати багатшу базу семантичних знань. Включення візуальної інформації та інтеграція декількох баз знань разом дозво- ляє різнобічно виразити відношення семан- тичної подібності понять. Метрики подібності концептів, що базуються на онтологіях, можна розділити на чотири категорії: методи на основі до- вжини шляху [22], методи на основі власти востей [25], методи на основі інформацій ного контенту [23, 24] й так звані «gloss-ba sed» (на основі глосів) методи [31]. Аналіз та метрики перших трьох груп методів було наведено у [26]. Метод на основі глосів (тлумачень) вперше був запропонований для усунення семантичної неоднозначності. У [32] порів нюються глоси слова у фразі з глосами ін ших, знаходячи найбільш подібні сенси як сенс слова в обраній фразі. Глоси описува лися у словнику. Пізніше, у [27] цей слов- ник був заміщений загальним словником Wordnet, та на його основі було створено відповідну онтологію. Передумовою даного методу було існування ідеальної структури, яка включає деталізований глосарій слів. Wordnet взмозі задовільнити вимоги щодо забезпечення ієрархічної структури понять і великої кількості семантичних тлумачень. Онтологія надає різноманітні джере- ла знань для вимірювання семантичної по дібності, містить багато інформації про тлу мачення поняття та інші семантичні зв’язки з ієрархічною структурою, що базується на відносинах гіпонімії. Проте, це все семан тична текстова інформація. Останнім ча- сом, разом зі швидким зростанням кількос- ті зображень спостерігається суттєве зба- гачення доступної візуальної інформації. З візуальної точки зору легше зрозуміти, чи є подібними два поняття. Тому інтеграція семантичної та візуальної інформації зо- браження здатна забезпечити оптимізацію методу оцінювання подібності, заснованого на онтологіях, та дозволяє отримати більш узгоджені з уявленням людини метрики по- дібності. Припустимо, існує N зображень, кожне з яких анотоване однією або декіль- кома мітками з M концептів . Нехай, Отримуємо так звану матрицю се мантичних відношень S розміром M⨯N. Візуальні оцінки можуть бути сфор мовані за допомогою матриці кореляцій V, елементи якої виражають подібність векто рів візуальних ознак окремих концептів та зображень. Кожному концепту відпові- дає підмножина зображень, що ним аното- вані. Тоді візуальні властивості концепта можуть бути описані цією підмножиною зображень. Середнє візуальних властивос- тей всіх цих зображень підмножини саме і є візуальною оцінкою концепта . У випад- ку, якщо позначити вектор візуальних ознак концепта як , а візуальних ознак зо браження j як , то елементи матриці V - саме виражають кореляцію між цими двома векторами. У [26] для визна- чення величини кореляції пропонується ви- користовувати косинус кута між векторами візуалізації: 63 Моделі і засоби систем баз даних і знань . Можна сказати, що даний показник визначає косинусну подібність векторів ві зуальних ознак, а саме: схожі вектори бу- дуть мати величину кореляції, значення якої наближається до нуля. Далі ці оцінки можуть бути викорис тані у формуванні комплексних векторів ознак: , Де ⊕ - операція конкатенації, а μ ∈ [0,1] – ваговий коефіцієнт, що встановлює баланс семантичної та візуальної інформа- ції в метриці подібності концептів. μ дося- гає 0, коли матриця семантичної подібності обчислюється лише на основі семантичних анотацій та навпаки, μ =1, якщо врахову- ються тільки візуальні ознаки. Отож, отримана матриця є об’єднаною матрицею ознак , де кожний рядок є комплексним вектором ознак концепту . Слід зазначити, якщо два концепти є семантично близькими, то їхні комплексні вектори також мають бути дуже схожими. Це обумовлює доцільність використання оцінок косинусної подібності також і на етапі визначення комплексної семантичної подібності концептів. У такому випадку, значення комплек сної семантичної подібності двох концептів та на основі семантичних анотацій та візуальних ознак зображення можна виз начити як: , де – комплексні вектори ознак концептів та , відповідно. Елементи формують матрицю комплексної семантич- ної подібності R. Врахування візуальної інформації при обчисленні ступеня подібності концеп- тів дозволяє компенсувати брак семантич- ної інформації (якщо має місце неповнота семантичних анотацій) та уникнути про- блеми «розрідженості» матриці подібності. А запобігти зміщенню центру візуальних ознак дозволяє встановлення ефективного значення коефіцієнту μ, який би дійсно за- безпечував баланс між цими видами семан- тичної інформації. Його визначення є окре- мою математичною задачею. На сьогодні ві- домі різні методи та підходи до її реалізації [23, 29, 30]. Як було зазначено вище, наведений показник побудований на основі семантич них анотацій зображення та його візуальних ознак. Далі він може бути використаний для оптимізації онтологічних показників по дібності [26]. Результуюча оцінка повинна бути композитною функцією від онтоло- гічного показника подібності концептів та їх комплексної оцінки подібності, на осно- ві семантичних та візуальних ознак. Тобто, якщо визначає онтологічну подібність концептів та (наприклад, через до- вжину шляху в онтології, яка їх містить), а – оцінка, що побудована на основі комплексних векторів ознак цих концептів, то результуючий показник подібності кон- цептів та : . Поєднання семантичних та візуаль них ознак у традиційну онтологічну метри- ку дозволяє компенсувати недостатність різнобічних та складних відношень в онто- логії. Висновки Фокусом даного дослідження є пи тання вдосконалення підходів до визначен- ня подібності інформаційних контентів, або контентів великих даних, що базуються на онтологіях, на основі всебічного інтелекту ального аналізу відповідної інформації. Зо крема, в даній статті розглянуто такі нетри віальні типи великих даних як зображення, або відеосцени, тобто візуальні контенти. Явні або неявні метадані, пов’язані з кон- тентом, надають його текстовий семантич- ний опис. Доцільність використання он- 64 Моделі і засоби систем баз даних і знань тологій для визначення таких метаданих обумовлена їх високим рівнем формалізації та наявністю ефективних механізмів мірку- вань. Це, в свою чергу, уможливлює авто- матизований аналіз цих контентів. Онтоло- гічні міри подібності забезпечують швидке та достовірне визначення ступеня відповід- ності контентів на основі схожості концеп- тів метаданих, що їх описують. Однак, ці оцінки не враховують зорового сприйняття зображення людиною. Підхід, що розгляда- ється у даній статті, спрямований саме на оптимізацію онтологічних метрик шляхом розширення їх показниками, які врахову- ють саме характеристики візуалізації зобра- жень. Такі оцінки комплексної семантичної подібності концептів визначаються шляхом композиції двох функцій. Перша з них фак- тично є онтологічною мірою подібності, а друга будується на основі його комплексно- го вектора ознак, що є конкатенацією се- мантичних та візуальних характеристик із встановленим ваговим балансом між цими двома різновидами інформації. Література 1. О. Захарова (2019). Використання мета- даних для вирішення задач великих даних. Проблеми програмування №4, 2019, С.81 – 91. 2. https://www.dublincore.org/specifications/ dublin-core/dces/ 3. http://www.foaf-project.org/ 4. http://www.ontoweb.org/ 5. http://knowledgeweb.semanticweb.org/ 6. https://www.exif.org/category/specifications 7. http://exif.org/dcf.PDF 8. http://www.esperonto.net 9. О. Захарова (2020). Основні аспекти семан тичного анотування великих даних. Пробле ми програмування №4, 2020, С.22 – 33. 10. J. Sivic and A. Zisserman. Video google: A text retrieval approach to object matching in videos. In Proc. of 9th IEEE Int’l Conf. on Computer Vision, Vol. 2, 2003. 11. S. Lazebnik, C. Schmid, and J. Ponce. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories. In Proc. of 2006 IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, volume 2, pages 2169{2178, 2006. 12. F.-F. Li and P. Perona. A bayesian hierarchical model for learning natural scene categories. In Proc. of the 2005 IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, pages 524{531, 2005. 13. J. Zhang, M. Marszalek, S. Lazebnik, and C. Schmid. Local features and kernels for classi¯cation of texture and object categories: An in-depth study. In Technical report, INRIA, 2005. 14. K. Mikolajczyk and C. Schmid. Scale and affine invariant interest point detectors. Int. J. Comput. Vision, 60(1):63-86, 2004. 15. K. Mikolajczyk and C. Schmid. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(10):1615-1630, 2005. 16. Mark D. Fairchild. 2005. Status of cie color appearance models. 17. John Canny. 1986. A computational approach to edge detection. IEEE Trans. Pattern Anal. Mach. Intell, 36(4):679–698. 18. Song Chun Zhu, Cheng en Guo, Ying Nian Wu, and Yizhou Wang. 2002. What are textons? In Computer Vision - ECCV 2002, 7th European Conference on Computer Vision, Copenhagen, Denmark, May 28-31, 2002, Proceedings, Part IV, pages 793–807. Springer. 19. Aude Oliva and Antonio Torralba. 2001. Modeling the shape of the scene: A holistic representation of the spatial envelope. Int. J. Comput. Vision, 42:145–175. 20. Elia Bruni, Giang Binh Tran, and Marco Baroni. 2011. Distributional semantics from text and images. In Proceedings of the EMNLP GEMS Workshop, pages 22–32, Edinburgh. 21. Marco Baroni and Alessandro Lenci. 2010. Distributional Memory: A general framework for corpus-based semantics. Computational Linguistics, 36(4):673–721. 22. Collet, C., Huhns, M.N., Shen, W.M.: Resource integration using a large knowledge base in carnot. IEEE Computer 24 (1991) 55–62 23. Tversky, A.: Features of similarity. Psycological Review 84 (1997) 327–352 24. Jang, J., Conrath, D.: Semantic symilarity based on corpus statistic and lexical taxonomy. In: Proceedings of the International Conference on Computational Linguistics. (1997) 25. Resnik, P.: Semantic similarity in a taxonomy: An information-based measure and its application to problems of ambiguity in natural language. Journal of Artificial Intelligence 65 Моделі і засоби систем баз даних і знань Research 11 (1999) 95–130. 26. O. Zakharova. Defining degree of semantic similarity using description logic tools. Про- блеми програмування. — 2021. — № 2. — С. 24-33. 27. Banerjee S, Pedersen T. An adapted Lesk algorithm for word sense disambiguation using WordNet[M]. Computational linguistics and intelligent text processing. Springer Berlin Heidelberg, 2002: 136-145. DOI: http://dx.doi. org/10.1007/3-540-45715-1_11 28. Mengyun Wang, Xianglong Liu, Lei Huang, Bo Lang, Hailiang Yu. 2014. Ontology-based Concept Similarity Integrating Image Semantic and Visual Information. Proceedings of the 2014 Federated Conference on Computer Science and Information Systems pp. 289–296. 29. Rodríguez M A, Egenhofer M J. Determining semantic similarity among entity classes from different ontologies. Knowledge and Data Engineering, IEEE Transactions on, 2003, 15(2): 442-456. 30. Zhou Z, Wang Y, Gu J. A new model of information content for semantic similarity in WordNet. Future Generation Communication and Networking Symposia, 2008. FGCNS’08. Second International Conference on. IEEE, 2008. 31. Patwardhan S, Pedersen T. Using WordNet- based context vectors to estimate the semantic relatedness of concepts. Proceedings of the EACL 2006 Workshop Making Sense of Sense-Bringing Computational Linguistics and Psycholinguistics Together. 2006, 1501:1-8. 32. Lesk M. Automatic sense disambiguation using machine readable dictionaries: how to tell a pine cone from an ice cream cone. Proceedings of the 5th annual international conference on Systems documentation. ACM, 1986: 24-26. DOI:http://dx.doi.org/10.1145/318723.318728 Одержано: 16.01.2023 Про автора: Захарова Ольга Вікторівна, кандидат технічних наук, старший науковий співробітник. Кількість наукових публікацій в україн- ських виданнях – 33. http://orcid.org/0000-0002-9579-2973. Місце роботи автора: Інститут програмних систем НАН України, проспект Академіка Глушкова, 40. Тел.: 526 5139. E-mail: ozakharova68@gmail.com. Моб.тел.: +38(068)594756
id	pp_isofts_kiev_ua-article-559
institution	Problems in programming
keywords_txt_mv	keywords
language	Ukrainian
last_indexed	2025-12-02T15:43:46Z
publishDate	2023
publisher	PROBLEMS IN PROGRAMMING
record_format	ojs
resource_txt_mv	ppisoftskievua/fe/aa7c0585b0d9c7b9a4bf6d75e94589fe.pdf
spelling	pp_isofts_kiev_ua-article-5592023-10-23T11:50:31Z Metadata as a tool of the semantic analysis of the complex contents of the big data. The images Метадані як засіб семантичного аналізу складних контентів великих даних. Зображення Zakharova, O.V. the big data; the complex content; the semantic similarity of the information; visual features; a descriptor; a descriptor;space; key points for an image; a visual vector; ontological similarity metrics; textual models UDC 004.94 великі дані; складний контент; семантична подібність інформації; дескриптор; дескрипторний простір УДК 004.94 The purpose of the research is to specify effective approaches for improving the semantic analysis of graphic contents of big data. This article considers images or video scenes as examples of such complex contents. Proposed approach takes into account the special features of these contents and create a hybrid annotation model that extends the text annotation model with more specific elements. For the visual data, these are characteristics of visualization. Determining the similarity of information contents is a critical problem for solving big data tasks. It is the basis for the big data categorization and enables the composition of the documents, conversion of an unstructured contents to relevant knowledge structures and the visualization of the information. Semantic analysis of information contents is usually based on their metadata, which form the basis of semantic annotations. Also, they are elements of a structured semantic description of the content and the basis for its automated processing. The approach is based on using ontologies to define semantic annotations. Ontologies provide various sources of knowledge to measure semantic similarity, contain a lot of information about the interpretation of concepts and other semantic relationships with a hierarchical structure based on hyponymy relations. But, in recent years, there is the rapid growth of the number of images and video resources. And, at this time, we can note a significant enrichment of available visual information. From a visual point of view, it is easier to understand whether two concepts are similar. Therefore, the integration of semantic and visual information of the image ensures the optimization of the ontological methods for similarity estimation and allows to obtain similarity metrics that are more consistent with human perception. De facto, such assessments of the complex semantic similarity of concepts are defined by the composition of two functions, the first of which, in fact, is an ontological measure of similarity, and the second is built on the basis of a complex facilities vector. It is a concatenation of semantic and visual characteristics with an established weight balance between these two types of features. The combination of visualization features with semantic and ontological characteristics of the contents in the similarity metrics is the central idea of this study.Prombles in programming 2023; 1: 58-65 Метою дослідження є визначення ефективних підходів щодо вдосконалення семантичного ана- лізу графічних контентів великих даних, а саме таких, як зображення або відеосцени. Сутність запропонованого підходу полягає в урахуванні особливих характеристик складних контентів та створенні гібридної моделі анотування, що розширює текстову модель більш специфічними елементами, наприклад, для візуальних даних, характеристиками візуалізації. Визначення подібності інформаційних контентів є критичною проблемою для вирішення цілої низки задач великих даних. В тому числі, є основою для ка- тегоризації цих контентів, забезпечують можливість композиції документів, конвертації неструктурованого контенту у структури релевантних знань, візуалізації інформації. Семантич- ний аналіз інформаційних контентів, зазвичай, базується на їх метаданих, які складають основу семантичних анотацій та є елементами структурованого семантичного опису контенту й базісом для його автоматизованої обробки. В основу підходу покладено використання онтологій для визначення семантичних анотацій. Онтології надають різноманітні джерела знань для вимірювання семантичної подібності, містять багато інформації про тлумачення понять та інші семантичні зв’язки з ієрархічною структурою, що базується на відносинах гіпонімії. Але, остан- ні роки, разом з швидким зростанням кількості зображень та відеоресурсів, спостерігається суттєве збагачення доступної візуальної інформації. З візуальної точки зору легше зрозуміти, чи є подібними два поняття. Тому, інтеграція семантичної та візуальної інформації зображення забезпечує оптимізацію методів оцінювання подібності, що заснований на онтологіях, та до- зволяє отримати більш узгоджені з уявленням людини метрики подібності. Такі оцінки комплексної семантичної подібності концептів визначаються шляхом композиції двох функцій, перша з яких, фактично, є онтологічною мірою подібності, а друга будується на основі комплексного встановленим ваговим балансом між цими двома різновидами інформації. Поєднання ознак візуалізації з семантичними та онтологічними характеристиками контента у формуванні оцінок подібності й становлять центральну ідею даного дослідження.Prombles in programming 2023; 1: 58-65 PROBLEMS IN PROGRAMMING ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ ПРОБЛЕМИ ПРОГРАМУВАННЯ 2023-04-27 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/559 10.15407/pp2023.01.058 PROBLEMS IN PROGRAMMING; No 1 (2023); 58-65 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 1 (2023); 58-65 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 1 (2023); 58-65 1727-4907 10.15407/pp2023.01 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/559/610 Copyright (c) 2023 PROBLEMS IN PROGRAMMING
spellingShingle	the big data the complex content the semantic similarity of the information visual features a descriptor a descriptor;space key points for an image a visual vector ontological similarity metrics textual models UDC 004.94 Zakharova, O.V. Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title	Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_alt	Метадані як засіб семантичного аналізу складних контентів великих даних. Зображення
title_full	Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_fullStr	Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_full_unstemmed	Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_short	Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_sort	metadata as a tool of the semantic analysis of the complex contents of the big data. the images
topic	the big data the complex content the semantic similarity of the information visual features a descriptor a descriptor;space key points for an image a visual vector ontological similarity metrics textual models UDC 004.94
topic_facet	the big data the complex content the semantic similarity of the information visual features a descriptor a descriptor;space key points for an image a visual vector ontological similarity metrics textual models UDC 004.94 великі дані складний контент семантична подібність інформації дескриптор дескрипторний простір УДК 004.94
url	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/559
work_keys_str_mv	AT zakharovaov metadataasatoolofthesemanticanalysisofthecomplexcontentsofthebigdatatheimages AT zakharovaov metadaníâkzasíbsemantičnogoanalízuskladnihkontentívvelikihdanihzobražennâ

Metadata as a tool of the semantic analysis of the complex contents of the big data. The images

Institution

Ähnliche Einträge