Metadata as a tool of the semantic analysis of the complex contents of the big data. The images

Metadata as a tool of the semantic analysis of the complex contents of the big data. The images

The purpose of the research is to specify effective approaches for improving the semantic analysis of graphic contents of big data. This article considers images or video scenes as examples of such complex contents. Proposed approach takes into account the special features of these contents and crea...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Datum:2023
1. Verfasser: Zakharova, O.V.
Format: Artikel
Sprache:Ukrainian
Veröffentlicht: PROBLEMS IN PROGRAMMING 2023
Schlagworte:
the big data
the complex content
the semantic similarity of the information
visual features
a descriptor
a descriptor;space
key points for an image
a visual vector
ontological similarity metrics
textual models
UDC 004.94
Online Zugang:https://pp.isofts.kiev.ua/index.php/ojs1/article/view/559
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:Problems in programming
Завантажити файл: Pdf

Institution

Problems in programming
id pp_isofts_kiev_ua-article-559
record_format ojs
resource_txt_mv ppisoftskievua/bf/5a3ec44e7fe272ee113c4fd0b91fcdbf.pdf
spelling pp_isofts_kiev_ua-article-5592023-10-23T11:50:31Z Metadata as a tool of the semantic analysis of the complex contents of the big data. The images Метадані як засіб семантичного аналізу складних контентів великих даних. Зображення Zakharova, O.V. the big data; the complex content; the semantic similarity of the information; visual features; a descriptor; a descriptor;space; key points for an image; a visual vector; ontological similarity metrics; textual models UDC 004.94 великі дані; складний контент; семантична подібність інформації; дескриптор; дескрипторний простір УДК 004.94 The purpose of the research is to specify effective approaches for improving the semantic analysis of graphic contents of big data. This article considers images or video scenes as examples of such complex contents. Proposed approach takes into account the special features of these contents and create a hybrid annotation model that extends the text annotation model with more specific elements. For the visual data, these are characteristics of visualization. Determining the similarity of information contents is a critical problem for solving big data tasks. It is the basis for the big data categorization and enables the composition of the documents, conversion of an unstructured contents to relevant knowledge structures and the visualization of the information. Semantic analysis of information contents is usually based on their metadata, which form the basis of semantic annotations. Also, they are elements of a structured semantic description of the content and the basis for its automated processing. The approach is based on using ontologies to define semantic annotations. Ontologies provide various sources of knowledge to measure semantic similarity, contain a lot of information about the interpretation of concepts and other semantic relationships with a hierarchical structure based on hyponymy relations. But, in recent years, there is the rapid growth of the number of images and video resources. And, at this time, we can note a significant enrichment of available visual information. From a visual point of view, it is easier to understand whether two concepts are similar. Therefore, the integration of semantic and visual information of the image ensures the optimization of the ontological methods for similarity estimation and allows to obtain similarity metrics that are more consistent with human perception. De facto, such assessments of the complex semantic similarity of concepts are defined by the composition of two functions, the first of which, in fact, is an ontological measure of similarity, and the second is built on the basis of a complex facilities vector. It is a concatenation of semantic and visual characteristics with an established weight balance between these two types of features. The combination of visualization features with semantic and ontological characteristics of the contents in the similarity metrics is the central idea of this study.Prombles in programming 2023; 1: 58-65 Метою дослідження є визначення ефективних підходів щодо вдосконалення семантичного ана- лізу графічних контентів великих даних, а саме таких, як зображення або відеосцени. Сутність запропонованого підходу полягає в урахуванні особливих характеристик складних контентів та створенні гібридної моделі анотування, що розширює текстову модель більш специфічними елементами, наприклад, для візуальних даних, характеристиками візуалізації. Визначення подібності інформаційних контентів є критичною проблемою для вирішення цілої низки задач великих даних. В тому числі, є основою для ка- тегоризації цих контентів, забезпечують можливість композиції документів, конвертації неструктурованого контенту у структури релевантних знань, візуалізації інформації. Семантич- ний аналіз інформаційних контентів, зазвичай, базується на їх метаданих, які складають основу семантичних анотацій та є елементами структурованого семантичного опису контенту й базісом для його автоматизованої обробки. В основу підходу покладено використання онтологій для визначення семантичних анотацій. Онтології надають різноманітні джерела знань для вимірювання семантичної подібності, містять багато інформації про тлумачення понять та інші семантичні зв’язки з ієрархічною структурою, що базується на відносинах гіпонімії. Але, остан- ні роки, разом з швидким зростанням кількості зображень та відеоресурсів, спостерігається суттєве збагачення доступної візуальної інформації. З візуальної точки зору легше зрозуміти, чи є подібними два поняття. Тому, інтеграція семантичної та візуальної інформації зображення забезпечує оптимізацію методів оцінювання подібності, що заснований на онтологіях, та до- зволяє отримати більш узгоджені з уявленням людини метрики подібності. Такі оцінки комплексної семантичної подібності концептів визначаються шляхом композиції двох функцій, перша з яких, фактично, є онтологічною мірою подібності, а друга будується на основі комплексного встановленим ваговим балансом між цими двома різновидами інформації. Поєднання ознак візуалізації з семантичними та онтологічними характеристиками контента у формуванні оцінок подібності й становлять центральну ідею даного дослідження.Prombles in programming 2023; 1: 58-65 PROBLEMS IN PROGRAMMING ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ ПРОБЛЕМИ ПРОГРАМУВАННЯ 2023-04-27 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/559 10.15407/pp2023.01.058 PROBLEMS IN PROGRAMMING; No 1 (2023); 58-65 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 1 (2023); 58-65 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 1 (2023); 58-65 1727-4907 10.15407/pp2023.01 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/559/610 Copyright (c) 2023 PROBLEMS IN PROGRAMMING
institution Problems in programming
baseUrl_str https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date 2023-10-23T11:50:31Z
collection OJS
language Ukrainian
topic the big data
the complex content
the semantic similarity of the information
visual features
a descriptor
a descriptor;space
key points for an image
a visual vector
ontological similarity metrics
textual models
UDC 004.94
spellingShingle the big data
the complex content
the semantic similarity of the information
visual features
a descriptor
a descriptor;space
key points for an image
a visual vector
ontological similarity metrics
textual models
UDC 004.94
Zakharova, O.V.
Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
topic_facet the big data
the complex content
the semantic similarity of the information
visual features
a descriptor
a descriptor;space
key points for an image
a visual vector
ontological similarity metrics
textual models
UDC 004.94
великі дані
складний контент
семантична подібність інформації
дескриптор
дескрипторний простір
УДК 004.94
format Article
author Zakharova, O.V.
author_facet Zakharova, O.V.
author_sort Zakharova, O.V.
title Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_short Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_full Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_fullStr Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_full_unstemmed Metadata as a tool of the semantic analysis of the complex contents of the big data. The images
title_sort metadata as a tool of the semantic analysis of the complex contents of the big data. the images
title_alt Метадані як засіб семантичного аналізу складних контентів великих даних. Зображення
description The purpose of the research is to specify effective approaches for improving the semantic analysis of graphic contents of big data. This article considers images or video scenes as examples of such complex contents. Proposed approach takes into account the special features of these contents and create a hybrid annotation model that extends the text annotation model with more specific elements. For the visual data, these are characteristics of visualization. Determining the similarity of information contents is a critical problem for solving big data tasks. It is the basis for the big data categorization and enables the composition of the documents, conversion of an unstructured contents to relevant knowledge structures and the visualization of the information. Semantic analysis of information contents is usually based on their metadata, which form the basis of semantic annotations. Also, they are elements of a structured semantic description of the content and the basis for its automated processing. The approach is based on using ontologies to define semantic annotations. Ontologies provide various sources of knowledge to measure semantic similarity, contain a lot of information about the interpretation of concepts and other semantic relationships with a hierarchical structure based on hyponymy relations. But, in recent years, there is the rapid growth of the number of images and video resources. And, at this time, we can note a significant enrichment of available visual information. From a visual point of view, it is easier to understand whether two concepts are similar. Therefore, the integration of semantic and visual information of the image ensures the optimization of the ontological methods for similarity estimation and allows to obtain similarity metrics that are more consistent with human perception. De facto, such assessments of the complex semantic similarity of concepts are defined by the composition of two functions, the first of which, in fact, is an ontological measure of similarity, and the second is built on the basis of a complex facilities vector. It is a concatenation of semantic and visual characteristics with an established weight balance between these two types of features. The combination of visualization features with semantic and ontological characteristics of the contents in the similarity metrics is the central idea of this study.Prombles in programming 2023; 1: 58-65
publisher PROBLEMS IN PROGRAMMING
publishDate 2023
url https://pp.isofts.kiev.ua/index.php/ojs1/article/view/559
work_keys_str_mv AT zakharovaov metadataasatoolofthesemanticanalysisofthecomplexcontentsofthebigdatatheimages
AT zakharovaov metadaníâkzasíbsemantičnogoanalízuskladnihkontentívvelikihdanihzobražennâ
first_indexed 2025-12-02T15:43:46Z
last_indexed 2025-12-02T15:43:46Z
_version_ 1850411819286396928
fulltext 58 Моделі і засоби систем баз даних і знань УДК 004.94 http://doi.org/10.15407/pp2023.01.058 О. Захарова МЕТАДАНІ ЯК ЗАСІБ СЕМАНТИЧНОГО АНАЛІЗУ СКЛАДНИХ КОНТЕНТІВ ВЕЛИКИХ ДАНИХ. ЗОБРАЖЕННЯ Метою дослідження є визначення ефективних підходів щодо вдосконалення семантичного аналізу гра- фічних контентів великих даних, а саме таких як зображення або відеосцени. Сутність запропоновано- го підходу полягає в урахуванні особливих характеристик складних контентів та створенні гібридної моделі анотування, що розширює текстову модель більш специфічними елементами, наприклад, для візуальних даних, характеристиками візуалізації. Визначення подібності інформаційних контентів є критичною проблемою для вирішення цілої низки задач великих даних. В тому числі, є основою для категоризації цих контентів. Семантичний аналіз інформаційних контентів зазвичай базується на їхніх метаданих, які складають основу семантичних анотацій та є елементами структурованого семантич- ного опису контенту й базисом для його автоматизованої обробки. В основу підходу покладено ви- користання онтологій для визначення семантичних анотацій. Онтології надають різноманітні джерела знань для вимірювання семантичної подібності, містять багато інформації про тлумачення понять та інші семантичні зв’язки з ієрархічною структурою, що базується на відносинах гіпонімії. Але останні роки разом зі швидким зростанням кількості зображень та відеоресурсів, спостерігається суттєве зба- гачення доступної візуальної інформації. З візуальної точки зору легше зрозуміти, чи є подібними два поняття. Тому інтеграція семантичної та візуальної інформації зображення забезпечує оптимізацію методів оцінювання подібності, що засновані на онтологіях, та дозволяє отримати більш узгоджені з уявленням людини метрики подібності. Поєднання ознак візуалізації з семантичними та онтологічни- ми характеристиками контенту у формуванні оцінок подібності й становлять центральну ідею даного дослідження. Ключові слова: складний контент, семантична подібність інформації, візуальні дані, дескриптор, де- скрипторний простір, ключові точки зображення, вектор візуалізації, онтологічні показники подібнос- ті, текстова модель анотування, гібрідна модель анотування, словник візуальних слів, метадані вели- ких даних, характеристики візуалізації. © О. Захарова, 2023 ISSN 1727-4907. Проблеми програмування. 2023. №1 Вступ Нагальною задачею сучасної ін фор­ ма ційної спільноти є створення методів, що уможливлювали б швидкий ана лі з інфор- маційних джерел та представлених в них даних. Найголовнішою макроціллю та ко го аналізу є семантична категоризація ін фор­ маційних контентів. Водночас, слід вра- ховувати, що інформація, як правило, різ­ норідна, містить дані різних типів (часто не текстові) і форматів представлення та ве ли­ кі об’єми. Але з цими інформаційними еле­ ментами, окрім саме їхнього контенту, мо- жуть бу ти ассоційовані такі об’єкти даних, як наз ва, опис, мітки тощо. Та їхній зміст є джерелом тек стової семантичної інформації і ста но вить базис для формування семан- тичних ме та даних, які є елементами струк- турованого се мантичного опису контенту та основою для його автоматичної обробки. Також іс ну ють метадані, що не завжди по- мітні ко рис ту ва чеві, та можуть бути роз- кидані по всьому кон тенту. Але вони дуже необхідні для по шу ку, структуризації, кате- горизації та обробки ін формації. Метадані можуть ви ко рис то ву ва тись для вирішення цілої низки за дач ве ли ких даних, включно із категоризацією, ком по зицією докумен- тів, конвертацією не струк ту ро ваного кон- тенту в структури ре ле ван тних знань, ві­ зуалізацію інформації на ос нові он то логій. Семантично ано тований контент стає дже­ релом інформації, яку простіше ін тер пре­ тувати, комбінувати та пов торно ви ко рис­ товувати автоматизовано. Це породжує цілу низку задач ме та­ да них, які потребують вирішення. Перш за все, ви тягнення метаданих з контенту, ана- ліз їхніх зв’яз ків, створення й формалізація ме та да них зі збереженням їхніх зв’язків, їх кла си фі ка ція, приєднання додаткової семан- 59 Моделі і засоби систем баз даних і знань тичної ін фор мації до документу великих даних, роз роб ка схем використання мета- даних тощо. Зро зу міло, що, мір ку ю чи про на бори ме та да них, які описують контенти різних типів, тре ба вра хо ву ва ти, що кож- ний з них має влас ні ха рак те рис ти ки. У [1] вже були ви зна че ні спіль ні аспекти та під ­ ходи до се ман тич но го ано тування кон тен ту великих даних за до помогою метаданих та запропонована їхня за гальна класифікація. Метою даного до слід ження є вдосконален- ня запропонованої за гальної класифікації з урахуванням особ ли вих характеристик складних контентів та ство рення гібридної моделі анотування, що роз ширює тестову модель більш спе ци фіч ни ми елементами, як­от, для візуальних да них, характеристи- ками візуалізації. Текстова модель анотування великих даних Текстова модель анотування охоплює всі можливі типи текстових метаданих, пов’язані з документом великих даних. Усі ано тації за призначенням можна поділити на дві основні групи: метадані, що опису- ють за гальні ха рак те рис тики документу, та ме та дані прик лад но го контенту. Метадані для ано ту ван ня за галь них влас тивостей об’єктів великих даних є кон ­ тек ст но­незалежними і для їх визначення роз роблено чимало спе ці альних стандартів. Насамперед, це загальні характеристики до ку менту, такі як автори, дата та час ство­ рен ня, формат тощо. Або загальні катего- рії об’єк тів, як особа, організація, локація тощо. Во ни можуть бути застосовані до будь­якого до кумента, не залежно від фор- мату пред став лення. Найбільш розповсю- дженим стан дар том, що специфікує мно- жину загальних ха рактеристик документу, є відомий стан дарт Dublin Core [2]. Наступна група – це метадані, що ви­ зна чають загальні характеристики контен- тів пев них типів: ві део, зображень, аудіо, веб­сто рінок, постів (твітів) то що, та вра хо­ ву ють їхні спе ци фіч ні ха рак те рис тики. Для спе ци фі ка ції таких метаданих на сьогодні роз роб лено безліч стандартів та онтологій. На прик лад, онтології FOAF (Friend of a Fri­ end) [3], Onto Web [4], KnowledgeWeb [5] для ство рення ано то ва ної ме режі до машніх сто­ рі нок людей, груп або ком паній, стандарти EXIF [6], DCF [7], IPTC, що визначають ме­ та дані для опису зображень, тощо. Такі гру пи он то логій та стандарти до з воляють ав то ма тич но визначити ве ли ку кіль кість тех ніч них ха рактеристик до ку­ мен та великих даних та деяку за галь ну його се ман тику, але не охоплюють де та лей його кон тенту (мож ливо, лише деякі клю чові сло ва та опи си природною мовою в та ких ха рак те рис ти ках, як тема або опис). Справжній се ман тич ний опис, який ви кри ває сутність та особ ли вості контенту да них, вимагає визначення різ них типів кон­ текст но­залежних ме та да них, що не мож ли­ во без застосування прик лад них онтологій до ме ну. Це мо жуть бути за галь ні прикладні он то логії, призначені для анотування до ку ­ мен тів або вирішення проб лем у певному ши рокому домені. Так, на прик лад, он то ло­ гії Es pe ronto Cultural Tour [8] та Fund Finder до з во ля ють анотувати до ку мен ти в при к­ лад них до ме нах культура та фі нан сування, від по відно. Та кі он то логії, як пра вило, ви­ з на ча ють за галь ні ха рак те рис ти ки об ра ної при к лад ної області. А можуть бу ти більш спе цифічні прик ладні онтології, які до зво­ ля ють точніше ви значити семантику да них. Але їх за сто су ван ня у повністю ав то ма ти зо­ ва но му режимі є проб лематичним з ог ляду на те, що вони є досить спе цифічними для кон крет но го об’єкта даних та задачі, що ви­ рі шу ється. Всі ці метадані або прямо ви зна ча­ ють ся в контенті: в тегах, атрибутах, описах то що, або непрямо ­ за допомогою посилань на інші джерела, стандарти та онтології. Але так чи інакше вони мають текстові значен- ня, їх можна вважати текстовими або опи со­ ви ми. Більш структуровано загальна кла си­ фі кація текстових метаданих на верхньому рів ні представлена на рис.1 [9] нижче. Великі дані за визначенням переваж- но мають не структурований контент знач ­ ного розміру. Документ великих даних, ок­ рім пов’язаних з ним описових елементів (се мантичних анотацій), може мати ха рак­ те рис тики, притаманні даному типу контен- ту, ви тягнення та аналіз яких дозволяє глиб- ше до слідити відношення подібності між використовуваними по нят тя ми, та отримати достовірніше уявлення про зміст кон тенту. 60 Моделі і засоби систем баз даних і знань Загалом, подібність понять є ре зуль­ та том суб’єктивного сприйняття людини. Ок рім семантичної інформації, саме зміст кон тенту (зображення, відео, аудіо тощо) й за безпечує інформацію зорового/слухового сприй няття, що також відіграє важливу роль в доступі до відношень подібності понять. Тому ці характеристики можуть бути ви користані для пошуку, порівняння й вста­ нов лення відповідності контентів, та навіть у ме тодах побудови кількісних показників від по відності для підвищення їхньої точ- ності. Для кон тентів типу зображення та- кими по каз никами можуть слугувати харак- теристики ві зуалізації. Характеристики візуалізації Характеристики візуалізації – це опи­ со ві елементи зображення, що витягуються са ме з контенту, переважно, за допомогою стан дартного BoVW (bag­of­visual­words) пред ставлення зображень [10]. Цей підхід базується на поняттях клю чових точок зображення, дескрипторів, дес крипторного простору та словника ві зу­ альних слів. Ключовими точками [11, 12, 13] на- зивають помітні фрагменти зобра ження, що містять багату локальну ін фор ма цію про зображення, яка може бути ав то ма тично виявлена за допомогою різноманітних де­ текторів [13, 14] й представлена багатьма дес крипторами [15]. Потім ключові точки по єднуються у групи – у велику кількість клас терів, водночас ті точки, що мають по­ діб ні дескриптори, призначаються до одно- го й того самого кластера. Кожний кластер роз гля дається як «візуальне слово», що Рис.1. Загальна класифікація текстових метаданих верхнього рівня 61 Моделі і засоби систем баз даних і знань пред став ляє конкретний локальний шаблон, який роз діляється ключовими словами в цьому клас тері. Це дозволяє отримати слов- ник ві зу аль них слів, який описує всі види таких ло каль них шаблонів зображень. У та­ кому випадку зображення може бути пред- ставлене як «на бір візуальних слів», або, зокрема, як век тор, який містить (зважену) кількість вход жень кожного візуального слова в цьому зо бра женні, що використову- ється як век то р ознак в задачі класифікації. Такі век то ри ознак називаються дескрипто- рами, а мно жи на цих векторів ознак утво- рює деск рип торний простір. Тобто, кожне візуальне слово є ре­ зуль татом аналізу певної області зо бра­ жен ня. Первинне виявлення таких слів здій сню єть ся шляхом розбору зображень, по мі чених текстовими тегами. Наприклад, маємо зо браження, певна область якого помічена сло вом «кіт». Відповідний фраг- мент зо бра жен ня декомпозується на групи графічних еле ментів конкретних форм та кольорів. Під ра ховується кількість екземп- лярів в кожній гру пі та з отриманих значень формується век тор ознак, що відповідає ві- зуальному сло ву «кіт» (рис.2). Рис.2. Формування вектору ознак Вектор ознак наведеного на рисунку прик ладу базується на графічних складових зо браження. Це відповідає SIFT (Scale­In­ va ri ant Feature Transform) системі ха рак те­ рис тик візуалізації, але можуть ви ко рис­ то ву ва ти ся й інші системи характеристик. На прик лад, таких, що базуються лише на інформації з кольорових складових зобра- ження [19], або реб рах [17], текстурах [18], формах [19] тощо. Теги, що помічають зображення, та­ кож представляються векторами. Обидва ти пи векторів потребують загальної нор ма­ лі за ції, після чого їх можна конкатенувати. Вимірювання простору в даному ви­ пад ку можна сформувати наступним чином: зна чення кожного вимірювання об чис лю­ єть ся як сума входжень відповідного ві зу­ аль но го слова у всіх зображеннях колекції, по мі чених цим словом. Поєднання текстового та візуального пред ставлень створюють єдиний муль ти мо­ даль ний простір. Для конкатенації векторів пред ставленя можуть використовуватися різ ні підходи. У [20] запропоновано лінійну зва жену функцію, що нормалізує та комбі- нує век тори текстового (Ft) та візуального (Fv) пред ставлення: , (1) де ⊗ позначає операцію конкатена- ції, а – зважений параметр, що встанов- лює спів відношення між текстовим та ві зу­ аль ним представленнями контенту. У літературі описано чимало мето- дів, в тому числі експериментальних, до виз на чен ня візуальних, текстових та гібрід- них мо де лей [21] з аналізом ефективності їх за сто су вання. Очевидно, що від якості пред став лен ня вектора візуалізації суттєво залежить адек ватність вирішення подаль- ших задач. Під вищити ефективність векто- ра візуалізації можливо шляхом: ­ скорочення словника візуальних слів, ­ видалення з вектора візуального представлення «стоп­слів» ­ зважування візуальних слів у пред- ставленні, ­ становлення специфічних критеріїв ви мірювання інформативності візуальних слів та видалення «не інформативних» слів з представлення, ­ збагачення представлення про сто­ ро вою інформацією, а саме врахування про­ сто ро вого розташування ключових точок. Але дане дослідження не має за мету роз робку або розгляд тих чи інших підходів до побудови векторів візуалізації, а швидше при свячене інтеграції семантичної та ві зу­ аль ної інформації зображення та визначен- ню оці нок подібності інформації на основі 62 Моделі і засоби систем баз даних і знань ство ре ного мультимодального простору, й ви ко рис танню їх для встановлення ступеня по діб ності даного типу контентів та для їх кла си фікації (чи категоризації). Водночас в ос но ву побудови оцінок подібності покла- дені мет рики, засновані на онтологіях, та, фак тично, отримані показникі повинні яв- ляти собою оптимізацію вказаних метрик. Використання характеристик візуалізації в інтегрованих показниках семантичної подібності Перевагою визначення подібності понять он то ло гій є те, що ми одразу маємо спра ву з готовими концептами, тобто ін фор­ ма ція є очищеною, без «шумів». У за галь­ но му випадку, у роботі зі складними кон­ тен та ми існує велика кількість «зашумле- них» да них, що призводить до неточних мір по діб ності. Використання візуальних особ­ ли вос тей зображення разом із пов’язаними з ни ми семантичними анотаціями дозволя- ють оп тимізувати відношення семантичної по діб но сті. Поєднання в онтології різних се ман тич них знань (що стосуються даного типу кон тенту), таких як ієрархічна струк- тура та се мантичні відношення, дозволяє сфор му ва ти багатшу базу семантичних знань. Вклю чення візуальної інформації та ін тег ра ція декількох баз знань разом дозво- ляє різ но біч но виразити відношення семан- тичної по діб ності понять. Метрики подібності концептів, що ба зу ються на онтологіях, можна розділити на чо тири категорії: методи на основі до- вжини шля ху [22], методи на основі влас ти­ вос тей [25], методи на основі ін фор ма цій­ но го контенту [23, 24] й так звані «gloss­ba­ sed» (на основі глосів) методи [31]. Аналіз та мет рики перших трьох груп методів було на ве дено у [26]. Метод на основі глосів (тлумачень) впер ше був запропонований для усунення се мантичної неоднозначності. У [32] по рів­ ню ються глоси слова у фразі з глосами ін­ ших, знаходячи найбільш подібні сенси як сенс слова в обраній фразі. Глоси опи су ва­ ли ся у словнику. Пізніше, у [27] цей слов- ник був заміщений загальним словником Word net, та на його основі було створено від по від ну онтологію. Передумовою даного методу бу ло існування ідеальної структури, яка вклю чає деталізований глосарій слів. Word net взмозі задовільнити вимоги щодо за без пе чення ієрархічної структури понять і ве ли кої кількості семантичних тлумачень. Онтологія надає різноманітні джере- ла знань для вимірювання семантичної по­ діб но сті, містить багато інформації про тлу­ ма чен ня поняття та інші семантичні зв’язки з ієрар хічною структурою, що базується на від носинах гіпонімії. Проте, це все се ман­ тич на текстова інформація. Останнім ча- сом, ра зом зі швидким зростанням кількос- ті зо бра жень спостерігається суттєве зба- гачення дос тупної візуальної інформації. З візуальної точ ки зору легше зрозуміти, чи є подібними два поняття. Тому інтеграція семантичної та ві зуальної інформації зо- браження здатна за без печити оптимізацію методу оцінювання по дібності, заснованого на онтологіях, та доз воляє отримати більш узгоджені з уяв лен ням людини метрики по- дібності. Припустимо, існує N зображень, кож не з яких анотоване однією або декіль- кома міт ками з M концептів . Нехай, Отримуємо так звану матрицю се­ ман тичних відношень S розміром M⨯N. Візуальні оцінки можуть бути сфор­ мо вані за допомогою матриці кореляцій V, еле менти якої виражають подібність век то­ рів візуальних ознак окремих концептів та зо бражень. Кожному концепту відпові- дає під множина зображень, що ним аното- вані. То ді візуальні властивості концепта мо жуть бути описані цією підмножиною зо бра жень. Середнє візуальних властивос- тей всіх цих зображень підмножини саме і є ві зу аль ною оцінкою концепта . У випад- ку, як що позначити вектор візуальних ознак кон цепта як , а візуальних ознак зо­ бра жен ня j як , то елементи матриці V ­ са ме виражають кореляцію між цими двома век торами. У [26] для визна- чення величини ко реляції пропонується ви- користовувати ко си нус кута між векторами візуалізації: 63 Моделі і засоби систем баз даних і знань . Можна сказати, що даний показник виз начає косинусну подібність векторів ві­ зу аль них ознак, а саме: схожі вектори бу- дуть ма ти величину кореляції, значення якої на бли жається до нуля. Далі ці оцінки можуть бути ви ко рис­ та ні у формуванні комплексних векторів ознак: , Де ⊕ ­ операція конкатенації, а μ ∈ [0,1] – ваговий коефіцієнт, що встановлює ба ланс семантичної та візуальної інформа- ції в метриці подібності концептів. μ дося- гає 0, ко ли матриця семантичної подібності об чис лю ється лише на основі семантичних ано та цій та навпаки, μ =1, якщо врахову- ються тіль ки візуальні ознаки. Отож, отримана матриця є об’єд наною матрицею ознак , де кожний рядок є ком плек сним вектором ознак концепту . Слід за значити, якщо два концепти є семантично близь кими, то їхні комплексні вектори також ма ють бути дуже схожими. Це обумовлює до цільність використання оцінок косинусної по дібності також і на етапі визначення ком плек сної семантичної подібності концептів. У такому випадку, значення ком плек­ с ної семантичної подібності двох концептів та на основі семантичних анотацій та ві зу альних ознак зображення можна виз­ на чи ти як: , де – комплексні вектори ознак концептів та , відповідно. Елементи формують мат рицю комплексної семантич- ної по діб но с ті R. Врахування візуальної інформації при об численні ступеня подібності концеп- тів до з воляє компенсувати брак семантич- ної ін фор мації (якщо має місце неповнота се ман тич них анотацій) та уникнути про- блеми «роз рідженості» матриці подібності. А за по біг ти зміщенню центру візуальних ознак до з воляє встановлення ефективного значення ко ефіцієнту μ, який би дійсно за- безпечував ба ланс між цими видами семан- тичної ін фор ма ції. Його визначення є окре- мою ма те ма тич ною задачею. На сьогодні ві- домі різні ме тоди та підходи до її реалізації [23, 29, 30]. Як було зазначено вище, наведений по казник побудований на основі се ман тич­ них анотацій зображення та його візуальних оз нак. Далі він може бути використаний для оп тимізації онтологічних показників по­ діб но сті [26]. Результуюча оцінка повинна бути ком позитною функцією від онтоло- гічного по казника подібності концептів та їх ком плек сної оцінки подібності, на осно- ві се ман тич них та візуальних ознак. Тобто, якщо виз начає онтологічну подібність концептів та (наприклад, через до- вжину шляху в он тології, яка їх містить), а – оцінка, що побудована на основі комплексних векторів оз нак цих концептів, то результуючий по каз ник подібності кон- цептів та : . Поєднання семантичних та ві зу аль­ них ознак у традиційну онтологічну метри- ку доз воляє компенсувати недостатність різ но біч них та складних відношень в онто- логії. Висновки Фокусом даного дослідження є пи­ тан ня вдосконалення підходів до визначен- ня по діб ності інформаційних контентів, або кон тен тів великих даних, що базуються на он то ло гіях, на основі всебічного ін те лек ту­ аль ного аналізу відповідної інформації. Зо­ кре ма, в даній статті розглянуто такі нетри­ ві аль ні типи великих даних як зображення, або ві деосцени, тобто візуальні контенти. Явні або неявні метадані, пов’язані з кон- тентом, на дають його текстовий семантич- ний опис. До цільність використання он- 64 Моделі і засоби систем баз даних і знань тологій для ви зна чення таких метаданих обумовлена їх ви со ким рівнем формалізації та наявністю ефек тивних механізмів мірку- вань. Це, в свою чергу, уможливлює авто- матизований ана ліз цих контентів. Онтоло- гічні міри по діб ності забезпечують швидке та достовірне ви значення ступеня відповід- ності контентів на основі схожості концеп- тів метаданих, що їх описують. Однак, ці оцінки не враховують зо рового сприйняття зображення людиною. Під хід, що розгляда- ється у даній статті, спря мований саме на оптимізацію он то ло гіч них метрик шляхом розширення їх по каз ни ка ми, які врахову- ють саме характеристики ві зуалізації зобра- жень. Такі оцінки ком плек с ної семантичної подібності концептів ви зна чаються шляхом композиції двох фун к цій. Перша з них фак- тично є онтологічною мі рою подібності, а друга будується на ос но ві його комплексно- го вектора ознак, що є кон катенацією се- мантичних та візуальних ха рактеристик із встановленим ваговим ба лан сом між цими двома різновидами ін фор ма ції. Література 1. О. Захарова (2019). Використання мета- даних для вирішення задач великих даних. Проб ле ми програмування №4, 2019, С.81 – 91. 2. https://www.dublincore.org/specifications/ dublin­core/dces/ 3. http://www.foaf­project.org/ 4. http://www.ontoweb.org/ 5. http://knowledgeweb.semanticweb.org/ 6. https://www.exif.org/category/specifications 7. http://exif.org/dcf.PDF 8. http://www.esperonto.net 9. О. Захарова (2020). Основні аспекти се ман­ тич ного анотування великих даних. Проб ле­ ми програмування №4, 2020, С.22 – 33. 10. J. Sivic and A. Zisserman. Video google: A text retrieval approach to object matching in videos. In Proc. of 9th IEEE Int’l Conf. on Computer Vision, Vol. 2, 2003. 11. S. Lazebnik, C. Schmid, and J. Ponce. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories. In Proc. of 2006 IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, volume 2, pages 2169{2178, 2006. 12. F.­F. Li and P. Perona. A bayesian hierarchical model for learning natural scene categories. In Proc. of the 2005 IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, pages 524{531, 2005. 13. J. Zhang, M. Marszalek, S. Lazebnik, and C. Schmid. Local features and kernels for classi¯cation of texture and object categories: An in­depth study. In Technical report, INRIA, 2005. 14. K. Mikolajczyk and C. Schmid. Scale and affine invariant interest point detectors. Int. J. Comput. Vision, 60(1):63­86, 2004. 15. K. Mikolajczyk and C. Schmid. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(10):1615­1630, 2005. 16. Mark D. Fairchild. 2005. Status of cie color appearance models. 17. John Canny. 1986. A computational approach to edge detection. IEEE Trans. Pattern Anal. Mach. Intell, 36(4):679–698. 18. Song Chun Zhu, Cheng en Guo, Ying Nian Wu, and Yizhou Wang. 2002. What are textons? In Computer Vision ­ ECCV 2002, 7th European Conference on Computer Vision, Copenhagen, Denmark, May 28­31, 2002, Proceedings, Part IV, pages 793–807. Springer. 19. Aude Oliva and Antonio Torralba. 2001. Modeling the shape of the scene: A holistic representation of the spatial envelope. Int. J. Comput. Vision, 42:145–175. 20. Elia Bruni, Giang Binh Tran, and Marco Baroni. 2011. Distributional semantics from text and images. In Proceedings of the EMNLP GEMS Workshop, pages 22–32, Edinburgh. 21. Marco Baroni and Alessandro Lenci. 2010. Distributional Memory: A general framework for corpus­based semantics. Computational Linguistics, 36(4):673–721. 22. Collet, C., Huhns, M.N., Shen, W.M.: Resource integration using a large knowledge base in carnot. IEEE Computer 24 (1991) 55–62 23. Tversky, A.: Features of similarity. Psycological Review 84 (1997) 327–352 24. Jang, J., Conrath, D.: Semantic symilarity based on corpus statistic and lexical taxonomy. In: Proceedings of the International Conference on Computational Linguistics. (1997) 25. Resnik, P.: Semantic similarity in a taxonomy: An information­based measure and its application to problems of ambiguity in natural language. Journal of Artificial Intelligence 65 Моделі і засоби систем баз даних і знань Research 11 (1999) 95–130. 26. O. Zakharova. Defining degree of semantic similarity using description logic tools. Про- блеми програмування. — 2021. — № 2. — С. 24­33. 27. Banerjee S, Pedersen T. An adapted Lesk algorithm for word sense disambiguation using WordNet[M]. Computational linguistics and intelligent text processing. Springer Berlin Heidelberg, 2002: 136­145. DOI: http://dx.doi. org/10.1007/3­540­45715­1_11 28. Mengyun Wang, Xianglong Liu, Lei Huang, Bo Lang, Hailiang Yu. 2014. Ontology­based Concept Similarity Integrating Image Semantic and Visual Information. Proceedings of the 2014 Federated Conference on Computer Science and Information Systems pp. 289–296. 29. Rodríguez M A, Egenhofer M J. Determining semantic similarity among entity classes from different ontologies. Knowledge and Data Engineering, IEEE Transactions on, 2003, 15(2): 442­456. 30. Zhou Z, Wang Y, Gu J. A new model of information content for semantic similarity in WordNet. Future Generation Communication and Networking Symposia, 2008. FGCNS’08. Second International Conference on. IEEE, 2008. 31. Patwardhan S, Pedersen T. Using WordNet­ based context vectors to estimate the semantic relatedness of concepts. Proceedings of the EACL 2006 Workshop Making Sense of Sense­Bringing Computational Linguistics and Psycholinguistics Together. 2006, 1501:1­8. 32. Lesk M. Automatic sense disambiguation using machine readable dictionaries: how to tell a pine cone from an ice cream cone. Proceedings of the 5th annual international conference on Systems documentation. ACM, 1986: 24­26. DOI:http://dx.doi.org/10.1145/318723.318728 Одержано: 16.01.2023 Про автора: Захарова Ольга Вікторівна, кандидат технічних наук, старший науковий співробітник. Кількість наукових публікацій в україн- ських виданнях – 33. http://orcid.org/0000­0002­9579­2973. Місце роботи автора: Інститут програмних систем НАН України, проспект Академіка Глушкова, 40. Тел.: 526 5139. E­mail: ozakharova68@gmail.com. Моб.тел.: +38(068)594756

Ähnliche Einträge