Main Aspects of Big Data Semantic Annotation

Main Aspects of Big Data Semantic Annotation

Semantic annotations, due to their structure, are an in­teg­ral part of the effective solution of big data problems. However, the problem of defining semantic annotations is not trivial. Manual annotation is not acceptable for big data due to their size and heterogeneity, as well as the complexity a...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2021
Автор: Zakharova, O.V.
Формат: Стаття
Мова:Ukrainian
Опубліковано: Інститут програмних систем НАН України 2021
Теми:
big data
big data annotation
metadata classification
annotation process
semantic metadata
manual annotation
automatic annotation
semi-automatic semantic annotation
machine learning
semantic annotation aspects
annotator
annotation models
UDC 004.94
Онлайн доступ:https://pp.isofts.kiev.ua/index.php/ojs1/article/view/436
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Problems in programming
Завантажити файл: Pdf

Репозитарії

Problems in programming
id pp_isofts_kiev_ua-article-436
record_format ojs
resource_txt_mv ppisoftskievua/79/fdeb31b7fdc1b221f33dfa4988f7d479.pdf
spelling pp_isofts_kiev_ua-article-4362024-04-26T22:46:30Z Main Aspects of Big Data Semantic Annotation Основні аспекти семантичного анотування великих даних Zakharova, O.V. big data; big data annotation; metadata classification; annotation process; semantic metadata; manual annotation; automatic annotation; semi-automatic semantic annotation; machine learning; semantic annotation aspects; annotator; annotation models UDC 004.94 великі дані; анотування великих даних; класифікація метаданих; семантичні анотації; процес анотування; кероване машинне навчання; некероване машинне навчання; витягнення сутностей; витягнення відношень; домени анотування; онтологічна модель анотування УДК 004.94 Semantic annotations, due to their structure, are an in­teg­ral part of the effective solution of big data problems. However, the problem of defining semantic annotations is not trivial. Manual annotation is not acceptable for big data due to their size and heterogeneity, as well as the complexity and cost of the annotation process, the auto­ma­tic annotation task for big data has not yet decision. So, resolving the problem of semantic annotation requires modern mixed approaches, which would be based on and using the existing theoretical apparatus, namely methods and models of machine learning, statistical learning, wor­king with content of different types and formats, natural lan­guage processing, etc. It also should provide solutions for main annotation tasks: discovering and extracting en­ti­ties and relationships from content of any type and de­fi­ning semantic annotations based on existing sources of know­ledge (dictionaries, ontologies, etc.). The obtained an­notations must be accurate and provide a further op­por­tu­nity to solve application problems with the annotated data. Note that the big data contents are very different, as a result, their properties that should be annotated are very dif­ferent too. This requires different metadata to describe the data. It leads to large number of different metadata stan­dards for data of different types or formats appears. How­ever, to effectively solve the annotation problem, it is necessary to have a generalized description of the metadata types, and we have to consider metadata spe­ci­fi­city within this description. The purpose of this work is to define the general classification of metadata and de­ter­mi­nate common aspects and approaches to big data se­man­tic annotation.Problems in programming 2020; 4: 22-33 Семантичні анотації, в силу своєї структурованості, є не­­від’ємною складовою ефективного вирішення за­дач великих даних. Але, сама проблема визначення се­мантичних анотацій є досить не тривіальною. Ручне ано­тування є не прийнятним для великих даних з ог­ля­ду на їх розмір та різнорідність, а також трудо­міст­кість та вартосність самого процесу, задача повністю ав­томатичного анотування для великих даних поки що не має вирішення. Тобто вирішення задачі се­ман­тич­ного анотування вимагає сучасних змішаних під­хо­дів, які б на основі та із застосуванням існуючого тео­ретичного апарату, а саме методів та моделей ма­шин­ного навчання, статистичного навчання, роботи з кон­тентами різних форматів представлення, обробки тек­стів природньою мовою, тощо, забезпечували вирішення основних задач анотування: виявлення та ви­тягнення сутностей та відношень з контенту будь-якого типу та визначення семантичних анотацій за ос­но­ві існуючих джерел знань (словників, онтологій, то­що).  Отримані анотації повинні бути точними та за­без­печувати подальшу можливість вирішення прик­лад­них задач з анотованими даними. Слід зазначити, що контенти великих даних є дуже різноманітними, як наслідок, дуже різняться їх властивості, що під­ля­га­ють анотуванню. Це вимагає різних метаданих для опи­су даних та обумовлює наявність великої кіль­ко­сті різних стандартів метаданих для даних різних ти­пів чи форматів представлення. Але, для ефективного ви­рішення задачі анотування треба мати узагальнену ха­рактеристику типів метаданих, в межах якої роз­гля­дати їх специфіку. Визначення загальної класифікації ме­таданих та спіль­них аспектів та під­ходів до се­ман­тич­ного ано­тування контенту великих даних за їх до­по­могою і є метою даної роботи.Problems in programming 2020; 4: 22-33 Інститут програмних систем НАН України 2021-01-25 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/436 10.15407/pp2020.04.022 PROBLEMS IN PROGRAMMING; No 4 (2020); 22-33 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 4 (2020); 22-33 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 4 (2020); 22-33 1727-4907 10.15407/pp2020.04 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/436/440 Copyright (c) 2021 PROBLEMS IN PROGRAMMING
institution Problems in programming
baseUrl_str https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date 2024-04-26T22:46:30Z
collection OJS
language Ukrainian
topic big data
big data annotation
metadata classification
annotation process
semantic metadata
manual annotation
automatic annotation
semi-automatic semantic annotation
machine learning
semantic annotation aspects
annotator
annotation models
UDC 004.94
spellingShingle big data
big data annotation
metadata classification
annotation process
semantic metadata
manual annotation
automatic annotation
semi-automatic semantic annotation
machine learning
semantic annotation aspects
annotator
annotation models
UDC 004.94
Zakharova, O.V.
Main Aspects of Big Data Semantic Annotation
topic_facet big data
big data annotation
metadata classification
annotation process
semantic metadata
manual annotation
automatic annotation
semi-automatic semantic annotation
machine learning
semantic annotation aspects
annotator
annotation models
UDC 004.94
великі дані
анотування великих даних
класифікація метаданих
семантичні анотації
процес анотування
кероване машинне навчання
некероване машинне навчання
витягнення сутностей
витягнення відношень
домени анотування
онтологічна модель анотування
УДК 004.94
format Article
author Zakharova, O.V.
author_facet Zakharova, O.V.
author_sort Zakharova, O.V.
title Main Aspects of Big Data Semantic Annotation
title_short Main Aspects of Big Data Semantic Annotation
title_full Main Aspects of Big Data Semantic Annotation
title_fullStr Main Aspects of Big Data Semantic Annotation
title_full_unstemmed Main Aspects of Big Data Semantic Annotation
title_sort main aspects of big data semantic annotation
title_alt Основні аспекти семантичного анотування великих даних
description Semantic annotations, due to their structure, are an in­teg­ral part of the effective solution of big data problems. However, the problem of defining semantic annotations is not trivial. Manual annotation is not acceptable for big data due to their size and heterogeneity, as well as the complexity and cost of the annotation process, the auto­ma­tic annotation task for big data has not yet decision. So, resolving the problem of semantic annotation requires modern mixed approaches, which would be based on and using the existing theoretical apparatus, namely methods and models of machine learning, statistical learning, wor­king with content of different types and formats, natural lan­guage processing, etc. It also should provide solutions for main annotation tasks: discovering and extracting en­ti­ties and relationships from content of any type and de­fi­ning semantic annotations based on existing sources of know­ledge (dictionaries, ontologies, etc.). The obtained an­notations must be accurate and provide a further op­por­tu­nity to solve application problems with the annotated data. Note that the big data contents are very different, as a result, their properties that should be annotated are very dif­ferent too. This requires different metadata to describe the data. It leads to large number of different metadata stan­dards for data of different types or formats appears. How­ever, to effectively solve the annotation problem, it is necessary to have a generalized description of the metadata types, and we have to consider metadata spe­ci­fi­city within this description. The purpose of this work is to define the general classification of metadata and de­ter­mi­nate common aspects and approaches to big data se­man­tic annotation.Problems in programming 2020; 4: 22-33
publisher Інститут програмних систем НАН України
publishDate 2021
url https://pp.isofts.kiev.ua/index.php/ojs1/article/view/436
work_keys_str_mv AT zakharovaov mainaspectsofbigdatasemanticannotation
AT zakharovaov osnovníaspektisemantičnogoanotuvannâvelikihdanih
first_indexed 2024-09-16T04:08:40Z
last_indexed 2024-09-16T04:08:40Z
_version_ 1818528162956443648
fulltext Моделі та засоби систем баз даних і знань © О. Захарова, 2020 22 ISSN 1727-4907. Проблеми програмування. 2020. № 4 УДК 004.94 https://doi.org/10.15407/pp2020.04.022 О. Захарова ОСНОВНІ АСПЕКТИ СЕМАНТИЧНОГО АНОТУВАННЯ ВЕЛИКИХ ДАНИХ Семантичні анотації, у силу своєї структурованості – невід’ємне складове ефективного вирішення задач великих даних. Але, сама проблема визначення семантичних анотацій є досить не тривіальною. Ручне анотування є не прийнятним для великих даних з огляду на їх розмір та різнорідність, а також трудомі- сткість та вартісність самого процесу, задача повністю автоматичного анотування для великих даних поки що не має вирішення. Тобто вирішення задачі семантичного анотування вимагає сучасних зміша- них підходів, які б забезпечували вирішення основних задач анотування: виявлення та витягнення сут- ностей та відношень з контенту будь-якого типу та визначення семантичних анотацій за основі існую- чих джерел знань (словників, онтологій, тощо). Отримані анотації повинні бути точними та забезпечу- вати подальшу можливість вирішення прикладних задач з анотованими даними. Слід зазначити, що ко- нтенти великих даних є дуже різноманітними, як наслідок, дуже різняться їх властивості, що підляга- ють анотуванню. Це вимагає різних метаданих для опису даних та обумовлює наявність великої кілько- сті різних стандартів метаданих для даних різних типів чи форматів представлення. Але, для ефектив- ного вирішення задачі анотування треба мати узагальнену характеристику типів метаданих, в межах якої розглядати їх специфіку. Визначення загальної класифікації метаданих, спільних аспектів та під- ходів до семантичного анотування контенту великих даних за їх допомогою і є метою даної роботи. Ключові слова: великі дані, анотування великих даних, класифікація метаданих, семантичні анотації, процес анотування, кероване машинне навчання, некероване машинне навчання, витягнення сутностей, витягнення відношень, домени анотування, онтологічна модель анотування, засоби онтологічного ано- тування, ручне анотування, автоматичне анотування, напівавтоматичне семантичне анотування, анота- тор, аспекти семантичного анотування Вступ У поточному стані концентрації да- них, існує дивовижний ресурс інформації всіляких типів, що може використовуватись з різними цілями, наприклад, для вивчення музичних інструментів або програмування, та застосунками в різних прикладних галу- зях. Але, існує інший шар інформації, що доступна та передається через блоги, твіти, статті, журнали. Наприклад, веб, що міс- тить інформацію різних типів та форматів, включаючи текст, рисунки, відео та аудіо, є комунікаційним середовищем, яке дозволяє людині зрозуміти контент і контекст, а та- кож встановити їх відношення/ зв’язати один з іншим засоби масової інформації (ЗМІ). Незважаючи на те, що комп’ютери чудово передають цю інформацію зацікав- леним користувачам, системи погано розу- міють саму мову представлення інформації. Тому, вирішення задач, що використовують контент великих даних, та задач самих ве- ликих даних вимагає структурованого се- мантичного опису цих даних. Одним з найбільш розповсюджених підходів до семантизації є визначення се- мантичних анотацій. Анотації – це назви, атрибути, описи, коментарі, приєднані до документу або частини документу будь- якого формату. Вони надають додаткову інформацію (метадані) про цей, існуючий фрагмент даних. Чіткого, формального визначення терміну «семантична анотація» насьогодні не існує. Відповідно до визна- чення Ontotex (2016) [1] "cемантичне ано- тування є процесом приєднання додаткової семантичної інформації (метаданих) до різних концептів контенту (сутностей)». Даний тип метаданих забезпечує інформа- цію як про клас сутності, так і про її екзе- мпляри. Слід зазначити, що семантичні анотації можуть бути застосовані до будь- якого типу контенту: веб-сторінок, зви- чайних документів, полів у базі даних то- що. Здобуття знань може здійснюватися на основі визначення більш складних залеж- ностей – аналізу відношень між сутностя- ми, опису події чи ситуації тощо. Семан- тичне анотування забезпечує підтримку розширеного пошуку (на основі концеп- тів), міркування про веб-ресурси та інфор- Моделі та засоби систем баз даних і знань 23 маційну візуалізацію на основі онтологій. Окрім цього, анотації використовуються для конвертації синтаксичних структур у структури знань. Іншими словами, се- мантичне анотування полягає у тому, щоб генерувати специфічні метадані та схеми використання, що забезпечує нові методи доступу до інформації та розши- рює існуючі. Семантичні анотації можуть вико- ристовуватись для вирішення цілої низки задач великих даних, включаючи інформа- ційний пошук на основі семантик, катего- ризацію та композицію документів, пере- хід від неструктурованого контенту до ре- левантних знань, візуалізацію інформації на основі онтологій. Якщо документ (чи будь-яка частина деякого контенту, напри- клад, відео) є семантично анотованим, він стає джерелом інформації, яку простіше інтерпретувати, комбінувати та повторно використовувати автоматизованим чином. Великим даним притаманна різнорідність джерел та різноманітність форматів їх представлення. Зрозуміло, що міркуючи про набори метаданих, що описують вели- кі дані певних типів, треба враховувати, що кожний з них має власні характеристи- ки. Метою даної роботи є визначити спіль- ні аспекти та підходи до семантичного анотування контенту великих даних за до- помогою метаданих. Домени та моделі семантичного анотування Можна класифікувати 4 моделі се- мантичної анотації [2]: теги, атрибути, від- ношення та онтології. Теги займають ниж- чий рівень та відповідають найпростішій формі анотування з точки зору користува- ча; водночас, як онтології находяться на верхньому рівні та відповідають найсклад- нішій формі з точки зору користувача. Теги: елемент анотація тегу є приз- наченим ресурсу ключовим словом або виразом, що описує певну властивість ресурсу. Прикладами тегів можуть бути назви місць, де зроблене фото, імена осіб на фото або тема статті. Атрибути: елемент анотація атри- буту є парою двох елементів: назва атри- бута та його значення. Назва атрибуту ви- значає властивість анотованого ресурсу (наприклад, “Країна”, “день народження”), а значення атрибуту – відповідне значення (наприклад, “Туніс”, “1909”). Відношення: елемент анотація від- ношення є парою двох компонент: назва відношення та пов’язаний ресурс. Аното- ваний ресурс зв’язаний з відношенням йо- го назвою. Іншими словами, модель анота- ції відношення є розширенням моделі ано- тації атрибуту до домену ресурсу, дозво- ляючи користувачеві з’єднувати ці ресур- си. Наприклад, посилання в одній науковій праці на інший документ є анотуванням відношення, що визначає зв’язок між цими документами. Онтології: онтологічна модель опи- сує метадані, які співставляють ресурс або його частину з деякими описами його вла- стивостей та характеристик відповідно до формальної концептуальної моделі (онто- логії). Онтології є корисними для витяг- нення знань про домен та специфікації загальноприйнятого розуміння домену (що може повторно використовуватися і бути спільним для спільнот та застосунків). По- будова онтології може бути реалізована визначенням концептів, екземплярів кон- цептів, властивостей концептів та екземп- лярів, обмежень на ці властивості, відно- шень між концептами та відношень між екземплярами. Користувач, що використо- вує онтологічну модель анотації, може описати та з’єднати існуючі ресурси шля- хом структурування ресурсів (концептів або екземплярів) та визначення обмежень між відношеннями та властивостями. Використання онтологій як словників для визначення метаданих Метадані можна класифікувати як залежні та незалежні від контексту [3]. Серед метаданих, що залежать від кон- тексту, можна виділити прямі явні (що згадуються у контенті) та неявні (що виво- дяться з контексту), та не прямі (зовнішні метадані – посилання на контекст через URL у контенті). Така класифікація (рис. 1) є дуже суттєвою для подальшого визначення процесу анотування. Моделі та засоби систем баз даних і знань 22 Рис. 1. Класифікація метаданих великих даних Для створення семантичних мета- даних можуть використовуватися станда- рти метаданих, тезауриси та контрольова- ні словники (наприклад, MeSH [4], TGN [5] тощо), а також полегшені або повно- цінні онтології. Стандарти, контрольовані словники та тезауруси, на відміну від по- вноцінної онтології, не є повністю форма- льними, наприклад, відношення між тер- мінами, які вони включають, не мають явних семантик. Як правило, вони вико- ристовуються для забезпечення погодже- ної термінології у конкретних доменах. Слід зазначити, що відповідно до наведеної класифікації метаданих можна виділити два головних напрямки аноту- вання великих даних: анотування загаль- них характеристик документа та аноту- вання прикладного контенту. Метадані для анотування загальних властивостей об’єктів великих даних є контекстно- незалежними і для їх визначення розроб- лено чимало спеціальних стандартів. Бі- льшість з них орієнтовано на анотування даних певних типів: відео, зображень, ау- діо тощо, та враховують їх специфічні характеристики. Також існують стандар- ти, що дозволяють описувати загальні характеристики документів будь-якого типу. Наприклад, добре відомий стандарт Dublin Core, який широко використову- ється для визначення характеристик елек- тронних документів. Цей стандарт специ- фікує множину наперед визначених хара- ктеристик документів, таких як автор, дата створення, опис, формат тощо, які можуть бути застосовані для документу будь-якого формату. Інша група – більш специфічні онтології, що призначені для вирішення Метадані Незалежні від контексту Залежні від контексту (сематичні характери- стики документу чи фрагменту даних) Загальні властивості даних (не залежні від їх типу) Прямі (метадані документу) Загальні властивос- ті даних певного типу (метадані, залежні від типу даних) Метадані, не залеж- ні від формату представлення та джерела даних Метадані, специфі- чні для джерела даних даних Метадані, специфі- чні для формату даних даних Прямі явні (що згадуються в кон- тексті) Прямі неявні (що виводяться з кон- тексту) Непрямі (зовнішні - посилання на кон- текст через URL у контенті) - Відомості про авторів - відомості про файл даних (розмір, формат, назва, час створення, онов- лення, назва) - текстовий опис Непрямі (зовнішні) Метадані, що описують загальні категорії: - особу, - організацію - місце знаходження - проект тощо Метадані, що опи- сують загальні по- няття прикладного домена Метадані, специфічні для конкретного контенту та його використання Моделі та засоби систем баз даних і знань 25 певних задач/підзадач опису даних. На- приклад, полегшена онтологія FOAF (Friend of a Friend) [6], яка має за мету створення анотованої мережі домашніх сторінок людей, груп, компаній тощо. Від- повідно, онтологія містить такі концепти як Агент, Особа, Організація, Група, Про- ект, Документ, Зображення тощо, та де-які базові характеристики, що описують екзе- мпляри цих класів. Подібне призначення мають й онтології OntoWeb [7], KnowledgeWeb [8] та онтологія опису пуб- лікацій, які описують осіб, організації, проекти, публікації тощо. Всі перелічені групи онтологій дозволяють описувати певні загальні характеристики документів в цілому, або документів певних форматів або призначення. Вони дозволяють авто- матично визначити велику кількість техні- чних характеристик документа та деяку загальну його семантику, але не охоплю- ють деталей його контенту (можливо, ли- ше деякі ключові слова та описи природ- ньою мовою в таких характеристиках, як тема або опис). Звісно, це сприяє вирішен- ню певних задач, але справжній семантич- ний опис, який викриває сутність та особ- ливості контенту даних, вимагає визначен- ня різних типів контекстно-залежних ме- таданих, що не можливо без застосування прикладних онтологій домену. Це можуть бути загальні прикладні онтології, що при- значені для анотування документів або вирішення проблем у деякому широкому домені. Наприклад, онтології Esperonto Cultural Tour [9] та Fund Finder дозволяють анотувати документи в прикладних доме- нах культура та фінансування, відповідно. Такі онтології, як правило, визначають загальні характеристики для обраної прик- ладної області. А можуть бути більш спе- цифічні прикладні онтології, які дозволя- ють точніше визначити семантику даних, але їх застосування у повністю автомати- зованому режимі є проблематичним з огляду на те, що є досить специфічним для конкретного об’єкта даних та задачі, що вирішується. В цілому всі підходи анотування, що використовують такі додаткові джере- ла знань, як словники та онтології, відно- сяться до групи методів, що засновані на онтологіях. А процес створення метада- них з використанням онтологій як слов- ників називається онтологічним аноту- ванням. Використання онтологій дозволяє зв’язати фрагменти даних з формальними концептами, що забезпечує підтримку інтероперабельності та гарантує автома- тичні міркування на базі структури, яка лежить в основі цих онтологій. Анотації на основі онтологій, за- звичай, містять три типи інформації [2]: 1) екземпляри концепта пов’язу- ють частину документа з одним або декі- лькома концептами в онтології. Так, на- приклад, «Інформація про рейс» предста- вляє екземпляр сутності Рейс та має ім’я AA7615_Feb08_2003, хоча екземпляри концепту не завжди мають ім’я. 2) значення атрибутів пов’язу- ють екземпляр концепта з частиною до- кумента, що є значенням одного з його атрибутів. Так, «Американські авіалінії» може бути значенням атрибуту companyName. 3) екземпляри відношень зв’язують два екземпляри концептів кон- кретного домену. Наприклад, рейс AA7615_Feb08_ 2003 та місцезнаходжен- ня Мадрид можуть бути зв’язані відно- шенням departurePlace. Слід зазначити, що існує два типи відношень між концептами: зв’язки між концептами однієї онтології, або різних онтологій, таким чином, створюючи ві- дображення між джерелами знань. Такі відображення є основою інтеграції мно- жини онтологій, що створюють всебічну базу знань для семантичного опису даних. Визначення зв'язків між поняттями з різ- них джерел є надзвичайно корисним для взаємодії неоднорідних даних, але досить складним завданням. Системи анотування можуть використовувати спеціальні біблі- отеки сервісів, що відповідають за відо- браження онтологій, що дозволяють ви- користовувати вже опубліковані онтоло- гічні відображення. Так, наприклад, спе- ціальні веб-сервіси NCBO [10] надають доступ до мільйонів онтологічних відо- бражень, опублікованих у BioPortal. Це дозволяє веб-сервісу NCBO Анотатор https://pubmed.ncbi.nlm.nih.gov/23734708/ Моделі та засоби систем баз даних і знань 26 автоматично «тегувати» текст за допомо- гою термінів з онтологій BioPortal, а веб- сервісу NCBO індексування ресурсів на- давати доступ до онтологічного індексу публічних онлайн-ресурсів даних. Сукуп- ність таких сервісів, разом зі спеціальни- ми віджетами NCBO, (рис. 2) забезпечує можливість реалізації процесів візуаліза- ції онтологій, анотування та інтеграції даних у галузі біомедицини. Повноцінні онтології також дозво- ляють перевіряти обмеження на допустимі значення та їх відношення у відповідних анотаціях. Значення елементів анотацій, зазвичай, є посиланнями на екземпляри в онтології. Рис. 2. Сервіси NCBO для анотування на основі BioPortal онтологій Основні аспекти семантичного анотування великих даних Концепти, що представляють кон- тент будь-якої прикладної області, можна розділити на дві основні категорії: концеп- ти, що представляють процеси, та концеп- ти, які описують фізичні об’єкти, що приймають участь в цих процесах. До основних категорій анотування відносять сутності (екземпляри фізичних об’єктів), події (екземпляри концептів, що представляють процеси) та відношення між сутностями та/або подіями. Таким чином, при анотуванні будь- якого контенту, необхідно, перш за все, виділити події та сутності, для яких доці- льно створити метадані, визначити ці кон- цепти або їх атрибути, а потім, індексувати їх, класифікувати шляхом визначення зв’язків з онтологією прикладного домену та визначити зв’язки цих сутностей у базі даних семантичного графу. Як основні аспекти анотування мо- жна виділити [11]: - Ідентифікація тексту. Текст витягується з будь-яких інформаційних джерел, в тому числі не текстових – відео, аудіо, pdf – файли тощо. - Розділення тексту на процеси та фізичні сутності. Розпізнавання імено- ваних об’єктів. - Витягування основних сутнос- тей та їх ідентифікація (визначення типу сутності, її зв’язку з визначенням приклад- ного домену, наприклад, URI на об’єкт при- кладної онтології). На цьому етапі необхідно знайти та класифікувати елементи тексту за попередньо визначеними категоріями. - Класифікація та ідентифікація відношень між визначеними сутностями, аргументів відношень, та визначення їх зв’язків із зовнішніми чи внутрішніми знаннями домену. - Індексація та зберігання се- мантизованих даних в базі даних семан- тичного графа. (Усі розпізнані та збага- чені машинно-читаємими метаданими дані зберігаються у базі даних семантич- ного графа для подальших посилань та використання.) На рис. 3 показано перелічені аспе- кти на прикладі анотування тексту, а саме: витягнення основних сутностей (Рим та Римська імперія) з текстового фрагменту, їх ідентифікація, встановлення зв’язків з прикладним доменом, та визначення їх місця у семантичному графі. Моделі та засоби систем баз даних і знань 27 Рис. 3. Приклад анотування текстового фрагменту даних Методології процесу семантичного анотування Процес анотування має базуватися на наявному загальному теоретичному апараті: методах машинного навчання, статистичного навчання, обробки текстів природньою мовою тощо. Результати ано- тування великих даних мають бути прида- тними та уможливлювати вирішення конк- ретних прикладних задач з цими великими даними, як, наприклад, семантичний по- шук чи доступ до даних. Сам процес ано- тування має вирішувати задачі виявлення та витягування концептів та відношень. Задача анотування полягає в описі визна- чених сутностей та відношень відповідно до онтології. У роботі [12] наведена досить вдала загальна трирівнева архітектура процесу семантичного анотування, що визначає його основні задачі (рис. 4). Анотування може здійснюватися в ручному, автоматичному чи напівавтома- тичному режимі [1]. Ручне анотування – це методологія, яка перетворює інформаційні ресурси у взаємопов’язані структури знань шляхом додавання метаданих до деякого рівня до- кументу. Процес ручної анотації є вартіс- ним та трудомістким, і часто не враховує існування різних точок зору на джерела даних, які можуть представлятися різними онтологіями. Насьогодні, з’являється чи- мало спеціальних засобів для полегшення процесу ручного анотування. Так, Protégé [13] дозволяє викорис- товувати для анотування обраного фраг- менту тексту екземпляри класів онтологій. Інший приклад, визначення еквівалентних об’єктів у різних місцях документу чи до- кументів, шляхом співвідношення цих об’єктів з однією сутністю реального світу. Таке анотування еквівалентностей особли- во важливе у медичних застосунках. Такий інструмент, як Semantator [14], дозволяє визначати інший важливий тип анотацій, а саме, дозволяє користувачам обрати два екземпляри та створити відношення між ними, або додати їх до списку кандидатів для побудови відношень. Після чого мож- на обрати будь-які властивості об’єкта он- тології та визначити зміст цього нового відношення. Очевидно, що, коли мова йде про великі дані, застосування методів ручного анотування стає неможливим, оскільки робота експерта вимагає багато часу та зусиль. Анотація, щоб забезпечити інтен- сивні знання, та для розуміння контенту, має бути точною, але вона водночас має бути максимально автоматичною. Тобто, ідеальним рішенням було б автоматичне семантичне анотування, але задача повні- стю автоматичного створення семантич- них анотацій також не має вирішення. Найефективніші семантичні метадані, створені за допомогою інструментів авто- матичного анотування чи тегування, бу- дуються на базі різних алгоритмів ма- шинного навчання, які потребують навча- льних виборок. Рим Столиця Італії Римська імперія Населення 2 627 млн столиці Константинопіль, Равенна площа 1285 км 2 населення Засноване 753 р до РХ площа засноване 23 р. до РХ РИМ є центром Римської Імперії та більш ніж 400 000 км римських доріг зв’язують провінції з Римом Моделі та засоби систем баз даних і знань 28 Рис. 4. Загальна архітектура процесу семантичного анотування Серед методів, що використову- ються для автоматичного анотування, мо- жна виділити. Методи керованого машинного на- вчання, що складаються з двох етапів: ано- тування та навчання. На етапі анотування треба визначити сутності та семантичні відношення між цими сутностями для за- даного контенту. Задача етапу навчання полягає у вивченні моделі чи моделей, які використовуються на етапі анотування. Для вивчення моделей, вхідні дані часто розглядаються як послідовність деяких одиниць, наприклад, текстовий документ можна розглядати як послідовність слів або рядків тексту. Даний метод потребує розмічених даних. Метод некерованого машинного навчання намагається створити метадані без розмічених даних. При цьому, для отримання даних з Інтернету можуть бути використані узагальнені зразки. Слід зазначити, що в силу різнома- нітності та різнорідності великих даних не можливо досягти ефективного анотування при використанні якоїсь певної однієї ка- тегорії методів. Дані з різними характери- стиками вимагають різних підходів для вирішення задачі. Так, для веб-сторінок, що побудовані на основі шаблонів та ге- нерують дані з баз даних, можуть бути ефективними методи на основі правил, але вони є не прийнятними для повнотексто- вих фрагментів даних. Припущення, що документи мають схожу структуру або подібний текст, які досить активно вико- ристовуються існуючими підходами ма- шинного навчання, здаються не реалісти- чними, враховуючи гетерогенну природу веб, та не можуть застосовуватися у випа- дку великих даних та сучасних типів кон- тентів. Анотування великих даних вимагає використання комбінацій різноманіття методів та підходів для вирішення кожної з задач анотування, та динамічного прийн- яття рішень щодо використання тих чи інших методів та забезпечення можливості їх використання. Так, у [12] автори наво- дять де-які методи та моделі, що можуть використовуватися для виявлення та витя- гнення сутностей та відношень при авто- матичному семантичному анотуванні за допомогою підходів керованого машинно- го навчання, а саме: витягнення сутностей на основі правил, класифікації, послідов- ного розмічення даних, альтернативних умовних випадкових полів, не лінійні ви- падкові поля Маркова тощо. Слід зазначи- ти, що кожна з перелічених категорій міс- тить досить широкий спектр методів та моделей (рис. 5). З більш детальним їх описом можна ознайомитись у [12]. Насьогодні, найбільш реалістични- ми (та використовуваними у сучасних сис- темах) є підходи напівавтоматичного або змішаного анотування, що комбінують процеси ручного та автоматичного аноту- вання. Вони вимагають втручання людини на певних рівнях процесу. Зазвичай, про- цес, що легко анотується, анотується Машинне навчання, статистичне навчання, обробка текстів природньою мовою Семантичний доступ, семантичний пошук, міркування, витягування даних Семантичне аноту- Онтологія Виявлення відношень Витягнення відношень Виявлення концептів Анотування Теоретичний рівень Рівень анотування Прикладний рівень Моделі та засоби систем баз даних і знань 29 Рис. 5. Категорії методів анотування Моделі та засоби систем баз даних і знань 30 автоматично, але існують деякі складні контенти, де втручання людини є необхід- ним для надання більш змістовної анота- ції. Ця категорія систем анотування виріз- няється архітектурою, методами та засо- бами витягнення інформації, обсягами ручної праці, продуктивністю, організаці- єю зберігання тощо. Прикладами інстру- ментів напівавтоматичного анотування є GATE [15], NCBO анотатор та cTAKES [16]. NCBO анотатор та cTAKES викорис- товують напівавтоматичне анотування додатково до Semantator. Фокусом даної роботи є викорис- тання онтологій для різних підходів, ета- пів та категорій процесу анотування, хоча моделі семантичного анотування включа- ють й простіші форми. Засоби анотування на основі онтологій. Більшість інструментів аноту- вання (анотаторів) на основі онтологій з’явились разом з виникненням семантич- ного вебу. Метою їх розробки було забезпечен- ня вставки розмітки на основі онтологій до веб сторінок та подальшої її підтримки. Анотатори, спочатку, були задумані як за- соби для полегшення процесу ручного ано- тування, тобто ручного додавання анотації на веб сторінки. Згодом більшість з них пе- ретворилися на більш повноцінне середо- вище, яке використовує методи вилучення інформації (IE) та машинного навчання (ML) для забезпечення напівавтоматично- го процесу анотування документів. Але засоби, що полегшують процес ручного визначення анотацій, також не втрачають своєї актуальності. Так, OntoMat-Annotizer [17, 18] та SHOE Knowledge Annotator [19] є прикла- дами досить широко використовуваних інструментів ручного анотування. OntoMat-Annotizer – розширюваний Java застосунок, який дозволяє створювати OWL анотації. Він включає браузер онто- логії для дослідження концептів та екзем- плярів онтології та HTML браузер для ві- дображення документів та їх анотованих частин. Дозволяє перетягувати частини те- ксту до анотацій, що створюються. Корис- тувач може визначати екземпляри концеп- тів, з атрибутами та екземплярами зв’язків. OntoMat-Annotizer завантажує OWL онтології. Анотації, створені за його допомо- гою, зберігаються в OWL як окремі файли або як вбудовані в анотовані HTML доку- менти та можуть використовуватися ши- роким спектром застосунків. SHOE Knowledge Annotator призна- чений для створення ручних анотацій в HTML сторінках за допомогою мови SHOE. Створені анотації можуть посила- тися на концепти та відношення однієї або декількох онтологій, що реалізовані в SHOE. Але процес анотування, що забез- печується переліченими засобами, є пов- ністю ручним, і тому використання наве- дених інструментів для анотування вели- ких даних не є доцільним. Більш розвиненим є плагін-вкладка редактора онтологій Protege ONTO-H, що дозволяє створювати анотації RTF доку- ментів. Даний плагін інтегрований до ре- дактора Protege та має можливість викори- стовувати багато його властивостей, на- приклад, браузер онтологій. Окрім функ- цій ручного анотування (drag&drop), да- ний редактор забезпечує можливість ано- тування частин тексту за допомогою роз- пізнавання іменованих сутностей, анота- цій, які вже існують з тими самими імена- ми або іменами-синонімами і т. і., тобто надає можливість «керованого», а не пов- ністю ручного анотування. Розширюваний Java-застосунок MnM [20] інтегрує веб-браузер і перегля- дач онтології та призначений як для руч- ного, так й для напівавтоматичного та ав- томатичного анотування. Він має можли- вість завантажувати онтології, які збері- гаються на сервері WebOnto або у файлах, або в URL-адресах на будь-якій мові онтологій: RDF (S), OWL та OCML. Ано- тації, які створені за допомогою цього інструменту, можна використовувати для заповнення існуючих онтологій або Моделі та засоби систем баз даних і знань 31 приєднання до існуючого документа (в XML форматі, де тег-імена – це назви концептів, їх атрибутів та зв’язків). Для автоматичного анотування MnM використовує механізми витягнення даних для виявлення в документі екземп- лярів концептів. Ці механізми навчальни- ми на наборах анотованих текстових або html-документів, та готовий, натренований модуль генерує правила для витягнення інформації з інших документів, виявлення екземплярів концептів, значень атрибутів, екземплярів зв’язків. Потім користувачі можуть, за необхідності, відредагувати анотації, що автоматично додані модулем. MnM зберігає екземпляри в різних форма- тах (OCML, RDF, OWL, XML), а анотації, що ним генеруються, можуть використо- вуватися в різних середовищах. Застосунок UBOT AeroSWARM [21], що розроблений як частина UBOT (UML Based Ontology Toolset) проекта, автоматично генерує RDF анотації з текс- тових документів. Анотатор AeroSWARM доступний в двох версіях: як веб-форма та як окремий застосунок. У веб-версії кори- стувач відсилає текстовий файл, а AeroSWARM повертає RDF анотації для цього тексту, які створюються відповідно до OWL версій OpenCyc [22], SUMO [23] та AeroSWARM. Функція автоматичного анотування AeroSWARM підтримується системою обміну тексту AeroText, яка ана- лізує тест природньою мовою та витягує з нього елементи, які відповідають онтології, що використовується. Правила витягнення, які використовуються за замовченням сис- темою AeroText, можуть бути зміненими. AeroSWARM генерує екземпляри понять (власні іменники, загальні іменники, кіль- кісні значення валют тощо), значення атри- бутів та екземпляри властивостей (напри- клад, особа належить організації тощо). Оскільки AeroSWARM забезпечує анотації в RDF форматі, вони можуть використову- ватись будь-яким інструментом, що підт- римує RDF. Таким чином, AeroSWARM може використовуватися як сервіс автома- тичного анотування для забезпечення RDF анотацій в он-лайн режимі. Висновки Проведені дослідження були спря- мовані на виявлення загальних характери- стик як самих великих даних, так і проце- сів їх семантизації. Це дозволило визначи- ти узагальнену класифікацію метаданих великих даних, що є, насьогодні, найпо- ширенішим інструментом визначення се- мантичних описів великих даних, та осно- вні аспекти та категорії процесу анотуван- ня для контенту великих даних взагалі, не прив’язуючись до специфіки конкретних типів чи форматів. Онтології є потужним та ефективним засобом семантизації. То- му, при визначені основних аспектів про- цесу анотування за основу приймаються онтологічні підходи. Ефективність вико- ристання онтологій обумовлюється не лише їх розвиненими властивостями се- мантичного опису прикладного домена, а й можливостями, які надають онтологічні мови та відповідний апарат міркування щодо встановлення подібності сутностей, екземплярів, визначення ступеня їх відпо- відності, класифікації сутностей та відно- шень контента відповідно до таксономії онтології тощо. Методологія анотування обов’язково повинна базуватися на існую- чому теоретичному апараті, охоплювати вирішення задач анотування контенту та визначення семантичних анотацій, що, в свою чергу, забезпечуватиме розв’язуван- ня прикладних задач з даним контентом, як, наприклад, семантичний пошук, витя- гування даних, міркування тощо. Дослі- дження існуючих підходів дозволив ви- значити основні групи методів (теоретич- ного апарату), що є найбільш ефективни- ми сьогодні, та проаналізувати наявні та використовувані засоби для ручного та автоматичного створення анотацій. Література 1. https://www.ontotext.com/services/semantic- data-modeling/ 2. Thabet Slimani, Taif University, Taif, Saudia Arabia, “Semantic Annotation: The Mainstay of Semantic Web”. International Journal of Computer Applications Technology and https://www.ontotext.com/services/semantic-data-modeling/ https://www.ontotext.com/services/semantic-data-modeling/ Моделі та засоби систем баз даних і знань 32 Research. 2013. Vol. 2. Issue 6. P. 763–770. ISSN: 2319–8656 3. http://oa.upm.es/5638/2/IJMSO_Corcho_Fina lVersionPrintedInJournal.pdf 4. http://www.nlm.nih.gov/mesh/meshhome. html 5. http://www.getty.edu/research/tools/vocabula ry/tgn/index.html 6. http://www.foaf-project.org/ 7. http://www.ontoweb.org/ 8. http://knowledgeweb.semanticweb.org/ 9. http://www.esperonto.net 10. https://pubmed.ncbi.nlm.nih.gov/23734708/ 11. Phesto Enock Mwakyusa. Semantic Annotation and Big Data Techniques for Patent Information Processing. Master’s Thesis in Information Technology, October 10, 2017. 12. Tang, Jie, Duo Zhang, Limin Yao, and Yi Li, ”Automatic Semantic Annotation Using Machine Learning”. IGI Global 1:1. doi: 10.4018/978-1-60566-028-8.ch006, 2009. 13. https://studme.org/235608/informatika/proekt irovanie_ontologiy_srede_protege 14. Song D., Chute C.G., Tao C. 2011. Semantator: a semi-automatic semantic annotation tool for clinical narratives. In 10th International SemanticWeb Conference (ISWC2011). 15. Cunningham H., Maynard D., Bontcheva K., Tablan V. 2002. GATE: A Framework and Graphical Development Environment for Robust NLP Tools and Applications. Proceedings of the 40th Anniversary Meeting of the Association for Computational Linguistics (ACL ’02), Philadelphia. 16. Savova G.K., Masanz J.J., Ogren P.V., Zheng J., Sohn S., Kipper-Schuler K.C., Chute C.G. Mayo clinical text analysis and knowledge extraction system (ctakes): architecture, component evaluation and applications. Journal of the American Medical Informatics Association. 2010. 17(5). P. 507–513. 17. http://annotation.semanticweb.org/ 18. Handschuh S., Staab S. and Maedche A. (2001) 'CREAM – creating relational metadata with a componentbased, ontology- driven annotation framework', in Gil, Y., Musen, M. and Shavlik, J. (Eds.): First International Conference on Knowledge Capture (KCAP'01), ACM Press, Victoria, Canadá, 1-58113-380-4. New York. P. 76–83. 19. http://www.cs.umd.edu/projects/plus/ SHOE/KnowledgeAnnotator.html. 20. Vargas-Vera M., Motta E., Domingue J., Lanzoni M., Stutt A. and Ciravegna F. (2002) 'MnM: ontology driven semi-automatic and automatic support for semantic markup', in Gómez-Pérez, A. and Benjamins, V.R. (Eds.): 13th International Conference on Knowledge Engineering and Management (EKAW 2002), Springer Verlag. P. 379–391. 21. Kogut P. and Holmes W. (2001) 'AeroDAML: applying information extraction to genérate daml annotation from web pages', in Handschuh S., Dieng R. and Staab S. (Eds): KCAP'01 Workshop on Semantic Markup and Annotation, Victoria, Canadá. 22. http://www.cyc.com/2003/04/01/cyc 23. http://reliant.teknowledge.com/DAML/SUM O.owl References 1. https://www.ontotext.com/services/semantic- data-modeling/ 2. Thabet Slimani, Taif University, Taif, Saudia Arabia, “Semantic Annotation: The Mainstay of Semantic Web”. International Journal of Computer Applications Technology and Research. 2013. Vol. 2. Issue 6. P. 763–770. ISSN: 2319–8656 3. http://oa.upm.es/5638/2/IJMSO_Corcho_Fina lVersionPrintedInJournal.pdf 4. http://www.nlm.nih.gov/mesh/meshhome.htm l 5. http://www.getty.edu/research/tools/vocabula ry/tgn/index.html 6. http://www.foaf-project.org/ 7. http://www.ontoweb.org/ 8. http://knowledgeweb.semanticweb.org/ 9. http://www.esperonto.net 10. https://pubmed.ncbi.nlm.nih.gov/23734708/ 11. Phesto Enock Mwakyusa. Semantic Annotation and Big Data Techniques for Patent Information Processing. Master’s Thesis in Information Technology, October 10, 2017. 12. Tang, Jie, Duo Zhang, Limin Yao, and Yi Li, ”Automatic Semantic Annotation Using Machine Learning”. IGI Global 1:1. doi: 10.4018/978-1-60566-028-8.ch006, 2009. 13. https://studme.org/235608/informatika/proekt irovanie_ontologiy_srede_protege 14. Song D., Chute C.G., Tao C. 2011. Semantator: a semi-automatic semantic annotation tool for clinical narratives. In 10th http://oa.upm.es/5638/2/IJMSO_Corcho_FinalVersionPrintedInJournal.pdf http://oa.upm.es/5638/2/IJMSO_Corcho_FinalVersionPrintedInJournal.pdf http://www.nlm.nih.gov/ http://www.getty.edu/research/tools/vocabulary/tgn/index.html http://www.getty.edu/research/tools/vocabulary/tgn/index.html http://www.foaf-project.org/ http://www.ontoweb.org/ http://knowledgeweb.semanticweb.org/ http://www.esperonto.net/ https://pubmed.ncbi.nlm.nih.gov/23734708/ https://studme.org/235608/informatika/proektirovanie_ontologiy_srede_protege https://studme.org/235608/informatika/proektirovanie_ontologiy_srede_protege http://annotation.semanticweb.org/ http://www.cyc.com/2003/04/01/cyc http://reliant.teknowledge.com/DAML/SUMO.owl http://reliant.teknowledge.com/DAML/SUMO.owl https://www.ontotext.com/services/semantic-data-modeling/ https://www.ontotext.com/services/semantic-data-modeling/ http://oa.upm.es/5638/2/IJMSO_Corcho_FinalVersionPrintedInJournal.pdf http://oa.upm.es/5638/2/IJMSO_Corcho_FinalVersionPrintedInJournal.pdf http://www.nlm.nih.gov/ http://www.getty.edu/research/tools/vocabulary/tgn/index.html http://www.getty.edu/research/tools/vocabulary/tgn/index.html http://www.foaf-project.org/ http://www.ontoweb.org/ http://knowledgeweb.semanticweb.org/ http://www.esperonto.net/ https://pubmed.ncbi.nlm.nih.gov/23734708/ https://studme.org/235608/informatika/proektirovanie_ontologiy_srede_protege https://studme.org/235608/informatika/proektirovanie_ontologiy_srede_protege Моделі та засоби систем баз даних і знань 33 International SemanticWeb Conference (ISWC2011). 15. Cunningham H., Maynard D., Bontcheva K., Tablan V. 2002. GATE: A Framework and Graphical Development Environment for Robust NLP Tools and Applications. Proceedings of the 40th Anniversary Meeting of the Association for Computational Linguistics (ACL ’02), Philadelphia. 16. Savova G.K., Masanz J.J., Ogren P.V., Zheng J., Sohn S., Kipper-Schuler K.C., Chute C.G. Mayo clinical text analysis and knowledge extraction system (ctakes): architecture, component evaluation and applications. Journal of the American Medical Informatics Association. 2010. 17(5). P. 507–513. 17. http://annotation.semanticweb.org/ 18. Handschuh S., Staab S. and Maedche A. (2001) 'CREAM – creating relational metadata with a componentbased, ontology- driven annotation framework', in Gil, Y., Musen, M. and Shavlik, J. (Eds.): First International Conference on Knowledge Capture (KCAP'01), ACM Press, Victoria, Canadá, 1-58113-380-4. New York. P. 76–83. 19. http://www.cs.umd.edu/projects/plus/ SHOE/KnowledgeAnnotator.html. 20. Vargas-Vera M., Motta E., Domingue J., Lanzoni M., Stutt A. and Ciravegna F. (2002) 'MnM: ontology driven semi-automatic and automatic support for semantic markup', in Gómez-Pérez, A. and Benjamins, V.R. (Eds.): 13th International Conference on Knowledge Engineering and Management (EKAW 2002), Springer Verlag P. 379–391. 21. Kogut P. and Holmes W. (2001) 'AeroDAML: applying information extraction to genérate daml annotation from web pages', in Handschuh S., Dieng R. and Staab S. (Eds): KCAP'01 Workshop on Semantic Markup and Annotation, Victoria, Canadá. 22. http://www.cyc.com/2003/04/01/cyc 23. http://reliant.teknowledge.com/DAML/SUM O.owl Одержано 04.11.2020 Про автора: Захарова Ольга Вікторівна, кандидат технічних наук, старший науковий співробітник. Кількість наукових публікацій в українських виданнях – 29. http://orcid.org/0000-0002-9579-2973. Місце роботи автора: Інститут програмних систем НАН України, проспект Академіка Глушкова, 40. Тел.: 526 5139. E-mail: ozakharova68@gmail.com. http://annotation.semanticweb.org/ http://www.cyc.com/2003/04/01/cyc http://reliant.teknowledge.com/DAML/SUMO.owl http://reliant.teknowledge.com/DAML/SUMO.owl mailto:ozakharova68@gmail.com

Схожі ресурси