Using metadata to resolve big data problems

Using metadata to resolve big data problems

Today, the volumes of data used by application sys­tems are growing exponentially and have reached such si­zes that they cannot be processed by traditional sys­tems. So the term "Big data" appeared. The main prob­lems of such data sets are associated, first of all, not on­ly with their vol...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2019
Автор: Zakharova, O.V.
Формат: Стаття
Мова:Ukrainian
Опубліковано: PROBLEMS IN PROGRAMMING 2019
Теми:
big data analytic
big data management
metadata
annotation
machine learning
Hadoop
meta­data classification
structural metadata
descriptive metadata
administrative metadata
data integration
ontology
linked data
data semantics
UDC 004.94
Онлайн доступ:https://pp.isofts.kiev.ua/index.php/ojs1/article/view/362
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Problems in programming
Завантажити файл: Pdf

Репозитарії

Problems in programming
id pp_isofts_kiev_ua-article-362
record_format ojs
resource_txt_mv ppisoftskievua/a0/3a8726b29080c6654c31df491cd65fa0.pdf
spelling pp_isofts_kiev_ua-article-3622024-04-28T11:02:47Z Using metadata to resolve big data problems Использование метаданных для решения задач больших данных Використання метаданих для вирішення задач великих даних Zakharova, O.V. big data analytic; big data management; metadata; annotation; machine learning; Hadoop; meta­data classification; structural metadata; descriptive metadata; administrative metadata; data integration; ontology; linked data; data semantics UDC 004.94 аналитика больших данных; уп­рав­ление большими данными; метаданные; ан­но­ти­ро­вание; машинное обучение; Hadoop; клас­си­фи­ка­ция метаданных; структурные метаданные; опи­са­тель­ные метаданные; административные ме­та­дан­ные; интеграция данных; онтолог УДК 004.94 аналітика великих даних; управління великими даними; метадані; анотування; машинне навчання; Hadoop; класифікація метаданих; структурні метадані; описові метадані; адміністративні метадані; інтеграція даних; онтології; зв’язані дані; семантики даних УДК 004.94 Today, the volumes of data used by application sys­tems are growing exponentially and have reached such si­zes that they cannot be processed by traditional sys­tems. So the term "Big data" appeared. The main prob­lems of such data sets are associated, first of all, not on­ly with their volumes, but also with the variety and com­plexity of the information they contain. Thus, along with the growth of data volumes and the number of big data initiatives, the metadata become the most im­portant priority for the success of large data projects. En­terprises understand that the full use of the ope­ra­ti­o­nal potential of machine learning, in-depth learning and ar­tificial intellect requires the unprocessed data was sup­plemented with metadata. Therefore, the purpose of this work is to analyze the effect of metadata to solving the big data problems, determine the main categories of da­ta to be annotated by metadata, and the main types of metadata used for this. Today, metadata is a means of classifying, organizing, and characterizing data or its contents. De­­pending on the role they play in solving big data problems, NISO identifies four main types of metadata: administrative, descriptive, structural, and markup languages. Dif­fe­rent types of metadata can be used in a certain way to ef­fectively solve problems of management, search, data in­tegration, etc. A separate issue is the way of their creation/automatic generation, since the manual cre­ation of metadata is a laborious process, and their vo­lume is often several times larger than the volume of the data itself.   На сегодняшний день объемы данных, которыми оперируют прикладные системы, экспоненциально непрерывно растут и уже давно достигли таких раз­ме­ров, что не могут обрабатываться тра­ди­ци­он­ны­ми системами. Так появился термин «Большие дан­ные». Основные проблемы таких наборов данных свя­заны, прежде всего, не только с их объе­мами, но и с разнообразностью, разнородностью и слож­но­стью информации, которую они содержат. Таким об­разом, вместе с ростом объемов данных та числа ини­циатив больших данных, на первый план вы­хо­дят ме­таданные, как самый главный приоритет ус­пеш­ности проектов больших да­нных. Предприятия по­нимают, что полное использование де­ло­вого и опе­­­рационного потенциала ма­шин­но­го обучения, глу­бокого обучения и искусственного ин­те­ллекта тре­бует дополнения не обработанных данных метаданными. Поэтому, целью данной ра­­боты является анализ влияния метаданных и решение комплекса проблем больших данных, определение ос­нов­ных категорий данных, подлежащих аннотированию мета­дан­ны­ми, и основных типов используемых для этого метаданных. На сегодняшний день метаданные являются сред­ст­вом классификации, упо­­­рядочивания и ха­рак­те­рис­ти­ки данных или их содержимого. В за­ви­си­мости от роли, которую они играют в решении задач боль­ших данных, NISO выделяет четыре основных типа метаданных: административные, опи­са­тель­ные, структурные и языки разметки. Разные типы ме­таданных могут использоваться определенным об­разом для эффективного решения задач уп­рав­ле­ния, поиска, интеграции данных и т.п. Отдельным воп­росом остаются способы их соз­да­ния/­ав­то­ма­ти­че­ской генерации, так как создание метаданных в руч­ную является трудоемким процессом, а их объем зачастую в несколько раз превосходит объем самих данных.  На сьогодні обсяги даних, якими оперують прикладні системи, експоненціально безперервно зростають та уже давно досягли таких розмірів, що не можуть оброблятися традиційними системами. Так виник термін «Великі дані». Головні проблеми таких наборів даних пов’язані, перш за все, не лише з їх об’ємом, але й з різноманітністю, різнорідністю та складністю інформації, яку вони містять. Таким чином, разом із зростанням обсягів даних і кількості ініціатив великих даних, на перший план виходять метадані, як найважливіший пріоритет успіху проектів великих даних. Підприємства усвідомлюють, що повне використання ділового та операційного потенціалу машинного навчання, глибокого навчання та штучного інтелекту вимагає, щоб необроблені дані були доповнені метаданими. Метою даної роботи є аналіз впливу метаданих на вирішення комплексу проблем великих даних, визначення основних категорій даних, що підлягають анотуванню метаданими, та основних типів метаданих, що для цього використовуються. Насьогодні метадані є засобом класифікації, впорядкування та характеристики даних або їх вмісту. Залежно від ролі, яку вони відіграють у вирішенні задач великих даних, NISO поділяє їх на чотири типи, а саме: адміністративні, описові, структурні та мови розмітки. Різні типи метаданих можуть бути використані певним чином для ефективного вирішення задач управління, пошуку, інтеграції даних тощо. Окремим питанням є способи їх створення/автоматичної генерації, тому що ручне створення метаданих є процесом досить трудомістким, а їх обсяг часто у кілька разів перевищує обсяг самих даних. PROBLEMS IN PROGRAMMING ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ ПРОБЛЕМИ ПРОГРАМУВАННЯ 2019-06-16 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/362 10.15407/pp2019.02.081 PROBLEMS IN PROGRAMMING; No 2 (2019); 81-91 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 2 (2019); 81-91 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 2 (2019); 81-91 1727-4907 10.15407/pp2019.02 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/362/364 Copyright (c) 2019 PROBLEMS IN PROGRAMMING
institution Problems in programming
baseUrl_str https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date 2024-04-28T11:02:47Z
collection OJS
language Ukrainian
topic big data analytic
big data management
metadata
annotation
machine learning
Hadoop
meta­data classification
structural metadata
descriptive metadata
administrative metadata
data integration
ontology
linked data
data semantics
UDC 004.94
spellingShingle big data analytic
big data management
metadata
annotation
machine learning
Hadoop
meta­data classification
structural metadata
descriptive metadata
administrative metadata
data integration
ontology
linked data
data semantics
UDC 004.94
Zakharova, O.V.
Using metadata to resolve big data problems
topic_facet big data analytic
big data management
metadata
annotation
machine learning
Hadoop
meta­data classification
structural metadata
descriptive metadata
administrative metadata
data integration
ontology
linked data
data semantics
UDC 004.94
аналитика больших данных
уп­рав­ление большими данными
метаданные
ан­но­ти­ро­вание
машинное обучение
Hadoop
клас­си­фи­ка­ция метаданных
структурные метаданные
опи­са­тель­ные метаданные
административные ме­та­дан­ные
интеграция данных
онтолог
УДК 004.94
аналітика великих даних
управління великими даними
метадані
анотування
машинне навчання
Hadoop
класифікація метаданих
структурні метадані
описові метадані
адміністративні метадані
інтеграція даних
онтології
зв’язані дані
семантики даних
УДК 004.94
format Article
author Zakharova, O.V.
author_facet Zakharova, O.V.
author_sort Zakharova, O.V.
title Using metadata to resolve big data problems
title_short Using metadata to resolve big data problems
title_full Using metadata to resolve big data problems
title_fullStr Using metadata to resolve big data problems
title_full_unstemmed Using metadata to resolve big data problems
title_sort using metadata to resolve big data problems
title_alt Использование метаданных для решения задач больших данных
Використання метаданих для вирішення задач великих даних
description Today, the volumes of data used by application sys­tems are growing exponentially and have reached such si­zes that they cannot be processed by traditional sys­tems. So the term "Big data" appeared. The main prob­lems of such data sets are associated, first of all, not on­ly with their volumes, but also with the variety and com­plexity of the information they contain. Thus, along with the growth of data volumes and the number of big data initiatives, the metadata become the most im­portant priority for the success of large data projects. En­terprises understand that the full use of the ope­ra­ti­o­nal potential of machine learning, in-depth learning and ar­tificial intellect requires the unprocessed data was sup­plemented with metadata. Therefore, the purpose of this work is to analyze the effect of metadata to solving the big data problems, determine the main categories of da­ta to be annotated by metadata, and the main types of metadata used for this. Today, metadata is a means of classifying, organizing, and characterizing data or its contents. De­­pending on the role they play in solving big data problems, NISO identifies four main types of metadata: administrative, descriptive, structural, and markup languages. Dif­fe­rent types of metadata can be used in a certain way to ef­fectively solve problems of management, search, data in­tegration, etc. A separate issue is the way of their creation/automatic generation, since the manual cre­ation of metadata is a laborious process, and their vo­lume is often several times larger than the volume of the data itself.  
publisher PROBLEMS IN PROGRAMMING
publishDate 2019
url https://pp.isofts.kiev.ua/index.php/ojs1/article/view/362
work_keys_str_mv AT zakharovaov usingmetadatatoresolvebigdataproblems
AT zakharovaov ispolʹzovaniemetadannyhdlârešeniâzadačbolʹšihdannyh
AT zakharovaov vikoristannâmetadanihdlâviríšennâzadačvelikihdanih
first_indexed 2025-07-17T10:05:50Z
last_indexed 2025-07-17T10:05:50Z
_version_ 1850411102012178432
fulltext Експертні та інтелектуальні інформаційні системи © О. Захарова, 2019 ISSN 1727-4907. Проблеми програмування. 2019. № 2 81 УДК 004.94 https://doi.org/10.15407/pp2019.02.081 О. Захарова ВИКОРИСТАННЯ МЕТАДАНИХ ДЛЯ ВИРІШЕННЯ ЗАДАЧ ВЕЛИКИХ ДАНИХ Насьогодні обсяги даних, якими оперують прикладні системи, експоненціально безперервно зростають та уже давно досягли таких розмірів, що не можуть оброблятися традиційними системами. Так виник термін «Великі дані». Головні проблеми таких наборів даних пов’язані, перш за все, не лише з їх об’є- мом, але й з різноманітністю, різнорідністю та складністю інформації, яку вони містять. Таким чином, разом із зростанням обсягів даних і кількості ініціатив великих даних, на перший план виходять ме- тадані, як найважливіший пріоритет успіху проектів великих даних. Підприємства усвідомлюють, що повне використання ділового та операційного потенціалу машинного навчання, глибокого навчання та штучного інтелекту вимагає, щоб необроблені дані були доповнені метаданими. Метою даної роботи є аналіз впливу метаданих на вирішення комплексу проблем великих даних, визначення основних кате- горій даних, що підлягають анотуванню метаданими, та основних типів метаданих, що для цього вико- ристовуються. Насьогодні метадані є засобом класифікації, впорядкування та характеристики даних або їх вмісту. Залежно від ролі, яку вони відіграють у вирішенні задач великих даних, NISO поділяє їх на чо- тири типи, а саме: адміністративні, описові, структурні та мови розмітки. Різні типи метаданих можуть бути використані певним чином для ефективного вирішення задач управління, пошуку, інтеграції даних тощо. Окремим питанням є способи їх створення/автоматичної генерації, тому що ручне створення мета- даних є процесом досить трудомістким, а їх обсяг часто у кілька разів перевищує обсяг самих даних. Ключові слова: аналітика великих даних, управління великими даними, метадані, анотування, машинне навчання, Hadoop, класифікація метаданих, структурні метадані, описові метадані, адміністративні ме- тадані, інтеграція даних, онтології, зв’язані дані, семантики даних. Вступ Головні проблеми при використанні великих даних пов’язані з різнорідністю, різноманітністю та складністю інформації: величезні інформаційні активи; розрізнені інформаційні сховища, які можуть розпов- сюджуватися на декілька бізнес-одиниць; напівструктурований та неструктурований контент даних, що досить часто розподіля- ється за багатьма внутрішніми операційни- ми системами, бізнес-застосунками, мере- жами, серверами та інтелектуальним об- ладнанням. Організація ефективного управлін- ня постійно зростаючими обсягами струк- турованих даних та контентом неструкту- рованих даних підвищує конкурентоздат- ність підприємства. За думкою багатьох експертів, нереалізація такого управління згодом суттєво ускладнить обслуговування вимог клієнтів, що постійно змінюються, або навіть можливо буде коштувати таким підприємствам частки ринку. Треба навчи- тися мати користь з великих даних та ви- користовувати їх міць для прийняття важ- ливих майбутніх бізнес-рішень. Здатність ефективно організовувати та класифікува- ти інформацію забезпечить більшу інте- лектуальність у бізнесі, надаючи можли- вості оперативного прийняття рішень. Таким чином, разом із зростанням обсягів даних та кількості ініціатив вели- ких даних, на перший план виходить цін- ність метаданих [1]. Метадані стають най- важливішим пріоритетом успіху великих даних, та їх вплив не можна недооціню- вати. Важливість метаданих [2] зростає ще й в наслідок того, що підприємства усві- домлюють, що повне використання діло- вого та операційного потенціалу машинно- го навчання, глибокого навчання та штуч- ного інтелекту вимагає, щоб необроблені дані були доповнені метаданими. Зрос- тання обсягів фактичних даних обумовлює існування ще більшої кількості даних, або метаданих, про використання та джерела цих фактичних даних. Роль метаданих у вирішенні проблем великих даних При впровадженні кожного нового проекта великих даних повинна бути мож- ливість ідентифікувати ці великі дані. Важ- https://doi.org/10.15407/pp2019.02.081 Експертні та інтелектуальні інформаційні системи 82 ливою можливістю для розробки та роз- витку сервісів обробки великих даних є створення комплексної програми управлін- ня метаданими підприємства. Згідно звіту, що був опублікований International Data Corporation (IDC), мета- дані є одним з найшвидше зростаючих під- сегментів управління корпоративними да- ними. Однак, хоча метадані швидко зрос- тають, вони все одно не встигають за шви- дким зростанням проектів великих даних. Цю проблему IDC називає як «прогалина великих даних» (“Big Data Gap”) [3]. Ме- тадані можуть значно спростити та вдоско- налити процеси збору, інтеграції та аналізу джерел великих даних. За відсутністю ме- таданих підприємства можуть втратити глибоке розуміння того, що саме можуть дати великі дані. Метадані можуть керува- ти всім життєвим циклом даних, процеса- ми, процедурами, а також клієнтами або користувачами, які впливають на певну бізнес-інформацію. Метадані великих да- них є основою для збору величезних обся- гів даних з нових розрізнених джерел та ін- формаційних сховищ, перш ніж вони ста- нуть некерованими. Метадані, «маленькі» та великі дані Метадані – це інформація, яка опи- сує інші дані – «дані про дані» [3]. Це мо- жуть бути описові, адміністративні та структурні дані. Це просте визначення ви- користовувалося спеціалістами з обробки даних на протязі десятирічь. Тим не менш, метадані визначають атрибути, властивості та теги, які будуть описувати та класифі- кувати інформацію. Доречніше визначити метадані як «інформацію про дані». Мета- дані можуть бути представлені у вигляді будь-якої кількості характеристик, що пов’язані з цінними інформаційними да- ними, такими як тип даних, автор, дата створення, стан робочого процесу та вико- ристання в межах підприємства. Після то- го, як метадані визначені, вони забезпечу- ють цінність та призначення вмісту даних та, таким чином, стають ефективним ін- струментом для швидкого пошуку інфор- мації – обов’язковою умовою для аналізу великих даних та формування звітності. Але, метадані також можуть ідентифіку- вати «маленькі дані», які у кінцевому під- сумку забезпечують структуру того, що стає великими даними. У роботі [4] (Harvard Business Review) були визначені три головні відмінності великих та невели- ких даних:  «Великі дані» спрямовані на просунення організаційних цілей, а «Ма- ленькі дані» допомагають людям досягти особистих цілей.  Окремі індивіди не можуть ба- чити великі дані.  Великі дані контролюються ор- ганізаціями, а маленькі дані контролю- ються приватними особами. Компанії на- дають фізичним особам дозвіл на доступ до великих даних, водночас як фізичні осо- би, навпаки, надають організаціям доступ до маленьких даних. Щоб усвідомити істинне значення, яке метадані вносять у великі дані, треба поглянути на визначення структури, яке допомагає знаходити дані в процесі вирі- шення задачі виявлення даних, а також ін- терпретувати та використовувати великі дані точно і правильно. Для структурованих даних модель метаданих є «рідною» за структурою. Структуровані джерела даних можуть за- безпечити логічну структуру через легко отримувані метадані. Але у великих даних немає такої доступності «власних» метада- них, тому для розкриття їх значення вико- ристовуються метадані з зовнішніх джерел даних. Великі дані потребують обробки за допомогою певної аналітики, для побудови нових визначень метаданих. Наприклад, при використанні Hadoop для збору даних не потрібно визначати метадані під час збору даних, необхідно просто визначити унікальний ключ, щоб мати можливість звертатися до даних у випадку необхідно- сті. Однак, у кінцевому підсумку все одно треба буде визначити метадані, й Hadoop використовує для цього HCatalog. Після того, як метадані визначені, вони можуть бути співвіднесені з метаданими, що виз- начені в інших традиційних (структурова- них) джерелах даних, забезпечуючи за- гальну модель метаданих для всієї органі- зації. Експертні та інтелектуальні інформаційні системи 83 Метадані можуть зв’язувати важли- ву інформацію організації, зв’язуючи від- повідні критерії. Це дозволяє об’єднувати зв’язками аналогічні набори даних та, з ін- шого боку, роз’єднувати різнорідні набори даних різних джерел великих даних. Вклю- чення для великих даних атрибутів ме- таданих, які мають важливе значення, до напівструктурованих даних та неструкту- рованого контенту робить ці набори даних більш значущими, в результаті чого непо- трібна інформація може бути відхилена в процесі пошуку. Метадані забезпечують точнішу ка- ртину даних у межах всього підприємства в цілому та належний рівень погодженості даних для аналітики великих даних та біз- нес-застосунків, а також керують багатьма аспектами діяльності компаній. Так, наприклад, дослідження Стен- фордського університету показали, що ме- тадані телефонних дзвінків розкривають значні обсяги особистої інформації без доступу до реальних голосових записів. Аналіз графіків метаданих телефонних дзвінків може виявити частоту, актуаль- ність, силу та характер взаємовідносин між людьми. Amazon збирає метадані з продаж та в подальшому використовує їх для надання рекомендацій клієнтам та поліпшення їх взаємодії з постачальниками. Amazon та- кож створює метадані про продукти, що доступні іншим сайтам, які надбудовують на ньому власні сервіси, збільшуючи, тим самим, обсяги продажу через Amazon. В основі соціальних мереж також лежать метадані. Користувачі Facebook створюють метадані, коли керують списка- ми друзів, постять статуси чи додають описи до медіа-файлів та «лайки» до ста- тусів друзів, розділяють раніше викладе- ний контент і надають оригінальне відео. Відстежуючи ці дії Facebook аналізує по- пулярні теми та просуває рекламу, яка приносить користь. Згенеровані метадані використовуються для побудови пошуко- вого індексу та рекомендацій для контен- ту, що є цікавим для користувачів. Користувачі Instagram визначають підписи до зображень, які вони виклада- ють та до яких розділяють доступ з облі- ковими записами інших користувачів. Instagram використовує ці дані для вдоско- налення реклами. Користувачі Twitter ор- ганізують людей, яким вони слідують, у списки, постять текст та відео, використо- вують хештеги для визначення коментарів у твіті та пов’язують їх один з одним, рет- вітять чужий контент з або без коментарів, виділяють “улюблені” твіти, керують влас- тивостями, такими як «список популярних тем». Глибина даних про суспільство, що представлена контентом у Твітері, та його метадані призвели у 2010 році до заклю- чення угоди про те, що Бібліотека Конгре- су США буде архівувати цей цінний мате- ріал для досліджень [5]. Щоб краще уявити, що таке є мета- дані та чому це важливо, розглянемо неве- личкий приклад [6] метаданих (рисунок), що пов’язані з твітом лише з 140 символів. 140 символів не представляють великих обсягів даних, однак обсяги даних вибу- хають, якщо зв’язати твіт з усіма метада- ними, що необхідні для розуміння цих 140 символів у контексті розмови. Наведений приклад демонструє елементи метаданих.  Ім’я та ідентифікатор користувача, що відповів автору твіта.  Дата та час створення твіту.  Ім’я автора.  Ім’я користувача.  Біографія автора.  URL автора.  Місцезнаходження автора.  Надання інформації для автора.  Дата створення облікового запису.  Кількість обраних, що має користу- вач.  Кількість користувачів, на яких під- писаний даний користувач.  Часовий пояс та зміщення часу для даного користувача.  Мова, обрана користувачем.  Чи є користувач захищеним.  Кількість підписників користувача.  Ідентифікатор місця.  Друкована назва цього місця.  Тип місця.  Країна.  Застосунок, який відіслав твіт. Експертні та інтелектуальні інформаційні системи 84 Рисунок. Метадані, пов’язані з твітом Наведені приклади демонструють нечітку межу між метаданими та інформа- цією, яку вони описують. У багатьох ситу- аціях ця відмінність не має значення, так як метадані часто створюються, зберіга- ються та обробляються так, якби це дані. Відмінністю є лише семантика. Особливістю наведених вище прик- ладів є те, що всі метадані у деякій мірі структуровані. Метадані збираються таким чином, щоб вони могли виконувати корис- ну задачу, та сортуються за відомими кате- горіями. Саме це поняття структури пере- Експертні та інтелектуальні інформаційні системи 85 творює необроблену інформацію у реальні метадані. Які дані має сенс анотувати? Очевидно, що метадані суттєво ско- рочують обсяги необроблених даних. Саме це відбувається, коли підприємство почи- нає помічати (анотувати) більше своїх тра- нзакцій та взаємодій, щоб отримати додат- ково уявлення про природу та контекст діалогу та взаємодії. Слід пам’ятати, що метадані при цьому стрімко збільшують обсяги даних, що зберігаються, в цілому, та не всі дані завжди є корисними для ана- літики великих даних. Але деякі типи ве- ликих даних особливо підходять для ана- лізу, а їх анотування може суттєво впли- нути на ефективне вирішення конкретних, життєво-важливих задач. Розглянемо деякі з них [6]. Відеозаписи спостережень. Загаль- ні метадані (дата, час, місцезнаходження та ін.), як правило, автоматично прикріп- люються до відеофайлу. Однак, з розпов- сюдженням IP-камер з’являється більше можливостей для вбудовування більшого обсягу інформації у камеру, що дозволяє аналізувати та маркувати відзнятий мате- ріал в режимі реального часу. Такий тип тегів може прискорити кримінальне роз- слідування, покращити роздрібну аналіти- ку великих даних для моделей споживчого трафіку та покращити військову розвідку, оскільки відео з дронів у різних геогра- фічних регіонах порівнюються за кореля- цією моделей (шаблонів). Дані різного роду датчиків. У май- бутньому датчики всіх типів (включаючи ті, що можуть бути імплантовані до орга- нізму людини) будуть фіксувати життєво важливі та не життєво важливі біометрії, відстежувати ефективність ліків. Це дозво- лить корелювати фізичну активність зі ста- ном здоров’я, відстежувати потенційні спалахи вірусів у режимі реального часу. Розваги та соціальні мережі. Тен- денції, що засновані на великих групах лю- дей, можуть стати відмінним джерелом ве- ликих даних, щоб допомогти вивести на ринок «наступну велику річ», допомогти обрати переможців та переможених на фо- ндовому ринку та навіть передбачити ре- зультат виборів – все на основі інформації, яку користувачі вільно публікують через соціальні мережі. Зображення користувачів. Люди багато розповідають про себе, коли публі- кують власні фото або фото сімей/друзів. Раніше картинка коштувала тисячі слів, але з появою великих даних з’явився знач- ний множник. Ключовим моментом буде впровадження складних алгоритмів тегу- вання, які зможуть аналізувати зображення або в режимі реального часу, коли знімки зроблені або завантажені, або в масовому порядку після їх агрегування з різних веб- сайтів. Перелічені типи даних є доповнен- ням до звичайних транзакційних даних, що проходять через корпоративні системи в ході звичайної обробки даних. Класифікація метаданих Метадані є засобом класифікації, впорядкування та характеристики даних або їх вмісту. Національна організація з ін- формаційних стандартів (NISO – The Nati- onal Information Standards Organization) [7] пропонує класифікацію [8], яка може бути застосована для всіх типів даних або репо- зиторіїв даних, від бібліотек до веб-сайтів, текстовых та нетекстових даних, даних у цифровій або матеріальній формі. NISO описує наступні типи мета- даних [8]. - Описові метадані включають таку інформацію, як, наприклад, контакт- ні дані, заголовок або автор публікації, анотація роботи, ключові слова, географі- чне розміщення або навіть пояснення методології. Ці дані можуть використо- вуватися для виявлення, збору або гру- пування ресурсів за загальними для них характеристиками. - Структурні метадані поясню- ють склад або організацію ресурсів. На- приклад, цифрову книгу можна публікува- ти у вигляді зображень окремих сторінок файла PDF або HTML. Ці сторінки або компоненти зазвичай групують у глави. Дані про глави, зміст або відомості про макет сторінок вважаються структурними метаданими. До структурних метаданих відносяться також такі записи, як структу- http://www.niso.org/publications/press/UnderstandingMetadata.pdf http://www.digitizationguidelines.gov/term.php?term=metadatastructural http://www.digitizationguidelines.gov/term.php?term=metadatastructural http://www.cisco.com/c/en/us/td/docs/security/firesight/540/api/estreamer/EventStreamerIntegrationGuide/IS-DCRecords.html Експертні та інтелектуальні інформаційні системи 86 рна карта сторінок або інших ресурсів веб- сайту, подія вторгнення чи запису відомо- стей про голосові виклики. - Адміністративні метадані ви- користовуються для управління ресурсом. Дати створення або отримання, права дос- тупу, права або походження, або правила утилізації, такі як зберігання чи видалення, є прикладами прав, які може застосовувати цифровий архівіст, куратор. Такі метадані є корисними для адміністратора бази да- них або для адміністраторів, що відповіда- ють за отримання даних з трафіку телеко- мунікаційних мереж або мереж передачі даних, або журналів систем безпеки, або даних про події. - Мови розмітки. Інтегрують ме- тадані та флаги для інших структурних чи семантичних властивостей в контенті. Змішують разом метадані та контент. Фо- рма метаданих, що найбільш часто вико- ристовується. Вбудовані у контент флаги позначають відмічені властивості або осо- бливості. Для текстового ресурсу це може означати маркерування структурних еле- ментів, таких як параграфи; помітка слів семантичною інформацією – наприклад, слово є географічною назвою або певною частиною мови; також це може бути на- данням інформації про форматування. Ці різні категорії метаданих підтри- мують різні варіанти використання в ін- формаційних системах. Структурні мета- дані найчастіше використовуються при вирішенні задачі пошуку (виявлення) да- них, так як вони дозволяють користувачам шукати або переглядати ресурси та інфор- мацію, що їх цікавлять. Багато з властивос- тей метаданих доцільно відображати ко- ристувачам, щоб допомогти їм в ідентифі- кації або розумінні ресурсу. Вирішення задач інтероперабельності даних, ефектив- ного обміну контентом між системами ба- зується на метаданих, які описують цей контент. Залучені до операції системи мо- жуть ефективно профілювати матеріал, що надходить, та співставляти його зі своїми внутрішніми структурами. Метадані під- тримують управління цифровими об’єкта- ми, надаючи інформацію, що є необхідною для належного відтворення цифрового ко- нтенту або надання відповідної версії, що задовольняє вимоги користувача. Задача збереження великих даних може вирішуватися шляхом створення ме- таданих, які дозволяють перевіряти ціліс- ність контенту після передачі даних та в інших важливих точках, а також сигналізу- вати у випадку виникнення необхідності вжиття заходів, що пов’язані зі збережен- ням даних, наприклад таких, як перенесен- ня формату або перевірка цілісності. На- решті, метадані підтримують навігацію частинами елементів, наприклад, від однієї сторінки або розділу до іншого, та між різ- ними версіями об’єкта, такими як фотогра- фічні зображення різної якості. Таблиця далі наводить приклади елементів метаданих різних типів та варіа- нтів їх використання в задачах великих даних. Таблиця Тип метаданих Приклади елементів метаданих Варіанти використання Описові Заголовок Автор Тема Жанр Дата публікації Виявлення Візуалізація Інтероперабель- ність Адміністра- тивні Технічні: Тип файлу Розмір файлу Дата/час ство- рення Схема стиснення Інтероперабель- ність Управління циф- ровими об’єктами Зберігання Метадані збері- гання: Контрольна сума Подія збережен- ня Інтероперабель- ність Управління циф- ровими об’єктами Зберігання Правові: Статус авторсь- кого права Умови ліцензу- вання Правовласник Інтероперабель- ність Управління циф- ровими об’єктами Структурні Послідовність Місце в ієрархії Навігація Мови розмі- тки Параграф Заголовок Список Назва Дата Навігація Інтероперабель- ність https://en.wikipedia.org/wiki/Call_detail_record https://en.wikipedia.org/wiki/Call_detail_record https://journals.ala.org/lrts/article/view/5031/6088 http://qosient.com/argus/presentations/Argus.FloCon.2014.Metadata.Tutorial.pdf Експертні та інтелектуальні інформаційні системи 87 Використання метаданих для пошуку даних Використання метаданих, що прив’язані до алгоритмів пошуку, дозволя- ють отримувати результати пошуку з висо- ким ступенем достовірності. Це особливо важливо в ініціативах «Великих даних», де автономні результати, що базуються на ключових словах, можуть включати в себе скопичення менш актуальної інформації. Але використання асоціацій метаданих, створює можливість користувачам та ана- літикам великих даних швидко знаходити потрібну інформацію, незважаючи на ве- ликий контент, який знаходиться у розріз- нених репозиторіях. Даний підхід може бути розповсюд- жений як на пошук структурованих даних, так й на пошук неструктурованого контен- ту репозиторіїв підприємств. Метадані можуть зв’язувати весь контент, що пов’язаний з одним або декількома атрибу- тами метаданих, незалежно від їх місцезна- ходження або формату. Як варіант, метада- ні можуть надавати інформацію про еле- мент даних (наприклад, продукт), яка од- нозначно описує цей елемент. Таке поле, як ідентифікатор продукту, також є засо- бом для зв’язку з іншими джерелами даних з метою інтеграції даних. Окрім цього, за допомогою дескрипторів метаданих можна зв’язувати елементи даних у загальних термінах та використовувати ці метадані для інтеграції та кращого розуміння розріз- нених джерел великих даних. Даний підхід надає метадані послідовно на рівні підпри- ємства. Дуже важливо, щоб метадані дозво- ляли створювати та підтримувати погодже- ність даних. Так, наприклад, компанії по- різному визначають термін «клієнт». Та якщо компанія має розрізнені сховища да- них та розкидані бізнес-одиниці, то цей термін може бути легко неправильно ви- тлумачений по всьому підприємству і, та- ким чином, оцінений по-різному. Навіть, якщо кожне джерело даних визначене пра- вильно, контекст одного й того самого еле- мента даних може змінюватися в різних областях застусовання. Ця проблема існує в більшості організацій та, якщо її не вирі- шити, впливає на цілістність звітів та ре- зультати пошуку на підприємстві в цілому. Існує два підходи до вирішення цієї проблеми: 1) перейменувати або помітити тер- міни застосунків, щоб вони були більш конкретними, або 2) згорнути ці імена застосунків у більш абстрактне ім’я на рівні сектора або навіть підприємства. Саме тут буде надзвичайно корис- ним сховище метаданих. Адмініструючи метадані, підприємство може побудувати несуперечливе визначення або бізнес-пра- вило для конкретного атрибуту даних та застосовувати його на рівні даних підпри- ємства, як для структурованих, так й для неструктурованих сховищ даних. Управління метаданими даних Управління метаданими повинно бути частиною загальної практики управ- ління даними підприємства. Це важливий компонент будь-якої надійної практики уп- равління даними. Підхід, який це підтри- мує, полягає у встановленні управління да- ними для метаданих [3]. Надійні метадані забезпечують погодженість даних для під- тримки підприємства та забезпечують прийняття рішень відносно аналізу вели- ких даних. Реалізація практики управління корпоративними даними надає користува- чам даних їх значення і контекст для розу- міння даних та їх компонентів. Обов’язки управляючого метаданими даних включа- ють документування контексту контенту даних (походження та спадщина даних), а також визначення даних для сутностей й атрибутів сховища даних, ідентифікацію зв’язків між даними та забезпечення пере- вірки своєчасності, точності та повноти да- них. Підтримка належного управління ме- таданими сприяє успіху ініціативи великих даних та забезпечує повну реалізацію біз- нес-значимості даних підприємства. Зі зростанням обсягів використання великих даних, з’являються і будуть з’яв- лятися надалі нові типи метаданих, які ві- дповідають особливим вимогам різних сегментів ринку, які надають великі дані. Реалізація підходів, що засновані на мета- даних, а також програми управління для Експертні та інтелектуальні інформаційні системи 88 підтримки як структурованих так й вели- ких даних, має критичне значення у вста- новленні загальної погодженості даних та забезпеченні кращого розуміння взає- мозв’язків даних для підприємства. Реалі- зація відповідних корпоративних та бізнес- ініціатив дозволить досягти більшої відда- чі завдяки більш швидкому доступу до конкретного контенту даних, який знахо- диться у великих різноманітних сховищах великих даних, «озерах даних» [9], а також репозиторіях реляційних баз даних, що мають першорядне значення для бізнесу. Для успішного вирішення задач великих даних ключову роль відіграє вирішення проблеми їх інтеграції, в першу чергу, се- мантичної. Також, слід зазначити, що для управління метаданими в масштабі під- приємства, необхідне створення та впрова- дження репозиторію метаданих. Інтеграція даних Розробку метаданих для різного ро- ду прикладної інформації (біологічної, ме- дичної та ін.) на основі стандартів семан- тичного веб можна розглядати як перспек- тивний підхід для семантичної інтеграції інформації. З іншого боку, онтології, як формальні моделі для представлення ін- формації з чітко визначеними поняттями й взаємозв’язками між ними, можуть вико- ристовуватись для вирішення проблеми неоднорідності у джерелах даних. Швидкий розвиток та впровадження онтологій у прикладних доменах спонука- ло дослідницьке товариство використову- вати їх для інтеграції даних та інформації. Від моменту виникнення зв’язаних даних вони стали важливою технологією для дос- ліджень у галузі семантики й онтологій. Багато проблем зв’язаних даних подібні проблемам великих даних, тому їх можна розглядати як частину крупнішого ланд- шафту великих даних. Зв’язуючий компо- нент зв’язаних даних приділяє особливу увагу інтеграції та об’єднанню даних у де- кількох джерелах. Таким чином, можна виділити три основні парадигми семантич- ного веб, які відіграють важливу роль у ви- рішенні проблем великих даних [10]: се- мантики, онтології та зв’язані дані. Використання семантик Семантичний Веб просуває стан- дарт анотування та інтеграції даних. Мета полягає у тому, щоб, заохочуючи вклю- чення семантичного контенту у дані, що доступні через Інтернет, перетворити іс- нуючу мережу, де переважають неструк- туровані та напівструктуровані докумен- ти, у мережу даних. Це охоплює публіка- цію інформації на мовах, які спеціально розроблені для даних, таких як: Resource Description Framework (RDF), Web Ontology Language (OWL), SPARQL [11] (протокол та мова запитів для джерел да- них семантичного веб), і Extensible Markup Language (XML) [11]. RDF під- тримує модель представлення метаданих та визначає дані трійками суб’єкт- преди- кат-об’єкт, що відомі як “оператори.” Та- ке представлення гнучко пов’язує дані частинами та за принципом «посилання- за-посиланням», формуючи спрямований розмічений граф. Завдяки цьому дані та метадані тісно пов’язані один з одним, що значно спрощує пошуковий запит. Ком- поненти кожного RDF оператора можуть бути ідентифіковані за допомогою URI (Uniform Resource Identifiers). Окрім цьо- го, на них можна посилатися через RDF схеми (RDFS) [12], мову веб онтологій (OWL) або інші (що не відносяться до схеми) RDF документи. Зокрема, OWL є родиною мов представлення знань для створення онтологій або баз знань. Мови характеризуються формальними семанти- ками та серіалізаціями на основі RDF/XML для семантичного веб. Вико- ристання інформації RDF ресурсів може здійснюватися за допомогою SPARQL (SPARQL Protocol та RDF Query Language), які здатні виявляти та оброб- ляти дані, які зберігаються у RDF- форматі. Онтології Рівень онтології також має вели- чезне значення для підтримки інтеграції даних [13]. Онтології дозволяють відо- бражати відношення між даними, що збе- рігаються у базі даних. Вони надають фо- рмальне представлення набора понять Експертні та інтелектуальні інформаційні системи 89 через описи базових об’єктів, класів, ат- рибутів та відношень. Завдяки формі представлення у вигляді дерева, онтології дозволяють зв’язувати терміни одного домена, навіть, якщо вони належать різ- ним джерелам, в контексті інтеграції да- них та ефективно співставляти різномані- тні й віддалені сутності. Це дозволяє не лише покращити інтеграцію даних, але й спростити пошук інформації, а також здійснювати пошук на різних рівнях дета- лізації. Так, наприклад, прямий запит до терміну «рак» [14] у біомедичному кон- тексті поверне лише дане слово у всіх входженнях, що знайдені в ресурсі. Але використовуючи специфічну онтологію (наприклад, онтологію хвороб людини – DOID [15]), результат виконання запиту буде багатшим, та включатиме такі термі- ни як саркома та рак, які в іншому випад- ку просто не будуть знайдені. Інтеграція даних на основі онтологій включає вико- ристання онтологій для ефективного об’єднання даних або інформації з декіль- кох різнорідних джерел. Ефективність та- кої інтеграції багато в чому визначається погодженістю та виразністю онтологій. Дані, що анотовані за допомогою онтологій, можуть бути інтегровані з інши- ми наборами даних, забезпечуючи під- тримку семантик для виконання запитів. Публікація таких наборів даних як RDF, разом з їх онтологіями, забезпечує як син- таксичну так і семантичну інтеграцію да- них, що була давно обіцяна технологіями семантичного веб. Зв’язані дані Ще одним прогресивним підходом до роботи з великими даними є парадигма зв’язаних даних [16]. Даний підхід просу- ває принципи гіпертексту з мережі доку- ментів у мережу «багатих» даних. Зв’язані дані описують метод для публікації струк- турованих даних таким чином, щоб вони були пов’язані один з одним. Це робить їх взаємозалежності більш ясними. Ця техно- логія заснована на семантичних веб- технологіях (зокрема, може використову- вати HTTP, RDF та URI), але розширює їх для загального користування таким чином, щоб дані могли автоматично читатися ІТ системами. Ідея полягає в тому, що після розмі- щення даних в інтернеті та визначення їх структури у машинночитаємому вигляді, їх необхідно анотувати метаданими з відкри- тими стандартами від W3C (наприклад, RDF та SPARQL). Це дозволить користу- вачам зв’язувати дані для надання контек- стної інформації. Даний підхід дозволяє створювати явні зв’язки між наборами да- них, використовуючи розподілені семанти- ки зі стандартних онтологій та словників, сприяючи збільшенню ступеня інтеграції даних. Створення метаданих Описові метадані, як правило, ство- рюються людиною в ручну. Деякі є просто фіксацією властивостей (назва, автор, дата видання), а деякі, такі як, наприклад, фо- нова інформація про автора, історія ство- рення та ін., вимагають додаткових до- сліджень і лише після цього оформлення результатів. Інтерпретуюча інформація по- требує залучення експертів. Спочатку тех- нології просто дозволяли обмінюватися цими створеними в ручну метаданими. По- тім почали з’являтися спеціалізовані систе- ми введення метаданих, а потім для при- скорення процесу створення метаданих стали з’являтися такі інструменти, як елек- тронні таблиці. Останнім часом інтерфей- си створення метаданих стають більш складними та зручними для користувача. Сьогодні метадані зазвичай створюються за допомогою проміжних кроків, а не без- посередньо за допомогою XML чи RDF [8]. Єдиним виключенням з цього принци- пу є розмітка контенту метаданими. З’яв- ляються надійні методи автоматизованого створення метаданих. Зокрема, більшість форматів файлів включають, хоча б де-яку вбудовану технічну інформацію, яка може допомогти програмному забезпеченню в інтерпретації вмісту. Також використову- ється системна інформація для додавання додаткової адміністративної інформації до цифрових файлів, такої як дата створення або ідентифікатор користувача, який увій- шов до системи під час створення файлу. Мережеві технології та більш широка інте- Експертні та інтелектуальні інформаційні системи 90 грація програмних систем полегшують реалізацію ефективного обміну метадани- ми, що, у свою чергу, скорочує зусилля, що витрачаються на їх дублювання. Останнім часом з’явилися процеси для аналізу цифрового контенту та автома- тичної генерації метаданих про нього. Ав- томатична транскрипція мови з аудіо та ві- део зараз є вже відносно зрілою техноло- гією, особливо для записів, що відзняті у контролюємому середовищі з виділеними звуковими системами. Швидко розвиваєть- ся технологія розпізнавання осіб для відео та нерухомих зображень. Відносно тексто- вих ресурсів, то схований семантичний аналіз та тематичне моделювання дозволя- ють напівконтрольовано генерувати теми, які відносяться до текстів, що аналізують- ся. У дослідницьких середовищах часто використовуються технології розпізнаван- ня частини мови й іменованих об’єктів. Розвивається автоматичне анотування зоб- ражень, що використовує алгоритми для ідентифікації об’єктів на фотографіях. Ви- конуються роботи з обробки сигналів для аудіофайлів, які охоплюють також ство- рення списків відтворення в он-лайн серві- сах потокової передачі музики та автома- тичну класифікацію жанрів для музичних записів. Спостерігається реальний прогрес та можливості отримання високоякісних даних за допомогою програмних засобів. Висновки Існуючі дослідження довели, що ме- тадані мають вирішальне значення як для загальної успішності проекту Big Data, так й для організації архітектури даних будь- якого великого підприємства. Але, слід зазначити, що метадані суттєво збільшують і так великий об’єм даних, тому необхідно чітко розуміти, які саме дані має сенс анотувати метаданими. Інший важливий момент - метадані мають сенс, якщо вони є зрозумілими приклад- ним системам та людям, які їх використо- вують. Тут головну роль відіграють насту- пні моменти: 1) розробка та використання стан- дартів метаданих; 2) розробка та використання для створення метаданих розвинених засобів проектування, що забезпечують можливо- сті ефективного співставлення даних; 3) окрім цього, як було зазначено, для управління метаданими в масштабі підприємства, необхідне створення та впровадження репозиторію, або сховища метаданих [6]. Насьогодні існує три підхо- ди до його створення. Найбільш широко використовуваним нині є центральний ре- позиторій метаданих. Даний підхід забез- печує керовану масштабованість для за- хоплення нових метаданих та доступ з ви- сокою продуктивністю. Другий підхід – розподілене сховище метаданих. Воно роз- вивалося роками, особливо для підпри- ємств, які мають децентралізовані бізнес- одиниці. Це дозволяє користувачам отри- мувати метадані з усіх сховищ у режимі реального часу. Та, нарешті, гібридний підхід використовує характеристики двох попередніх. Він підтримує доступ у режи- мі реального часу з інших репозиторіїв, а також забезпечує центральне джерело для підтримки визначень метаданих всього підприємства в цілому. Однак гібридний підхід розвивається досить повільно. При реалізації будь-якого з перелічених підхо- дів потрібно враховувати семантичну інте- грацію. Незалежно від обраного підходу необхідно зв’язати різноманітний контент великих даних з самою інформацією та точно погодити правила, для яких цей кон- тент інтерпретується. Якщо вдасться ство- рити сховище метаданих підприємства та довести його до певного рівня зрілості, воно зможе забезпечити конкретні перева- ги, а саме можливість всебічного відсте- ження, логічні та фізичні визначення і зв’язки, міжпідприємницькі бізнес- терміни, моделі процесів, а також елемен- ти моделі даних. Однак для інтеграції та- ких конструкцій метаданих необхідні спе- ціальні навички, та знайти потрібних спе- ціалістів є проблемою, яку треба вирішу- вати при первинному впровадженні схо- вища метаданих підприємства. Література 1. https://whatis.techtarget.com/definition/ metadata https://whatis.techtarget.com/definition/ Експертні та інтелектуальні інформаційні системи 91 2. https://www.gartner.com/doc/3075917/reason s-big-data-needs-metadata 3. https://www.datasciencecentral.com/profiles/b logs/why-you-need-metadata-for-big-data- success 4. https://hbr.org/2013/05/little-data-makes-big- data-mor 5. hts://blogs.loc.gov/loc/2010/04/how-tweet-it- is-library-acquires-entire-twitter-archive/ 6. https://www.datasciencecentral.com/profiles/b logs/importance-of-metadata-in-a-big-data- world 7. http://framework.niso.org/24.html 8. https://groups.niso.org/apps/group_public/do wnload.php/17443/understanding-metadata 9. https://www.i-scoop.eu/big-data-action-value- context/data-lakes/ 10. https://groups.niso.org/apps/group_public/do wnload.php/17443/understanding-metadata 11. “OWL Web Ontology Language Overview,” W3C Recommendation, 2004, http:// www.w3.org/TR/owl-features/. 12. http://www.w3.org/TR/rdf-schema/ 13. Blake J. A. and Bult C. J. “Beyond the data deluge: data integration and bio- ontologies”. Journal of Biomedical Informatics. 2006. Vol. 39, N 3. P. 314–320, View at Publisher · View at Google Scholar ·View at Scopus. 14. Viti F., Merelli I., Calabria A. et al., “Ontology-based resources for bioinformatics analysis,” International Journal of Metadata, Semantics and Ontologies. 2011. Vol. 6, N 1. P. 35–45. View at Publisher · View at Google Scholar · View at Scopus. 15. Osborne J. D., Flatow J., Holko M. et al. “Annotating the human genome with disease ontology,” BMC Genomics. 2009. Vol. 10, supplement 1, article S6. View at Publisher·View at Google Scholar·View at Scopus. 16. https://www.w3.org/DesignIssues/LinkedData .html References 1. https://whatis.techtarget.com/definition/ metadata 2. https://www.gartner.com/doc/3075917/reason s-big-data-needs-metadata 3. https://www.datasciencecentral.com/profiles/b logs/why-you-need-metadata-for-big-data- success 4. https://hbr.org/2013/05/little-data-makes-big- data-mor 5. hts://blogs.loc.gov/loc/2010/04/how-tweet-it- is-library-acquires-entire-twitter-archive/ 6. https://www.datasciencecentral.com/profiles/b logs/importance-of-metadata-in-a-big-data- world 7. http://framework.niso.org/24.html 8. https://groups.niso.org/apps/group_public/do wnload.php/17443/understanding-metadata 9. https://www.i-scoop.eu/big-data-action-value- context/data-lakes/ 10. https://groups.niso.org/apps/group_public/do wnload.php/17443/understanding-metadata 11. “OWL Web Ontology Language Overview,” W3C Recommendation, 2004, http:// www.w3.org/TR/owl-features/. 12. http://www.w3.org/TR/rdf-schema/ 13. Blake J. A. and Bult C. J. “Beyond the data deluge: data integration and bio-ontologies,” Journal of Biomedical Informatics. 2006. Vol. 39, N 3. P. 314–320, View at Publisher·View at Google Scholar·View at Scopus. 14. Viti F., Merelli I., Calabria A. et al. “Ontology-based resources for bioinformatics analysis,” International Journal of Metadata, Semantics and Ontologies 2011. Vol. 6, N 1. P. 35–45. View at Publisher·View at Google Scholar·View at Scopus. 15. Osborne J. D., Flatow J., Holko M. et al. “Annotating the human genome with disease ontology,” BMC Genomics. 2009. Vol. 10, supplement 1, article S6, View at Publisher·View at Google Scholar·View at Scopus. 16. https://www.w3.org/DesignIssues/LinkedData .html Одержано 19.02.2019 Про автора: Захарова Ольга Вікторівна, кандидат технічних наук, старший науковий співробітник. Кількість наукових публікацій в українських виданнях – 28. http://orcid.org/0000-0002-9579-2973. Місце роботи автора: Інститут програмних систем НАН України, проспект Академіка Глушкова, 40. Тел.: 526 5139. E-mail: ozakharova68@gmail.com. Моб. тел.: +38(068)5947560. https://www.gartner.com/doc/3075917/reasons-big-data-needs-metadata https://www.gartner.com/doc/3075917/reasons-big-data-needs-metadata https://www.datasciencecentral.com/profiles/blogs/why-you-need-metadata-for-big-data-success https://www.datasciencecentral.com/profiles/blogs/why-you-need-metadata-for-big-data-success https://www.datasciencecentral.com/profiles/blogs/why-you-need-metadata-for-big-data-success https://hbr.org/2013/05/little-data-makes-big-data-mor https://hbr.org/2013/05/little-data-makes-big-data-mor https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world http://framework.niso.org/24.html https://groups.niso.org/apps/group_public/download.php/17443/understanding-metadata https://groups.niso.org/apps/group_public/download.php/17443/understanding-metadata https://www.i-scoop.eu/big-data-action-value-context/data-lakes/ https://www.i-scoop.eu/big-data-action-value-context/data-lakes/ https://groups.niso.org/apps/group_public/download.php/17443/understanding-metadata https://groups.niso.org/apps/group_public/download.php/17443/understanding-metadata http://www.w3.org/TR/rdf-schema/ https://doi.org/10.1016%2fj.jbi.2006.01.003 http://scholar.google.com/scholar_lookup?title=Beyond+the+data+deluge%3a+data+integration+and+bio-ontologies&author=J.+A.+Blake&author=C.+J.+Bult&publication_year=2006 http://scholar.google.com/scholar_lookup?title=Beyond+the+data+deluge%3a+data+integration+and+bio-ontologies&author=J.+A.+Blake&author=C.+J.+Bult&publication_year=2006 http://www.scopus.com/scopus/inward/record.url?eid=2-s2.0-33646256547&partnerID=K84CvKBR&rel=3.0.0&md5=9cbbaa39fa3b4c8143f0c5180907beb2 https://doi.org/10.1504%2fIJMSO.2011.042488 http://scholar.google.com/scholar_lookup?title=Ontology-based+resources+for+bioinformatics+analysis&author=F.+Viti&author=I.+Merelli&author=A.+Calabria+et+al.&publication_year=2011 http://scholar.google.com/scholar_lookup?title=Ontology-based+resources+for+bioinformatics+analysis&author=F.+Viti&author=I.+Merelli&author=A.+Calabria+et+al.&publication_year=2011 http://www.scopus.com/scopus/inward/record.url?eid=2-s2.0-80052890769&partnerID=K84CvKBR&rel=3.0.0&md5=b9529415c91fc9f03305f7deb42584b1 https://doi.org/10.1186%2f1471-2164-10-S1-S6 https://doi.org/10.1186%2f1471-2164-10-S1-S6 http://scholar.google.com/scholar_lookup?title=Annotating+the+human+genome+with+disease+ontology&author=J.+D.+Osborne&author=J.+Flatow&author=M.+Holko+et+al.&publication_year=2009 http://www.scopus.com/scopus/inward/record.url?eid=2-s2.0-66349110163&partnerID=K84CvKBR&rel=3.0.0&md5=ae020aade8d18daf36c91b483ccf6275 http://www.scopus.com/scopus/inward/record.url?eid=2-s2.0-66349110163&partnerID=K84CvKBR&rel=3.0.0&md5=ae020aade8d18daf36c91b483ccf6275 https://www.w3.org/DesignIssues/LinkedData.html https://www.w3.org/DesignIssues/LinkedData.html https://whatis.techtarget.com/definition/ https://www.gartner.com/doc/3075917/reasons-big-data-needs-metadata https://www.gartner.com/doc/3075917/reasons-big-data-needs-metadata https://www.datasciencecentral.com/profiles/blogs/why-you-need-metadata-for-big-data-success https://www.datasciencecentral.com/profiles/blogs/why-you-need-metadata-for-big-data-success https://www.datasciencecentral.com/profiles/blogs/why-you-need-metadata-for-big-data-success https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world http://framework.niso.org/24.html https://groups.niso.org/apps/group_public/download.php/17443/understanding-metadata https://groups.niso.org/apps/group_public/download.php/17443/understanding-metadata https://www.i-scoop.eu/big-data-action-value-context/data-lakes/ https://www.i-scoop.eu/big-data-action-value-context/data-lakes/ https://groups.niso.org/apps/group_public/download.php/17443/understanding-metadata https://groups.niso.org/apps/group_public/download.php/17443/understanding-metadata http://www.w3.org/TR/rdf-schema/ https://doi.org/10.1016%2fj.jbi.2006.01.003 https://doi.org/10.1016%2fj.jbi.2006.01.003 http://scholar.google.com/scholar_lookup?title=Beyond+the+data+deluge%3a+data+integration+and+bio-ontologies&author=J.+A.+Blake&author=C.+J.+Bult&publication_year=2006 http://www.scopus.com/scopus/inward/record.url?eid=2-s2.0-33646256547&partnerID=K84CvKBR&rel=3.0.0&md5=9cbbaa39fa3b4c8143f0c5180907beb2 http://www.scopus.com/scopus/inward/record.url?eid=2-s2.0-33646256547&partnerID=K84CvKBR&rel=3.0.0&md5=9cbbaa39fa3b4c8143f0c5180907beb2 https://doi.org/10.1504%2fIJMSO.2011.042488 http://scholar.google.com/scholar_lookup?title=Ontology-based+resources+for+bioinformatics+analysis&author=F.+Viti&author=I.+Merelli&author=A.+Calabria+et+al.&publication_year=2011 http://scholar.google.com/scholar_lookup?title=Ontology-based+resources+for+bioinformatics+analysis&author=F.+Viti&author=I.+Merelli&author=A.+Calabria+et+al.&publication_year=2011 http://www.scopus.com/scopus/inward/record.url?eid=2-s2.0-80052890769&partnerID=K84CvKBR&rel=3.0.0&md5=b9529415c91fc9f03305f7deb42584b1 https://doi.org/10.1186%2f1471-2164-10-S1-S6 https://doi.org/10.1186%2f1471-2164-10-S1-S6 http://scholar.google.com/scholar_lookup?title=Annotating+the+human+genome+with+disease+ontology&author=J.+D.+Osborne&author=J.+Flatow&author=M.+Holko+et+al.&publication_year=2009 http://www.scopus.com/scopus/inward/record.url?eid=2-s2.0-66349110163&partnerID=K84CvKBR&rel=3.0.0&md5=ae020aade8d18daf36c91b483ccf6275 http://www.scopus.com/scopus/inward/record.url?eid=2-s2.0-66349110163&partnerID=K84CvKBR&rel=3.0.0&md5=ae020aade8d18daf36c91b483ccf6275 https://www.w3.org/DesignIssues/LinkedData.html https://www.w3.org/DesignIssues/LinkedData.html

Схожі ресурси