Big data metadata classification

Big data metadata classification

Now there are a lot of data of different structure (or not structured at all) and origin, their volumes are growing ex­ponentially. The problem is the existing software and hardware are not able to cope with so many dif­fe­rent types of data appearing with great speed. Big Data has become too comple...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2019
Автор: Zakharova, O.V.
Формат: Стаття
Мова:Ukrainian
Опубліковано: Інститут програмних систем НАН України 2019
Теми:
big data source
metadata managment
Hadoop
metadata classification
metadata analysis
services for processing metadata
creation
reviewing
editing of metadata
metadata of images
metadata of audio files
metadata of video files
Data Warehouse metad
UDC 004.94
Онлайн доступ:https://pp.isofts.kiev.ua/index.php/ojs1/article/view/379
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Problems in programming
Завантажити файл: Pdf

Репозитарії

Problems in programming
id pp_isofts_kiev_ua-article-379
record_format ojs
resource_txt_mv ppisoftskievua/ce/3f9df47be202b95bdcbfc14971ee2ece.pdf
spelling pp_isofts_kiev_ua-article-3792024-04-28T11:07:28Z Big data metadata classification Классификация метаданных больших данных Класифікація метаданих великих даних Zakharova, O.V. big data source; metadata managment; Hadoop; metadata classification; metadata analysis; services for processing metadata; creation; reviewing; editing of metadata; metadata of images; metadata of audio files; metadata of video files; Data Warehouse metad UDC 004.94 источники больших данных; уп­равление метаданными; Hadoop; классификация ме­таданных; анализ метаданных; сервисы работы с метаданними; создание; просмотр; ре­дак­ти­ро­ва­ние метаданных; метаданные изображений; ме­та­данные аудио- файлов; метаданные видео УДК 004.94 джерела великих даних; керування метаданими; Hadoop; класифікація метаданих; аналіз метаданих; сервіси обробки метаданих; створення метаданих; перегляд метаданих; редагування метаданих; метадані зображень; метадані аудіо- файлів; метадані відео-файлів; ме УДК 004.94 Now there are a lot of data of different structure (or not structured at all) and origin, their volumes are growing ex­ponentially. The problem is the existing software and hardware are not able to cope with so many dif­fe­rent types of data appearing with great speed. Big Data has become too complex and dynamic to pro­cess, store, analyze and manage with traditional tools. It caused the appearance of new platforms and ap­pro­a­ches for working with data, and at the same time, an understanding of the fact that to solve big data prob­lems, these raw data must be supplemented with me­ta­data. Metadata in this case is a means of classifying, organizing, and characterizing data and its content. Their main advantage is an ordered structure. Due to it, metadata is readable not only by a person, but also by a computer. Thus, they can be pro­ces­sed auto­ma­ti­cal­ly and used for indexing, searching, com­bining, auto­mated processing, classification of big data, etc. The creation of effective metadata management sys­tems, first of all, requires their coordinated general classification that take into account the types of data sour­ces (methods of their obtaining) that form the con­tent, tasks solved at different stages of the life cycle, existing formats of data presentation, principles of re­a­sonable efficiency, since often metadata size sig­ni­fi­can­tly exceeds the amount of described data (even big). Therefore, the aim of this work is to analyze exis­ting sources of big data, methods for creating and processing the corresponding metadata, as well as software products that allow them to be processed in a certain way, and building the classification of me­ta­da­ta on the basis of the analysis.Problems in programming 2019; 4: 53-74 На сегодняшний день накоплено много дан­ных раз­­ной структуры (или вообще не струк­ту­ри­ро­ван­ные) и происхождения, их объемы растут экспо­нен­­циально. Проблема заключается в том, что су­ще­ствующее программное и аппаратное обес­пе­че­ние не в состоянии справиться с таким ко­ли­че­ст­вом, появляющихся с огромной скоростью раз­но­об­­разных типов данных. Большие данные стали слишком сложными и динамичными для об­ра­бот­ки, хранения, анализа и уп­рав­ле­ния с помощью тра­­диционных средств. Это обусловило воз­ник­но­ве­ние новых плат­форм и подходов для работы с дан­­ными, и, вместе с тем, четкое понимание то­го,  что для решения задач больших дан­ных эти не­об­ра­­ботанные данные должны быть дополнены ме­та­дан­­ными. Ме­та­дан­ные в данном случае являются сред­ством классификации, упорядочивания и ха­рак­те­ристики данных и их содержания. Их главная особенность – это упорядоченная структура. Бла­го­даря структурированному ви­­ду, ме­таданные дос­туп­ны для чтения не только человеку, но и ком­пью­теру. Таким образом, они мо­гут об­ра­ба­ты­вать­ся ав­то­ма­­­ти­чески и использоваться для ин­дек­си­ро­ва­ния, поиска, объединения, ав­то­ма­ти­зи­рованной об­работки, классификации боль­ших данных и т. д. По­строение эффективных систем уп­рав­ления ме­та­данными, прежде всего, требует их со­гла­со­ван­ной общей классификации с учетом типов ис­точ­ни­ков (способов получения) данных, фор­ми­ру­ю­щих контент, за­дач, решаемых на разных эта­пах жиз­ненного цикла, существующих фор­ма­тов пред­став­ления данных, прин­ципов разумной эф­фек­тив­ности, так как час­то размер метаданных су­ще­ст­венно превышает объем описываемых данных (да­же боль­ших). Поэтому, цель данной работы со­с­тоит в анализе существующих источников боль­ших данных, способов создания и обработки со­от­ве­тствующих метаданных, а также про­грам­мных про­дуктов, позволяющих их обрабатывать оп­ре­де­лен­ным образом, и построении на ос­но­ве вы­пол­нен­ного анализа классификации метаданных.Problems in programming 2019; 4: 53-74 Насьогодні накопичені величезні обсяги даних різної структури (або в загалі не структуровані) та походження, їх обсяги зростають експоненційно. Проблема полягає у тому, що існуюче програмне та апаратне забезпечення, яке не може обробити таку кількість різноманітних типів даних, що створюються з великою швидкістю. Великі дані стали надто складними та динамічними, щоб їх можна було обробляти, зберігати, аналізувати та управляти ними за допомогою традиційних засобів. Це обумовило виникнення нових платформ та підходів для роботи з даними, а разом з цим чітке розуміння того, що для вирішення задач великих даних ці необроблені дані повинні бути доповнені метаданими. Насьогодні метадані є засобом класифікації, впо­­­рядкування та характеристики даних, та їх вмісту. Їх най­важливішою особливістю є впорядкована структура. Завдяки структурованому ви­гляду, ме­тадані доступні для читання не лише для людини, але й для комп’ютера. Таким чи­ном, вони мо­жуть оброблятися авто­ма­ти­зовано та використовуватися для різних ці­лей: для індексації, пошуку, об’єднання, ав­томатичної обробки, класифікації великих даних тощо. Побудова ефективних систем керування  метаданими, перш за все, ви­ма­гає їх узгодженої загальної класифікації з ура­хуванням типів джерел (способів от­ри­ман­ня) даних, що формують контент за­дач, що мають вирішуватися на різних ета­пах життєвого циклу, існуючих фор­ма­тів представлення відповідних даних, прин­ципів розумної ефективності, так як час­то розміри метаданих значно пе­ре­ви­щу­ють обсяг самих даних (навіть ве­ли­ких), які вони описують. Тому, мета даної роботи полягає в аналізі існуючих джерел великих даних, способів створення та обробки відповідних метаданих, а також програмних засобів, що дозволяють опрацьовувати метадані певним чином, та побудові класифікації метаданих на основі проведеного аналізу.Problems in programming 2019; 4: 53-74 Інститут програмних систем НАН України 2019-12-05 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/379 10.15407/pp2019.04.053 PROBLEMS IN PROGRAMMING; No 4 (2019); 53-74 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 4 (2019); 53-74 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 4 (2019); 53-74 1727-4907 10.15407/pp2019.04 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/379/382 Copyright (c) 2019 PROBLEMS IN PROGRAMMING
institution Problems in programming
baseUrl_str https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date 2024-04-28T11:07:28Z
collection OJS
language Ukrainian
topic big data source
metadata managment
Hadoop
metadata classification
metadata analysis
services for processing metadata
creation
reviewing
editing of metadata
metadata of images
metadata of audio files
metadata of video files
Data Warehouse metad
UDC 004.94
spellingShingle big data source
metadata managment
Hadoop
metadata classification
metadata analysis
services for processing metadata
creation
reviewing
editing of metadata
metadata of images
metadata of audio files
metadata of video files
Data Warehouse metad
UDC 004.94
Zakharova, O.V.
Big data metadata classification
topic_facet big data source
metadata managment
Hadoop
metadata classification
metadata analysis
services for processing metadata
creation
reviewing
editing of metadata
metadata of images
metadata of audio files
metadata of video files
Data Warehouse metad
UDC 004.94
источники больших данных
уп­равление метаданными
Hadoop
классификация ме­таданных
анализ метаданных
сервисы работы с метаданними
создание
просмотр
ре­дак­ти­ро­ва­ние метаданных
метаданные изображений
ме­та­данные аудио- файлов
метаданные видео
УДК 004.94
джерела великих даних
керування метаданими
Hadoop
класифікація метаданих
аналіз метаданих
сервіси обробки метаданих
створення метаданих
перегляд метаданих
редагування метаданих
метадані зображень
метадані аудіо- файлів
метадані відео-файлів
ме
УДК 004.94
format Article
author Zakharova, O.V.
author_facet Zakharova, O.V.
author_sort Zakharova, O.V.
title Big data metadata classification
title_short Big data metadata classification
title_full Big data metadata classification
title_fullStr Big data metadata classification
title_full_unstemmed Big data metadata classification
title_sort big data metadata classification
title_alt Классификация метаданных больших данных
Класифікація метаданих великих даних
description Now there are a lot of data of different structure (or not structured at all) and origin, their volumes are growing ex­ponentially. The problem is the existing software and hardware are not able to cope with so many dif­fe­rent types of data appearing with great speed. Big Data has become too complex and dynamic to pro­cess, store, analyze and manage with traditional tools. It caused the appearance of new platforms and ap­pro­a­ches for working with data, and at the same time, an understanding of the fact that to solve big data prob­lems, these raw data must be supplemented with me­ta­data. Metadata in this case is a means of classifying, organizing, and characterizing data and its content. Their main advantage is an ordered structure. Due to it, metadata is readable not only by a person, but also by a computer. Thus, they can be pro­ces­sed auto­ma­ti­cal­ly and used for indexing, searching, com­bining, auto­mated processing, classification of big data, etc. The creation of effective metadata management sys­tems, first of all, requires their coordinated general classification that take into account the types of data sour­ces (methods of their obtaining) that form the con­tent, tasks solved at different stages of the life cycle, existing formats of data presentation, principles of re­a­sonable efficiency, since often metadata size sig­ni­fi­can­tly exceeds the amount of described data (even big). Therefore, the aim of this work is to analyze exis­ting sources of big data, methods for creating and processing the corresponding metadata, as well as software products that allow them to be processed in a certain way, and building the classification of me­ta­da­ta on the basis of the analysis.Problems in programming 2019; 4: 53-74
publisher Інститут програмних систем НАН України
publishDate 2019
url https://pp.isofts.kiev.ua/index.php/ojs1/article/view/379
work_keys_str_mv AT zakharovaov bigdatametadataclassification
AT zakharovaov klassifikaciâmetadannyhbolʹšihdannyh
AT zakharovaov klasifíkacíâmetadanihvelikihdanih
first_indexed 2024-09-16T04:07:56Z
last_indexed 2024-09-16T04:07:56Z
_version_ 1818527930794377216
fulltext Експертні та інтелектуальні інформаційні системи © О. Захарова, 2019 ISSN 1727-4907. Проблеми програмування. 2019. № 53 УДК 004.94 https://doi.org/10.15407/pp2019.04.053 О. Захарова КЛАСИФІКАЦІЯ МЕТАДАНИХ ВЕЛИКИХ ДАНИХ Насьогодні накопичені величезні обсяги даних різної структури (або в загалі не структуровані) та похо- дження, їх обсяги зростають експоненційно. Проблема полягає у тому, що існуюче програмне та апаратне забезпечення, яке не може обробити таку кількість різноманітних типів даних, що створюються з великою швидкістю. Великі дані стали надто складними та динамічними, щоб їх можна було обробляти, зберігати, аналізувати та управляти ними за допомогою традиційних засобів. Це обумовило виникнення нових пла- тформ та підходів для роботи з даними, а разом з цим чітке розуміння того, що для вирішення задач вели- ких даних ці необроблені дані повинні бути доповнені метаданими. Насьогодні метадані є засобом класи- фікації, впорядкування та характеристики даних, та їх вмісту. Їх найважливішою особливістю є впорядко- вана структура. Завдяки структурованому вигляду, метадані доступні для читання не лише для людини, але й для комп’ютера. Таким чином, вони можуть оброблятися автоматизовано та використовуватися для різних цілей: для індексації, пошуку, об’єднання, автоматичної обробки, класифікації великих даних то- що. Побудова ефективних систем керування метаданими, перш за все, вимагає їх узгодженої загальної класифікації з урахуванням типів джерел (способів отримання) даних, що формують контент задач, що мають вирішуватися на різних етапах життєвого циклу, існуючих форматів представлення відповідних даних, принципів розумної ефективності, так як часто розміри метаданих значно перевищують обсяг са- мих даних (навіть великих), які вони описують. Тому, мета даної роботи полягає в аналізі існуючих дже- рел великих даних, способів створення та обробки відповідних метаданих, а також програмних засобів, що дозволяють опрацьовувати метадані певним чином, та побудові класифікації метаданих на основі про- веденого аналізу. Ключові слова: джерела великих даних, керування метаданими, Hadoop, класифікація метаданих, аналіз метаданих, сервіси обробки метаданих, створення метаданих, перегляд метаданих, редагування метада- них, метадані зображень, метадані аудіо- файлів, метадані відео-файлів, метадані сховищ, метадані в соці- альних мережах. Вступ При впровадженні кожного нового проекту великих даних має бути можли- вість їх ідентифікувати. Важлива можли- вість для розробки та розвитку сервісів обробки великих даних – створення ком- плексної програми керування метаданими. Метадані можуть значно спростити та вдо- сконалити процеси збору, інтеграції та аналізу великих даних. За відсутністю ме- таданих підприємства можуть втратити глибоке розуміння того, що саме можуть дати великі дані. Метадані можуть керува- ти всім життєвим циклом даних, процеса- ми, процедурами, а також клієнтами або користувачами, які впливають на певну бізнес-інформацію. Вони є основою для збору величезних обсягів даних з розріз- нених джерел та інформаційних сховищ, перш ніж вони стануть некерованими. Слід також зазначити, що зростання ролі метаданих значною мірою обумовле- не розвитком Веб. Це стосується не лише виникнення самих великих даних. Веб зві- льняє від обмежень фізичного світу, а саме контент, що формують великі дані, вже не повинен знаходитись в один момент часу в одному місці, як стілець чи шафа. Веб кон- тент може існувати в багатьох місцях од- ночасно. Метадані дозволяють помітити контент термінами з таксономії, що описує його мету. Для цього можуть бути викори- стані півдюжини різних словників. Деякі можуть описувати семантику контенту, інші – функції/задачі контенту та аудито- рію, для якої він призначений, формат кон- тенту, його структуру, API платформу чи компоненти, що використовуються та ін- ше. Потім ці метадані можуть використо- вуватися багатьма організаціями відповід- но до різних цілей. Правила відповідної системи керування сайтом (CMS) визна- чають, де буде з’являтися контент. Метадані можуть бути застосовані як для опису контенту, так й бути пред- ставлені як фасети у результатах пошуку, щоб визначити фільтрацію результату. Експертні та інтелектуальні інформаційні системи 54 Окрім цього, можна створювати складні фільтри, які комбінуватимуть метадані різ- ними способами, наприклад, якщо потріб- но знайти весь контент, що відповідає (ін- струменту) ACME API та використовуєть- ся для налагодження віджетів (функція), а також призначений для розробників (пер- сонал). Інформацію можна отримати мит- тєво за допомогою фасетних фільтрів або завчасно побудованих запитів. Звільнення контенту від статичної, єдиної позиції у змісті, ймовірно, є най- більш актуальною та явною перевагою, яка з’явилася в результаті переміщення кон- тенту до Інтернету. Але доки контент не збагачений метаданими та семантичними мітками, його складно знаходити, витя- гувати, просувати та обробляти різними способами. Це вимагає спеціальних інстру- ментів для створення та анотування кон- тенту метаданими. Слід зазначити, що кон- тент має бути таким, що легко пере- носиться. Звісно, що використання сторон- ніх схем метаданих вимагає додаткових зусиль щодо оформлення контенту, але це може забезпечити кращу взаємодію з ко- ристувачами на різних платформах у при- строях у сьогоденні та майбутньому. Тому, створення добре структурованого контенту та забезпечення його гнучкості, та можли- вості легкого перенесення є ключем для вирішення багатьох задач. Впорядкована структура саме є най- важливішою особливістю метаданих. Ін- формація категоризована та має визначену форму/формат. Наприклад, категорію час створення можна визначити лише за до- помогою формата запису дати та часу. За- вдяки структурованому вигляду, метадані доступні для читання не лише для людини, а й для комп’ютера. Таким чином, вони можуть оброблятися автоматизовано та використовуватися для різних цілей: для індексації, пошуку, об’єднання, ав- томатичної обробки тощо. Побудова ефективних систем управ- ління метаданими, перш за все, вимагає їх узгодженої загальної класифікації з ура- хуванням типів джерел (способів отриман- ня) даних, що формують контент, задач, що мають вирішуватися на різних етапах життєвого циклу, існуючих форматів представлення відповідних даних, прин- ципів розумної ефективності, так як часто розміри метаданих значно перевищують обсяг самих даних (навіть великих), які вони описують. Джерела великих даних Класифікація метаданих неможлива без усвідомлення типів джерел надход- ження великих даних, різновидів самих великих даних, потреб користувачів у їх використанні та способів обробки. На найвищому рівні відповідно до способів отримання даних можна виділити внутрішні та зовнішні джерела (рис. 1). Рис. 1. Внутрішні та зовнішні джерела даних Найбільш традиційним типом дже- рел даних є бази даних (БД). Існує багато різних БД, які мають власну архітектуру та властивості. Але використання транзакцій- них БД насьогодні вже не є оптимальним рішенням для вирішення задач у бізнес- аналізі. На це існує багато причин, зо- крема, вимоги щодо попередньої оптимі- зації даних для звітності та аналізу, вимоги до структурованості контента, певні об- меження обсягів контенту, низька швид- кість виконання запитів до даних тощо. У деяких випадках компанії використовують ETL засоби для збору даних з транзак- ційних БД, перетворення їх певним чином, щоб вони були оптимізовані для бізнес- аналізу, та завантаження їх у сховище та інші вітрини даних. Але, насьогодні, в умовах відкритого світу та інформаційного Джерела Великих даних Внутрішні ERP Класифікатори CRM Зовнішні Соціальні мережі Інтернет  Спеціалізовані набори даних Експертні та інтелектуальні інформаційні системи 55 буму, треба мати можливість обробляти дані з не структурованих або слабко струк- турованих інформаційних джерел. На рис. 2 показано порівняльну характеристи- ку можливих джерел інформації різного рівня структурованості. Аналіз джерел проводиться за основними властивостями великих даних, а саме 3V характеристика- ми: швидкість (Velocity), різноманітність (Variety) та обсяг (Volume). Як основні джерела отримання ін- формації можна виділити. 1. Архіви відсканованих докумен- тів, заяв, страхових форм, медичних за- писів, кореспонденції, архіви паперових документів, друковані файли потоку, які містять вихідні системи записів між орга- нізаціями та їх користувачами. 2. Документи: файли різних фор- матів xls, word, html, html 5, pdf, csv, ppt, txt, xml, json тощо. 3. Сховища даних (SQL або NoSQL), файлові системи тощо. Сьогодні підприємства вважають за краще використовувати як традиційні, так й сучасні БД (разом), щоб отримати від- повідні великі дані. Ця інтеграція відкри- ває шлях для гібридної моделі даних і ви- магає низьких інвестиційних витрат та ви- трат на ІТ-інфраструктуру. Крім того, такі гібридні БД розгортаються також й одно- часно для кількох цілей бізнес-аналітики, та потім можуть забезпечувати вилучення інформації, яка використовується для отримання прибутку. Процес вилучення та аналізу даних з джерел великих даних є складним процесом. Ці проблеми можна вирішити, якщо організації охоплюють всі необхідні міркування великих даних, бе- руть до уваги відповідні джерела даних і розгортають їх у спосіб, який добре нала- штований на цілі організації. Рис. 2. Аналіз джерел великих даних Експертні та інтелектуальні інформаційні системи 56 4. Бізнес-застосунки: системи ке- рування проектами, системи автоматизації маркетингу, продуктивності, CRM систе- ми, керування ERP контентом, HR, керу- вання талантами, системи закупівель, ке- рування витратами, портали, Інтернет системи тощо. 5. Публічний веб. Цей веб містить дуже поширені та легко доступні великі дані. Дані в Інтернеті є загально доступ- ними як для фізичних осіб, так і для ком- паній. Різноманітні веб сервіси (сервіси охорони здоров’я, загальнодоступні фі- нансові сервіси, Вікіпедія, сервіс перепису населення, економічні сервіси, вста- новлення відповідності тощо) надають всім безкоштовну та швидку інформацію. Величезні розміри мережі забезпечують зручність її використання у різних аспек- тах. Веб є особливо корисним для старта- пів та малих і середніх підприємств, оскільки звільняє їх від необхідності роз- робки власної інфраструктури великих даних й сховища даних, перш ніж вони зможуть використовувати ці великі дані. 6. Засоби масової інформації (ЗМІ) є найпопулярнішим джерелом вели- ких даних, оскільки надають цінну інфор- мацію про переваги споживачів і зміню- ють тенденції. Оскільки це інформація, що транслюється самостійно і перетинає всі фізичні та демографічні бар'єри, медіа джерела є для підприємств найшвидшим способом отримати глибокий огляд своєї цільової аудиторії, побудувати законо- мірності, зробити висновки та підвищити рівень прийняття рішень. ЗМІ включають соціальні медіа та інтерактивні платформи, такі як: Google, Facebook, Twitter, YouTube, Instagram, а також загальні засоби масової інформації (медіа), такі як: зображення, відео, аудіо, записи прямих ефірів та під- касти (цифрові аудіо файли в Інтернеті, готові до завантаження), які забезпечують кількісні та якісні висновки щодо кожного аспекту взаємодії з користувачем. 7. Дані журналів: дані серверів, журнали подій, журнали бізнес-процесів, журнали прикладних систем, дані пото- кових каналів, детальні записи викликів, мобільні локації, використання мобільних застосунків тощо. 8. Автоматично генерований кон- тент (IOT) – це значиме джерело великих даних. Це дані, які зазвичай генеруються датчиками, що пов’язані з електронними пристроями. Це не лише інформація, що генерується комп’ютерами та смартфона- ми, але й дані з медичних пристроїв, дат- чиків автомобілів, розумних електричних лічильників, дорожніх камер, супутників, пристроїв запису дорожнього руху, проце- сорів у транспортних засобах, відеоігр тощо. Метадані різних типів даних Контент, що описується метадани- ми, може бути представлений у різних форматах. І, в загальному випадку, кожний тип файлу має власний стандарт для виз- начення метаданих. Але, насправді існує не так вже й багато схем, протоколів та форматів представлення метаданих. Розг- лянемо далі можливі схеми метаданих від- повідно до типів джерел великих даних, які вони описують. Метадані зображень. Зображення, як й будь-який інший контент, також ма- ють різні формати та схеми метаданих [1]. У випадку графічних файлів, таких як фо- тографії з цифрової камери або смартфону (формати JPEG, TIFF та RAW), ми пере- важно маємо справу з метаданими форма- ту Exif, які є досить розвиненими порівня- но з метаданими інших типів файлів. EXIF (Exchangeable Image File For- mat) – стандарт зберігання метаданих у зображенні, що використовується цифро- вими камерами для зберігання інформації про витримку, діафрагму та інші парамет- ри зйомки. Метадані у форматі EXIF мо- жуть зберігатися у файлах форматів JPEG, TIFF та RIFF WAV. EXIF формат був розроблений з виникненням цифрових камер та, перш за все, для опису зроблених ними зображень, і, тому, ці дані є у кожній фотографії, не залежно від того, з якого пристрою вона була зроблена. EXIF – це не лише параме- три фотоапарата/смартфона, з якого було зроблено фотографію, але й багато іншого: дата створення, геолокація, інформація про власника кадра тощо. За стандартом з Експертні та інтелектуальні інформаційні системи 57 користувацьких описових метаданих в EXIF може зберігатися лише опис (тег Description) та коментар (тег User Comment), але Windows Explorer викорис- товує також декілька додаткових тегів (XPTitle, XPSubject, XPAuthor, XPCom- ment, XPKeywords). Windows Explorer іг- норує тег XPTitle за наявності стандартно- го тега Description. Таким чином, це в основному відомості про характеристики, структуру, розміщення зображення, умови та способи його отримання, автора, дату та час його змінення, та дуже мало справж- ньої семантики. З повним переліком еле- ментів метаданих можна ознайомитись у специфікації стандарту [2]. EXIF є частиною більш широкого стандарта DCF (Design rule for Camera File system). DCF [3] дозволяє визначити мета- дані не лише для файла зображення, але й пов’язаного з ним файлу, наприклад, аудіофайлу. DCF також містить досить де- тальну, але технічну інформацію. Якщо виникає необхідність визна- чення більш детального опису змісту фо- тографії, Exif може бути розширений набо- ром метаданих у стандарті IPTC, який, окрім полів, що пов’язані з темою фото- графії, має розділ для контактних даних фотографа. Це стандартний додаток гра- фічних файлів, що доступні через банки фотографій. IPTC (International Press Telecom- munications Council) – це скоріше назва організації, що розробила даний стандарт, Міжнародна Рада з питань преси та теле- комунікації. Назва самого стандарту – IIM (Information Interchange Model). На відміну від EXIF, який спрямований на технічну інформацію, IIM дозволяє зберігати різну детальну інформацію. У метаданих даного стандарту можуть зберігатися такі описові поля, як ObjectName (заголовок), Key words (ключові слова), Caption (опис, існує декілька варіацій тега). У початкових версіях стандарту метадані зберігалися таким чином, що програмне забезпечення (ПЗ), яке не знало про існування IPTC, не могло працювати з файлами зображень з такими метаданими. Але, згодом стандарт був розширений Adobe, та метадані були перенесені до бло- ку APP13 JPEG-файлу, що дозволило та- кому ПЗ успішно читати JPEG-файл, ігно- руючи невідомі метадані. IPTC інформа- цію підтримують фотобанки, пошукові сервіси тощо. XMP (eXtensible Metadata Platform) [4] – стандарт, розроблений Adobe, який, починаючи з 2012 року, є також стандар- том ISO. Метадані зберігаються у моделі RDF, яка представлена в XML форматі. Це дозволяє включити будь-яку необхідну ін- формацію до файлу зображення. Це стан- дарт з відкритим кодом. XMP метадані мо- жуть бути додані до графічних файлів багатьох різних типів. Властивості метаданих групуються в схеми. Кожна схема ідентифікується унікальним URI простору імен та містить довільну кількість властивостей. Хоча URI просторів імен виглядає досить схожим на веб-адреси (в дійсності, вони часто виглядають однаково), важливо зазначити, що вони не ідентифікують кон- кретну веб сторінку. Це просто унікальні ідентифікатори для деякої сутності, що використовується в XMP. Остання специ- фікація включає більше десятка перед- визначених схем з сотнями властивостей для документа загалом та характеристик зображення. Більшість таких схем назива- ється Дублінським ядром (DC) [5] та вклю- чає загальні властивості такі як: Назва, Те- ма, Автор та Опис. Окрім передвизначених схем, можуть бути визначені спеціальні (власні) схеми, щоб задовільнити специ- фічні вимоги до метаданих організації. Власні формати метаданих можна імпор- тувати та розповсюджувати разом з інши- ми XML файлами. Все це дозволяє розробникам до- сить просто адоптувати специфікацію стан- дарту до стороннього ПЗ. Дана технологія забезпечує також обмін метаданими між прикладними системами. Метадані, що визначені в інших форматах, таких як Exif, IPTC (IIM), GPS, та TIFF, можна синхроні- зувати з XMP, що полегшує їх викорис- тання та керування ними. Даний стандарт, реалізований у всіх Adobe продуктах підт- римується десятками незалежних розроб- ників ПЗ та груп користувачів. Насьогодні специфікація XMP http://exif.org/dcf.PDF https://webznam.ru/blog/besplatnye_fotografii/2014-10-06-97 https://webznam.ru/blog/besplatnye_fotografii/2014-10-06-97 http://dublincore.org/ Експертні та інтелектуальні інформаційні системи 58 складається з трьох частин:  «Модель даних, серіалізація та базові властивості» [6] охоплює модель представлення основних метаданих, що є базисом формату XMP стандарту. Модель даних прописує, як можуть бути організо- вані метадані XMP, незалежно від формату файлу чи специфіки використання. Модель серіалізації визначає, як модель даних представляється в XML, зокрема, в RDF.  Друга частина [7] забезпечує детальний перелік властивостей для схем метаданих XMP стандарта; вони включа- ють схеми загального призначення, такі як: Дублінське ядро, та схеми спеціального призначення для застосунків Adobe, таких як Photoshop. Також забезпечує інформа- цію з розширення існуючих схем та ство- рення нових.  «Зберігання у файлах» забезпе- чує інформацію про те, як серіалізовані XMP метадані пакуються у XMP пакети та вбудовуються у файли різних форматів. Включає інформацію щодо відношення XMP з іншими форматами метаданих, та узгоджує значення, що представлені в ін- ших форматах. Існує також стандарт ISO 16684- 2:2014, Graphic technology – Extensible metadata platform (XMP) – Part 2: Des- cription of XMP schemas using RELAX NG (опис схеми XMP за допомогою RELAX NG), який специфікує використання RELAX NG для опису серіалізованих XMP метаданих. Стандарт визначає, як відпо- відні схеми можуть використовувати фун- кції RELAX NG. Метадані аудіофайлів. Завдяки приєднанню метаданих до звукових файлів виникає можливість доповнити звук (чи музику) будь-якою необхідною інформаці- єю. Інформація може бути дуже різномані- тною, виходячи з вимог та бажань автора чи власника запису. Метадані – це не лише назва трека чи рік випуску музичного аль- бому, але й ім’я композитора, автора аранжировки, тексту слів до пісні, адреси сайтів, електронні адреси, все, що пов’язане з художнім оформленням пісні або альбому, якщо це музичний файл та багато іншого. У сучасних мультимедій- них пристроях пошук композицій здійсню- ється не за назвою файлів чи папок, а за метаданими, які там містяться, та лише за умови їх відсутності, за назвою файлів. Виробники мобільних пристроїв таких відомих марок, як наприклад, Nokia, Sony Ericsson, iPod, і та інші слідують цьому ж принципу. Першим запропонував додавати до MP3-файла невеличкий блок з даними програміст Эрик Кемп (проект «Studio3»). Цей блок був названий ID3tag (tag – ярлик, мітка, ID3 – Identification Data for Studio3). В наслідок цього назва TAG надійно закріпилася за метаданими інших форма- тів, таких як: WMA, OGG, МР4 та інших. Щоб не викликати не сумісності з плеєрами, тег розміщувався наприкінці файлу, в результаті чого, міг просто ігно- руватися без будь-яких наслідків. Це дало можливість додавати потрібну текстову ін- формацію до будь-якого МР3 файлу. Серед існуючих насьогодні форма- тів метаданих аудіофайлів можна виділи- ти: ID3tag, Lyrics3 tag, APE tag, WM meta- data (частина стандарту Windows Media), Vorbis comments, MP4/iTunes metadata, ATRAC metadata. Перелік можливих властивостей, що визначаються метаданими, досить ве- ликий [8], тому, наведемо деякі з них на прикладі фреймів стандарту ID3v2 [9]:  назва альбому, фільму або шоу, якому належить уривок;  головний виконавець;  група, оркестр, супровід;  кількість ударів в секунду;  коментар;  композитор;  уточнення до назви;  інформація про авторські права;  ім’я людини, що закодувала файл;  жанр музики;  мова тексту;  назва твору;  номер твору в альбомі;  текст;  синхронізований текст;  рік; https://wwwimages2.adobe.com/content/dam/acom/en/devnet/xmp/pdfs/XMP%20SDK%20Release%20cc-2016-08/XMPSpecificationPart1.pdf https://wwwimages2.adobe.com/content/dam/acom/en/devnet/xmp/pdfs/XMP%20SDK%20Release%20cc-2016-08/XMPSpecificationPart1.pdf http://www.iso.org/iso/catalogue_detail.htm?csnumber=57422 http://www.iso.org/iso/catalogue_detail.htm?csnumber=57422 Експертні та інтелектуальні інформаційні системи 59  обкладинка;  точки початку/кінцівки;  мітки синхронізації з аудіо- потоком для тексту пісні. Повний перелік фреймів стандарту ID3v2 та їх значень можна знайти на офі- ційному сайті [10]. Окрім фреймів, нада- них в цій специфікації, користувачі мо- жуть створювати власні фрейми з влас- ною структурою. Інші відомі стандарти метаданих аудіо – iTunes, XSPF [11], та- кож містять в основному інформацію про альбом, трек, авторів, тривалість запису і т. і. Це дуже корисна інформація, яка може бути використана для пошуку, але вона не розкриває семантичної сутності самого за- пису. Єдиний елемент, що може характе- ризувати зміст запису, є назва (Title). Метадані відеоматеріалів. Як і зо- браження, відео також містять додаткову описову інформацію – метадані про техні- чні подробиці зйомки, характеристики ка- мери, місце зйомки, назву та опис відео тощо. Теги Назва (Title) та Опис (Description) дозволяють задати семан- тичну інформацію, яка може бути вико- ристана для пошуку. Окрім цього, як пра- вило, можна задати додаткові теги, або метатеги, де визначити слова або фрази, що описують відео. Теги відрізняються від ключових слів тим, що вони не відображаються ко- ристувачам у результатах пошуку. Але, по- шукові системи впливають на них при пев- ній мірі індексації сторінки чи відео. Як правило, метадані асоціюють з текстовою інформацією на сторінці (назви, описи та ін.), але вони можуть використовувати- ся й для надання більш глибокої інформа- ції. Наприклад, "прямі тимчасові метадані" або метадані на основі часу – це інфор- мація, яка прив'язана до часової шкали в межах відео. Вдалим прикладом однієї з форм часових метаданих є закриті підписи. Приєднаний текст може також включати інформацію про те, коли та яка музика від- творюється, сцену, коли є сміх, хто гово- рить тощо. Різні засоби відеозйомки можуть ге- нерувати власний набір метаданих, залеж- но від його цілей, призначення тощо. Так, IBM® Intelligent Video Analytics [12] ана- лізує будь-який об’єкт, який рухається у відеопотоці, та створює метадані для опи- су ідентифікованих дій та подій. Компо- нент Smart Surveillance Engine (SSE) для Intelligent Video Analytics генерує метадані при обробці відеофідів. Компонент Middleware for Large Scale Surveillance витягує й зберігає дані, та керує ними. Кожний екземпляр метаданих, що згенеровані Intelligent Video Analytics:  описує єдиний об’єкт відео- спостережень;  включає у себе відмітку часу, що використовується для перегляду відео;  містить ключовий кадр, який надає зведення події або сповіщення;  містить ідентифікатор пред- ставлення, що використовується для поси- лання на камеру цього відеозапису. Метадані, які отримані у Intelligent Video Analytics, залежать від аналітичного профіля, що обраний при створенні цього каналу. Операційний аналітичний меха- нізм може генерувати різні формати мета- даних. Ці формати описані визначеннями типу контенту (CTD), що сконфігуровані в межах аналітичного профілю. До складу кожної події або спові- щення включається декілька повідомлень метаданих, які містять різні атрибути для виявлення сегменту змінення або руху у джерелі відеосигналу. За потребою до In- telligent Video Analytics можна додати по- трібні типи контенту, включивши аналі- тичні механізми для відправлення метада- них датчиків та подій. Можливе також ви- конання перехресної кореляції метаданих від усіх аналітичних механізмів, дозволяю- чи користувачам пошук за модальностями. Такі розширені можливості індексації за- безпечують унікальний та потужний дифе- ренціатор порівняно з іншими існуючими рішеннями для спостережень. Ступенем деталізації метаданих можна керувати. Більша рухливість об’єк- тів у полі зору призводить до більшої кіль- кості метаданих, що зберігаються в БД системи для обраного каналу. Існує також кореляція між об’ємом метаданих та про- дуктивністю. http://id3.org/id3v2.3.0 http://www.xspf.org/xspf-v0.html https://www.ibm.com/support/knowledgecenter/ru/SS88XH_1.6.0/iva/ov_metadata.html Експертні та інтелектуальні інформаційні системи 60 Враховуючи особливості складу та використання відео файлів, окрім техніч- них та загальних описових властивостей, що визначаються у метаданих, та спеціаль- них описових властивостей, притаманних відповідній предметній області, цілям біз- несу, чи застосунку, можна виділити ще дві групи елементів метаданих (які, зок- рема, генеруються й Intelligent Video Analytics): метадані подій та метадані опо- віщень. Метадані подій:  описують об’єкти або дії, що спостерігаються у відеоматеріалі;  містять атрибути, які описують об’єкти. Атрибути змінюються залежно від аналітичного профілю;  зазвичай використовуються для криміналістичного пошуку або статис- тичного аналізу. Метадані оповіщень:  ініціюються, коли для об’єкта на відео виконані попередньо визначені умови;  базуються на поведінці та атри- бутах;  використовуються для моніто- рингу в реальному часі та можуть бути використані також для статистичного аналізу.  За замовченням метадані опові- щень включають наступні атрибути:  час, коли воно було ініційоване;  канал, по якому це відбулося;  передвизначені ім’я та тип опо- віщення;  пріоритет оповіщення;  затримка перед відтворенням (час в секундах перед ініціацією опові- щення). Технічні метадані можуть визнача- ти інформацію про файл (назва та розмір, формат, тривалість запису, формат аудіо даних, роздільна здатність тощо) у CVS- документі чи таблиці [13]. Щодо стандар- тів метаданих, кожний формат відеофайлу має власний метод зберігання метаданих, але метадані можна також зберігати у зов- нішньому файлі (чи БД) або використо- вувати XML/ XSD комбінацію. MPEG7 [14] – стандарт опису муль- тимедійного вмісту, який набув статусу стандарту в ISO/IEC 15938 («Інтерфейс опису мультимедійного вмісту»). Для фор- малізації/зберігання метаданих він вико- ристовує XML та може бути приєднаний до тимчасового коду, наприклад, щоб син- хронізувати текст з піснею. Але стандарт не набув широкого розповсюдження. Досить вдала реалізація намірів що- до узагальнення структурованої інформації для опису великих даних була зроблена спільними зусиллями компаній Google, Microsoft, Yahoo та Yandex, які створили словниковий ресурс схем для струк- турованих даних Schema.org [15], який де- тально, розглядатимемо далі. Разом з ін- шими, даний словник визначає перелік характеристик для опису відеооб’єктів. Окрім цього, набори метаданих для декількох передвизначених типів контен- ту, таких як: відеокліпи, аудіофайли, веб- сторінки і т. і. були запропоновані розроб- никами Open Graph, що також, роз- глядатимемо далі. Словники Schema.org – спільна робота спільноти з місією створення, під- тримки та просування схем для структуро- ваних даних в Інтернеті, на веб-сторінках, у повідомленнях електронної пошти та за її межами. Словник Schema.org можна ви- користовувати з багатьма різними коду- ваннями, включаючи RDFs, Microdata та JSON-LD. Ці словники охоплюють сутно- сті, відносини між сутностями та діями і можуть бути легко розширені за допомо- гою добре документованої моделі розши- рення. Понад 10 мільйонів сайтів викори- стовують Schema.org для розмітки своїх веб-сторінок і повідомлень електронної пошти. Багато додатків від Google, Micro- soft, Pinterest, Yandex та інших вже вико- ристовують ці словники для енергійного, розширюваного досвіду. Заснована компаніями Google, Mic- rosoft, Yahoo і Yandex, словники Sche- ma.org розробляються в рамках спільноти, використовуючи список розсилки public- schemaorg@w3.org і через GitHub. Спіль- ний словник (колекція словників) спрощує веб-майстрам та розробникам вирішення https://mediaarea.net/AVIMetaEdit/tech_view_help https://schema.org/ Експертні та інтелектуальні інформаційні системи 61 питань щодо схеми метаданих та мак- симізує ефективність їх роботи. Так, для відеоданих у словнику про- понується наступна схема метаданих, яка приведена у таблиці. Таблиця Елементи VideoObject actor Person Актор, наприклад, у TV, радіо, фильмі, ві- део грі тощо, або в події. Актори по- в’язані з індивідуаль- ними елементами або серією, епізодом, кліпом caption MediaObje ctабо Text Підпис об’єкта (на- приклад, субтитри). Вказує формат коду- вання director Person Директор, наприклад, у TV, радіо, фільмі, відео грі або події. Директори пов’язані з індивідуальними елементами або се- рією, епізодом, клі- пом musicBy MusicGrou p or Person Композитор зву- кового треку thumbnail ImageObje ct Мініатюра для зо- браження або відео transcript Text Чи цей MediaObject є AudioObject або VideoObject, транск- рипція цього об’єкту videoFrameS ize Text Розмір фрейму videoQuality Text Якість відео Метадані документів та веб- контенту. Поняття метаданих для докуме- нтів визначене у стандарті ISO 15489-2001 «Інформація та документація. Управління документами» [16]. Відповідно до цього стандарту документ окрім свого інформа- ційного змісту повинен містити метадані або бути постійно зв’язаним з метаданими, необхідними для виконання дій з доку- ментами. Це потрібно для забезпечення не- змінності структури документа (його фор- мату та взаємозв’язків між складовими елементами) при виконанні різних опе- рацій з електронним документом. Наяв- ність метаданих робить зрозумілими об- ставини, за яких документ був створений, отриманий та використаний, – діловий контекст (включаючи відомості про те, частиною якого ділового процесу є вико- нана операція, про дату, час та учасників ділової операції). Міжнародний стандарт ISO 15836- 2003 («Information and documentation – The Dublin Core metadata element set») визначає універсальний набір метаданих для будь- яких інформаційних ресурсів. Стандарт покладений в основу практично всіх на- борів метаданих, що описують текстові контенти. Будь-який документ характеризу- ється змістом (контентом) та структурою. Контент – інформація документа, що фіксує управлінську діяльність. Структура – зовнішній вигляд та розміщення частин контенту (наприклад, носій, формат, організація даних, розмі- щення реквізитів, шрифти, примітки і т. і.), та наявність у документі зв’язків з іншими документами (гіперпосилань). На базі Дублінського ядра було роз- роблено ГОСТ 7.70-2003 «Опис баз даних та машиночитаємих інформаційних ма- сивів. Склад та позначення характерис- тик», який вводить нескладну систему опису інформаційних, зокрема, мережевих, ресурсів. Для опису інформаційного ре- сурсу стандарт пропонує використовувати 29 характеристик, обов’язковими з яких є для всіх типів ресурсів: 1) ідентифікатор інформаційного ресурсу (посилання на ресурс); 2) назва ресурсу; 3) власник; 4) опис (зміст ресурсу, влючаючи анотацію або реферат, або опис контенту візуальних, аудіо- або мультимедійних ресурсів); 5) коди рубрикатора – тематика ресурсу, що виражена кодами стандартно- го переліку тематичних рубрик; 6) ключові слова; 7) мова (для текстового ресурсу); 8) період оновлення; 9) фінансування – форма фінансу- вання при створенні та введенні ресурсу; 10) дата останнього оновлення вмі- сту або дата створення. https://schema.org/VideoObject https://schema.org/actor https://schema.org/Person https://schema.org/caption https://schema.org/MediaObject https://schema.org/MediaObject https://schema.org/Text https://schema.org/director https://schema.org/Person https://schema.org/musicBy https://schema.org/MusicGroup https://schema.org/MusicGroup https://schema.org/Person https://schema.org/thumbnail https://schema.org/ImageObject https://schema.org/ImageObject https://schema.org/transcript https://schema.org/Text https://schema.org/videoFrameSize https://schema.org/videoFrameSize https://schema.org/Text https://schema.org/videoQuality https://schema.org/Text https://studref.com/379466/menedzhment/metadannye_dokumentov Експертні та інтелектуальні інформаційні системи 62 Умовно обов’язкові: 1) дата останнього оновлення метаданих інформаційного ресурсу; 2) адреса в мережі; 3) консультант – особа, до якої треба звертатися за додатковою інфор- мацією; 4) дата реєстрації інформаційного ресурсу; 5) служба, що реєструє інформа- ційний ресурс. В стандарті визначені також фа- культативні реквізити, які можуть надати додаткову інформацію про інформаційний ресурс, зробити його зручнішим: «Тво- рець», «Учасник», «Права», «Ресурс-дже- рело», «Обмеження доступу», «Об’єм» тощо. Більшість комп’ютерних програм автоматично створюють деякі метадані та асоціюють їх з файлами. Наприклад, кож- ний документ MS Word має певний набір властивостей файлу (назва, автор, розмір файлу тощо), який визначається авто- матично або вручну. Автоматично форму- ється особливий тип метаданих, так звані системні аудиторські перевірки, які фік- сують дії, які виконуються з окремим до- кументом (наприклад, дату дії, вид дії, особа, що її ініціювала). Великий відсоток веб-контента ге- нерується спеціальними ПЗ, наприклад, ге- нераторами сайтів. Такі програмні засоби дозволяють генерувати пости, тобто веб- контент, фактично, дані, які супроводжу- ються метаданими. Кожний такий «гене- ратор» може мати власні вимоги до мета- даних та використовувати власні механіз- ми створення метаданих та протоколи їх зберігання. Так, у Wintersmith [17] обов’яз- ковими вважають три види метаданих: template визначає шаблон, що використо- вується для рендерінга, title – назву поста, date – його дату. Але існує можливість до- давання будь-яких метаданих. Метадані, як правило, мають влас- ний формат представлення (окремий від формату даних). Одним з найбільш роз- повсюджених є YAML формат [18, 19]. Широке використання YAML отримав зав- дяки тому, що він орієнтований на зруч- ність введення/виведення типових струк- тур даних багатьох мов програмування, тобто даних багатьох форматів, включа- ючи Json об’єкти. Він є дружнім до люди- ни форматом серіалізації даних, концепту- ально близький до мов розмітки. Дозволяє визначити будь-які метадані відповідно до вимог бізнес – застосунку. Json об’єкти, в свою чергу, довели свою зручність та до- цільність з розвитком великих даних та ме- режевих технологій, як стандартний текс- товий формат для представлення структу- рованих даних на основі синтаксису об’єкта JavaScript, що, зазвичай, викорис- товується для передачі даних до веб- застосунків. Метадані у соціальних мережах Найрозповсюдженішими схемами метаданих, що використовуються у соці- альних мережах, є Twitter Card, розробле- ний Twitter та Open Graph (OG), запропо- нований Facabook. Ці протоколи метада- них виконують одну й ту саму функцію – забезпечення найкращого досвіду взаємо- дії з користувачем при розповсюдженні інформації через соціальні платформи. Twitter Cards та OG [20] це два ок- ремі набори метаданих. Багато соціальних платформ зчитують їх частину та відобра- жають у відповідному вигляді. У Twitter можна побачити результат у вигляді анота- цій до новин чи зображень у стрічці. Ре- зультат використання OG можна побачити, наприклад, у Facebook у вигляді блока- анотації з заголовком, описом та зобра- женням, що характеризують інформацій- ний блок. За основу протоколу OG, при його створенні, було покладено стан- дарт Dublin Core Metadata Element Set. Спочатку Facebook створив цей стандарт для власного використання. Тому, він є до- сить складним та містить функції, які по- трібні лише Facebook. Але, інші платфор- ми, такі як LinkedIn та Google+, також успішно використовують метадані OG. Twitter Cards служить лише одній меті: наповненню інформаційних блоків, які відображаються у Twitter та застосун- ках, що працюють з цим сервісом. Неве- личкі відмінності між Twitter Cards та OG обумовлені лише специфічними особливо- http://prgssr.ru/development/posty-dannye-i-metadannye-v-wintersmith.html#heading-section-1 http://en.wikipedia.org/wiki/Dublin_Core Експертні та інтелектуальні інформаційні системи 63 стями Twitter. Унікальність Twitter як со- ціальної платформи полягає у розповсюд- женні інформації через ретвіти, що ство- рює певні проблеми. Обмеження твіту у 140 символів не завжди дозволяє додати коментар або інформацію про автора чи власника контенту. Twitter Cards дозволяє офіційно визначити у метаданих інформа- цію про автора та правовласника. Twitter досить вміло сформували власну схему метаданих, щоб не відставати від інших соціальних платформ. Автори та власники сайтів, які реалізували підтримку схеми Twitter Cards, тепер можуть надавати більше інформації про контент, що роз- повсюджується через Twitter. Будь-які застосунки, що забезпечу- ють функції соціальної мережі, підтриму- ють відправлення повідомлень наступних типів [21]: текстові повідомлення; текстові повідомлення з приєднаним зображенням, аудіо, відео чи просто будь-яким файлом; повідомлення з приєднаним шаблоном; повідомлення з прикріпленим відступом. Відповідно, для кожного повідомлення зберігаються загальні властивості (від- правник, отримувач, властивості, що іден- тифікують повідомлення) та властивості, специфічні для обраного типу повідом- лення (текст повідомлення, тип приєдна- ного файлу, посилання на нього тощо). Обидві схеми також спрямовані на надання інформації про контенти найпопу- лярніших типів:  для статей формується текстова анотація і зображення для попереднього перегляду;  для аудіо-записів додається ау- діоплеєр;  для відеокліпів – відеоплеєр;  для зображення – можливість їх попереднього перегляду. Протоколи Twitter Cards та OG є до- сить схожими та мають специфічні влас- тивості, що визначаються для передвиз- начених типів контенту. Розробники виз- начили декілька типів контенту, таких як відеокліпи, аудіофайли, веб-сторінки та інші, та запропонували для кожного з них власний набір мета-властивостей. Коли користувач ділиться аудіофайлом або ві- деокліпом, для їх відтворення на основі метаданих обирається відповідний плеєр. Далі наводиться перелік мета-тегів, що надають детальну інформацію про статтю в OG та Twitter Cards. OG: <meta property="og:type" content="article"> <meta property="og:url" content="URL об’єкта"> <meta property="og:site_name" content="Назва ресурсу, де розміщена стаття"> <meta property="og:image" content="URL зображення для статті"> <meta property="og:title" content="Заголовок статті"> <meta property="og:description" content="Опис статті"> <meta property="article:author" content="URL сторінки автора статті"> <meta property="article:section" content="Розділ, до якого відноситься стаття"> <meta property="article:tag" content="Ключові слова"> Twitter Cards: <meta name="twitter:card" content="summary"> <meta name="twitter:url" content="URL статті"> <meta name="twitter:title" content="Заголовок статті"> <meta name="twitter:description" content="Опис статті"> <meta name="twitter:image" content="URL зображення для статті"> Наступні опціональні елементи Twitter Card дозволяють визначити іденти- фікатор автора або організації автора кон- тента у Twitter: <meta name="twitter:site" content="@username"> <meta name="twitter:site:id" content="Twitter ID"> <meta name="twitter:creator" content="@username"> <meta name="twitter:creator:id" content="Twitter ID"> https://developers.facebook.com/docs/messenger-platform/reference/webhook-events/message-echoes Експертні та інтелектуальні інформаційні системи 64 Протокол Open Graph [22]. Визна- чає метадані для опису веб-сторінок, та перетворює їх у вузли соціальної мережі. Хоча існує багато різних технологій і схем, які можна було б об'єднати разом, не існує єдиної технології, яка надає достатньо ін- формації для повномасштабного представ- лення будь-якої веб-сторінки у соціальній мережі. Протокол OG побудований на цих існуючих технологіях. Його головною ме- тою є простота для розробників. Протокол містить базові елементи метаданих, опціо- нальні елементи метаданих, структуровані властивості для аудіо, відео та зображень, спеціальні властивості для музичних запи- сів та визначення типів об’єктів. До базових елементів метаданих відносяться:  назва об’єкта;  тип об’єкта;  URL на зображення, що пред- ставляє об’єкт у графі соціальної мережі;  URL на об’єкт, що використо- вується як ідентифікатор;  опціональні та загально реко- мендовані елементи метаданих:  URL на аудіофайл, що супро- воджує об’єкт;  стислий опис об’єкта;  слово, що виводиться перед на- звою об’єкта (за замовченням пусте);  місцева мова;  масив інших доступних на сто- рінці мов;  назва сайту, якому належить об’єкт;  URL на відеофайл, що допов- нює даний об’єкт. Деякі властивості також можуть ма- ти додаткові метадані [23]. Протокол Twitter Card (TC). Зміст протоколу визначається, перш за все, по- требами користувачів Twitter. Користувачі Twitter організовують людей, яким вони слідують, у списки, постять текст та відео, використовують хеш-теги для визначення коментарів у твіті та пов’язують їх один з одним, ретвітять чужий контент з/без ко- ментарів, виділяють “улюблені” твіти, ке- рують властивостями, такими як «список популярних тем». Глибина даних про сус- пільство, що представлена контентом у Twitter, та його метадані призвели у 2010 році до заключення угоди про те, що Біблі- отека Конгресу США буде архівувати цей цінний матеріал для досліджень [24]. Перелік елементів метаданих TC за складом дуже близький до OG, що обумов- люється, як було вже зазначено вище, єди- ним набором типів контентів, які вони на- магаються структурувати та описати. Існує 5 різних типів карт, відповідно до різних об’єктів, які вони описують [25]:  зведена карта;  зведена карта з великим зобра- женням;  карта програвача;  карта застосунку;  карта Lead Generation. Зведена карта може використову- ватися постами блогів, новинами, сторін- ками продуктів та іншими бізнес-новина- ми. Їх мета полягає у наданні такої інфор- мації, як назва, опис та зображення, що су- проводжує даний пост. Зведена карта з великим зображен- ням відрізняється лише допустимими роз- мірами зображення. Карта застосунку може використо- вуватися мобільними застосунками. Вона надає інформацію про назву, опис, іконку, рейтинг та ціну. Щоб витягнути цю інфо- рмацію Twitter може використовувати ідентифікатори застосунків. Карта програвача була створена, щоб рекламувати мультимедійні потокові мультимедіа, такі як аудіо- чи відео- про- гравач у Twitter. Містить такі дані як: опис, зображення, програвач. Карта Lead Generation підходить для спілкування з потенційними клієнта- ми. Вона дозволяє зібрати інформацію про перспективи. Дані потенційних клі- єнтів (ім’я, контакти), зазвичай, вже вве- дені та їх не треба заповнювати ще раз. Карта містить таку інформацію як: назва, повідомлення посту, зображення, заклик до дії. Щоб глибше усвідомити значимість та обсяги метаданих у соціальних ме- режах, розглянемо невеличкий приклад [26] метаданих Twitter (рис. 3), що пов’язані з твітом лише у 140 символів. http://ogp.me/ https://www.oncrawl.com/oncrawl-seo-thoughts/a-complete-guide-to-twitter-cards/ Експертні та інтелектуальні інформаційні системи 65 Останні не представляють великих обсягів даних, однак об’єми їх вибухають, якщо зв’язати твіт з усіма метаданими, що необ- хідні для розуміння цих 140 символів у контексті розмови. Наведений далі приклад (рис. 3) де- монструє підмножину повного переліку елементів метаданих протоколу TC, а саме містить наступні елементи: Рис. 3. Метадані, пов’язані з твітом Експертні та інтелектуальні інформаційні системи 66  ім’я та ідентифікатор користу- вача, що відповів автору твіта;  дата та час створення твіту;  ім’я автора;  ім’я користувача;  біографія автора;  URL автора;  місцезнаходження автора;  надання інформації для автора;  дата створення облікового за- пису;  кількість обраних, що має кори- стувач;  кількість користувачів, на яких підписаний даний користувач;  часовий пояс та зміщення часу для даного користувача;  мова, обрана користувачем;  чи є користувач захищеним;  кількість підписників користу- вача;  ідентифікатор місця;  друкована назва цього місця;  тип місця;  країна;  застосунок, який відіслав твіт. Особливістю даного прикладу є те, що всі метадані у деякій мірі структурова- ні. Вони збираються таким чином, щоб виконувати корисну задачу, та сортуються за відомими категоріями. Саме це поняття структури перетворює необроблену інфо- рмацію у реальні метадані. Метадані сховищ даних Склад та зміст цього класу метада- них визначається цілями їх використання у сховищах даних. А саме, метадані, у дано- му випадку, повинні сприяти мінімізації робіт з розробки та адміністрування схо- вища даних та забезпечувати більш ефек- тивне витягнення інформації із сховища. Метадані містять всю інформацію, що не- обхідна для витягнення, перетворення та завантаження даних з вихідних систем, а також для наступного використання та інтерпретації вмісту сховища. Ральф Кимболл виділив наступні типи метаданих:  метадані вихідної системи: o специфікації джерел даних, таких як репозиторії; o описова інформація (частота оновлення, юридичні обмеження, методи доступу); o інформація про процеси, на- приклад, графік завдань та коди витягнен- ня.  метадані перетворення даних: o інформація про отримання даних (планування передачі даних, відо- мості про використання файлів); o керування таблицями вимі- рювань, (визначення вимірювань та при- своєння сурогатних ключів); o перетворення та агрегування, (розширення та відображення даних, про- грами завантаження СКБД, визначення агрегатів даних); o документування перевірок, робіт та журналів (журналів перетворення даних й записів стеження за походженням даних.  метадані СКБД: o зміст системних таблиць СКБД; o рекомендації з обробки. Ці метадані можуть використовува- тися трьома способами:  пасивно, забезпечуючи чітку документацію щодо структури, процесу розробки та використання системи Сховища даних. Документація необхідна як кінцевим користувачам, так і систем- ним адміністраторам та розробникам застосунків;  активно, шляхом збереження конкретних аспектів (наприклад, правил перетворення) у вигляді метаданих, які можна інтерпретувати та використовувати під час виконання. У даному випадку, ме- тадані керують процесами сховища даних. Як наслідок, код (активні метадані) та до- даткова документація погоджено та уніфі- ковано керуються в одному репозиторії, при цьому зростає актуальність доку- ментації;  напівактивно, за рахунок збері- гання статичної інформації (наприклад, визначень структур, специфікацій конфі- гурацій), яку буде зчитувати інший прог- рамний компонент під час виконання. Експертні та інтелектуальні інформаційні системи 67 Наприклад, обробникам запитів необхідні метадані для перевірки існування атрибу- тів. На відміну від активного використан- ня, тут метадані лише читаються, але не виконуються. Метадані сховищ дозволяють вирі- шувати наступні задачі відповідно до вище визначених цілей [27]:  підтримка інтеграції систем. Схеми та інтеграція даних залежать від ме- таданих, що описують структуру та сенс окремих джерел даних та цільових систем. Правила перетворення можна застосувати до вихідних даних та зберігати як ме- тадані. Більше того, інтеграція різних ін- струментів можлива лише, якщо вони роз- діляють «дані», які є метаданими системи сховища;  підтримка аналізу та проекту- вання нових застосунків. Метадані підви- щують контрольованість та надійність процесу розробки застосунків, забезпе- чуючи інформацію про зміст даних, їх структуру та джерела. Більше того, метада- ні, що стосуються рішень з проектування застосунків, можна використовувати пов- торно;  підвищення гнучкості системи та можливості повторного використання існуючих програмних модулів. Це можливо лише для активного та напівактивного ви- користання даних. Семантичні аспекти, які швидко змінюються, зберігаються явним чином у вигляді метаданих прикладних програм. Тому, підтримка є суттєво прос- тішою. Систему можна розширити та адап- тувати без будь-яких труднощів. Даний підхід дає можливість повторного викори- стання «фрагментів коду»;  автоматизація адміністрати- вних процесів. Метадані керують запуском різних процесів Сховища даних (наприк- лад, завантаження та оновлення). Інформа- ція про їх виконання (журнали доступу, кількість записів та ін.) також міститься у репозиторії, доступному адміністратору;  підсилення механізмів безпеки. Метадані повинні забезпечити правила доступу та права користувачів для всієї системи сховища. Керування доступом у сховищі іноді вимагає застосування склад- них методів. Наприклад, оперативне дже- рело може містити нешкідливу інформа- цію про окремі показники роботи компанії, але сумарні значення у сховищі іноді ви- являються важливим секретом. З іншого боку, персональні доходи кожного спів- робітника є тайною, але при цьому підсу- мок грошової одиниці у сховищі може вза- галі не бути критичною інформацією;  підвищення якості даних. Якість даних визначається наступними характеристиками: o погодженість (однорідність представлення, відсутність дублікатів, да- них з визначеннями, що конфліктують); o повнота (всі дані присутні) o точність (співпадання збе- режених та фактичних значень); o своєчасність (актуальність значення, що зберігається); o правила перевірки якості да- них необхідно визначати, зберігати у виг- ляді метаданих та перевіряти при кожному оновленні сховища. Окрім цього, висока якість вимагає підтримки контроля даних. Метадані забезпечують інформацію про час створення, про автора даних, про дже- рело, значення даних в момент отримання (про спадковість даних), й про подальший шлях від джерела до поточного місцезна- ходження (походження даних). Таким чи- ном, користувачі можуть відновити лан- цюг проходження даних за час перетво- рення, та перевірити точність інформації, що повертається;  покращення взаємодії в системі сховища. Взаємодія відбувається як через виконання простих запитів та звітних за- стосунків, так й з використанням складних аналітичних інструментів. Метадані за- безпечують відомості про значення даних, термінологію та бізнес-концепції підпри- ємства, а також їх зв’язок з даними. Тому, метадані підвищують якість запитів, що виконуються, за рахунок більш точного та строгого формулювання, а також ско- рочують витрати на користувачів, яким потрібний доступ, оцінку та застосування відповідної інформації;  покращення аналізу даних. Методи аналізу даних представлені широ- ко – починаючи від простих застосунків звітності та OLAP, та, закінчуючи склад- Експертні та інтелектуальні інформаційні системи 68 ними застосунками data mining. В цьому напрямку метадані необхідні для розумін- ня предметної області та її представлення у сховищі, для адекватного застосування та інтерпретації результатів;  застосуванню загальної термі- нології та мови взаємодії у корпорації. Доступність метаданих як унікального джерела документації для користувачів має й інші переваги. Вона гарантує пого- джені дії та інтерпретації інформації із сховища, а також запобігає двозначності та забезпечує погодженість відомостей у компанії, дозволяє розділити знання та досвід. Метадані системи сховища містять- ся в репозиторії – структурованій системі зберігання та витягнення, що реалізована на основі СКБД. Для інтерпретації мета- даних необхідно зберігати структуру ре- позиторія (тобто схему метаданих) та їх семантику. Існують різні способи визначення та зберігання метаданих у сховищі, один з яких є використання технології XML, що завдяки своїм перевагам, таким як зрозумі- лість, відкритість технології, гнучкість, є дуже зручним засобом опису. Він дозволяє публікувати метадані, що використову- ються будь-якою програмою або БД, та забезпечує зв’язок між структурованою ба- зою та неструктурованим контентом. Як- що є ПЗ, яке здатне прочитати та розшиф- рувати XML-файли, то метадані у будь- якому сховищі можна представити у виг- ляді звичайного XML-файлу, що створе- ний на основі загального DTD (опис типу документу), а переваги XML представлен- ня є очевидними. Але якщо буде забагато XML файлів, написаних відповідно до різ- них стандартів, то це зробить їх обробку досить складною. Тому, ефективна об- робка метаданих, представлених таким чи- ном, вимагає вирішення наступних проб- лем XML-середовища:  погоджений стиль тегів;  несуперечливі погодження про іменування;  сумісне визначення тегів;  керування XML об’єктами для їх наступного повторного використання;  інструменти для динамічної перевірки DTD та схем;  документовані набори кодів;  чітко визначені простори імен бізнес-моделі; Метадані в екосистемі Hadoop Hadoop використовує метадані для ефективного керування даними. Метадані вбудовуються у самі дані при проходженні ними різних систем підприємства (ро- биться це за допомогою визначення спе- ціальних тегів). Більше того, метадані роз- ширюються та включають додаткову інформацію окрім звичайних атрибутів, таких як: розмір файлу, роздільна здат- ність, дати модифікації тощо. Наприклад, до метаданих можуть бути включені відо- мості про бізнес, що може допомогти визначити корисність даних у конкретній моделі. Нарешті, на відміну від самих корпоративних даних метадані можуть бути централізовані на єдиній платформі. HDFS здатна присвоювати розши- рені атрибути, що також дозволяє збагати- ти метадані. Але це не завжди підходить для великих даних. Тому, виникають аль- тернативні підходи, як, зокрема, визначен- ня тегів (Apache Atlas) та створення цен- тралізованого сховища метаданих, а корис- тувачі дружніх до Hadoop систем витя- гування даних (наприклад, Hive та Spark SQL) можуть визначати теги самостійно. Задачі роботи з метаданими і сервіси для аналізу та обробки метаданих Досить швидкий розвиток мереже- вих технологій та зростання обсягів даних різних типів обумовлюють нагальні вимо- ги як до самих метаданих, так й до інстру- ментів, що дозволяють якось ними корис- туватися. Метадані не мають сенсу, якщо вони не є «корисними», тобто немає мож- ливості їх ефективного використання для вирішення задач користувачів. Тобто, необхідно мати розвинені методи та засо- би, що дозволять:  створювати метадані;  читати метадані;  редагувати метадані; Експертні та інтелектуальні інформаційні системи 69  організовувати ефективне збері- гання метаданих;  керувати метаданими;  аналізувати метадані;  оптимізувати метадані;  використовувати метадані при пошуку інформації. Насьогодні розроблено велику кіль- кість доданків чи окремих застосунків, що намагаються вирішити перелічені задачі. Деякі з них просто допомагають пе- реглянути чи вивести інформацію метада- них, інші додають інструменти для ство- рення та редагування, а деякі є потужними інструментами аналізу метаданих, що до- зволяють робити висновки про дос- товірність контенту тим чи іншим чином та навіть будувати статистичні звіти та прогнози, на основі аналізу метаданих. Керування метаданими Найважливішою особливістю мета- даних є впорядкована структура. Інформа- ція категоризована та має конкретну фор- му/формат. Завдяки структурованому виг- ляду, метадані є доступними для читання не лише людиною, але й комп’ютерами. Таким чином, метадані можуть бути об- роблені автоматизовано та використані для різних цілей: індексація, пошук, об’єд- нання або автоматична обробка. Зокрема, одним з прикладів використання ме- таданих є пошук зображення на основі Exif значення поля. Це, наприклад, можна зро- бити в програмі Google Picasa, де перед- бачені спеціальні команди, які вводять зна- чення в поле пошуку у застосунку. В Інтернеті, у галереях зображень стандар- том є визначення метаданих поряд з фото- графією, що переглядається. Сайти актив- но використовують дані з EXIF, наприк- лад, для «прив’язки» фотографії до геогра- фічної мапи. Так, у галереї Google, Goog- le+ або Picasa Web Albums поряд з фото з’явиться мапа з попереднім переглядом. Створення метаданих, перегляд, читання та редагування Базовий набір метаданих визнача- ється автоматично застосунком при ство- ренні файлу даних конкретного типу. Так, для файлів фотографій за це відповідає ПЗ, яке встановлене на цифровій камері. Щоб переглянути метадані, перш за все, необхідно витягнути їх з файлу. Отри- мати доступ до метаданих веб-об’єктів можна за допомогою доданків до веб-брау- зера або спеціальних сервісів. Деякі з інс- трументів, що беруть на себе такі функції, підтримують лише один формат файлу (наприклад, JPEG), інші – багато форматів. Окрім цього, різні програми можуть під- тримувати різні типи метаданих. Серед прикладів інструментів витя- гування метаданих можна перелічити [28]. 1. Exiv2 [29] – ПЗ з відкритим ко- дом, яке декодує EXIF, IPTC та XMP мета- дані. 2. ExifTool [30] – один з найбільш потужних засобів витягування метаданих (через командну строку). Підтримує сотні різних форматів файлів та метаданих (PDF, Djvu, JPEG, AVI, MOV, MP3 тощо), вклю- чаючи дуже специфічні. Написаний на Perl, добре документований, добре працює під Linux та Мac, але може бути проб- лемним для користувачів Windows, у яких не встановлений Perl. 3. Adobe Photoshop – комерційний застосунок, що включає XMP переглядач. Хоча він не такий потужний або повний як Exiv2 або ExifTool, забезпечує можливість декодування XMP, IPTC, Exif та інші типи метаданих у графічному інтерфейсі. 4. PreviewInspector. За замовчуван- ням Apple Mac OS X для перегляду зобра- жень використовує ПЗ Preview, яке містить спеціальний ‘Inspector’ для перегляду мета- даних. Інструмент відображає невеличку частину доступних метаданих та може забезпечувати не достовірні результати аналізу, тому не рекомендований для використання в офіційних розробках. Зручним інструментом для читання метаданих графічних файлів також є брау- зер графічних файлів IrfanView, за умови, що встановлено плагін, який включає біб- ліотеку для декодування Exif. Хоча там не вистачає можливості редагування Exif, IrfanView дозволяє створювати опис у фо- рматі IPTC. З метаданими також чудово ладнають всі ПЗ для обробки цифрових фотографій. Для не професійного викорис- https://webznam.ru/publ/google/iveb/kak_izmenit_skorost_indeksacii_sajta_v_google/9-1-0-392 https://webznam.ru/publ/google/chrome/kak_vkljuchit_mgnovennyj_poisk_v_brauzere_google_chrome_pochemu_zhivoj_poisk_v_khrome_ne_rabotaet/2-1-0-41 https://fotoforensics.com/tutorial-meta.php http://www.belursus.info/soft/i.php?c=exiftool Експертні та інтелектуальні інформаційні системи 70 тання, можна рекомендувати програ- му Google Picasa, яка має панель, що доз- воляє перевірити всі дані фотографії. На- жаль, можливості редагування метаданих обмежена. Тому, у випадку більших вимог, слід звернути увагу на Adobe Lightroom [31], що містить дуже складні інструменти для перегляду та редагування метаданих зображень. Його використовують про- фесійні фотографи. Програма містить та- кож спеціальні інструменти, що викорис- товують метадані для автоматичної корек- ції кольорів зображень. Lightroom дозволяє визначати тип датчика, тип об’єктива, фо- кусну відстань та на цій основі покращити геометрію зображення. Розвинені можливості щодо ство- рення та редагування метаданих надає ві- дома платформа для побудови клієнтських застосунків WPF (Windows Presentation Foundation). Вона дозволяє обробляти XMP, IPTC та EXIF метадані та використо- вує для цього спеціальні класи. При цьо- му, відповідні поля у метаданих різних стандартів знаходяться у наступному по- рядку: XMP, IPTC та EXIF. Запис тегів метаданих виконується у XMP форматі. Окрім цього, для читання та запису мета- даних можуть використовуватися функції GetQuery/SetQuery, які працюють з ієрар- хічними іменами тегів метаданих. Існують спеціальні класи, що дозволяють працю- вати з конкретними форматами зображень. А клас InPlaceMetadataWriter дозволяє змі- нювати метадані на місці, без переко- дування файла. Досить потужним інструментом для редагування тегів аудіофайлів є TagScan- ner. Він вміє редагувати у пакетному ре- жимі теги більшості сучасних аудіофор- матів. Підтримуються теги ID3v1 та ID3v2, Vorbis Comments, APEv2, WMA та MP4 (iTunes). Застосунок дозволяє змінювати назву файла за інформацією з тегів, ге- нерувати тег за назвою файла/директорії або виконувати будь-які перетворення та змінення тексту в тегах та іменах файлів. Програма має розвинені можливості для отримання інформації та роботи з музич- ним альбомом чи архівом. Розвинені можливості керування метаданими в XMP форматі надає застосу- нок Premiere Pro [32]. Він відкриває загальний доступ до метаданих, а також дозволяє їх переглядати, створювати, вида- ляти, редагувати та шукати. Аналіз метаданих Для перевірки наявності метаданих та їх аналізу у фотографіях (наприклад. ви- значення місця та часу, коли воно було зроблене, чи було воно відредаговане) мо- жна використовувати спеціальні он-лайн ресурси [33]. Одним з таких ресурсів є Jeffray’s Exif Viewer, розроблений та викла- дений у відкритий доступ американським програмистом. Він відображає всю дос- тупну інформацію з метаданих. Аналогіч- но працює інший схожий ресурс для пере- вірки метаданих FindEXIF.com. Але в ньо- му відсутня можливість завантаження фо- тографії. Сервіс працює лише з посилан- нями. Фотографії з конкретних географіч- них місць можна також шукати за допо- могою Panoramio. Цей сервіс використо- вує EXIF-дані для публікації фотографій на мапі. Дозволяє при розміщенні фото- графії визначити її координати. Розібрати- ся в локаціях допомагають також сервіси Google Maps та Wikimapia. Сервіс FotoForensics дозволяє ви- значити, чи було фото відредаговане. Сер- віс працює як з завантаженими фотографі- ями, так й з посиланнями на них. Окрім то- го, що сервіс виводить доступні метадані (дату створення, дату редагування тощо), він пропонує ELA (Error Level Alysis) рі- вень стискання файлів. Це свого роду ска- нер, який показує маніпуляції з зображен- ням, навіть, якщо їх не видно на перший погляд. Знаючи специфіку цих даних, мо- жна ефективно визначати масштаби та тип редагування знімка, наприклад, чи був ви- користаний фотомонтаж при редагуванні зображення. Інструменти Google Search by Image та TinEye забезпечують можливості зво- ротнього пошуку зображень, тобто ко- ристувач може завантажити до сервісу фо- то та знайти його оригінальне джерело й подивитись, де воно ще публікувалося. Програмний застосунок JPEGSnoop дозволяє дивитися метадані не лише зобра- жень, а й форматів AVI, DNG, PDF, THM, https://webznam.ru/blog/metadannye_fajlov_fotografij/2015-04-01-135 https://helpx.adobe.com/ru/premiere-pro/using/metadata.html https://www.stopfake.org/metadannye-nevidimaya-informatsiya-o-fotografii/ http://www.findexif.com/ https://www.panoramio.com/ https://fotoforensics.com/ Експертні та інтелектуальні інформаційні системи 71 але працює тільки для Windows. Дозволяє перевірити, чи було зображення реда- говане, виявити помилки у пошкодженому файлі тощо. Сервіс Pipl.com призначений для пошуку «Інтернет-сліду» користувача, до- помагає його ідентифікувати та знайти його контент (фотографії, файли тощо). Програма проводить пошук у всіх соціаль- них американських мережах (Facebook, LinkedIn, MySpace) – для цього потрібно ввести ім’я та прізвище латиницею. Особ- ливість програми в тому, що вона веде по- шук по «глибокому Інтернету», який ігно- рується звичайними пошуковими система- ми та недоступний для користувачів. Ресурс WebMii шукає посилання з визначеним ім’ям людини, дає рейтинг «веб-видимості», за допомогою якого можна встановити фейкові акаунти. Зав- дяки інструменту кожен може знайти згадування власного імені на іноземних ресурсах. Застосунок Geofeedia є «куратором соціальних мереж», який агрегує результа- ти не за ключовими словами чи хеш-тега- ми, а за заданим місцем розташування. Сервіс обробляє повідомлення з Twitter, Flickr, Youtube, Instagram та Picasa, надіс- лані з використанням GPS, і потім пред- ставляє їх у вигляді колажу. І хоча значну кількість повідомлень він не охоплює, на- дає загальну картину. Сервіс платний, без- коштовною надається лише демоверсія. Окремої уваги заслуговує сервіс Wolfram Alpha [34]. Це навіть не пошукова система, а база знань з науковим ухилом, інтелектуальний робот, який може відпові- дати на будь-які питання. Але він орієн- тується лише в темах, які стосуються точ- ної, більш енциклопедичної інформації, а не поточних подій. Він не надає посилань на інші сайти, а видає вже готовий варіант відповіді. Спочатку він був рекомен- дований для перевірки погоди, в тому чис- лі використовувався для перевірки досто- вірності зображень через перевірку погоди за датою та місцем зображення. Але, на- справді ця система може порівнювати ві- домі світові компанії за безліччю показни- ків, а також міста, країни, відомих осіб, бу- дівлі. Програма також містить багато еко- номічної інформації, у тому числі може ви- раховувати прогнози, наприклад, ціна на газ та нафту в довгостроковій перспективі; може вирішувати складні математичні приклади, давати детальну інформацію про поживну цінність різних продуктів, показувати карту зоряного неба для різних точок земної кулі. Окрім того, вираховує індекс маси тіла (потрібно ввести свої да- ні) та ризики захворюваності; визначає час, потрібний для читання чи написання певної кількості слів та багато іншого. На- решті, одна з найцікавіших можливостей інструменту – це аналіз статистики корис- тувача у Facebook. Програма формує пов- ний звіт із інфографікою, який показує ак- тивність користувача від моменту реєстра- ції, кількість завантажених лінків та фото, також показує активність упродовж доби й аналізує середню довжину постів. Крім того, можна подивитися статистику по друзях за різними показниками – вік, стать, сімейний стан, місце проживання на карті та мережеві зв’язки друзів між собою. Питання оптимізації метаданих Як було продемонстровано прикла- дом вище, обсяги метаданих часто можуть перевищувати обсяги самих (великих) да- них. Тому, якщо документ містить велику кількість метаданих, доцільно зберігати метадані в різних файлах та використову- вати дві URL-адреси – окремо для метада- них та для самих даних. Ці дві сторінки можна зв’язати за допомогою вказівників. Це дозволить суттєво підвищити продук- тивність роботи з даними. Цей варіант іде- ально підійде для адаптивних сайтів: мате- ріали однієї й тієї самої сторінки можна показувати як у браузері комп’ютера, так і на мобільному пристрої. Facebook пропонує [35] також для застосунків, що використовують піддо- мени з метою розміщення додаткових вер- сій, які оптимізовані для мобільних при- строїв, запобігати додавання додаткових даних до представлення сторінок для мо- більних пристроїв. Для цього пропонуєть- ся використовувати канонічні URL, що вказують на представлення цих сторінок для перегляду на комп’ютері. https://ms.detector.media/%20mediaprosvita/how_to/%2013_onlayninstrumentiv_dlya_perevirki_kontentu/ https://developers.facebook.com/docs/sharing/webmasters/%20optimizing?locale=ru_RU Експертні та інтелектуальні інформаційні системи 72 Висновки Проведені дослідження продемон- стрували нагальність та масштаби проблем у галузі обробки різнорідних не струк- турованих даних великих обсягів – вели- чезні, безперервно зростаючі обсяги різно- манітної, слабкоструктурованої (чи взагалі не структурованої) інформації, велика кі- лькість розрізнених сервісів для обробки їх метаданих, що, як правило, описують ли- ше технічні характеристики даних, відсут- ність семантичних описів даних та єдиної ефективної системи керування метаданими. Головною перевагою метаданих є їх структурованість, що забезпечує можли- вість їх автоматизованої обробки та вико- ристання для роботи з великими даними, а саме: для індексації, пошуку, об’єднання, автоматичної обробки та ін. Це набуває особливого значення при роботі з не стру- ктурованими даними та сприяє вирішенню складних бізнес-задач. Але створення ефективної системи керування метаданими, вимагає їх узгод- женої загальної класифікації, в першу чер- гу, з урахуванням походження самих да- них, їх цілей, форматів представлення, задач, у вирішенні яких ці дані використо- вуються. Тому, мета даного дослідження – це аналіз можливих джерел великих даних та визначення притаманних ним харак- теристик. В результаті проведеного аналізу було визначено 8 типів джерел, а саме:  архіви відсканованих документів;  документи-файли різних форматів;  сховища даних;  бізнес – застосунки;  публічний веб;  засоби масової інформації;  дані журналів;  автоматично генерований контент. Аналіз перелічених джерел дозво- лив визначити наступні основні типи кон- тенту відповідних даних: зображення, ау- діо-, відео- файли, документи, повідомлен- ня, дані з датчиків, веб-сторінки. Для представлення вказаного контенту можуть бути використані різні формати, що може впливати на вибір протоколу метаданих, що використовується. Насьогодні, розроб- лено велику кількість протоколів мета- даних, що підтримують визначення мета- даних для одного чи кілька форматів пред- ставлення даних одного чи декількох ти- пів, однак не існує єдиного підходу чи протоколу, який надавав би загальну так- сономію характеристик. Окрім цього, біль- шість таких протоколів визначають досить детальні, але технічні характеристики да- них. Опис семантики даних обмежується, зазвичай, двома елементами: Title та Description. Найбільш гнучкими є прото- коли, що надають XML формат представ- лення метаданих, як XMP специфікація. Такий формат представлення дозволяє включити до контенту будь-яку необхідну метаінформацію та використовувати для визначення семантики контенту цільові онтології. Слід зазначити, що на відміну від технічних характеристик, що зазвичай генеруються автоматично, визначення семантичних характеристик неможливе без участі спеціалістів або експертів, а їх застосування при вирішенні задач ви- магає спеціальних програмних засобів, які будуть вміти їх розпізнавати та вико- ристовувати. Розуміючи величезну роль мета- даних для забезпечення семантичного ви- значення контенту великих даних, по- трібно пам’ятати, що часто розміри мета- даних значно перевищують обсяг самих даних (навіть великих), та дотримуватися принципів розумної ефективності при ви- значенні елементів метаданих та ор- ганізації їх зберігання та обробки. Література 1. https://habr.com/ru/post/93119/ 2. https://www.exif.org/category/specifications 3. http://exif.org/dcf.PDF 4. https://helpx.adobe.com/after- effects/using/xmp-metadata.html 5. https://www.dublincore.org/specifications/du blin-core/dces/ 6. ISO 16684-1:2012, Graphic technology – Extensible metadata platform (XMP) specification – Part 1: Data model, serialization and core properties 7. https://www.adobe.com/devnet/xmp.html https://habr.com/ru/post/93119/ http://exif.org/dcf.PDF https://helpx.adobe.com/after-effects/using/xmp-metadata.html https://helpx.adobe.com/after-effects/using/xmp-metadata.html https://www.adobe.com/devnet/xmp.html Експертні та інтелектуальні інформаційні системи 73 8. https://forum.allnokia.ru/viewtopic.php?t=51 934 9. https://habr.com/ru/post/103635/ 10. http://id3.org/id3v2.3.0 11. http://www.xspf.org/xspf-v0.html 12. https://www.ibm.com/support/knowledgecent er/ru/SS88XH_1.6.0/iva/ov_metadata.html 13. https://mediaarea.net/AVIMetaEdit/tech_vie w_help 14. https://stackoverflow.com/questions/2075175 /is-there-a-standard-schema-for-video- metadata 15. https://schema.org/ 16. https://studref.com/379466/menedzhment/me tadannye_dokumentov 17. http://prgssr.ru/development/posty-dannye-i- metadannye-v-wintersmith.html#heading- section-1 18. https://symfony.com.ua/doc/current/compone nts/yaml/yaml_format.html 19. https://uk.wikipedia.org/wiki/YAML 20. https://frontender.info/like-able-content- spread-your-message-with-third-party- metadata/ 21. https://www.ixbt.com/soft/audio-tag- editors.shtml 22. http://ogp.me/ 23. https://hostenko.com/wpcafe/plugins/kak- nastroit-open-graph-i-twitter-karty-dlja- wordpress/ 24. https://blogs.loc.gov/loc/2010/04/how-tweet- it-is-library-acquires-entire-twitter-archive/ 25. https://www.oncrawl.com/oncrawl-seo- thoughts/a-complete-guide-to-twitter-cards/ 26. https://www.datasciencecentral.com/profiles/ blogs/importance-of-metadata-in-a-big-data- world 27. http://iso.ru/ru/press- center/journal/2122.phtml 28. https://fotoforensics.com/tutorial-meta.php 29. https://www.exif.org/Exif2-2.PDF 30. http://www.belursus.info/soft/i.php?c=exifto ol 31. https://webznam.ru/blog/metadannye_fajlov_ fotografij/2015-04-01-135 32. https://helpx.adobe.com/ru/premiere- pro/using/metadata.html 33. https://www.stopfake.org/metadannye- nevidimaya-informatsiya-o-fotografii/ 34. https://ms.detector.media/ mediaprosvita/how_to/ 13_onlayninstrumentiv_dlya_perevirki_konte ntu 35. https://developers.facebook.com/docs/sharing /webmasters/ optimizing?locale=ru_RU References 1. https://habr.com/ru/post/93119/ 2. https://www.exif.org/category/specifications 3. http://exif.org/dcf.PDF 4. https://helpx.adobe.com/after- effects/using/xmp-metadata.html 5. https://www.dublincore.org/specifications/du blin-core/dces/ 6. ISO 16684-1:2012, Graphic technology – Extensible metadata platform (XMP) specification – Part 1: Data model, serialization and core properties 7. https://www.adobe.com/devnet/xmp.html 8. https://forum.allnokia.ru/viewtopic.php?t=51 934 9. https://habr.com/ru/post/103635/ 10. http://id3.org/id3v2.3.0 11. http://www.xspf.org/xspf-v0.html 12. https://www.ibm.com/support/knowledgecent er/ru/SS88XH_1.6.0/iva/ov_metadata.html 13. https://mediaarea.net/AVIMetaEdit/tech_vie w_help 14. https://stackoverflow.com/questions/2075175 /is-there-a-standard-schema-for-video- metadata 15. https://schema.org/ 16. https://studref.com/379466/menedzhment/me tadannye_dokumentov 17. http://prgssr.ru/development/posty-dannye-i- metadannye-v-wintersmith.html#heading- section-1 18. https://symfony.com.ua/doc/current/compone nts/yaml/yaml_format.html 19. https://uk.wikipedia.org/wiki/YAML 20. https://frontender.info/like-able-content- spread-your-message-with-third-party- metadata/ 21. https://www.ixbt.com/soft/audio-tag- editors.shtml 22. http://ogp.me/ 23. https://hostenko.com/wpcafe/plugins/kak- nastroit-open-graph-i-twitter-karty-dlja- wordpress/ 24. https://blogs.loc.gov/loc/2010/04/how-tweet- it-is-library-acquires-entire-twitter-archive/ 25. https://www.oncrawl.com/oncrawl-seo- thoughts/a-complete-guide-to-twitter-cards/ 26. https://www.datasciencecentral.com/profiles/ blogs/importance-of-metadata-in-a-big-data- world 27. http://iso.ru/ru/press- center/journal/2122.phtml 28. https://fotoforensics.com/tutorial-meta.php 29. https://www.exif.org/Exif2-2.PDF https://forum.allnokia.ru/viewtopic.php?t=51934 https://forum.allnokia.ru/viewtopic.php?t=51934 https://habr.com/ru/post/103635/ http://id3.org/id3v2.3.0 http://www.xspf.org/xspf-v0.html https://www.ibm.com/support/knowledgecenter/ru/SS88XH_1.6.0/iva/ov_metadata.html https://www.ibm.com/support/knowledgecenter/ru/SS88XH_1.6.0/iva/ov_metadata.html https://mediaarea.net/AVIMetaEdit/tech_view_help https://mediaarea.net/AVIMetaEdit/tech_view_help https://stackoverflow.com/questions/2075175/is-there-a-standard-schema-for-video-metadata https://stackoverflow.com/questions/2075175/is-there-a-standard-schema-for-video-metadata https://stackoverflow.com/questions/2075175/is-there-a-standard-schema-for-video-metadata https://schema.org/ https://studref.com/379466/menedzhment/metadannye_dokumentov https://studref.com/379466/menedzhment/metadannye_dokumentov http://prgssr.ru/development/posty-dannye-i-metadannye-v-wintersmith.html#heading-section-1 http://prgssr.ru/development/posty-dannye-i-metadannye-v-wintersmith.html#heading-section-1 http://prgssr.ru/development/posty-dannye-i-metadannye-v-wintersmith.html#heading-section-1 https://symfony.com.ua/doc/current/components/yaml/yaml_format.html https://symfony.com.ua/doc/current/components/yaml/yaml_format.html https://uk.wikipedia.org/wiki/YAML https://frontender.info/like-able-content-spread-your-message-with-third-party-metadata/ https://frontender.info/like-able-content-spread-your-message-with-third-party-metadata/ https://frontender.info/like-able-content-spread-your-message-with-third-party-metadata/ https://www.ixbt.com/soft/audio-tag-editors.shtml https://www.ixbt.com/soft/audio-tag-editors.shtml http://ogp.me/ https://hostenko.com/wpcafe/plugins/kak-nastroit-open-graph-i-twitter-karty-dlja-wordpress/ https://hostenko.com/wpcafe/plugins/kak-nastroit-open-graph-i-twitter-karty-dlja-wordpress/ https://hostenko.com/wpcafe/plugins/kak-nastroit-open-graph-i-twitter-karty-dlja-wordpress/ https://www.oncrawl.com/oncrawl-seo-thoughts/a-complete-guide-to-twitter-cards/ https://www.oncrawl.com/oncrawl-seo-thoughts/a-complete-guide-to-twitter-cards/ https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world http://iso.ru/ru/press-center/journal/2122.phtml http://iso.ru/ru/press-center/journal/2122.phtml https://fotoforensics.com/tutorial-meta.php https://www.exif.org/Exif2-2.PDF http://www.belursus.info/soft/i.php?c=exiftool http://www.belursus.info/soft/i.php?c=exiftool https://webznam.ru/blog/metadannye_fajlov_fotografij/2015-04-01-135 https://webznam.ru/blog/metadannye_fajlov_fotografij/2015-04-01-135 https://helpx.adobe.com/ru/premiere-pro/using/metadata.html https://helpx.adobe.com/ru/premiere-pro/using/metadata.html https://www.stopfake.org/metadannye-nevidimaya-informatsiya-o-fotografii/ https://www.stopfake.org/metadannye-nevidimaya-informatsiya-o-fotografii/ https://ms.detector.media/%20mediaprosvita/how_to/%2013_onlayninstrumentiv_dlya_perevirki_kontentu/ https://ms.detector.media/%20mediaprosvita/how_to/%2013_onlayninstrumentiv_dlya_perevirki_kontentu/ https://ms.detector.media/%20mediaprosvita/how_to/%2013_onlayninstrumentiv_dlya_perevirki_kontentu/ https://ms.detector.media/%20mediaprosvita/how_to/%2013_onlayninstrumentiv_dlya_perevirki_kontentu/ https://developers.facebook.com/docs/sharing/webmasters/%20optimizing?locale=ru_RU https://developers.facebook.com/docs/sharing/webmasters/%20optimizing?locale=ru_RU https://habr.com/ru/post/93119/ http://exif.org/dcf.PDF https://helpx.adobe.com/after-effects/using/xmp-metadata.html https://helpx.adobe.com/after-effects/using/xmp-metadata.html https://www.adobe.com/devnet/xmp.html https://forum.allnokia.ru/viewtopic.php?t=51934 https://forum.allnokia.ru/viewtopic.php?t=51934 https://habr.com/ru/post/103635/ http://id3.org/id3v2.3.0 http://www.xspf.org/xspf-v0.html https://www.ibm.com/support/knowledgecenter/ru/SS88XH_1.6.0/iva/ov_metadata.html https://www.ibm.com/support/knowledgecenter/ru/SS88XH_1.6.0/iva/ov_metadata.html https://mediaarea.net/AVIMetaEdit/tech_view_help https://mediaarea.net/AVIMetaEdit/tech_view_help https://stackoverflow.com/questions/2075175/is-there-a-standard-schema-for-video-metadata https://stackoverflow.com/questions/2075175/is-there-a-standard-schema-for-video-metadata https://stackoverflow.com/questions/2075175/is-there-a-standard-schema-for-video-metadata https://schema.org/ https://studref.com/379466/menedzhment/metadannye_dokumentov https://studref.com/379466/menedzhment/metadannye_dokumentov http://prgssr.ru/development/posty-dannye-i-metadannye-v-wintersmith.html#heading-section-1 http://prgssr.ru/development/posty-dannye-i-metadannye-v-wintersmith.html#heading-section-1 http://prgssr.ru/development/posty-dannye-i-metadannye-v-wintersmith.html#heading-section-1 https://symfony.com.ua/doc/current/components/yaml/yaml_format.html https://symfony.com.ua/doc/current/components/yaml/yaml_format.html https://uk.wikipedia.org/wiki/YAML https://frontender.info/like-able-content-spread-your-message-with-third-party-metadata/ https://frontender.info/like-able-content-spread-your-message-with-third-party-metadata/ https://frontender.info/like-able-content-spread-your-message-with-third-party-metadata/ https://www.ixbt.com/soft/audio-tag-editors.shtml https://www.ixbt.com/soft/audio-tag-editors.shtml http://ogp.me/ https://hostenko.com/wpcafe/plugins/kak-nastroit-open-graph-i-twitter-karty-dlja-wordpress/ https://hostenko.com/wpcafe/plugins/kak-nastroit-open-graph-i-twitter-karty-dlja-wordpress/ https://hostenko.com/wpcafe/plugins/kak-nastroit-open-graph-i-twitter-karty-dlja-wordpress/ https://www.oncrawl.com/oncrawl-seo-thoughts/a-complete-guide-to-twitter-cards/ https://www.oncrawl.com/oncrawl-seo-thoughts/a-complete-guide-to-twitter-cards/ https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world https://www.datasciencecentral.com/profiles/blogs/importance-of-metadata-in-a-big-data-world http://iso.ru/ru/press-center/journal/2122.phtml http://iso.ru/ru/press-center/journal/2122.phtml https://fotoforensics.com/tutorial-meta.php https://www.exif.org/Exif2-2.PDF Експертні та інтелектуальні інформаційні системи 74 30. http://www.belursus.info/soft/i.php?c=exifto ol 31. https://webznam.ru/blog/metadannye_fajlov_ fotografij/2015-04-01-135 32. https://helpx.adobe.com/ru/premiere- pro/using/metadata.html 33. https://www.stopfake.org/metadannye- nevidimaya-informatsiya-o-fotografii/ 34. https://ms.detector.media/ mediaprosvita/how_to/ 13_onlayninstrumentiv_dlya_perevirki_konte ntu 35. https://developers.facebook.com/docs/sharing /webmasters/ optimizing?locale=ru_RU Одержано 17.10.2019 Про автора: Захарова Ольга Вікторівна, кандидат технічних наук, старший науковий співробітник. Кількість наукових публікацій в українських виданнях – 30. http://orcid.org/0000-0002-9579-2973. Місце роботи автора: Інститут програмних систем НАН України, проспект Академіка Глушкова, 40. Тел.: 526 5139. E-mail: ozakharova68@gmail.com http://www.belursus.info/soft/i.php?c=exiftool http://www.belursus.info/soft/i.php?c=exiftool https://webznam.ru/blog/metadannye_fajlov_fotografij/2015-04-01-135 https://webznam.ru/blog/metadannye_fajlov_fotografij/2015-04-01-135 https://helpx.adobe.com/ru/premiere-pro/using/metadata.html https://helpx.adobe.com/ru/premiere-pro/using/metadata.html https://www.stopfake.org/metadannye-nevidimaya-informatsiya-o-fotografii/ https://www.stopfake.org/metadannye-nevidimaya-informatsiya-o-fotografii/ https://ms.detector.media/%20mediaprosvita/how_to/%2013_onlayninstrumentiv_dlya_perevirki_kontentu/ https://ms.detector.media/%20mediaprosvita/how_to/%2013_onlayninstrumentiv_dlya_perevirki_kontentu/ https://ms.detector.media/%20mediaprosvita/how_to/%2013_onlayninstrumentiv_dlya_perevirki_kontentu/ https://ms.detector.media/%20mediaprosvita/how_to/%2013_onlayninstrumentiv_dlya_perevirki_kontentu/ https://developers.facebook.com/docs/sharing/webmasters/%20optimizing?locale=ru_RU https://developers.facebook.com/docs/sharing/webmasters/%20optimizing?locale=ru_RU

Схожі ресурси