Використання метаданих для вирішення задач великих даних
На сьогодні обсяги даних, якими оперують прикладні системи, експоненціально безперервно зростають та уже давно досягли таких розмірів, що не можуть оброблятися традиційними системами. Так виник термін «Великі дані». Головні проблеми таких наборів даних пов’язані, перш за все, не лише з їх об’ємом, а...
Gespeichert in:
| Veröffentlicht in: | Проблеми програмування |
|---|---|
| Datum: | 2019 |
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
Інститут програмних систем НАН України
2019
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/161489 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Використання метаданих для вирішення задач великих даних / О.В. Захарова // Проблеми програмування. — 2019. — № 2. — С. 81-91. — Бібліогр.: 16 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-161489 |
|---|---|
| record_format |
dspace |
| spelling |
Захарова, О.В. 2019-12-10T21:42:59Z 2019-12-10T21:42:59Z 2019 Використання метаданих для вирішення задач великих даних / О.В. Захарова // Проблеми програмування. — 2019. — № 2. — С. 81-91. — Бібліогр.: 16 назв. — укр. 1727-4907 DOI: https://doi.org/10.15407/pp2019.02.081 https://nasplib.isofts.kiev.ua/handle/123456789/161489 004.94 На сьогодні обсяги даних, якими оперують прикладні системи, експоненціально безперервно зростають та уже давно досягли таких розмірів, що не можуть оброблятися традиційними системами. Так виник термін «Великі дані». Головні проблеми таких наборів даних пов’язані, перш за все, не лише з їх об’ємом, але й з різноманітністю, різнорідністю та складністю інформації, яку вони містять. Таким чином, разом із зростанням обсягів даних і кількості ініціатив великих даних, на перший план виходять метадані, як найважливіший пріоритет успіху проектів великих даних. Підприємства усвідомлюють, що повне використання ділового та операційного потенціалу машинного навчання, глибокого навчання та штучного інтелекту вимагає, щоб необроблені дані були доповнені метаданими. Метою даної роботи є аналіз впливу метаданих на вирішення комплексу проблем великих даних, визначення основних категорій даних, що підлягають анотуванню метаданими, та основних типів метаданих, що для цього використовуються. Насьогодні метадані є засобом класифікації, впорядкування та характеристики даних або їх вмісту. Залежно від ролі, яку вони відіграють у вирішенні задач великих даних, NISO поділяє їх на чотири типи, а саме: адміністративні, описові, структурні та мови розмітки. Різні типи метаданих можуть бути використані певним чином для ефективного вирішення задач управління, пошуку, інтеграції даних тощо. Окремим питанням є способи їх створення/автоматичної генерації, тому що ручне створення метаданих є процесом досить трудомістким, а їх обсяг часто у кілька разів перевищує обсяг самих даних. На сегодняшний день объемы данных, которыми оперируют прикладные системы, экспоненциально непрерывно растут и уже давно достигли таких размеров, что не могут обрабатываться традиционными системами. Так появился термин «Большие данные». Основные проблемы таких наборов данных связаны, прежде всего, не только с их объемами, но и с разнообразностью, разнородностью и сложностью информации, которую они содержат. Таким образом, вместе с ростом объемов данных та числа инициатив больших данных, на первый план выходят метаданные, как самый главный приоритет успешности проектов больших данных. Предприятия понимают, что полное использование делового и операционного потенциала машинного обучения, глубокого обучения и искусственного интеллекта требует дополнения не обработанных данных метаданными. Поэтому, целью данной работы является анализ влияния метаданных и решение комплекса проблем больших данных, определение основных категорий данных, подлежащих аннотированию метаданными, и основных типов используемых для этого метаданных. На сегодняшний день метаданные являются средством классификации, упорядочивания и характеристики данных или их содержимого. В зависимости от роли, которую они играют в решении задач больших данных, NISO выделяет четыре основных типа метаданных: административные, описательные, структурные и языки разметки. Разные типы метаданных могут использоваться определенным образом для эффективного решения задач управления, поиска, интеграции данных и т.п. Отдельным вопросом остаются способы их создания/автоматической генерации, так как создание метаданных в ручную является трудоемким процессом, а их объем зачастую в несколько раз превосходит объем самих данных. Today, the volumes of data used by application systems are growing exponentially and have reached such sizes that they cannot be processed by traditional systems. So the term "Big data" appeared. The main problems of such data sets are associated, first of all, not only with their volumes, but also with the variety and complexity of the information they contain. Thus, along with the growth of data volumes and the number of big data initiatives, the metadata become the most important priority for the success of large data projects. Enterprises understand that the full use of the operational potential of machine learning, in-depth learning and artificial intellect requires the unprocessed data was supplemented with metadata. Therefore, the purpose of this work is to analyze the effect of metadata to solving the big data problems, determine the main categories of data to be annotated by metadata, and the main types of metadata used for this. Today, metadata is a means of classifying, organizing, and characterizing data or its contents. Depending on the role they play in solving big data problems, NISO identifies four main types of metadata: administrative, descriptive, structural, and markup languages. Different types of metadata can be used in a certain way to effectively solve problems of management, search, data integration, etc. A separate issue is the way of their creation/automatic generation, since the manual creation of metadata is a laborious process, and their volume is often several times larger than the volume of the data itself. uk Інститут програмних систем НАН України Проблеми програмування Експертні та інтелектуальні інформаційні системи Використання метаданих для вирішення задач великих даних Использование метаданных для решения задач больших данных Using metadata to resolve big data problems Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Використання метаданих для вирішення задач великих даних |
| spellingShingle |
Використання метаданих для вирішення задач великих даних Захарова, О.В. Експертні та інтелектуальні інформаційні системи |
| title_short |
Використання метаданих для вирішення задач великих даних |
| title_full |
Використання метаданих для вирішення задач великих даних |
| title_fullStr |
Використання метаданих для вирішення задач великих даних |
| title_full_unstemmed |
Використання метаданих для вирішення задач великих даних |
| title_sort |
використання метаданих для вирішення задач великих даних |
| author |
Захарова, О.В. |
| author_facet |
Захарова, О.В. |
| topic |
Експертні та інтелектуальні інформаційні системи |
| topic_facet |
Експертні та інтелектуальні інформаційні системи |
| publishDate |
2019 |
| language |
Ukrainian |
| container_title |
Проблеми програмування |
| publisher |
Інститут програмних систем НАН України |
| format |
Article |
| title_alt |
Использование метаданных для решения задач больших данных Using metadata to resolve big data problems |
| issn |
1727-4907 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/161489 |
| citation_txt |
Використання метаданих для вирішення задач великих даних / О.В. Захарова // Проблеми програмування. — 2019. — № 2. — С. 81-91. — Бібліогр.: 16 назв. — укр. |
| work_keys_str_mv |
AT zaharovaov vikoristannâmetadanihdlâviríšennâzadačvelikihdanih AT zaharovaov ispolʹzovaniemetadannyhdlârešeniâzadačbolʹšihdannyh AT zaharovaov usingmetadatatoresolvebigdataproblems |
| first_indexed |
2025-12-01T13:59:55Z |
| last_indexed |
2025-12-01T13:59:55Z |
| _version_ |
1850860380740386816 |
| description |
На сьогодні обсяги даних, якими оперують прикладні системи, експоненціально безперервно зростають та уже давно досягли таких розмірів, що не можуть оброблятися традиційними системами. Так виник термін «Великі дані». Головні проблеми таких наборів даних пов’язані, перш за все, не лише з їх об’ємом, але й з різноманітністю, різнорідністю та складністю інформації, яку вони містять. Таким чином, разом із зростанням обсягів даних і кількості ініціатив великих даних, на перший план виходять метадані, як найважливіший пріоритет успіху проектів великих даних. Підприємства усвідомлюють, що повне використання ділового та операційного потенціалу машинного навчання, глибокого навчання та штучного інтелекту вимагає, щоб необроблені дані були доповнені метаданими. Метою даної роботи є аналіз впливу метаданих на вирішення комплексу проблем великих даних, визначення основних категорій даних, що підлягають анотуванню метаданими, та основних типів метаданих, що для цього використовуються. Насьогодні метадані є засобом класифікації, впорядкування та характеристики даних або їх вмісту. Залежно від ролі, яку вони відіграють у вирішенні задач великих даних, NISO поділяє їх на чотири типи, а саме: адміністративні, описові, структурні та мови розмітки. Різні типи метаданих можуть бути використані певним чином для ефективного вирішення задач управління, пошуку, інтеграції даних тощо. Окремим питанням є способи їх створення/автоматичної генерації, тому що ручне створення метаданих є процесом досить трудомістким, а їх обсяг часто у кілька разів перевищує обсяг самих даних.
На сегодняшний день объемы данных, которыми оперируют прикладные системы, экспоненциально непрерывно растут и уже давно достигли таких размеров, что не могут обрабатываться традиционными системами. Так появился термин «Большие данные». Основные проблемы таких наборов данных связаны, прежде всего, не только с их объемами, но и с разнообразностью, разнородностью и сложностью информации, которую они содержат. Таким образом, вместе с ростом объемов данных та числа инициатив больших данных, на первый план выходят метаданные, как самый главный приоритет успешности проектов больших данных. Предприятия понимают, что полное использование делового и операционного потенциала машинного обучения, глубокого обучения и искусственного интеллекта требует дополнения не обработанных данных метаданными. Поэтому, целью данной работы является анализ влияния метаданных и решение комплекса проблем больших данных, определение основных категорий данных, подлежащих аннотированию метаданными, и основных типов используемых для этого метаданных. На сегодняшний день метаданные являются средством классификации, упорядочивания и характеристики данных или их содержимого. В зависимости от роли, которую они играют в решении задач больших данных, NISO выделяет четыре основных типа метаданных: административные, описательные, структурные и языки разметки. Разные типы метаданных могут использоваться определенным образом для эффективного решения задач управления, поиска, интеграции данных и т.п. Отдельным вопросом остаются способы их создания/автоматической генерации, так как создание метаданных в ручную является трудоемким процессом, а их объем зачастую в несколько раз превосходит объем самих данных.
Today, the volumes of data used by application systems are growing exponentially and have reached such sizes that they cannot be processed by traditional systems. So the term "Big data" appeared. The main problems of such data sets are associated, first of all, not only with their volumes, but also with the variety and complexity of the information they contain. Thus, along with the growth of data volumes and the number of big data initiatives, the metadata become the most important priority for the success of large data projects. Enterprises understand that the full use of the operational potential of machine learning, in-depth learning and artificial intellect requires the unprocessed data was supplemented with metadata. Therefore, the purpose of this work is to analyze the effect of metadata to solving the big data problems, determine the main categories of data to be annotated by metadata, and the main types of metadata used for this. Today, metadata is a means of classifying, organizing, and characterizing data or its contents. Depending on the role they play in solving big data problems, NISO identifies four main types of metadata: administrative, descriptive, structural, and markup languages. Different types of metadata can be used in a certain way to effectively solve problems of management, search, data integration, etc. A separate issue is the way of their creation/automatic generation, since the manual creation of metadata is a laborious process, and their volume is often several times larger than the volume of the data itself.
|