The concept and evaluating of big data quality in the semantic environment
Big data refers to large volumes, complex data sets with various autonomous sources, characterized by continuous growth. Data storage and data collection capabilities are now rapidly expanding in all fields of science and technology due to the rapid development of networks. Evaluating the quality of...
Збережено в:
| Дата: | 2022 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | English |
| Опубліковано: |
Інститут програмних систем НАН України
2022
|
| Назва видання: | Проблеми програмування |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/188649 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | The concept and evaluating of big data quality in the semantic environment / A.V. Novitsky // Проблеми програмування. — 2022. — № 3-4. — С. 260-270. — Бібліогр.: 23 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-188649 |
|---|---|
| record_format |
dspace |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
English |
| topic |
Інструментальні засоби та середовища програмування Інструментальні засоби та середовища програмування |
| spellingShingle |
Інструментальні засоби та середовища програмування Інструментальні засоби та середовища програмування Novitsky, A.V. The concept and evaluating of big data quality in the semantic environment Проблеми програмування |
| description |
Big data refers to large volumes, complex data sets with various autonomous sources, characterized by continuous growth. Data storage and data collection capabilities are now rapidly expanding in all fields of science and technology due to the rapid development of networks. Evaluating the quality of data is a difficult task in the context of big data, because the speed of semantic data reasoning directly depends on its quality. The appropriate strategies are necessary to evaluate and assess data quality according to the huge amount of data and its rapid generation. Managing a large volume of heterogeneous and distributed data requires defining and continuously updating metadata describing various aspects of data semantics and its quality, such as conformance to metadata schema, provenance, reliability, accuracy and other properties. The article examines the problem of evaluating the quality of big data in the semantic environment. The definition of big data and its semantics is given below and there is a short excursion on a theory of quality assessment. The model and its components which allow to form and specify metrics for quality have already been developed. This model includes such components as: quality characteristics; quality metric; quality system; quality policy. A quality model for big data that defines the main components and requirements for data evaluation has already been proposed. In particular, such evaluation components as: accessibility, relevance, popularity, compliance with the standard, consistency, etc. are highlighted. The problem of inference complexity is demonstrated in the article. Approaches to improving fast semantic inference through materialization and division of the knowledge base into two components, which are expressed by different dialects of descriptive logic, are also considered below. The materialization of big data makes it possible to significantly speed up the processing of requests for information extraction. It is demonstrated how the quality of metadata affects materialization. The proposed model of the knowledge base allows increasing the qualitative indicators of the reasoning speed. |
| format |
Article |
| author |
Novitsky, A.V. |
| author_facet |
Novitsky, A.V. |
| author_sort |
Novitsky, A.V. |
| title |
The concept and evaluating of big data quality in the semantic environment |
| title_short |
The concept and evaluating of big data quality in the semantic environment |
| title_full |
The concept and evaluating of big data quality in the semantic environment |
| title_fullStr |
The concept and evaluating of big data quality in the semantic environment |
| title_full_unstemmed |
The concept and evaluating of big data quality in the semantic environment |
| title_sort |
concept and evaluating of big data quality in the semantic environment |
| publisher |
Інститут програмних систем НАН України |
| publishDate |
2022 |
| topic_facet |
Інструментальні засоби та середовища програмування |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/188649 |
| citation_txt |
The concept and evaluating of big data quality in the semantic environment / A.V. Novitsky // Проблеми програмування. — 2022. — № 3-4. — С. 260-270. — Бібліогр.: 23 назв. — укр. |
| series |
Проблеми програмування |
| work_keys_str_mv |
AT novitskyav theconceptandevaluatingofbigdataqualityinthesemanticenvironment AT novitskyav conceptandevaluatingofbigdataqualityinthesemanticenvironment |
| first_indexed |
2023-10-18T23:08:49Z |
| last_indexed |
2023-10-18T23:08:49Z |
| _version_ |
1796157368821612544 |
| spelling |
irk-123456789-1886492023-03-12T01:26:58Z The concept and evaluating of big data quality in the semantic environment Novitsky, A.V. Інструментальні засоби та середовища програмування Big data refers to large volumes, complex data sets with various autonomous sources, characterized by continuous growth. Data storage and data collection capabilities are now rapidly expanding in all fields of science and technology due to the rapid development of networks. Evaluating the quality of data is a difficult task in the context of big data, because the speed of semantic data reasoning directly depends on its quality. The appropriate strategies are necessary to evaluate and assess data quality according to the huge amount of data and its rapid generation. Managing a large volume of heterogeneous and distributed data requires defining and continuously updating metadata describing various aspects of data semantics and its quality, such as conformance to metadata schema, provenance, reliability, accuracy and other properties. The article examines the problem of evaluating the quality of big data in the semantic environment. The definition of big data and its semantics is given below and there is a short excursion on a theory of quality assessment. The model and its components which allow to form and specify metrics for quality have already been developed. This model includes such components as: quality characteristics; quality metric; quality system; quality policy. A quality model for big data that defines the main components and requirements for data evaluation has already been proposed. In particular, such evaluation components as: accessibility, relevance, popularity, compliance with the standard, consistency, etc. are highlighted. The problem of inference complexity is demonstrated in the article. Approaches to improving fast semantic inference through materialization and division of the knowledge base into two components, which are expressed by different dialects of descriptive logic, are also considered below. The materialization of big data makes it possible to significantly speed up the processing of requests for information extraction. It is demonstrated how the quality of metadata affects materialization. The proposed model of the knowledge base allows increasing the qualitative indicators of the reasoning speed. Великі дані стосуються великих обсягів, складних наборів даних із різними автономними джерелами, що характеризуються постійним зростанням. Зі швидким розвитком мереж, зберігання даних і можливостей збору даних, великі дані швидко розширюються в усіх сферах науки та техніки. У контексті великих даних оцінка якості даних є складною задачею. Для семантичних даних якість і швидкість виводу безпосередньо залежить від якості даних. Враховуючи величезний обсяг даних і їх швидке генерування, це вимагає відповідних стратегій для оцінки якості даних. Управління великим обсягом різнорідних і розподілених даних вимагає визначення та постійного оновлення метаданих, що описують різні аспекти семантики та якості даних, такі як відповідність схемі метаданих, походження, надійність, точність та інші властивості. В статі розглянута проблематика оцінювання якості великих даних у семантичному середовищі. Наведено визначення великих даних та їх семантики, зроблено невеликий екскурс в теорію оцінювання якості. Розроблена модель та її компоненти, що дозволяє сформувати та конкретизувати метрики для якості. В дану модель входять такі компоненти як: характеристика якості, метрика якості, система якості, політка якості. Запропонована модель якості для великих даних, яка визначає основні компоненти та вимоги до оцінювання даних. Зокрема, виділено такі компоненти оцінювання як: доступність, релеватність, популярність, відповідність стандарту, узгодженість тощо. Продемонстрована проблема складності виводу. Розглянуто підходи до покращення швидкого семантичного виводу через матеріалізацію та поділ бази знань на два компоненти, які виражаються різними діалектами дескриптивної логіки. Оскільки матеріалізація великих даних дозволяє значно пришвидшити обробку запитів на екстракцію інформації. Продемонстровано як якість метаданих вливає на матеріалізацію. Запропонована модель бази знань, яка дозволяє підвищити якісні показники швидкості виводу. 2022 Article The concept and evaluating of big data quality in the semantic environment / A.V. Novitsky // Проблеми програмування. — 2022. — № 3-4. — С. 260-270. — Бібліогр.: 23 назв. — укр. 1727-4907 DOI: http://doi.org/10.15407/pp2022.03-04.260 http://dspace.nbuv.gov.ua/handle/123456789/188649 004.05 en Проблеми програмування Інститут програмних систем НАН України |