Аналітичне сховище для великих потокових даних

Аналітичне сховище для великих потокових даних

Розроблено концепцію архітектури з організації аналітичного сховища даних на основі інфраструктури Google Cloud Platform (GCP). Проведено аналіз існуючих рішень у галузі безсерверних аналітичних сховищ. Проведено порівняльний аналіз із найбільш розповсюдженими існуючими рішеннями та здійснено експер...

Повний опис

Збережено в:
Бібліографічні деталі
Опубліковано в: :Проблеми програмування
Дата:2022
Автори: Тюрін, В.О., Дорошенко, А.Ю., Савчук, О.В.
Формат: Стаття
Мова:Ukrainian
Опубліковано: Інститут програмних систем НАН України 2022
Теми:
Інформаційні системи
Онлайн доступ:https://nasplib.isofts.kiev.ua/handle/123456789/186203
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:Аналітичне сховище для великих потокових даних / В.О. Тюрін, А.Ю. Дорошенко, О.В. Савчук // Проблеми програмування. — 2022. — № 1. — С. 67-74. — Бібліогр.: 21 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id nasplib_isofts_kiev_ua-123456789-186203
record_format dspace
spelling Тюрін, В.О.
Дорошенко, А.Ю.
Савчук, О.В.
2022-11-08T19:16:53Z
2022-11-08T19:16:53Z
2022
Аналітичне сховище для великих потокових даних / В.О. Тюрін, А.Ю. Дорошенко, О.В. Савчук // Проблеми програмування. — 2022. — № 1. — С. 67-74. — Бібліогр.: 21 назв. — укр.
1727-4907
DOI: https://doi.org/10.15407/pp2022.01.67
https://nasplib.isofts.kiev.ua/handle/123456789/186203
004.042
Розроблено концепцію архітектури з організації аналітичного сховища даних на основі інфраструктури Google Cloud Platform (GCP). Проведено аналіз існуючих рішень у галузі безсерверних аналітичних сховищ. Проведено порівняльний аналіз із найбільш розповсюдженими існуючими рішеннями та здійснено експериментальне випробування розробленої концепції. Наведено рекомендації з організації сховища даних з можливістю підтримки подій із змінною схемою даних. Розроблено систему потокової передачі даних. Розроблену концепцію повністю реалізовано у GCP з метою проведення функціонального тестування
A concept for organizing an analytical data warehouse has been developed, which includes a method of interaction between data producers and a repository, a method of data circuit control, a method of data streaming, a method of storing initial data, a method of data processing and a method of providing secure data access. Other concepts on the market are discussed, namely: SDLF as the leading standard recommended by AWS, IronSource DL using Upsolver, SimilarWeb DL using Upsolver. A comparative analysis was conducted (mostly with SDLF, as its implementation is open, and the implementation by private companies is hidden). The advantages of the proposed concept over the existing ones are examined in detail. Recommendations on how to integrate the concept with data schema control applications are given. A service for streaming data using Apache Beam in Java has been developed. A repository architecture for analytics was designed and developed. A data schema management model was developed as well as a data schema management model and a model for secure access to data. The research that has been conducted can be improved by the experience of implementing the concept in business, as well as by collecting and systematizing knowledge about other standards that will be created.
uk
Інститут програмних систем НАН України
Проблеми програмування
Інформаційні системи
Аналітичне сховище для великих потокових даних
Analytical store for streaming data with huge volume
Article
published earlier
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
title Аналітичне сховище для великих потокових даних
spellingShingle Аналітичне сховище для великих потокових даних
Тюрін, В.О.
Дорошенко, А.Ю.
Савчук, О.В.
Інформаційні системи
title_short Аналітичне сховище для великих потокових даних
title_full Аналітичне сховище для великих потокових даних
title_fullStr Аналітичне сховище для великих потокових даних
title_full_unstemmed Аналітичне сховище для великих потокових даних
title_sort аналітичне сховище для великих потокових даних
author Тюрін, В.О.
Дорошенко, А.Ю.
Савчук, О.В.
author_facet Тюрін, В.О.
Дорошенко, А.Ю.
Савчук, О.В.
topic Інформаційні системи
topic_facet Інформаційні системи
publishDate 2022
language Ukrainian
container_title Проблеми програмування
publisher Інститут програмних систем НАН України
format Article
title_alt Analytical store for streaming data with huge volume
description Розроблено концепцію архітектури з організації аналітичного сховища даних на основі інфраструктури Google Cloud Platform (GCP). Проведено аналіз існуючих рішень у галузі безсерверних аналітичних сховищ. Проведено порівняльний аналіз із найбільш розповсюдженими існуючими рішеннями та здійснено експериментальне випробування розробленої концепції. Наведено рекомендації з організації сховища даних з можливістю підтримки подій із змінною схемою даних. Розроблено систему потокової передачі даних. Розроблену концепцію повністю реалізовано у GCP з метою проведення функціонального тестування A concept for organizing an analytical data warehouse has been developed, which includes a method of interaction between data producers and a repository, a method of data circuit control, a method of data streaming, a method of storing initial data, a method of data processing and a method of providing secure data access. Other concepts on the market are discussed, namely: SDLF as the leading standard recommended by AWS, IronSource DL using Upsolver, SimilarWeb DL using Upsolver. A comparative analysis was conducted (mostly with SDLF, as its implementation is open, and the implementation by private companies is hidden). The advantages of the proposed concept over the existing ones are examined in detail. Recommendations on how to integrate the concept with data schema control applications are given. A service for streaming data using Apache Beam in Java has been developed. A repository architecture for analytics was designed and developed. A data schema management model was developed as well as a data schema management model and a model for secure access to data. The research that has been conducted can be improved by the experience of implementing the concept in business, as well as by collecting and systematizing knowledge about other standards that will be created.
issn 1727-4907
url https://nasplib.isofts.kiev.ua/handle/123456789/186203
citation_txt Аналітичне сховище для великих потокових даних / В.О. Тюрін, А.Ю. Дорошенко, О.В. Савчук // Проблеми програмування. — 2022. — № 1. — С. 67-74. — Бібліогр.: 21 назв. — укр.
work_keys_str_mv AT tûrínvo analítičneshoviŝedlâvelikihpotokovihdanih
AT dorošenkoaû analítičneshoviŝedlâvelikihpotokovihdanih
AT savčukov analítičneshoviŝedlâvelikihpotokovihdanih
AT tûrínvo analyticalstoreforstreamingdatawithhugevolume
AT dorošenkoaû analyticalstoreforstreamingdatawithhugevolume
AT savčukov analyticalstoreforstreamingdatawithhugevolume
first_indexed 2025-12-07T20:08:59Z
last_indexed 2025-12-07T20:08:59Z
_version_ 1850881489734991872

Схожі ресурси