Аналітичне сховище для великих потокових даних
Розроблено концепцію архітектури з організації аналітичного сховища даних на основі інфраструктури Google Cloud Platform (GCP). Проведено аналіз існуючих рішень у галузі безсерверних аналітичних сховищ. Проведено порівняльний аналіз із найбільш розповсюдженими існуючими рішеннями та здійснено експер...
Saved in:
| Published in: | Проблеми програмування |
|---|---|
| Date: | 2022 |
| Main Authors: | , , |
| Format: | Article |
| Language: | Ukrainian |
| Published: |
Інститут програмних систем НАН України
2022
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/186203 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Аналітичне сховище для великих потокових даних / В.О. Тюрін, А.Ю. Дорошенко, О.В. Савчук // Проблеми програмування. — 2022. — № 1. — С. 67-74. — Бібліогр.: 21 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1862739329978204160 |
|---|---|
| author | Тюрін, В.О. Дорошенко, А.Ю. Савчук, О.В. |
| author_facet | Тюрін, В.О. Дорошенко, А.Ю. Савчук, О.В. |
| citation_txt | Аналітичне сховище для великих потокових даних / В.О. Тюрін, А.Ю. Дорошенко, О.В. Савчук // Проблеми програмування. — 2022. — № 1. — С. 67-74. — Бібліогр.: 21 назв. — укр. |
| collection | DSpace DC |
| container_title | Проблеми програмування |
| description | Розроблено концепцію архітектури з організації аналітичного сховища даних на основі інфраструктури Google Cloud Platform (GCP). Проведено аналіз існуючих рішень у галузі безсерверних аналітичних сховищ. Проведено порівняльний аналіз із найбільш розповсюдженими існуючими рішеннями та здійснено експериментальне випробування розробленої концепції. Наведено рекомендації з організації сховища даних з можливістю підтримки подій із змінною схемою даних. Розроблено систему потокової передачі даних. Розроблену концепцію повністю реалізовано у GCP з метою проведення функціонального тестування
A concept for organizing an analytical data warehouse has been developed, which includes a method of interaction between data producers and a repository, a method of data circuit control, a method of data streaming, a method of storing initial data, a method of data processing and a method of providing secure data access. Other concepts on the market are discussed, namely: SDLF as the leading standard recommended by AWS, IronSource DL using Upsolver, SimilarWeb DL using Upsolver. A comparative analysis was conducted (mostly with SDLF, as its implementation is open, and the implementation by private companies is hidden). The advantages of the proposed concept over the existing ones are examined in detail. Recommendations on how to integrate the concept with data schema control applications are given. A service for streaming data using Apache Beam in Java has been developed. A repository architecture for analytics was designed and developed. A data schema management model was developed as well as a data schema management model and a model for secure access to data. The research that has been conducted can be improved by the experience of implementing the concept in business, as well as by collecting and systematizing knowledge about other standards that will be created.
|
| first_indexed | 2025-12-07T20:08:59Z |
| format | Article |
| fulltext | |
| id | nasplib_isofts_kiev_ua-123456789-186203 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1727-4907 |
| language | Ukrainian |
| last_indexed | 2025-12-07T20:08:59Z |
| publishDate | 2022 |
| publisher | Інститут програмних систем НАН України |
| record_format | dspace |
| spelling | Тюрін, В.О. Дорошенко, А.Ю. Савчук, О.В. 2022-11-08T19:16:53Z 2022-11-08T19:16:53Z 2022 Аналітичне сховище для великих потокових даних / В.О. Тюрін, А.Ю. Дорошенко, О.В. Савчук // Проблеми програмування. — 2022. — № 1. — С. 67-74. — Бібліогр.: 21 назв. — укр. 1727-4907 DOI: https://doi.org/10.15407/pp2022.01.67 https://nasplib.isofts.kiev.ua/handle/123456789/186203 004.042 Розроблено концепцію архітектури з організації аналітичного сховища даних на основі інфраструктури Google Cloud Platform (GCP). Проведено аналіз існуючих рішень у галузі безсерверних аналітичних сховищ. Проведено порівняльний аналіз із найбільш розповсюдженими існуючими рішеннями та здійснено експериментальне випробування розробленої концепції. Наведено рекомендації з організації сховища даних з можливістю підтримки подій із змінною схемою даних. Розроблено систему потокової передачі даних. Розроблену концепцію повністю реалізовано у GCP з метою проведення функціонального тестування A concept for organizing an analytical data warehouse has been developed, which includes a method of interaction between data producers and a repository, a method of data circuit control, a method of data streaming, a method of storing initial data, a method of data processing and a method of providing secure data access. Other concepts on the market are discussed, namely: SDLF as the leading standard recommended by AWS, IronSource DL using Upsolver, SimilarWeb DL using Upsolver. A comparative analysis was conducted (mostly with SDLF, as its implementation is open, and the implementation by private companies is hidden). The advantages of the proposed concept over the existing ones are examined in detail. Recommendations on how to integrate the concept with data schema control applications are given. A service for streaming data using Apache Beam in Java has been developed. A repository architecture for analytics was designed and developed. A data schema management model was developed as well as a data schema management model and a model for secure access to data. The research that has been conducted can be improved by the experience of implementing the concept in business, as well as by collecting and systematizing knowledge about other standards that will be created. uk Інститут програмних систем НАН України Проблеми програмування Інформаційні системи Аналітичне сховище для великих потокових даних Analytical store for streaming data with huge volume Article published earlier |
| spellingShingle | Аналітичне сховище для великих потокових даних Тюрін, В.О. Дорошенко, А.Ю. Савчук, О.В. Інформаційні системи |
| title | Аналітичне сховище для великих потокових даних |
| title_alt | Analytical store for streaming data with huge volume |
| title_full | Аналітичне сховище для великих потокових даних |
| title_fullStr | Аналітичне сховище для великих потокових даних |
| title_full_unstemmed | Аналітичне сховище для великих потокових даних |
| title_short | Аналітичне сховище для великих потокових даних |
| title_sort | аналітичне сховище для великих потокових даних |
| topic | Інформаційні системи |
| topic_facet | Інформаційні системи |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/186203 |
| work_keys_str_mv | AT tûrínvo analítičneshoviŝedlâvelikihpotokovihdanih AT dorošenkoaû analítičneshoviŝedlâvelikihpotokovihdanih AT savčukov analítičneshoviŝedlâvelikihpotokovihdanih AT tûrínvo analyticalstoreforstreamingdatawithhugevolume AT dorošenkoaû analyticalstoreforstreamingdatawithhugevolume AT savčukov analyticalstoreforstreamingdatawithhugevolume |