Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних
This article explores the impact of denormalization techniques on query performance in IoT data warehouses while maintaining acceptable data redundancy. It analyzes normalized and denormalized approaches in a smart home IoT environment using Azure Synapse. Empirical testing (10,000–5 milli...
Gespeichert in:
| Datum: | 2025 |
|---|---|
| Hauptverfasser: | , , |
| Format: | Artikel |
| Sprache: | English |
| Veröffentlicht: |
Vinnytsia National Technical University
2025
|
| Schlagworte: | |
| Online Zugang: | https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/785 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Optoelectronic Information-Power Technologies |
Institution
Optoelectronic Information-Power Technologies| id |
oai:oeipt.vntu.edu.ua:article-785 |
|---|---|
| record_format |
ojs |
| spelling |
oai:oeipt.vntu.edu.ua:article-7852025-06-19T11:44:36Z Denormalization techniques for IOT data warehouses: balancing query performance and data redundancy Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних Талах, М.В. Дворжак, В.В. Ушенко, Ю.О. IoT data warehouse denormalization techniques query optimization columnar storage data compression smart home analytics Azure Synapse schema design performance optimization data redundancy сховище даних інтернету речей методи денормалізації оптимізація запитів стовпчасте сховище стиснення даних аналітика розумного дому Azure Synapse проектування схем оптимізація продуктивності надмірність даних This article explores the impact of denormalization techniques on query performance in IoT data warehouses while maintaining acceptable data redundancy. It analyzes normalized and denormalized approaches in a smart home IoT environment using Azure Synapse. Empirical testing (10,000–5 million records) shows that strategic denormalization combined with columnar storage optimization improves performance by up to 94%. Evaluating four key optimization techniques (Join Reduction, Columnar Storage, Query Complexity Optimization, Temporal Scaling Optimization), we find that denormalization initially increases storage needs by 16% (120 GB vs. 103.5 GB), but columnar compression reduces the final storage size by 50.4% (17.1 GB vs. 34.5 GB). The study provides practical insights into balancing query performance and data redundancy in high-speed IoT environments. Стаття досліджує вплив технік денормалізації на продуктивність запитів у сховищах даних IoT, зберігаючи прийнятну надлишковість даних. Проведено аналіз нормалізованих і денормалізованих підходів у середовищі розумних будинків на базі Azure Synapse. Емпіричні тести (10 000–5 млн записів) показали, що стратегічна денормалізація разом із колонковим зберіганням покращує продуктивність до 94%. Аналіз чотирьох технік оптимізації (Join Reduction, Columnar Storage, Query Complexity Optimization, Temporal Scaling Optimization) показав, що денормалізація збільшує початкові вимоги до сховища на 16% (120 ГБ vs. 103,5 ГБ), але ефективне стиснення зменшує кінцевий розмір на 50,4% (17,1 ГБ vs. 34,5 ГБ). Дослідження пропонує рекомендації щодо балансування продуктивності та надлишковості даних у високошвидкісних IoT-середовищах. IoT data warehouse, denormalization techniques, query optimization, columnar storage, data compression, smart home analytics, Azure Synapse, schema design, performance optimization, data redundancy Vinnytsia National Technical University 2025-06-18 Article Article application/pdf https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/785 10.31649/1681-7893-2025-49-1-72-81 Optoelectronic Information-Power Technologies; Vol. 49 No. 1 (2025); 72-81 Оптико-електроннi iнформацiйно-енергетичнi технологiї; Том 49 № 1 (2025); 72-81 Оптико-електроннi iнформацiйно-енергетичнi технологiї; Том 49 № 1 (2025); 72-81 2311-2662 1681-7893 10.31649/1681-7893-2025-49-1 en https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/785/716 |
| institution |
Optoelectronic Information-Power Technologies |
| baseUrl_str |
|
| datestamp_date |
2025-06-19T11:44:36Z |
| collection |
OJS |
| language |
English |
| topic |
сховище даних інтернету речей методи денормалізації оптимізація запитів стовпчасте сховище стиснення даних аналітика розумного дому Azure Synapse проектування схем оптимізація продуктивності надмірність даних |
| spellingShingle |
сховище даних інтернету речей методи денормалізації оптимізація запитів стовпчасте сховище стиснення даних аналітика розумного дому Azure Synapse проектування схем оптимізація продуктивності надмірність даних Талах, М.В. Дворжак, В.В. Ушенко, Ю.О. Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних |
| topic_facet |
IoT data warehouse denormalization techniques query optimization columnar storage data compression smart home analytics Azure Synapse schema design performance optimization data redundancy сховище даних інтернету речей методи денормалізації оптимізація запитів стовпчасте сховище стиснення даних аналітика розумного дому Azure Synapse проектування схем оптимізація продуктивності надмірність даних |
| format |
Article |
| author |
Талах, М.В. Дворжак, В.В. Ушенко, Ю.О. |
| author_facet |
Талах, М.В. Дворжак, В.В. Ушенко, Ю.О. |
| author_sort |
Талах, М.В. |
| title |
Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних |
| title_short |
Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних |
| title_full |
Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних |
| title_fullStr |
Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних |
| title_full_unstemmed |
Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних |
| title_sort |
методи денормалізації для сховищ даних iot: балансування продуктивності запитів і надлишковості даних |
| title_alt |
Denormalization techniques for IOT data warehouses: balancing query performance and data redundancy |
| description |
This article explores the impact of denormalization techniques on query performance in IoT data warehouses while maintaining acceptable data redundancy. It analyzes normalized and denormalized approaches in a smart home IoT environment using Azure Synapse. Empirical testing (10,000–5 million records) shows that strategic denormalization combined with columnar storage optimization improves performance by up to 94%. Evaluating four key optimization techniques (Join Reduction, Columnar Storage, Query Complexity Optimization, Temporal Scaling Optimization), we find that denormalization initially increases storage needs by 16% (120 GB vs. 103.5 GB), but columnar compression reduces the final storage size by 50.4% (17.1 GB vs. 34.5 GB). The study provides practical insights into balancing query performance and data redundancy in high-speed IoT environments. |
| publisher |
Vinnytsia National Technical University |
| publishDate |
2025 |
| url |
https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/785 |
| work_keys_str_mv |
AT talahmv denormalizationtechniquesforiotdatawarehousesbalancingqueryperformanceanddataredundancy AT dvoržakvv denormalizationtechniquesforiotdatawarehousesbalancingqueryperformanceanddataredundancy AT ušenkoûo denormalizationtechniquesforiotdatawarehousesbalancingqueryperformanceanddataredundancy AT talahmv metodidenormalízacíídlâshoviŝdanihiotbalansuvannâproduktivnostízapitívínadliškovostídanih AT dvoržakvv metodidenormalízacíídlâshoviŝdanihiotbalansuvannâproduktivnostízapitívínadliškovostídanih AT ušenkoûo metodidenormalízacíídlâshoviŝdanihiotbalansuvannâproduktivnostízapitívínadliškovostídanih |
| first_indexed |
2025-09-24T17:29:42Z |
| last_indexed |
2025-09-24T17:29:42Z |
| _version_ |
1850410285303595008 |