Методи денормалізації для сховищ даних IOT: балансування продуктивності запитів і надлишковості даних

• Дата: 2025
• Автори: Талах, М.В., Дворжак, В.В., Ушенко, Ю.О.
• Формат: Стаття
• Мова: English
• Опубліковано: Vinnytsia National Technical University 2025
• Теми: сховище даних інтернету речей; методи денормалізації; оптимізація запитів; стовпчасте сховище; стиснення даних; аналітика розумного дому; Azure Synapse; проектування схем; оптимізація продуктивності; надмірність даних
• Онлайн доступ: https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/785
• Назва журналу: Optoelectronic Information-Power Technologies

 This article explores the impact of denormalization techniques on query performance in IoT data warehouses while maintaining acceptable data redundancy. It analyzes normalized and denormalized approaches in a smart home IoT environment using Azure Synapse. Empirical testing (10,000–5 million records) shows that strategic denormalization combined with columnar storage optimization improves performance by up to 94%. Evaluating four key optimization techniques (Join Reduction, Columnar Storage, Query Complexity Optimization, Temporal Scaling Optimization), we find that denormalization initially increases storage needs by 16% (120 GB vs. 103.5 GB), but columnar compression reduces the final storage size by 50.4% (17.1 GB vs. 34.5 GB). The study provides practical insights into balancing query performance and data redundancy in high-speed IoT environments.