Real-time Method of Accurate Unique IPs Counting Across High Number of Distinct Dimensions and Distinct Time Frames for Big Data Systems

• Опубліковано в: : Электронное моделирование
• Дата: 2016
• Автори: Valialkin, A.V., Konashevych, O.I.
• Формат: Стаття
• Мова: Англійська
• Опубліковано: Інститут проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України 2016
• Теми: Вычислительные процессы и системы
• Онлайн доступ: https://nasplib.isofts.kiev.ua/handle/123456789/115757
• Назва журналу: Digital Library of Periodicals of National Academy of Sciences of Ukraine
• Цитувати: Real-time Method of Accurate Unique IPs Counting Across High Number of Distinct Dimensions and Distinct Time Frames for Big Data Systems / A.V. Valialkin, O.I. Konashevych // Электронное моделирование. — 2016. — Т. 38, № 3. — С. 63-73. — Бібліогр.: 9 назв. — англ.

The article describes a method which allows counting unique IP addresses within 10 bln of system events per day across high number of distinct dimensions (tuples). Log-based and probability-based methods showed unsatisfactory results. The proposed method allows avoiding excessive resource usage (RAM...