Оптимизация обработки больших масcивов данных в кластерных системах

• Дата: 2010
• Автори: Назаренко, Е.В., Тульчинский, В.Г., Тульчинский, П.Г.
• Формат: Стаття
• Мова: Російська
• Опубліковано: Інститут програмних систем НАН України 2010
• Теми: Паралельне програмування. Розподілені системи і мережі
• Онлайн доступ: https://nasplib.isofts.kiev.ua/handle/123456789/14689
• Назва журналу: Digital Library of Periodicals of National Academy of Sciences of Ukraine
• Цитувати: Оптимизация обработки больших масcивов данных в кластерных системах / Е.В. Назаренко, В.Г. Тульчинский, П.Г. Тульчинский// Пробл. програмув. — 2010. — № 2-3. — С. 149-154. — Бібліогр.: 34 назв. — рос.

Для задач параллельной обработки больших наборов данных узким местом, как правило, оказывается файловое хранилище. Рассмотрено влияние упаковки данных на скорость вычислений. На основе ранее разработанной модели получены оценки минимального времени выполнения программ с учетом времени упаковки/распаковки и коэффициента сжатия данных. Полученные оценки опробованы на примере сжатия временных кубов для ускорения процедуры миграции сейсмограмм. For tasks of massive dataset processing the file storage usually provided to be a bottleneck. The data compression affect on computation speed is examined. On the base of the earlier built model the minimal execution time estimates with accounting the pack/unpack time and the data compression coefficient are obtained. The obtained estimates have been verified on the sample of time cubes compression for acceleration of seismic migration procedure.