Оптимизация обработки больших масcивов данных в кластерных системах

• Date: 2010
• Main Authors: Назаренко, Е.В., Тульчинский, В.Г., Тульчинский, П.Г.
• Format: Article
• Language: Russian
• Published: Інститут програмних систем НАН України 2010
• Subjects: Паралельне програмування. Розподілені системи і мережі
• Online Access: https://nasplib.isofts.kiev.ua/handle/123456789/14689
• Journal Title: Digital Library of Periodicals of National Academy of Sciences of Ukraine
• Cite this: Оптимизация обработки больших масcивов данных в кластерных системах / Е.В. Назаренко, В.Г. Тульчинский, П.Г. Тульчинский// Пробл. програмув. — 2010. — № 2-3. — С. 149-154. — Бібліогр.: 34 назв. — рос.

Для задач параллельной обработки больших наборов данных узким местом, как правило, оказывается файловое хранилище. Рассмотрено влияние упаковки данных на скорость вычислений. На основе ранее разработанной модели получены оценки минимального времени выполнения программ с учетом времени упаковки/распаковки и коэффициента сжатия данных. Полученные оценки опробованы на примере сжатия временных кубов для ускорения процедуры миграции сейсмограмм. For tasks of massive dataset processing the file storage usually provided to be a bottleneck. The data compression affect on computation speed is examined. On the base of the earlier built model the minimal execution time estimates with accounting the pack/unpack time and the data compression coefficient are obtained. The obtained estimates have been verified on the sample of time cubes compression for acceleration of seismic migration procedure.