Использование параллельных вычислений в метеорологической модели WRF

Исследованы возможности применения алгоритмов распараллеливания для повышения быстродействия метеорологической модели WRF. Теоретически и экспериментально исследованы возможности алгоритма распараллеливания вычислений по областям. Представлена автоматическая система параллельного расчета независимых...

Повний опис

Збережено в:

Бібліографічні деталі
Опубліковано в: :	Математичні машини і системи
Дата:	2011
Автори:	Ковалец, И.В., Гузий, А.М.
Формат:	Стаття
Мова:	Russian
Опубліковано:	Інститут проблем математичних машин і систем НАН України 2011
Теми:	Моделювання і управління великими системами
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/83389
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Использование параллельных вычислений в метеорологической модели WRF / И.В. Ковалец, А.М. Гузий // Мат. машини і системи. — 2011. — № 1. — С. 90-95. — Бібліогр.: 4 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	nasplib_isofts_kiev_ua-123456789-83389
record_format	dspace
spelling	Ковалец, И.В. Гузий, А.М. 2015-06-19T11:45:42Z 2015-06-19T11:45:42Z 2011 Использование параллельных вычислений в метеорологической модели WRF / И.В. Ковалец, А.М. Гузий // Мат. машини і системи. — 2011. — № 1. — С. 90-95. — Бібліогр.: 4 назв. — рос. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/83389 004.9:504:519.6 Исследованы возможности применения алгоритмов распараллеливания для повышения быстродействия метеорологической модели WRF. Теоретически и экспериментально исследованы возможности алгоритма распараллеливания вычислений по областям. Представлена автоматическая система параллельного расчета независимых метеорологических сценариев. Досліджені можливості застосування алгоритмів розпаралелення для підвищення швидкодії метеорологічної моделі WRF. Теоретично й експериментально досліджені можливості алгоритму розпаралелення обчислень по областях. Представлена автоматична система паралельних розрахунків незалежних метеорологічних сценаріїв. Capabilities of parallel algorithms for improving efficiency of the meteorological model WRF are investigated. The method of domain decomposition is studied theoretically and experimentally. An automated system of parallel calculation of independent meteorological scenarios is presented. Работа была поддержана проектом CRDF, договор № UKG2-2971-KV-09, проектом с Госкоминформнауки, договор № М/122-2010 и Национальной программой внедрения ГРИД-технологий на 2009–2013 гг. ru Інститут проблем математичних машин і систем НАН України Математичні машини і системи Моделювання і управління великими системами Использование параллельных вычислений в метеорологической модели WRF Використання паралельних обчислень у метеорологічній моделі WRF Using parallel computations in meteorological model WRF Article published earlier
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
title	Использование параллельных вычислений в метеорологической модели WRF
spellingShingle	Использование параллельных вычислений в метеорологической модели WRF Ковалец, И.В. Гузий, А.М. Моделювання і управління великими системами
title_short	Использование параллельных вычислений в метеорологической модели WRF
title_full	Использование параллельных вычислений в метеорологической модели WRF
title_fullStr	Использование параллельных вычислений в метеорологической модели WRF
title_full_unstemmed	Использование параллельных вычислений в метеорологической модели WRF
title_sort	использование параллельных вычислений в метеорологической модели wrf
author	Ковалец, И.В. Гузий, А.М.
author_facet	Ковалец, И.В. Гузий, А.М.
topic	Моделювання і управління великими системами
topic_facet	Моделювання і управління великими системами
publishDate	2011
language	Russian
container_title	Математичні машини і системи
publisher	Інститут проблем математичних машин і систем НАН України
format	Article
title_alt	Використання паралельних обчислень у метеорологічній моделі WRF Using parallel computations in meteorological model WRF
description	Исследованы возможности применения алгоритмов распараллеливания для повышения быстродействия метеорологической модели WRF. Теоретически и экспериментально исследованы возможности алгоритма распараллеливания вычислений по областям. Представлена автоматическая система параллельного расчета независимых метеорологических сценариев. Досліджені можливості застосування алгоритмів розпаралелення для підвищення швидкодії метеорологічної моделі WRF. Теоретично й експериментально досліджені можливості алгоритму розпаралелення обчислень по областях. Представлена автоматична система паралельних розрахунків незалежних метеорологічних сценаріїв. Capabilities of parallel algorithms for improving efficiency of the meteorological model WRF are investigated. The method of domain decomposition is studied theoretically and experimentally. An automated system of parallel calculation of independent meteorological scenarios is presented.
issn	1028-9763
url	https://nasplib.isofts.kiev.ua/handle/123456789/83389
citation_txt	Использование параллельных вычислений в метеорологической модели WRF / И.В. Ковалец, А.М. Гузий // Мат. машини і системи. — 2011. — № 1. — С. 90-95. — Бібліогр.: 4 назв. — рос.
work_keys_str_mv	AT kovaleciv ispolʹzovanieparallelʹnyhvyčisleniivmeteorologičeskoimodeliwrf AT guziiam ispolʹzovanieparallelʹnyhvyčisleniivmeteorologičeskoimodeliwrf AT kovaleciv vikoristannâparalelʹnihobčislenʹumeteorologíčníimodelíwrf AT guziiam vikoristannâparalelʹnihobčislenʹumeteorologíčníimodelíwrf AT kovaleciv usingparallelcomputationsinmeteorologicalmodelwrf AT guziiam usingparallelcomputationsinmeteorologicalmodelwrf
first_indexed	2025-11-26T00:17:41Z
last_indexed	2025-11-26T00:17:41Z
_version_	1850599249039851520
fulltext	90 © Ковалец И.В., Гузий А.М., 2011 ISSN 1028-9763. Математичні машини і системи, 2011, № 1 УДК 004.9:504:519.6 И.В. КОВАЛЕЦ, А.М. ГУЗИЙ ИСПОЛЬЗОВАНИЕ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ В МЕТЕОРОЛОГИЧЕСКОЙ МОДЕЛИ WRF Анотація. Досліджені можливості застосування алгоритмів розпаралелення для підвищення шви- дкодії метеорологічної моделі WRF. Теоретично й експериментально досліджені можливості ал- горитму розпаралелення обчислень по областях. Представлена автоматична система паралель- них розрахунків незалежних метеорологічних сценаріїв. Ключові слова: метеорологічна модель, паралельні обчислення, менеджер управління завданнями. Аннотация. Исследованы возможности применения алгоритмов распараллеливания для повыше- ния быстродействия метеорологической модели WRF. Теоретически и экспериментально исследо- ваны возможности алгоритма распараллеливания вычислений по областям. Представлена авто- матическая система параллельного расчета независимых метеорологических сценариев. Ключевые слова: метеорологическая модель, параллельные вычисления, менеджер управления за- даниями. Аbstract. Capabilities of parallel algorithms for improving efficiency of the meteorological model WRF are investigated. The method of domain decomposition is studied theoretically and experimentally. An au- tomated system of parallel calculation of independent meteorological scenarios is presented. Key words: meteorological model, parallel computations, workload manager system. 1. Введение В последние годы мезомасштабные метеорологические модели все чаще используются для решения разнообразных практических задач, требующих детальных оценок метеорологи- ческих полей. Например, в работе [1] разработана оперативная прогностическая система на базе использования свободно распространяемой через Интернет мезомасштабной метеоро- логической модели WRF [2]. Эта система применяется в задачах реагирования на паводки, для моделирования изменений регионального климата в Украине и во многих других си- туациях [3]. Несмотря на огромное увеличение вычислительных мощностей в последние годы, вопрос о повышении вычислительной эффективности метеорологических моделей остается открытым. Это связано с чрезвычайно широким спектром атмосферних движений и, как следствие, ростом требований к пространственному разрешению метеорологических моделей. Например, в работе [3] было показано, что только расчеты с горизонтальным пространственным разрешением не меньше 3 км позволили правильно воспроизвести осадки в Закарпатье, приведшие к катастрофическому паводку в июле 2008 г. Поскольку в модели WRF используются явные схемы аппроксимации горизонтальных операторов, время расчетов зависит от горизонтального шага сетки при условии, что вертикальный шаг остается неизменным, как 33 ~\|1~ NhT , где h – горизонтальный шаг модели, а N – об- щее число вычислительной сетки. Отсюда понятно, что требования к вычислительным ре- сурсам очень быстро увеличиваются при уменьшении шага сетки. Данное затруднение может быть преодолено с использованием алгоритмов параллельных вычислений. Известной сложностью использования этого пути является увеличение количества операций обмена данными при росте количества процессоров, что приводит к известному эффекту насыщения. Поэтому существует необходимость получения оценок того, какой максимальный коэффициент ускорения за счет распараллеливания может быть достигнут в конкретной задаче и какое максимальное количество вычислительных узлов может потре- боваться для достижения максимальной эффективности. В данной работе проведено тео- ISSN 1028-9763. Математичні машини і системи, 2011, № 1 91 ретическое и экспериментальное исследование, позволяющее частично ответить на по- ставленный вопрос. С другой стороны, при наличии большого количества вычислительных узлов (в со- ставе вычислительного кластера или в сети ГРИД) они могут быть эффективно использо- ваны в случае, когда возникает необходимость пересчета большого количества независи- мых расчетных сценариев [4]. Для этого требуется разработать систему автоматизирован- ного запуска расчетов WRF на имеющихся узлах. Разработке такой системы посвящена данная работа. 2. Разбиение вычислений по областям В модели WRF применяется алгоритм разбиения вычислений по областям. Поскольку численные схемы, используемые в этой модели, явные по горизонтали и неявные по вертикали, вычислительная область разбивается вертикальными плоскостями на подобласти (рис. 1). Разбиение может осуществляться как перпендикулярными (случай, показанный на рис. 1), так и параллельными плоскостями (для этого случая на рис. 1 следует убрать границы вдоль одного из направлений). На каждом новом временном шаге значения в каждом внутреннем узле каждой подобласти (пересечения тонких линий на рис. 1) зависят только от значений в узлах, принадлежащих той же подобласти. Однако перед началом каждого нового временного шага процессу, ответственному за вычисле- ния в данной подобласти, должны быть пере- даны значения переменных в граничных уз- лах (границы подобластей показаны на рис. 1 толстыми линиями). Исходя из описанного алгоритма, исследуем зависимость количества процессов насыщения, а также максимального коэффициента повышения быстродействия от количества узлов сетки при разбиении области перпендикулярными плоскостями. Для простоты исследуем случай квадратной (в горизонтальной проекции) области, которая разбивается на подобласти с помощью проведения равного количества вертикальных сечений вдоль оси х и вдоль оси у (как на рис. 1). Пусть первоначально количество узлов вдоль каждой из осей x , y равно N , а количество сечений, которое проводится для разбиения на подобласти, – p . Например, в случае, показанном на рис. 1, 20=N , 5=p . При увеличении количества подобластей растет число узлов en , находящихся на границе между подобластями, в которых требуется производить обмен информацией. Действительно, количество подобластей равно 2p , а количество узлов вдоль периметра каждой из областей равно pN /4 . Таким образом, общее количество граничных узлов, в которых требуется производить обмен, равно en = (4Np2/p-4N)=4N(p-1). Из общего D1 D2 DN Рис. 1. Разбиение кубической вычислитель- ной области на подобласти (вид сверху). Толстые линии обозначают границы подоб- ластей. Пересечения тонких линий показы- вают узлы расчетной сетки. В данном слу- чае количество ячеек вдоль одной из сторон 20=N , количество делений на подобласти вдоль одной из сторон 5=p 92 ISSN 1028-9763. Математичні машини і системи, 2011, № 1 количества граничных узлов вычтены 4N узлов, расположенных вдоль внешней границы, в которых обмен не производится. Пусть время, необходимое для обмена информацией в одном узле, равно eT . Тогда общее время, затрачиваемое на обмен при рассматриваемом делении на подобласти, равно e4T (p-1). Пусть время, затрачиваемое на вычисления в одном узле, равно iT . Количество узлов, в которых проводятся вычисления, неизменно и равно 2N -4N (исключены узлы вдоль внешней границы). Однако при разбиении на 2p подобластей это время уменьшается пропорционально количеству подобластей и, соответственно, оно равно 2 iN(N-4)T /p . Складывая время, затрачиваемое на обмен данными с граничными узлами, и время вычислений, получаем общее время при независимом расчете в 2p подобластях: 2 e iT=4NT (p-1)+ N(N-4)T /p . (1) Минимальное значение T получается при 3 e i4NT -2N(N-4)T /p =0 и, соответственно, наилучшее p, при котором достигается наибольшее ускорение pmax=((N-4)Ti/(2Te)) 1/3. Таким образом, наиболее эффективное количество независимых процессов Lmax (количество процессов насыщения): 2 2/3 1/3 max maxL =p ~N ~M . (2) Здесь M – общее число узлов, которое, без ограничения общности, можно считать 2~N (число узлов по вертикали предполагается фиксированным). Подставляя полученное выше выражение для maxp в общее выражение для T, получим, что наименьшее время 4/3 minT ~N . Введем коэффициент ускорения 0K=T /T , где 2 0 iT =T (N -4N) – время вычислений без распараллеливания. Тогда, из изложенного выше, максимальный коэффициент повышения быстродействия за счет распараллеливания 2/3 1/3 max 0 minK =T /T ~N ~M . (3) Отметим, что исследованное выше разбиение на подобласти перпендикулярными плоскостями (одновременно в двух направлениях) принципиально отличается от разбие- ния параллельными плоскостями (ориентированными в одном направлении). Действи- тельно, повторяя приведенные рассуждения, получим, что общее время вычислений в слу- чае разбиения параллельными плоскостями e iT=2N(p-1)T +T N(N-4)/p, а коэффициенты уско- рения 1/2 1/2 1/4 max max maxL =p ~N , K ~N ~M . (4) То есть, максимальный коэффициент повышения эффективности расчетов растет с ростом количества узлов медленнее при разбиении на подобласти параллельными плоско- стями, чем при разбиении взаимно перпендикулярными плоскостями. 3. Результаты расчетов Для тестирования использовались следующие конфигурации модели WRF. А. Базовая конфигурация c двумя вложенными областями. Первая, объемлющая, область имеет размер 37х37 узлов с шагом сетки 81 км; вторая, рабочая, область имеет размер ISSN 1028-9763. Математичні машини і системи, 2011, № 1 93 Рис. 2. Зависимость времени 168 ч прогнозов модели WRF от количества процессов: для конфигурации с двумя вычислительными областями (сверху) и с тремя вычислительными областями (снизу) 1 10 100 1000 10000 0 10 20 30 В р е м я , м и н . Количество процессов А Б 73х73 узла с шагом сетки 27 км. Обе области полностью покрывают территорию Украи- ны. Б. Конфигурация с третьей вложенной областью, границы которой максимально прибли- жены к границам второй области, и с горизонтальным пространственным разрешением 9х9 км, 181х181 узлов. Параллельная версия модели WRF работает в пилотном режиме на вычислительном кластере ИПММС НАН Украины. Кластер состоит из 4 узлов, на каждом из которых установлено два 4-ядерных процессора Intel(R) Xeon(R) CPU E5405, 2,00Ghz и 16 Гб оперативной памяти. Опе- рационная система – Linux Fedora Core 8. Для ком- пиляции модели исполь- зовались Intel(R) MPI Library 3,2 for Linux, Intel Fortran Compiler 11,0, Intel C++ Compiler 11,0. На рис. 2 представ- лены зависимости времени расчетов 168 ч прогнозов для конфигураций А и Б. Как видно из рисунка, в случае конфигурации А насыщение происходит для 8 процессов. При этом максимальное достигнутое ускорение рас- параллеливания – в 3,5 раз. В случае конфигурации Б с тремя вычислительными областями (и, соответственно, с большим количеством вычислительных узлов) насыщение происходит при 16 процессах, а максимальный коэффициент ускорения за счет распараллеливания равняется 6,8 для WRF. Поскольку в конфигурации Б количество узлов приблизительно в 7 раз больше количества узлов в случае конфигурации А, то, согласно оценкам (2), (3), коэффициент ускорения и количество узлов насыщения в случае конфигурации Б должно быть приблизительно в 71/3 ≈2 раза больше, чем в случае конфигурации А, что согласуется с приведенными выше результатами расчетов. 4. Автоматизация параллельного расчета независимых сценариев Как видно из результатов предыдущего параграфа, повышение эффективности за счет ис- пользования параллельных вычислений ограничено. Однако при наличии большого коли- чества вычислительных узлов (в составе вычислительного кластера или в сети ГРИД) они могут быть эффективно использованы в случае, когда возникает необходимость пересчета большого количества независимых расчетных сценариев. Такая необходимость возникает, например, при введении новой параметризации в оперативную систему метеопрогноза, ко- гда требуется пересчитать большое количество метеорологических прогнозов за длитель- ный промежуток времени. В задачах моделирования региональных климатических изме- нений в масштабах ~10–100 лет также целесообразно разбить промежуток моделирования на интервалы длительностью около 1 месяца и рассчитывать их независимо друг от друга. В связи с этим обстоятельством была создана система параллельного расчета неза- висимых расчетных сценариев с помощью WRF, позволяющая эффективно использовать имеющиеся ресурсы. Система базируется на программе управления выполнением задач 94 ISSN 1028-9763. Математичні машини і системи, 2011, № 1 PBS (www.pbs.org) и состоит из следующих основных компонент (рис. 3): PBS, Главная программа Штамп проекта, Данные отдельных прогнозов. Главная програм- ма получает на вход спи- сок начальных дат, для которых надо сделать расчеты определенной длительности. Для каж- дой даты создается от- дельная рабочая папка, в которой содержатся ссылки на исполняемые файлы и на неизменные входные данные (нап- ример, географические), которые хранятся в от- дельной папке (Штамп проекта). Из той же папки в рабочие папки прогнозов копируются файлы, которые изме- няются для разных прогнозов (например, нэймлисты). Создав необходимое количество па- пок, соответствующих ссылок и копий файлов, главная программа подает на вход PBS задачу на выполнение исполняемого файла из каждой папки прогноза. Работа каждой за- дачи (прогноза) осуществляется в соответствующей папке. Для тестирования вычислительной эффективности системы были проведены расче- ты метеорологических полей в Закарпатье за период с 1 февраля 2008 г. по 30 сентября 2008 г. (7 месяцев). Расчеты проводились для следующей конфигурации вложенных облас- тей: 22х22, 28х28, 46х46, 91х91 узлов и с соответствующими горизонтальными простран- ственными шагами 81 км, 27 км, 9 км, 3 км. Расчет за период 7 месяцев разбивался на по- следовательность расчетов продолжительностью 7 дней. Через каждую неделю расчетов проводилась новая инициализация модели. Последовательный расчет метеорологических полей для семимесячного периода длился 308 часов, тогда как расчет с помощью описанной выше системы длился 81 ч, сле- довательно, было достигнуто ускорение почти в 4 раза. При этом, как показал анализ ис- пользования узлов кластера во время расчетов (количество задействованных узлов не кон- тролируется пользователем системы, а определяется PBS автоматически, в зависимости от загрузки кластера), в расчетах принимало участие не больше 5 узлов. Таким образом, по- лученное ускорение практически пропорционально количеству задействованных узлов. 5. Выводы В работе исследованы возможности применения алгоритмов параллельных вычислений для повышения быстродействия мезомасштабной метеорологической модели WRF. Полу- чены теоретические оценки для алгоритма разбиения вычислений по областям, используе- мого для повышения быстродействия модели WRF. Согласно этим оценкам, максималь- ный коэффициент повышения быстродействия и количество процессов, на которых дости- гается максимальное быстродействие, растет с количеством узлов сетки как 1/3~M при разбиении вычислительной области перпендикулярными вертикальными сечениями и как 1/4~M при разбиении области параллельными вертикальными сечениями. Эти оценки со- гласуются с результатами расчетов WRF: при увеличении количества узлов в 7 раз макси- мальный коэффициент повышения быстродействия и соответствующее количество про- цессов возросли в 2 раза. Таким образом, полученные оценки позволяют оценить требуе- Главная программа PBS Штамп WRF Проекта Прогноз 1 Прогноз 2 Прогноз 3 Папка прогноза 1 Папка прогноза 2 Папка прогноза 3 Рис. 3. Схема автоматизированной системы параллельных расчетов независимых сценариев c использованием WRF ISSN 1028-9763. Математичні машини і системи, 2011, № 1 95 мые вычислительные ресурсы для конкретной задачи, в которой требуется использовать модель WRF. При наличии большого количества расчетных узлов они могут быть использованы для расчета большого количества независимых расчетных сценариев с помощью автомати- зированной системы, представленной в данной работе. В этой системе, с помощью плани- ровщика задач PBS, расчеты распределяются на имеющиеся вычислительные узлы и, как показывают проведенные расчеты, коэффициент производительности таких расчетов прак- тически равен количеству используемых расчетных узлов. БЛАГОДАРНОСТИ Работа была поддержана проектом CRDF, договор № UKG2-2971-KV-09, проектом с Госкоминформнауки, договор № М/122-2010 и Национальной программой внедрения ГРИД-технологий на 2009–2013 гг. CПИСОК ЛИТЕРАТУРЫ 1. Система численного прогноза погоды WRF-Украина / А.М. Гузий, И.В. Ковалец, А.А. Кущан [и др.] // Математичні машини і системи. – 2008. – № 4. – С. 123 – 131. 2. A descpription of the advanced research WRF version 3. [Електронний ресурс] / W.C. Skamarock, J.B. Klemp, J. Dudhia [et al.] // NCAR Technical Note NCAR/TN-475+STR. National Center for Atmos- pheric Research. – Boulder, Colorado, 2008. – 125 p. – Режим доступу: http://wrf-model.org. 3. Model based approaches to water resource management in climate change conditions: case studies - Carpathian Watershed and Dnipro River Basin / M. Zheleznyak, I. Kovalets, O. Boyko [et al.] // Proc. of Int. Conf. “Global and Regional Climate Changes”, (Kyiv, Ukraine, 16–19 Nov. 2010). – Kyiv, Ukraine, 2010. – P. 66 – 68. 4. Grid implementation of the weather research and forecasting model / D. Davidovic, K. Skala, D. Belusic [et al.] // Earth Science Informatics. – 2010. – Vol. 3, N 4. – P. 199 – 208. Стаття надійшла до редакції 26.01.2011

Использование параллельных вычислений в метеорологической модели WRF

Репозитарії

Схожі ресурси