Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації
У статті представлено специфіку основних проблем застосування комп'ютерного моделювання в гуманітарних і екологічних дослідженнях. Описані переваги використання Grid-кластера для паралельної обробки інформації у вищевказаних галузях. Обґрунтовується вибір стратегії для створення експериментальн...
Gespeichert in:
| Veröffentlicht in: | Математичні машини і системи |
|---|---|
| Datum: | 2011 |
| Hauptverfasser: | , , |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
Інститут проблем математичних машин і систем НАН України
2011
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/83391 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації / В.В. Храмов, О.О. Судаков, М.В. Кононов // Мат. машини і системи. — 2011. — № 1. — С.103-111. — Бібліогр.: 19 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-83391 |
|---|---|
| record_format |
dspace |
| spelling |
Храмов, В.В. Судаков, О.О. Кононов, М.В. 2015-06-19T11:50:00Z 2015-06-19T11:50:00Z 2011 Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації / В.В. Храмов, О.О. Судаков, М.В. Кононов // Мат. машини і системи. — 2011. — № 1. — С.103-111. — Бібліогр.: 19 назв. — укр. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/83391 681.3;504.75;004.75 У статті представлено специфіку основних проблем застосування комп'ютерного моделювання в гуманітарних і екологічних дослідженнях. Описані переваги використання Grid-кластера для паралельної обробки інформації у вищевказаних галузях. Обґрунтовується вибір стратегії для створення експериментального обчислювального Grid-кластера. Експериментально доводиться, що вибраний підхід з застосуванням кластерних технологій та методів паралельної обробки інформації є ефективним для цих задач. Наведено особливості побудови і перші результати використання обчислювального Grid-кластера на основі запропонованої стратегії. В статье представлена специфика основных проблем применения компьютерного моделирования в гуманитарных и экологических исследованиях. Описаны преимущества использования Grid-кластера для параллельной обработки информации в вышеуказанных отраслях. Обосновывается выбор стратегии для создания экспериментального вычислительного Grid--кластера. Экспериментально доказывается, что предложенный подход с применением кластерных технологий и методов параллельной обработки информации является эффективным для задач данного класса. Приведены особенности построения и первые результаты использования вычислительного Grid-кластера на основе предложенной стратегии. Specifics of main problems of computer modeling in humanitarian and environmental studies is presented. Advantages of using Grid-cluster for parallel information processing in these areas are described. The choice of a strategy for the creation of a pilot computing Grid-cluster is substantiated. The proposed approach using cluster technologies and parallel information processing methods is experimentally proven to be effective for the given class of problems. Peculiarities of construction and first usage results of the computational Grid-cluster based on the proposed strategy are revealed. uk Інститут проблем математичних машин і систем НАН України Математичні машини і системи Моделювання і управління великими системами Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації Первый Крымский экспериментальный вычислительный Grid-ресурс: создание и первые результаты испытаний и эксплуатации First Crimean experimental Grid-creation and the first results from exploitation Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації |
| spellingShingle |
Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації Храмов, В.В. Судаков, О.О. Кононов, М.В. Моделювання і управління великими системами |
| title_short |
Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації |
| title_full |
Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації |
| title_fullStr |
Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації |
| title_full_unstemmed |
Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації |
| title_sort |
перший кримський експериментальний обчислювальний grid-ресурс: створення і перші результати випробувань і експлуатації |
| author |
Храмов, В.В. Судаков, О.О. Кононов, М.В. |
| author_facet |
Храмов, В.В. Судаков, О.О. Кононов, М.В. |
| topic |
Моделювання і управління великими системами |
| topic_facet |
Моделювання і управління великими системами |
| publishDate |
2011 |
| language |
Ukrainian |
| container_title |
Математичні машини і системи |
| publisher |
Інститут проблем математичних машин і систем НАН України |
| format |
Article |
| title_alt |
Первый Крымский экспериментальный вычислительный Grid-ресурс: создание и первые результаты испытаний и эксплуатации First Crimean experimental Grid-creation and the first results from exploitation |
| description |
У статті представлено специфіку основних проблем застосування комп'ютерного моделювання в гуманітарних і екологічних дослідженнях. Описані переваги використання Grid-кластера для паралельної обробки інформації у вищевказаних галузях. Обґрунтовується вибір стратегії для створення експериментального обчислювального Grid-кластера. Експериментально доводиться, що вибраний підхід з застосуванням кластерних технологій та методів паралельної обробки інформації є ефективним для цих задач. Наведено особливості побудови і перші результати використання обчислювального Grid-кластера на основі запропонованої стратегії.
В статье представлена специфика основных проблем применения компьютерного моделирования в гуманитарных и экологических исследованиях. Описаны преимущества использования Grid-кластера для параллельной обработки информации в вышеуказанных отраслях. Обосновывается выбор стратегии для создания экспериментального вычислительного Grid--кластера. Экспериментально доказывается, что предложенный подход с применением кластерных технологий и методов параллельной обработки информации является эффективным для задач данного класса. Приведены особенности построения и первые результаты использования вычислительного Grid-кластера на основе предложенной стратегии.
Specifics of main problems of computer modeling in humanitarian and environmental studies is presented. Advantages of using Grid-cluster for parallel information processing in these areas are described. The choice of a strategy for the creation of a pilot computing Grid-cluster is substantiated. The proposed approach using cluster technologies and parallel information processing methods is experimentally proven to be effective for the given class of problems. Peculiarities of construction and first usage results of the computational Grid-cluster based on the proposed strategy are revealed.
|
| issn |
1028-9763 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/83391 |
| citation_txt |
Перший Кримський експериментальний обчислювальний Grid-ресурс: створення і перші результати випробувань і експлуатації / В.В. Храмов, О.О. Судаков, М.В. Кононов // Мат. машини і системи. — 2011. — № 1. — С.103-111. — Бібліогр.: 19 назв. — укр. |
| work_keys_str_mv |
AT hramovvv peršiikrimsʹkiieksperimentalʹniiobčislûvalʹniigridresursstvorennâíperšírezulʹtativiprobuvanʹíekspluatacíí AT sudakovoo peršiikrimsʹkiieksperimentalʹniiobčislûvalʹniigridresursstvorennâíperšírezulʹtativiprobuvanʹíekspluatacíí AT kononovmv peršiikrimsʹkiieksperimentalʹniiobčislûvalʹniigridresursstvorennâíperšírezulʹtativiprobuvanʹíekspluatacíí AT hramovvv pervyikrymskiiéksperimentalʹnyivyčislitelʹnyigridresurssozdanieipervyerezulʹtatyispytaniiiékspluatacii AT sudakovoo pervyikrymskiiéksperimentalʹnyivyčislitelʹnyigridresurssozdanieipervyerezulʹtatyispytaniiiékspluatacii AT kononovmv pervyikrymskiiéksperimentalʹnyivyčislitelʹnyigridresurssozdanieipervyerezulʹtatyispytaniiiékspluatacii AT hramovvv firstcrimeanexperimentalgridcreationandthefirstresultsfromexploitation AT sudakovoo firstcrimeanexperimentalgridcreationandthefirstresultsfromexploitation AT kononovmv firstcrimeanexperimentalgridcreationandthefirstresultsfromexploitation |
| first_indexed |
2025-11-27T05:34:26Z |
| last_indexed |
2025-11-27T05:34:26Z |
| _version_ |
1850799068525101056 |
| fulltext |
© Храмов В.В., Судаков О.О., Кононов М.В., 2011 103
ISSN 1028-9763. Математичні машини і системи, 2011, № 1
УДК 681.3;504.75;004.75
В.В. ХРАМОВ, О.О. СУДАКОВ, М.В. КОНОНОВ
ПЕРШИЙ КРИМСЬКИЙ ЕКСПЕРИМЕНТАЛЬНИЙ ОБЧИСЛЮВАЛЬНИЙ
GRID-РЕСУРС: СТВОРЕННЯ І ПЕРШІ РЕЗУЛЬТАТИ ВИПРОБУВАНЬ І
ЕКСПЛУАТАЦІЇ
Анотація. У статті представлено специфіку основних проблем застосування комп'ютерного
моделювання в гуманітарних і екологічних дослідженнях. Описані переваги використання Grid-
кластера для паралельної обробки інформації у вищевказаних галузях. Обґрунтовується вибір
стратегії для створення експериментального обчислювального Grid-кластера. Експериментально
доводиться, що вибраний підхід з застосуванням кластерних технологій та методів паралельної
обробки інформації є ефективним для цих задач. Наведено особливості побудови і перші
результати використання обчислювального Grid-кластера на основі запропонованої стратегії.
Ключові слова: Grid, кластер, проміжне програмне забезпечення.
Аннотация. В статье представлена специфика основных проблем применения компьютерного
моделирования в гуманитарных и экологических исследованиях. Описаны преимущества использо-
вания Grid-кластера для параллельной обработки информации в вышеуказанных отраслях. Обос-
новывается выбор стратегии для создания экспериментального вычислительного Grid-кластера.
Экспериментально доказывается, что предложенный подход с применением кластерных техноло-
гий и методов параллельной обработки информации является эффективным для задач данного
класса. Приведены особенности построения и первые результаты использования вычислительного
Grid-кластера на основе предложенной стратегии.
Ключевые слова: Grid, кластер, промежуточное программное обеспечение.
Abstract. Specifics of main problems of computer modeling in humanitarian and environmental studies is
presented. Advantages of using Grid-cluster for parallel information processing in these areas are de-
scribed. The choice of a strategy for the creation of a pilot computing Grid-cluster is substantiated. The
proposed approach using cluster technologies and parallel information processing methods is experimen-
tally proven to be effective for the given class of problems. Peculiarities of construction and first usage
results of the computational Grid-cluster based on the proposed strategy are revealed.
Key words: Grid, cluster, middleware.
1. Вступ
Метою проекту побудови першого Кримського експериментального Grid-кластера є необ-
хідність вирішення актуальних завдань у галузі екології, соціології, економіки. До таких
задач належить, зокрема, прогнозування лісових пожеж і їх запобігання. Особливо актуа-
льною є проблема оцінки інтенсивності пожеж і зв'язку частоти їх появи з певними причи-
нами. Важливою задачею є оцінка інтенсивності забруднень води на виході з очисних спо-
руд у зв'язку з об'ємом води, що очищається, і пропускною спроможністю очисних споруд.
Потребує вирішення проблема аналізу погодних умов з прогнозуванням таких небезпеч-
них явищ, як зливові дощі, атмосферні вихори, смерчі, шторми та ін. З цими задачами
пов’язана комп'ютерна картографія: розробка і впровадження оперативних способів відо-
браження екологічної інформації на картах. До цієї галузі належать задачі економічного
прогнозування, моделювання ринку, аналізу соціологічних досліджень та ін.
У Таврійському гуманітарно-екологічному інституті у місті Сімферополі створено
матеріальну базу і у них є досвід експериментальних та теоретичних досліджень у галузі
гуманітарних наук, проводяться наукові конференції і симпозіуми, функціонує комп'ютер-
ний центр з можливістю виходу в Інтернет, розвинена інфраструктура локальної мережі з
великою кількістю ресурсів: інформаційні портали й бібліотеки, інтелектуальні бази даних
і форуми, поштова система.
104 ISSN 1028-9763. Математичні машини і системи, 2011, № 1
Наприкінці 2008 року в ТГЕІ був запущений перший Кримський експерименталь-
ний Grid-ресурс [1] (http://cluster.crimea.ua), підключений до Українського академічного
сегмента Grid (http://uag.bitp.kiev.ua). В Українському академічному сегменті центром сер-
тифікації Grid (https://www.uagrid.org) для кластера були отримані цифрові сертифікати
безпеки X.509 [2] і здійснено його підключення до Українського академічного сегмента
Grid [3].
З того часу почалося його активне налагодження і тестування. Предметом статті є
опис особливостей архітектури даного ресурсу і результати його тестування.
2. Приклади гуманітарно-екологічного моделювання
Прикладом досліджень у галузі екології може служити Європейський центр передбачення
погоди (ECMWF) [4] у Сполученому Королівстві, який зараз обслуговує 560 активних
споживачів і опрацьовує 40 000 пошукових запитів щодня, залучаючи дані з-понад 2 000
000 метеорологічних постачальників. Кожного дня додається інформація з близько 4 000
000 інших джерел, що становить приблизно 0,5 терабайт нових даних. Сховище таких да-
них зараз містить близько 330 терабайт. Зростання в об'ємі метеорологічних даних стано-
вить близько 80% за рік. На даний момент створено багато національних послуг щодо пе-
редбачення погоди, таких як Німецький Синоптичний Центр DWD (Deutscher
Wetterdienst), які прогнозують погоду на ділянках з розміром менше 10 км, використовую-
чи моделі NWP, до чотирьох разів день, щоб забезпечити необхідні дані для громадськості.
Виконання моделей NWP є складною обчислювальною задачею: 48-годинне передбачення
утворює близько 20 Гбайт даних. Крім того, короткий прогноз погоди – це критичне за-
вдання за часом, яке потрібно завершити менш, ніж за дві години. Тому тільки обчислюва-
льні центри високої продуктивності (HPC) здатні виконувати такі прогнози.
Актуальним для Криму є завдання моделювання лісових пожеж. У найзагальнішому
вигляді моделювання зводиться до оцінки імовірнісного зв'язку між частотою пожеж і їх
причинами, а також перевірки інших статистичних гіпотез, таких як оцінка статистичних
розподілів інтенсивностей пожеж у різних місцях. Такі завдання зводяться до системи ди-
ференціальних рівнянь відносно функції розподілу, математичного очікування, дисперсії і
т.д. Процес моделювання включає такі етапи: 1) введення даних, 2) групування і ранжиру-
вання даних, 3) обробка даних емпіричною функцією розподілу, інтерполяція, створення
лінії тренда, 4) порівняння експериментальних даних з теоретичними, 5) перевірка гіпотези
щодо 2Χ – розподілу, 6) завантаження даних в екологічний Grid або збереження в розпо-
діленій базі даних, 7) уточнення параметрів емпіричного розподілу ітераційними метода-
ми. Типовий час моделювання при використанні інтерактивного програмного забезпечення
Mathcad [5], Statistika [6], Exel [7] на одному робочому місці оператора сягає не менше, ніж
40 хвилин.
Використання паралельної обробки ( N процесорів) дає можливість істотно знизити
час обрахунку. Враховуючи досвід моделювання з використанням інтерактивних систем,
кластер з 15 вузлів дасть можливість обробляти дані в об'ємі, рівному кількості вузлів, по-
множеному на час моделювання одного завдання, і працювати з різними тестовими набо-
рами параметрів, що відповідає реальним практичним вимогам імітаційного моделювання.
Як показали експерименти, час моделювання поширення пожеж за допомогою пакета FDS
на робочій станції з піковою продуктивністю 7,2 Gflops (виміряна ~3,2 Gflops) склала 20
годин, що не прийнятно для практичного використання, оскільки обчислення мають бути
закінчені за час порядку 12 годин, щоб отримати результати наступного дня, тобто проду-
ктивність має бути близько 14 Gflops.
Багато завдань моделювання, у тому числі в галузі гуманітарно-екологічних дослі-
джень, зводяться до вирішення комплексу диференціальних рівнянь такими методами, як
Монте-Карло, Гауса, Лапласcа, Рунге-Кутта [8]. При обчисленнях виконується обробка ве-
ISSN 1028-9763. Математичні машини і системи, 2011, № 1 105
ликих масивів даних, яка вимагає значних ресурсів і неможлива без використання сучас-
них багатопроцесорних систем. Конкретний вигляд рівнянь залежить від моделі досліджу-
ваних процесів. Використання Grid-технологій дозволяє, маючи незначні ресурси кластера,
який використовується для введення і зберігання даних, отримувати високу продуктив-
ність за рахунок використання інших ресурсів Grid-системи. Дана робота присвячена зада-
чі створення і організації роботи обчислювального Grid-ресурсу. Конкретні моделі будуть
представлені в подальших публікаціях.
3. Архітектура
Grid-ресурс складається з багатопроцесорного кластера і спеціалізованого Grid -шлюза, що
знаходиться на головному вузлі і здійснює зв'язок з Grid-інфраструктурою для заванта-
ження завдань і обміну інформацією.
Структура і характеристики кластера: вузлів-8,12 ядер-4 x 2 CPU AMD 64bit 1000-
4000 GHz + 4 x 1 CPU I686 PIII-700 MHz, RAM6Gb, HDD -8-80Gb, мережа GigabitEthernet
1000Mbit +(2Mbit WAN), NAS 1,5 TВ. Програмне забезпечення: Linux Fedora Core10 PBS
torque [9] MPI середовище-open MPI [10], системи моніторінга: ganglia, lm_sensors,
MRTG+RRD. Доступ до вузлів здійснюється за протоколом ssh і rsh.
Для кластера вибрано програмне забезпечення Grid проміжного рівня (middleware)
ARC (Advanced Resource Connector), що також відоме під назвою проекту NorduGrid [11,
14, 16].
Мультикомп’ютерна архітектура Беовульф [13], що застосовувалася для паралель-
них обчислень. Це система, що звичайно складається з одного серверного вузла і декількох
клієнтських вузлів, сполучених за допомогою мережевої топології Ethernet. Система побу-
дована з готових промислових компонентів, стандартних адаптерів Ethernet і комутаторів,
не містить специфічних апаратних компонентів і легко відтворюється. Беовульф також ви-
користовує програмні продукти, такі як ОС Linux, середовище програмування Parallel
Virtual Machine (PVM) і Message Passing Interface (MPI). Серверний вузол керує всім клас-
тером і є файловим сервером для клієнтських вузлів. Він також є вузлом доступу до клас-
тера і шлюзом у зовнішню мережу.
Головною сполучною ланкою кластера Беовульф із зовнішнім світом, а також з ін-
терфейсом для завантаження завдань на кластер і здійснення моніторингу, стала Grid-
система.
Для Grid-кластера було вибрано програмне забезпечення проміжного рівня
(middleware) ARC (Advanced Resource Connector), що також відоме під назвою проекту
NorduGrid [16]. Вибір ARC базується на таких методологічних положеннях:
1) ARC – це вільно поширювана програмна система з відкритим кодом, яка має ви-
черпну документацію щодо установки і підтримки;
2) ARC не орієнтована на певну область прикладних обчислень (фізика, хімія), а є
загальносистемним програмним забезпеченням для побудови Grid-систем;
3) ARC не вимагає спеціальних умов до установки (операційна система, система
управління локальними завданнями і т.д.), що дозволяє встановити необхідні Grid-сервіси
на вже працюючих обчислювальних ресурсах;
4) ARC дозволяє підключати нові обчислювальні ресурси без змін і порушень у ро-
боті існуючого сегмента.
4. Інфраструктура ARC (Advanced Resource Connector) [11]
Основні архітектурні вирішення ARC дотримуються загальноприйнятих підходів до побу-
дови Grid. При ній використовується організація ресурсів, аналогічна тій, яка застосову-
ється у проекті EU DataGrid [15].
106 ISSN 1028-9763. Математичні машини і системи, 2011, № 1
Рис. 1. Структурна схема з’єднання Grid-ресурсу з інфраструктурою
ARC забезпечує такі функції:
1) інформаційні (збір і надання інформації про ресурси Grid -системи);
2) динамічне включення ресурсів до Grid -системи і їх моніторинг;
3) відправлення завдань і виконання їх у Grid-системі, а так само подальше управ-
ління їх завданнями;
4) розподіл завдань за ресурсами;
5) управління даними і ресурсами.
На рис. 1 представлена структурна схема з'єднання Grid-ресурсу з інфраструктурою
[11]. Нижче представлений короткий опис основних компонентів.
Програмне забезпечення проміжного рівня ARC [11] являє собою надбудову над ін-
струментами Globus Toolkit 2 (GT2). Відмінною рисою NorduGrid ARC є те, що, хоча ця
платформа і спирається на протоколи GT2 і реалізована за допомогою API GT2, в ній за-
пропонований власний набір служб, який замінює служби GT2. ARC не використовує ін-
струменти із складу Globus: GRAM-компоненти (Globus Resource Allocation Manager), від-
повідальні за створення і видалення процесів; утиліти управління завданнями; Gatekeeper і
скрипти Job-manager, сервер Wuftp, схеми і інформаційні постачальники MDS (Monitoring
and Discovery Service). Зате ARC пропонує власні засоби: Grid – Manager (сервіс-
управління завданнями користувачів); gridftp (сервіс – передачі файлів – ARC/NorduGrid
GRIDFTP server); User Interface (інтерфейс користувача); Broker (планувальник завдань);
систему моніторингу. Окрім цього, упроваджена нова інформаційна схема, для якої розро-
блені постачальники даних і розширена мова опису ресурсів (xRSL). Інтерфейс користува-
ча (UI) є ключовим сервісом, який був розроблений в рамках проекту NorduGrid [16]. Він
призначений для забезпечення запуску завдань користувачів Grid-системи і управління ви-
конувальними завданнями.
Інтерфейс користувача являє собою набір команд для запуску, моніторингу і управ-
ління завданнями, а також переміщення файлів і здобуття інформації про достаток ресур-
сів.
Усі функції реалізовані у вигляді служб, які спираються на відомі програмні засоби
з відкритим кодом: OPENLDAP (Lightweight Directory Access Protocol), OPENSSL (Open
Secure Socket Layer) і SASL (Simple Authentication Security Layer). Реалізація здійснена на
ISSN 1028-9763. Математичні машини і системи, 2011, № 1 107
Рис. 2. Структурна схема програмного забезпечення кластера
основі бібліотек Globus Toolkit 2 (GT2), безпека досягається шляхом використання прото-
колів та інфраструктурних вирішень GSI (Grid Security Infrastructure), заснованих на надій-
ній і поширеній інфраструктурі криптографії з відкритим ключем (Public Кеу Infrastructure
– PKI).
При розробці ARC формувалася мета створення програмного забезпечення високої
якості, специфікою досягнення якої є принцип максимальної і повної децентралізації. То-
му на кожному робочому місці користувача Grid-мережі встановлюється персональний
брокер, функція якого – вибір якнайкращого ресурсу для виконання завдання користувача,
яке необхідно реалізувати в Grid-мережі. Цей підхід відрізняє ARC від централізованої
схеми EU DataGrid [15] з єдиним брокером на всіх робочих місцях.
Інформаційна система ARC є розподіленою динамічною системою, що надає інфо-
рмацію про розміщення ресурсів в Grid-середовищі і використання для роботи MDS
(Monitoring and Discovery Service) – інформаційної системи Globus [17]. Стандартний пакет
MDS є відкритим інструментарієм для створення інформаційної системи для Grid і побу-
дований на базі програмного забезпечення OPENLDAP. Дані, що збираються інформацій-
ною системою, можуть бути найрізноманітнішими і містити, наприклад, дані про конфігу-
рацію або достаток як всієї системи, так і окремих її ресурсів (тип ресурсу, доступний дис-
ковий простір, кількість процесорів, об'єм пам'яті, продуктивність та ін.). Вся інформація
логічно організована у вигляді дерева, і доступ до неї здійснюється за стандартним прото-
колом LDAP – псевдорозподіленої бази даних.
5. Схема програмного
забезпечення кластера
На рис. 2 наведена схема про-
грамного забезпечення клас-
тера і вказаний взаємозв'язок
службових компонентів: tty-
ldap – механізм авторизації
користувачів через сервер
ldap, PBS server – Portable
Batch System – система
управління завданнями для
високопродуктивних обчис-
лювальних кластерів спільно
з scheduler – планувальником
і mom – клієнтом, встановле-
ним на всіх вузлах кластера.
Вони розподіляють, плану-
ють і встановлюють по черзі
завдання для виконання на
кластері. NFS-server [18] ви-
користовується як сховище
інформації, за допомогою
якого на всіх вузлах підклю-
чені мережеві каталоги. Rsh-ssh- безпарольна авторизація, що забезпечує вхід до вузлів і
копіювання інформації в середовищі - MPI. Базові служби (cron, sendmail, ganglia,
lm_sensors, syslog, smartd) [19] виконують основну роботу linux-систем на робочих станці-
ях і на головній станції – frond-end node і проводять моніторинг та діагностику.
108 ISSN 1028-9763. Математичні машини і системи, 2011, № 1
6. Tестуваня Grid-ресурсу
Тестування продуктивності обчислювального кластера проводилося у декілька етапів: тес-
тування і діагностика апаратного забезпечення, установка і оптимізація операційної систе-
ми Linux-Fedora core 10, налагодження сервісів (sshd, rshd, NFS, ganglia+RRDtool,
lm_sensors, apache+php+mysql, openldap, менеджера ресурсів і системи черг PBS TORQUE-
2.3.6 [9]), установка програмного забезпечення, що підтримує технологію паралельного
програмування MPI,OPENMPI, налагодження на front-end станції програмного забезпечен-
ня Grid-(middleware) Arc – nordugrid [16].
З метою оцінки процесорної продуктивності кластера було використано набір ши-
роковживаних тестів High Performance Linpack Benchmark. Тест полягає у вирішенні сис-
теми лінійних алгебраїчних рівнянь вигляду fAx = методом LU-факторизації з вибором
провідного елемента стовпця, де A – щільно заповнена матриця заданої розмірності (в да-
них тестах 5000x5000). Продуктивність у тесті Linpack вимірюється в кількості виконува-
них операцій з плаваючою комою в секунду (флопс). Оскільки кількість операцій, необ-
хідна для вирішення цієї задачі, відома і залежить від її розмірності N , то вимірювана ха-
рактеристика продуктивності обраховується як частка від ділення числа операцій на час,
витрачений на вирішення задачі. Матриці (і деякі інші параметри) не є фіксованими, а за-
даються користувачем тесту. Виміряна продуктивність кластера склала ~9,1 Gflops при пі-
ковій ~16,4 Gflops, що відповідає ефективності використання процесорної потужності при
паралельній обробці ~56%. Таке значення ефективності пояснюється сильним впливом
пропускної спроможності мережі передачі і гетерогенністю кластера. Слід також зауважи-
ти, що в тесті Linpack кількість процесорних операцій є ( )3NO , а кількість операцій пере-
дачі даних – ( )2NO . В задачах моделювання, для яких будується кластер, у більшості ви-
падків передача даних між процесорами буде відсутня (статистичне моделювання) або ма-
триця системи буде розріджена (розв’язання рівнянь переносу), і кількість операцій пере-
дачі даних не буде залежати від N при заданій кількості процесорів. Отже, для таких за-
дач ефективність системи буде значно вищою.
З метою вимірювання пропускної спроможності комунікаційної підсистеми класте-
ра для програм, побудованих з використанням технології MPI, застосовувався пакет mpi-
bench-suite-1.1 (parallel.ru) [15]. Цей тест вимірює час обміну повідомленнями між процес-
сами паралельної програми в різних топологіях. У даному випадку розглядаються три ло-
гічні топології.
Повний граф (Chaos) – взаємодія кожного процесу з кожним. Ця топологія вжива-
ється в задачах з нерегулярними зв’язками, таких, як нейронні мережі.
Зірка (Star) – взаємодія основного процесу з підлеглими. Дана топологія використо-
вується в централізованих схемах планування, зокрема, при статистичному моделюванні.
Кільце (Ring) – взаємодія кожного процесу з наступним. Ця топологія відповідає
конвеєрній обробці.
Під логічним каналом мається на увазі неурегульована пара вузлів (А,b), які в даній
топології можуть обмінюватись повідомленнями. Логічна топологія повністю визначається
всією сукупністю задіяних логічних каналів. Для кожної топології розглядаються однона-
правлені і двонаправлені обміни. По кожному логічному каналу між вузлами А і В інфор-
мація в ході тесту передається в обидві сторони: від вузла А до вузла B і назад передається
по L байт інформації. Проте в разі однонаправлених обмінів один з вузлів, наприклад, В,
чекає надходження повідомлення від А і лише тоді може передавати А своє повідомлення.
У другому ж випадку інформація може передаватися в обидві сторони одночасно. Конкре-
тні способи організації пересилок засобами MPI (блокуючі, неблокуючі пересилки) тут не
регламентуються; передбачається, що зі всіх відповідних по семантиці даної топології і
способу обмінів буде вибраний варіант з найменшими накладними витратами.
ISSN 1028-9763. Математичні машини і системи, 2011, № 1 109
Таблиця 1. Пропускна спроможність для
випадку декількох вузлів
Star
Chaos
Ring
N(P)
1−P ( )1−PP P
R(local)
T
PL )1(2 −
T
PL )1(2 −
T
L4
R(total)
T
PL )1(2 −
T
PLP )1( −
T
LP2
R(avg)
T
L2
Таблиця 2. Спільні параметри копіювання даних
Передача даних MB/sec
Size,
K
Star Star2 Chaos Chaos2 Ring Ring2
1 8,79 12,79 10,88 14,61 12,00 15,28
2 12,68 20,82 15,83 18,88 15,50 19,02
4 24,61 33,86 25,57 29,50 25,63 29,24
8 33,54 48,97 34,90 38,04 36,07 38,95
16 46,40 59,47 42,51 46,95 42,55 46,97
1 9,49 12,74 11,53 14,92 11,95 15,27
2 12,63 20,34 15,93 18,99 15,59 19,00
4 24,31 33,47 25,20 29,06 25,47 29,00
8 34,51 49,47 35,46 38,61 35,81 39,17
16 46,23 60,92 42,66 45,89 42,44 46,99
Таблиця 3. Максимальна швидкість копіювання
даних
Максимальна швидкість копіювання даних
MB/sec
Star Star2 Chaos Chaos
2
Ring Ring
2
46,40 60,92 42,66 46,95 42,55 46,99
Рис. 3. Тестування мережі MPI
Для кожної топології задіяні ( )PN ло-
гічних каналів, де P – число вузлів. Сумар-
ний об'єм інформації, що передається по ме-
режі, є LNI 2= . Вузол з номером i має
( )PN i логічних зв'язків з іншими вузлами.
Цей вузол передає і приймає всього ( )PLN i2
байт інформації. Під локальною пропускною
спроможністю localR в кожному тесті розумі-
ється відношення сумарної довжини посла-
них і прийнятих на даному вузлі повідомлень
до витраченого часу. Під сумарною пропуск-
ною спроможністю totalR мережі розуміється
відношення кількості всієї переда-
ної по мережі інформації до витра-
ченого часу. Під середньою пропу-
скною спроможністю avgR одного
логічного каналу розуміється від-
ношення сумарної пропускної
спроможності до кількості задіяних
каналів. Для трьох вказаних вище
логічних відомі такі вирази для ве-
личин localR , totalR , avgR через число
вузлів P , довжину повідомлення
L і час T , витрачений на всі обмі-
ни. При цьому в разі топології Star
розглядається лише основний вузол. У
табл. 1 наведена залежність пропускної
спроможності від кількості процесорів,
звідки видно, що мінімальний час по-
винен бути для зіркоподібної топології.
Тест було запущено на 3 процесорах.
Як одиниця довжини пові-
домлення було вибрано
1 Кбайт, довжина повідо-
млення змінювалась в ге-
ометр-ричній прогресії від
1 до 16 Кбайт. Кожна тес-
това процедура складалася
з 1000 ітерацій, а весь тест
був повторений двічі. Спі-
льні параметри копіюван-
ня даних представлені в
табл.2. Максимальна шви-
дкість копіювання даних
представлена в табл.3.
Тест виконався за 56,51 с.
110 ISSN 1028-9763. Математичні машини і системи, 2011, № 1
Рис. 4. Інформаційний портал Grid-ресурсу
Таким чином, з графіка на рис. 3 бачимо, що найбільша швидкість копіювання да-
них виконується при структурі “Подвійна зірка” і сягає ~61 Мбайт/с (~488 Мбіт/с). Зірко-
подібна топологія, як уже було зазначено, найактуальніша для статистичного моделюван-
ня, а отже створений ресурс дасть можливість забезпечити оптимальну швидкість передачі
інформації для вказаних задач. Значення одержаної швидкості передачі відповідає прибли-
зно половині пропускної спроможності каналів і є достатнім для складного обміну з вико-
ристанням MPI.
Тестування проміжного програмного забезпечення Grid було виконано з метою пе-
ревірки правильності роботи інформаційної системи, системи передачі файлів та ме-
неджера Grid, а також системи безпеки GSI. Оскільки програмне забезпечення ARC не має
власних стандартних тестів, то критерієм коректності роботи інформаційної системи було
обрано правильність відображення всіх ресурсів у моніторі (рис. 4), критерієм коректної
роботи системи передачі файлів, менеджера Grid та системи GSI – коректність запуску за-
дач і одержання результатів. Всі вказані тести були успішно пройдені.
Для Grid-ресурсу був створений портал за адресою: http://cluster.crimea.ua, де ті, що
бажають, можуть зареєструватися і дістати доступ до обчислювального кластера, прогля-
нути статистику через мережеві
монітори. Надалі за допомогою
системи myproxy [17] планується
створити авторизацію Grid-
сертифікатів. На рис. 4 показаний
інформаційний портал Grid-
ресурсу.
7. Висновки
В результаті даної роботи був за-
пущений перший Кримський екс-
периментальний Grid-ресурс –
http://cluster.crimea.ua, підклю-
чений до Українського ака-
демічного сегмента Grid –
http://uag.bitp.kiev.ua. Результати
тестування підтвердили стабіль-
ність його роботи і відповідність
параметрів вимогам задач моде-
лювання. Запуск симулятора пожеж FDS з використанням обчислювального кластера і
MPI дозволив скоротити час виконання моделювання з 20 годин до 9, а так само, викорис-
товуючи масив накопичення даних кластера, збільшилася швидкість звертання до даних
при візуалізації. Використання Grid-системи дозволить і надалі скоротити час обробки і
створити зручну інфраструктуру для нових програм. Ресурс буде застосований і в галузі
гуманітарно-екологічних досліджень. Заплановано і буде проведено модернізацію мереже-
вого апаратного забезпечення, оскільки це впливає на збільшення швидкості мережевого
обміну.
СПИСОК ЛИТЕРАТУРИ
1. Khramov V.V. The first Crimean experimental computing grid-resource for research and simulation in
the humanities / V.V. Khramov, О.О. Sudakov // Ninth international young scientists conference on
applied physics, ( Kyiv, June 17–20 2009). – Kyiv, 2009. – Р. 105.
2. Стандарт X.509. – Режим доступу: http://www.itu.int/rec/T-REC-X.509-200508-I.
ISSN 1028-9763. Математичні машини і системи, 2011, № 1 111
3. Український академічний Grid: досвід створення і перші результати експлуатації / Ю.В. Бойко,
М.Г. Зінов'єв, М.Я. Свістунов [та ін.] // Математичні машини і системи. – 2008. – № 1. – C. 67 – 84.
4. Європейський Центр Передбачення Погоди (ECMWF). – Режим доступу: http://www.ecmwf.int.
5. Каганов В.І. Комп’ютерне обчислення в середовищі Excel і Mathcad / Каганов В.І. – М.: Гаряча
лінія – Телеком, 2003. – 328 с.
6. Халафян А.А. SТАТISТIСА 6. Статистичний аналіз даних / Халафян А.А. – [3-е изд.]. – М.:
000«Біном-Прес», 2007. – 512 с.
7. Орвис В. Excel для учених, інженерів і студентів / Орвис В. – Київ: Юніор, 1999. – 528 с.
8. Воєводін В. Паралельне обчислення / Воєводін В. – Спб.: БХВ-Петербург, 2002. – 609 с.
9. Portable Batch System (PBS). – Режим доступу: http://www.openpbs.org.
10. Сайт http://www.mcs.anl.gov/mpi (Argonne National Laboratory, США).
11. The NorduGrid project: using Globus toolkit for building GRID infrastructure / M. Ellert,
A. Konstantinov [et al.] // Nuclear Instruments and Methods in Physics Research. – 2003. – Vol. 502. –
P. 24 – 28.
12. Foster I. The Anatomy of the Grid / I. Foster, C. Kesselmann, S. Tuecke. – Blueprint for a New Com-
puting Infrastructure, Morgan Kaufmann, USA, 2000. – 250 p.
13. Sterling T. BEOWULF: A Parallel Workstation for Scientific Computation / T. Sterling [et al.] //
Proc. of the International Conference on Parallel Processing, (Urbana- Champain, Illinois, USA, August
14–18, 1995). – Urbana-Champain, Illinois, USA: CRC Press, 1995. – Vol. I: Architecture. – P. 11 – 14.
14. Architecture Proposal / M. Ellert, A.Konstantinov, B. Konya [et al.]. – Copenhagen: NORDUGRID-
TECH-1, 2002. – Vol. – P. 1 – 5.
15. Сайт http://www.parallel.ru (НІВЦ МГУ).
16. The NorduGrid project. – Режим доступу: http://www.nordugrid.org.
17. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration
[Електронний ресурc] / I. Foster, C. Kesselman, J. Nick [et al.]. – Режим доступу:
http://www.globus.org/research/papers/ogsa.pdf.
18. The NFS Distributed File Service, NFS White Paper, Sun Microsystems. – 1995. – March. – Режим
доступу: http://www.sun.com/software/white-papers/wp-nfs.
19. Колесніченко Д.Н. Аллен Linux повне керівництво / Д.Н. Колесніченко, В. Пітер; під ред.
М.В. Фінкова. – СПб.: Наука и техника, 2006. – 784 с.
Стаття надійшла до редакції 23.04.2010
|