Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти
The Grid conception and resources for up-to-date Grid systems have been analyzed by the example of construction of the national Grid infrastructure for research and education.
Saved in:
| Date: | 2017 |
|---|---|
| Main Author: | |
| Format: | Article |
| Language: | Ukrainian |
| Published: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2017
|
| Online Access: | https://journal.iasa.kpi.ua/article/view/109776 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | System research and information technologies |
| Download file: |  |
Institution
System research and information technologies| _version_ | 1867334323167821824 |
|---|---|
| author | Petrenko, A. I. |
| author_facet | Petrenko, A. I. |
| author_institution_txt_mv | [
{
"author": "A. I. Petrenko",
"institution": null
}
] |
| author_sort | Petrenko, A. I. |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2018-04-11T11:06:06Z |
| description | The Grid conception and resources for up-to-date Grid systems have been analyzed by the example of construction of the national Grid infrastructure for research and education. |
| first_indexed | 2025-07-17T10:23:09Z |
| format | Article |
| fulltext |
© А.І. Петренко, 2004
Системні дослідження та інформаційні технології, 2008, № 1 79
TIДC
ПРОБЛЕМНО І ФУНКЦІОНАЛЬНО
ОРІЄНТОВАНІ КОМП’ЮТЕРНІ СИСТЕМИ
ТА МЕРЕЖІ
УДК 004.75
НАЦІОНАЛЬНА GRID-ІНФРАСТРУКТУРА ДЛЯ
ЗАБЕЗПЕЧЕННЯ НАУКОВИХ ДОСЛІДЖЕНЬ І ОСВІТИ
А.І. ПЕТРЕНКО
Проведено аналіз концепції Grid, архітектури та ресурсів сучасних Grid-систем
на прикладі побудови національної Grid-інфраструктури для наукових дослі-
джень і освіти.
ВСТУП
Grid-технології і всесвітня Grid-мережа ідуть на зміну вже звичному Інтер-
нету з його web-послугами як засіб сумісного використання обчислюваль-
них потужностей та сховищ даних. Grid дозволяє вийти за рамки простого
обміну даними між комп’ютерами і, зрештою, перетворити їхню глобальну
мережу на свого роду гігантський віртуальний комп’ютер, доступний у ре-
жимі віддаленого доступу з будь-якої точки, незалежно від місця розташу-
вання користувача. Сфера застосування технологій Grid не обмежується
лише складними науковими та інженерними задачами. Із розвитком Grid у
промисловість проникає і бізнес, претендуючи на роль універсальної інфра-
структури для обробки даних із безліччю служб (Grid Services), які не лише
дозволяють розв’язувати конкретні прикладні задачі, а й пропонують послу-
ги з пошуку необхідних ресурсів, збору інформації про стан ресурсів, збері-
гання і доставки даних.
Grid є технологією забезпечення гнучкого, безпечного і скоординова-
ного загального доступу до ресурсів. При цьому слово «ресурс» розуміється
у дуже широкому значенні, тобто ресурсом може бути апаратура — жорсткі
диски, процесори, а також системне і прикладне програмне забезпечення
(ПЗ) — бібліотеки, додатки.
Якщо перекладати дослівно, Grid означає «грати». Ближче всього за
значенням, мабуть, роwer grid — мережа електроживлення, розподілений
ресурс загального користування, коли кожний може легко підключитися
через розетку і вжити електрики, скільки він потребує. Аналогічно користу-
вачі комп’ютерних потужностей дістають можливість прямого підключення
до віддаленої обчислювальної мережі, не цікавлячись, звідки саме прихо-
дять обчислювальні ресурси, необхідні для роботи, які для цього використо-
вуються лінії передачі, паролі або протоколи і т.п. При цьому аналогом ін-
фраструктури електричних мереж (ліній електропередач, підстанцій,
А.І. Петренко
ISSN 1681–6048 System Research & Information Technologies, 2008, № 1 80
трансформаторів і т.ін.) виступає Grid програмне забезпечення (ПГЗ), або
Middleware (рис. 1).
Розвиток ПГЗ починався від базових засобів, які підтримують дистан-
ційний доступ до ресурсів, пройшов стадію окремих систем, їх пакетів і
привів до створення платформ — взаємоузгоджених наборів засобів, здат-
них дати комплексне рішення задачі обслуговування Grid-інфраструктури
виробничого призначення (рис. 2).
Створення багатьох сучасних Grid-інфраструктур супроводилося роз-
робкою власного ПГЗ, тому зараз є платформи, які дещо розрізняються:
ARC(NorduGrid), Alien, LCG, DataGrid (www.datagrid.org), Unicore
(www.unicore.org), gLite (www.glite.org). Проте вони мають багато спільно-
го, оскільки в тому або іншому ступені засновані на одній базі — системі
Globus Toolkit (www.globus.org). З перерахованих вище платформ найбіль-
ший інтерес представляє gLite як найкрупніше і найбільш поширене в Євро-
пі ПГЗ, призначене для підтримки таких сервісів:
• аутентифікації і авторизації;
• брокера;
• моніторингу і діагностики;
• реплікації даних і програм;
• пошуку програмного забезпечення;
• каталогів даних і додатків;
• менеджменту ресурсів і завдань;
• розв’язання задачі;
• обліку і оплати отриманих послуг.
Рис. 1. Аналогія електро- і Grid-мереж
Суперкомп’ютери Сховище даних Мережі Прилади
Grid-портал
High Voltage
Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти
Системні дослідження та інформаційні технології, 2008, № 1 81
Grid припускає колективний режим доступу до ресурсів і до пов’язаних
з ними послуг (сервісів) у рамках глобально розподілених віртуальних орга-
нізацій, які спільно використовують загальні ресурси. При цьому Grid ви-
значає без допомоги користувача найбільш відповідне джерело даних і ви-
конує їх аналіз, знайшовши найкраще місце для запуску відповідної
програми на комп’ютерах, які простоюють. Якщо ж необхідно провести та-
кий аналіз в інтерактивному режимі кількома користувачами із різних країн
світу, то Grid зв’яже їхні комп’ютери так, що спільна робота не буде відріз-
нятися від роботи в локальній мережі. При цьому не треба хвилюватися
про безліч паролів — Grid здатний зрозуміти, хто має право брати участь у
спільній роботі. Для управління ресурсами і задачами Grid має інформацій-
ну службу. Для управління ресурсами і розміщення задач використовується
брокер ресурсів, і все це підтримується локальним диспетчером задач
комп’ютерного кластера.
Серед ключових чинників, які сприяють упровадженню Grid, не тільки
підвищення ефективності використовування ресурсів і економія витрат, але
й економія людських ресурсів, тому що обчислення Grid сприяють спільній
роботі фахівців над проектами, дозволяючи їм застосовувати ту ж саму ін-
фраструктуру, хоч стосовно України ще потрібно вирішити низку проблем
щодо пропускної спроможності мережі, управління даними і безпеки. Спо-
чатку Grid-технології призначалися для вирішення складних наукових, ви-
робничих та інженерних задач, які неможливо вирішити у прийнятні
терміни на окремих обчислювальних установках. Проте тепер область за-
стосування технологій Grid не обмежується тільки цими типами задач.
У процесі свого розвитку Grid проникає у промисловість і бізнес, великі під-
приємства створюють Grid для вирішення власних виробничих задач.
Комп’ютер користувача
Пошук ПЗ
Cтандарти
Рис. 2. Cтруктура сервісів ПГЗ
Grid-портал
А.І. Петренко
ISSN 1681–6048 System Research & Information Technologies, 2008, № 1 82
Таким чином, Grid претендує на роль універсальної інфраструктури для
обробки даних, в якій функціонують сервіси (Grid Services), що дозволяють
розв’язувати не тільки конкретні прикладні задачі, але й пропонують додат-
кові послуги: пошук необхідних ресурсів, збір інформації про їх стан, збері-
гання і доставку даних.
Застосування Grid може дати нову якість розв’язанню таких класів за-
дач:
• масова обробка потоків даних великого об’єму;
• багатопараметричний аналіз даних;
• моделювання на віддалених суперкомп’ютерах;
• реалістична візуалізація великих наборів даних;
• складні бізнес-додатки з великими об’ємами обчислень.
Grid-технології вже активно застосовуються у світі як державними ор-
ганізаціями управління, оборони, сфери комунальних послуг, так і приват-
ними компаніями, наприклад, фінансовими і енергетичними. Область засто-
сування Grid зараз обіймає ядерну фізику, захист навколишнього
середовища, прогноз погоди і моделювання кліматичних змін, чисельне мо-
делювання у машино- і авіабудуванні, біологічне моделювання, фармацев-
тику тощо.
GRID-СИСТЕМИ
Є два основні критерії, які виділяють Grid-системи (або інфраструктури)
серед інших систем, що забезпечують роздільний доступ до ресурсів.
1. Grid-система координує розрізнені ресурси, які не мають загального
центру управління, а Grid-система займається координацією їх використан-
ня, наприклад, балансуванням навантаження. Тому проста система управ-
ління ресурсами кластера не є системою Grid, оскільки здійснює централізо-
ване управління всіма вузлами даного кластера, маючи до них повний
доступ. Grid-системи мають лише обмежений доступ до ресурсів, залежний
від політики того адміністративного домена (організації-власника), в якому
цей ресурс знаходиться.
2. Grid-система будується на базі стандартних і відкритих протоколів,
сервісів і інтерфейсів. Не маючи стандартних протоколів, неможливо легко і
швидко підключати нові ресурси в Grid-систему, розробляти новий вигляд
сервісів і т.ін.
Хоча технологія Grid не прив’язана до певних ресурсів, найчастіше ре-
алізації Grid-систем забезпечують роботу з такими типами ресурсів:
• обчислювальними (окремі комп’ютери, кластери);
• ресурсами зберігання даних (диски і дискові масиви, стрічки, систе-
ми масового зберігання даних);
• мережевими;
• програмного забезпечення (спеціалізоване ПЗ).
Відзначимо різницю між технологією Grid і реалізаціями Grid-систем.
Технологія Grid містить лише найбільш загальні і універсальні аспекти, од-
накові для будь-якої системи (архітектура, протоколи, інтерфейси, сервіси).
Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти
Системні дослідження та інформаційні технології, 2008, № 1 83
Використовуючи цю технологію і наповнюючи її конкретним змістом, мож-
на реалізувати одну з Grid-систем, призначену для вирішення того або іншо-
го класу прикладних завдань.
Слід розрізняти технологію Grid та технологією паралельних обчис-
лень. У рамках конкретної Grid-системи, звичайно, можливо організувати
паралельні обчислення з використанням існуючих технологій (PVM, MPI),
оскільки Grid-систему можна розглядати як мета-комп’ютер, що має безліч
обчислювальних вузлів. Проте технологія Grid не є технологією паралель-
них обчислень, в її завдання входить лише координація використання ресур-
сів.
Найбільшою в світі Grid-інфраструктурою є європейська EGEE
(Enabling Grids for E-sciencE), ціль якої об’єднати національні, регіональні
і тематичні Grid-розробки, що вже ведуться, в єдину цілісну Grid-
інфраструктуру для підтримки наукових досліджень. EGEE надасть дослід-
никам як в академічних колах, так і в різних областях економіки, цілодобо-
вий доступ до найбільш високопродуктивних обчислювальних ресурсів, не-
залежно від їх географічного положення. Користуються інфраструктурою
географічно розподілені співтовариства дослідників, які потребують загаль-
них обчислювальних можливостей Grid-систем, готові об’єднати свою влас-
ну обчислювальну інфраструктуру у відповідності до принципів загального
доступу. Проект, впроваджений Європейським центром ядерних досліджень
(ЦЕРН), підтримують, в основному, фінансуючі установи ЄС, але призначе-
ний він для роботи у всьому світі. Значні кошти надходять від США, Росії та
інших учасників проекту, що не входять в ЄС.
Сьогодні в EGEE функціонують 240 вузлів у 45 країнах, в яких задіяні
41000 процесорів і 5 Пб (PetaBytes) пам’яті. Мережа обслуговує більше
10000 споживачів і 150 віртуальних організацій з продуктивністю більше
100000 обчислювальних завдань за день. У мережі експлуатуються додатки
з археології, астрономії, астрофізики, захисту довкілля, комп’ютерної хімії,
науки про Землю, фінансів, фізики плазми, геофізики, фізики високих енер-
гій, науки про життя, мультимедіа, матеріалознавства тощо.
EGEE-II складається з мережних напрямів робіт (Networking Activities,
NA), служб (Service Activities, SA) і напрямів сумісних досліджень (Joint
Research Activities, JRA). Відповідно до сучасного, досконалішого стану
Grid-технологій в EGEE-II частка фінансування SA і NA підвищиться, а
JRA — знизиться. Це дозволить включити до інфраструктури проекту нові
країни, додатки і сайти, а також у більшому масштабі поширювати інфор-
мацію, вести навчання і підтримувати додатки. Скоротиться розробка про-
грамного забезпечення, оскільки його можна буде інтегрувати з інших прое-
ктів і джерел.
Мережні напрями. NA1 — управління проектом; NA2 — розповсю-
дження інформації і зв’язок; NA3 — навчання і включення в число користу-
вачів; NA4 — визначення і підтримка Grid-додатків; NA5 — політика і між-
народна співпраця.
Служби. SA1 — підтримка, експлуатація і управління європейськими
Grid; SA2 — забезпечення мережними ресурсами; SA3 — інтеграція,
тестування і сертифікація; SA4 — новий напрям (в його рамках
об’єднуватимуться елементи програмного забезпечення з різних джерел для
А.І. Петренко
ISSN 1681–6048 System Research & Information Technologies, 2008, № 1 84
отримання інтегрованих випусків програмного забезпечення, готових до
розміщення в інфраструктурі проекту.
Напрями сумісних досліджень. JRA1 — перепроектування проміжно-
го програмного забезпечення. Продовжиться розробка і підтримка gLite.
JRA2 — забезпечення якості робіт протягом всього проекту, зокрема, вес-
тиметься загальна координація заходів безпеки.
З 2007 р. розпочалася розбудова Європейської Grid-інфраструктури
(EGI), функціонування якої планується на постійній основі у вигляді скоор-
динованої мережі національних Grid-систем, або NGI. ЦЕРН залишає за со-
бою загальну координацію і відповідальність за модернізацію ПГЗ і систему
загальної безпеки.
Grid-система стає національною (NGI — National Grid Initiative), якщо
вона задовольняє таким критеріям: має державну підтримку, наприклад,
шляхом включення проекту створення Grid-інфраструктури у державну про-
граму з гарантованим фінансуванням; представляє інтереси всіх шарів сус-
пільства (вчених, вузівських працівників, промисловців, комерсантів і т.ін.);
має розгалужену структуру з координуючих, регіональних і ресурсних
центрів, які забезпечують функціонування базових Grid-сервісів, моніторинг
і реагування на надзвичайні ситуації, ведення обліку ресурсів і виконаних
робіт (асcounting), управління і підтримку віртуальних організацій, сертифі-
кацію Grid ПЗ; базується на дотриманні міжнародних стандартів і правил
(наприклад, використовуванні протоколу SOAP для доступу до ресурсу, мо-
ви WSDL для опису Web-сервісів, каталогів UDDI як регістрів описів і т.д.);
підтримує безпеку інфраструктури, має право генерувати сертифікати кори-
стувачів CA з відома EUGridPMA (системи Європейської Grid-
Аутентифікації); підключена до GEANT, Європейської науково-освітньої
комп’ютерної мережі; має керівні органи Grid-інфраструктури у вигляді Ра-
ди з розвитку національної Grid-інфраструктури в напрямках NA, SA і JRA,
наведених вище.
GRID-ПРОЕКТИ І ВІРТУАЛЬНІ ОРГАНІЗАЦІЇ
Grid дозволяє підвищити творчий потенціал людства, об’єднавши обчислю-
вальні потужності для використання найважливіших додатків і дозволивши
географічно розділеним користувачам мережі взаємодіяти і підтримувати
спільну роботу. Існує п’ять основних груп Grid-додатків: розподілені супер-
обчислення, обчислення з високою пропускною спроможністю та за запи-
том, з інтенсивним обміном даними і сумісні додатки.
Треба розрізняти поняття Grid-системи і Grid-проекти, що здійснюють-
ся, наприклад, ЦЕРН у галузі фізики високих енергій на Європейській EGEE
інфраструктурі, в яких сьогодні приймають участь два фізичні інститути —
Харківський фізико-технічний інститут (ХФТІ) та Інститут теоретичної фі-
зики ім. М.М. Боголюбова (ІТФ). При чому кластери ІТФ і Київського Наці-
онального Університету ім. Тараса Шевченка підключені до мережі AliEn-
grid для обслуговування експерименту ALICE на прискорювачі LHC. Вузол
ХФТІ підключений до мережі ЦЕРН через Російський RDIG, а ряд співробі-
тників згаданих організацій отримали доступ до ресурсів EGEE також через
Російський RDIG. Grid-проекти виконуються також в Інституті космічних
Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти
Системні дослідження та інформаційні технології, 2008, № 1 85
досліджень НАН України — НКАУ (обробка космічних знімків) і у Голо-
вній астрономічній обсерваторії НАН України (для задач астрофізики).
Для використання інфраструктури Grid при виконанні конкретного
проекту користувачеві необхідно пройти процес реєстрації, після чого всі
ресурси Grid стають доступними без будь-яких додаткових угод з окремими
ресурсними центрами.
Процес реєстрації нового користувача здійснюється у два кроки:
1. Отримання персонального, призначеного для користувача, сертифі-
ката.
2. Реєстрація у віртуальній організації.
Персональний, призначений для користувача, сертифікат (Personal
Certificate), — це свого роду електронний документ, який підтверджує особу
користувача при доступі до Grid-ресурсів. Сертифікати видаються центрами
сертифікації (Certification Authority).
Фактично національна Grid-інфраструктура необхідна лише для того,
щоб користувач міг запитати і отримати ті або інші ресурси від їх власників.
Кожна віртуальна організація має свій власний центр реєстрації. Існує також
можливість почати роботу в Grid, скориставшись учбовими порталами.
У даному проекті передбачається, що майбутні користувачі можуть спробу-
вати попрацювати з невеликою інфраструктурою Grid, не будучи офіційни-
ми членами однієї з віртуальних організацій. Для більшості користувачів це
найпростіший, а іноді і єдиний, спосіб навчитися працювати в Grid.
GRID-СИСТЕМИ УКРАЇНИ
Сьогодні важко знайти більш-менш розвинену країну, в якій не було б роз-
горнуто національні Grid-проекти. Настала черга й України, хоч і з великим
запізненням.
Національна Grid-інфраструктура створюється для обслуговування різ-
них організацій з різноманітними характеристиками і вимогами до ресурсів.
Для об’єднання різнорідних ресурсів єдина обчислювальна інфраструктура
повинна мати єдину архітектуру. Можливість упорядкування початкового
матеріалу забезпечується попереднім визначенням базових функцій Grid-
інфраструктури.
Grid-сегмент НАН України (www.acadgrid.org.ua)
За ініціативою ІТФ у квітні 2006 р. в НАН України стартувала корпоративна
програма «Впровадження Grid-технологій і створення кластерів в Націона-
льній академії наук України» (або Українська Академічна Grid Ініціатива —
UAGI), що не враховує повною мірою загальнонаціональні потреби і науко-
ві інтереси вчених і організацій, які не працюють у системі НАН України.
Науковий керівник проекту — А.Г. Загородній, директор ІТФ, академік
НАН України. У квітні 2007 р. НАН України підписала Меморандум про
взаєморозуміння з WLCG (Worldwide LHC Computing Grid), у ЦЕРН і об-
робці та аналізі даних — з LHC (Large Hadron Collider, великого адронного
коллайдеру).
А.І. Петренко
ISSN 1681–6048 System Research & Information Technologies, 2008, № 1 86
Завершується обладнання нових кластерів у Головній астрономічній
обсерваторії, Інституті молекулярної біології і генетики, Інституті клітинної
біології і генної інженерії, модернізація кластерів у ХФТІ, в Інституті фізики
конденсованих станів у Львові. Загалом комп’ютерні ресурси цієї групи
складають 330 процесорів і біля 53 Тбайтів дискового масиву. Всі ці класте-
ри будуть об’єднані в Grid-сегмент НАН України (рис. 3). Принципи побу-
дови цього сегменту, його конфігурації, методи керування ним вже практи-
чно відпрацьовано на прообразі цього сегменту — об’єднанні кластерів ІТФ,
Київського Національного Університету ім. Тараса Шевченка та Інституту
кібернетики НАН України. В ньому зосереджені найпотужніші супер-
комп’ютери НАН України, серед яких є СКІТ-3 з такими параметрами: 280
процесорів (70 вузлів), Linpack продуктивністю 2,235 Tфлопс , система збе-
реження даних — 10 Тбайт.
Передбачено також побудову кластерів в Інституті фізики (Київ), Ін-
ституті металофізики (Київ), Інституті математики (Київ), Радіоастрономіч-
ному інституті (Харків), Інституті сцинтиляційних матеріалів (Харків), Ін-
ституті геотехнічної механіки, Інституті транспортних систем і технологій,
Інституті чорної металургії, Інституті проблем природокористування та еко-
логії (Дніпропетровськ).
Слід зауважити, що реалізоване сьогодні в Grid-сегменті НАН України
ПГЗ NorduGrid не забезпечує централізацію розподілення обчислювальних
задач (Centralized workload management), загальної організації каталогу для
всієї Grid-інфраструктури (Global names in file catalogue for whole Grid), гло-
бальної організації послуг брокера і віртуалізації сховищ даних (Different
kinds of backend for storage elements), і тому планується перехід до ПГЗ
gLіte.
Рис. 3. Grid-сегмент НАН України
Київський Національний
Університет Тараса
Шевченко
Інститут теоретичної
фізики им М .М.
Юоголюбова
Іннститут фізики
Конденсованих станів
(Львів)
Інститут молекулярної
біологгії і генетики
Головна
астрономічна
обсерваторія
Харківський фізико-
технічний інститут
Інститут клітинної
біології і генної
інженерії
Оптиковолоконні канали зв’язку
Академічна Інтернет
мережа
ОІЯД (Дубна, Росія)ЦЕРН
Європейська академічна
мережа GEANT (?)
Інститут фізики
конденсованих станів
(Львів)
Київський національний
університет ім. Тараса
Шевченка
Боголюбова
Інститут молекулярної
біології і генетики
Академічна
Інтернет-мережа
Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти
Системні дослідження та інформаційні технології, 2008, № 1 87
Проект UGrid МОН України (www.grid.ntu-kpi.kiev.ua)
Згідно із Наказом Міністерства науки і освіти (МОН України) за № 758 від
22 серпня 2007 р. в Україні розпочата розробка Національної Grid-
інфраструктури виробничої якості з високоякісними послугами (проект
UGrid) на базі Національної науково-освітньої мережі УРАН для забезпе-
чення загальнонаціональної віртуалізації розподілених обчислювальних ре-
сурсів різних типів (процесорів, сховищ даних, мереж, унікального облад-
нання), здатних підтримувати життєдіяльність державних структур,
наукових і освітніх організацій, промислових корпорацій. Проект виконує
десять різних українських організацій (дві академічні, шість освітянських і
дві промислові), які очолюють Інститут прикладного системного аналізу
НАН України та Міносвіти і науки України (ІПСА). Науковий керівник про-
екту — М.З. Згуровський, ректор НТУУ «КПІ», академік НАН України.
Серед виконавців проекту Інститут проблем моделювання в енергетиці
ім. Г.Є. Пухова НАН України, Харківський національний університет радіо-
електроніки (ХНУРЕ), Львівський національний технічний університет
«Львівська політехніка» (НУЛП), Запорізький національний технічний
університет (ЗНТУ), Донецький національний технічний університет
(ДонНТУ), Дніпропетровський національний гірничий університет
(ДНГУ), державне підприємство «Львівський науково-дослідний радіо-
технічний інститут» (ЛНДРІ) і підприємство ЮСТАР.
Проект передбачає створення високоякісної національної Grid-
інфраструктури з відповідними сервісами для надання можливості вітчизня-
ним науковцям плідно співпрацювати в Європейському науковому просторі
(European Research Area, ERA) і сприяти створенню економіки інформацій-
ного суспільства, заснованої на знаннях, шляхом впровадження наукових
концепцій Grid і найбільш вагомих наукових додатків, які використовують-
ся в Grid-середовищі. Ціль проекту — розв’язання таких задач:
• Забезпечення обслуговування Української філії Світового центру
даних (УФ СЦД), надавши його клієнтам віддалений доступ до світових
сховищ наукових даних, можливість ефективного сумісного використання
комп’ютерів, унікальних експериментальних установок і приладів.
• Добудування і об’єднання у співдружності з НАН України існуючої
наукової і освітньої обчислювальної і комунікаційної інфраструктури в
національну Grid-інфраструктуру і підключення її до Європейської, що
складається із сукупності національних Grid-інфраструктур, використання
ПГЗ gLite.
• Розповсюдження в суспільстві знань про Grid-технології і навички з
їх використання на рівні, притаманному європейським країнам, які мають
більш тривалий досвід розробки та використання Grid.
• Розгортання, згідно із домовленістю з EUGridPMA, Сертифікаційно-
го центру відкритих ключів в Україні, враховуючи наявність проекту Націо-
нальної Grid-інфраструктури і визнання мережі УРАН в Європі та початок
підготовки користувачів Grid.
• Організація обслуговування національної Grid-інфраструктури шля-
хом створення регіональних ресурсно-операційних центрів і постійно дію-
чих груп з питань підтримки, експлуатації і управління Grid; розповсю-
А.І. Петренко
ISSN 1681–6048 System Research & Information Technologies, 2008, № 1 88
дження інформації про проект і розширення кола користувачів; їх навчання і
підготовка; визначення областей застосування і підтримки додатків; забез-
печення мережних ресурсів тощо.
• Сприяння створенню спільних проектів в межах міжнародних вірту-
альних організацій українських науковців з іноземними колегами з питань
сталого розвитку, геофізики і комп’ютеризації проектування, забезпечивши
їх інформаційну підтримку.
Передбачається протягом 2007-2008 рр. створити Grid-інфраструктуру
з шістьома ресурсно-операційними центрами (у Києві, Харкові, Донецьку,
Дніпропетровську, Запоріжжі і Львові) та розпочати віддалене обслугову-
вання майбутніх користувачів (науковців з університетів та наукових уста-
нов України). Звичайно, що ця початкова Grid-інфраструктура буде добудо-
вуватися, а число її центрів і розробників з організацій МОН України і
академічних інститутів НАН України буде зростати. Цьому сприятиме фра-
ктальність Grid-інфраструктури (система подібна сама до себе на кожній,
різній за масштабом ділянці).
За минулий рік на шляху до підключення Українського Grid в якості
повноцінної складової до Європейської Grid-інфраструктури зроблено кіль-
ка дуже важливих кроків. У червні 2007 р. підписана угода з європейською
організацією DANTE про підключення Національної науково-освітньої ме-
режі УРАН до Європейської мережі GEANT. У січні 2008 р. прийнято рі-
шення іншої європейської організації EUGridPMA про відкриття в Україні
Сертифікаційного центру відкритих ключів для надання українським корис-
тувачам доступу до європейських ресурсів і сховищ даних.
Передбачається, що вже у 2008 р. будуть створені і розпочнуть реальну
співпрацю спільні наукові команди у вигляді віртуальної організації з украї-
нських і зарубіжних вчених. Згідно з проектом у кожному із шести ресурс-
но-операційних центрів національної Grid-інфраструктури створюються
центри навчання і підтримки користувачів (рис. 4). Для цього передбачена
розробка Grid-порталу, який буде задіяний в ресурсно-операційних центрах
для навчання користувачів Grid-технологіям, і його будуть відвідувати чи-
сельні гості з різних регіонів країни і зарубіжжя.
Крім того, в ІПСА та ряді інших вузів з вересня 2007 р. розпочалася
програма магістерської підготовки з напрямку «Grid-технології в науці і
освіті». Всі організації учасниці проекту (крім обов’язків з організації ре-
сурсно-операційних центрів, забезпечення їх функціонування, підготовки і
підтримки користувачів) запланували проведення наукових досліджень у
галузі сумісності (inetroperability) ПГЗ, забезпечення наскрізної інформацій-
ної безпеки при об’єднанні національних Grid-інфраструктур чи їх сегмен-
тів, розробки додаткових сервісів для розширення кола можливих користу-
вачів (окрім науки) на представників різних прошарків суспільства
(інженерії, бізнесу і соціальної сфери тощо). Наприклад, ЗНТУ планує ство-
рити Grid-додаток із задач молекулярної динаміки, ЛНДРІ — із задач
комп’ютерної інженерії, НУЛП — із задач обробки сигнальної інформації та
медицини, ДонНТУ — із методики і засобів паралельного програмування,
ХНУРЕ — із задач бізнесу і економіки і т.д. Оскільки більшість вищих на-
вчальних закладів, академічних інститутів і промислових підприємств поки
не мають суперкомп’ютерів, то в проекті передбачено розробку заходів вір-
Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти
Системні дослідження та інформаційні технології, 2008, № 1 89
туалізації ресурсів звичайних персональних комп’ютерів за допомогою
Grid-технологій. Довкола кожного провідного університету регіону групу-
ються місцеві вищі навчальні заклади (ВНЗ), так що реальна кількість ВНЗ,
які задіяні в Ugrid-проекті, перевищує 30.
Обчислювальні ресурси UGrid складаються з суперкомп’ютера НТУУ
«КПІ», найпотужнішого із комп’ютерів України (згідно із останнім рейтин-
гу суперкомп’ютерів країн СНД — www.supercomputers.ru) з такими пара-
метрами: 84 вузли, Linkpack продуктивністю 3,13 Tфлопс , система збере-
ження даних обсягом 12 Тбайт і архівна пам’ять 20 Тбайт, а також кластерів
ХНУРЕ, НУЛП, ЗНТУ, ДонНТУ і підприємства ЮСТАР. Суперкомп’ютер
НТУУ «КПІ» забезпечує функціонування українського філіалу Світового
центру даних (СЦД) і віртуалізацію його різнорідних систем зберігання да-
них у вигляді єдиного сховища даних (так званого віртуального пулу),
управління яким здійснюється централізовано за допомогою ПЗ (IPStor фір-
ми FalcomStor). Забезпечення користувачів сучасними даними (з фізики тве-
рдої Землі, сонячно-земної фізики, сталого розвитку суспільства та ін.) і об-
числювальними ресурсами для їх обробки здійснювалося дистанційно через
спеціалізований портал СЦД і Національну комп’ютерну мережу для науки і
освіти УРАН.
Сумісний проект UNGI для EGI
Інтереси держави і життя вимагають спільних зусиль інститутів НАН Укра-
їни і організацій МОН України для об’єднання існуючих сегментів наукової
і освітньої обчислювальної і комунікаційної інфраструктури в єдину Украї-
нську національну Grid-ініціативу (UNGI) та інтегрування UNGI в Європей-
ську Grid-інфраструктуру EGEE – EGI. НАН України має авторитетне Від-
Рис. 4. Розташування ресурсно-операційних вузлів UGrid
А.І. Петренко
ISSN 1681–6048 System Research & Information Technologies, 2008, № 1 90
ділення інформатики, істотні обчислювальні ресурси, практичний досвід
об’єднання високопродуктивних комп’ютерів у мережу, досвід проведення
досліджень окремими вченими в реальних умовах європейських Grid-
проектів, багаторічний досвід алгоритмізації різноманітних наукових задач і
розробки для них відповідних додатків, починаючи від задач фізики та біо-
логії і до літературознавства.
Вузи МОН України і промисловість мають багаторічний досвід побу-
дови і дослідження розподілених обчислювальних систем, зокрема, системи
колективного мережного проектування виробів високих технологій на тех-
нологіях Grid, а також досвід партнерства з європейським проектом
BalticGrid; порівняльне випробування ПГЗ Globus, NorduGrid і gLite. Існу-
ють офіційна угода з DANTE про підключення комп’ютерної мережі УРАН
до європейської мережі GEANT; домовленість з EUGridPMA про заснування
служби СА в Україні; величезний наробок рішень науково-технічних і інже-
нерних задач, починаючи від технічного і технологічного передбачення роз-
витку науки і техніки, вартості і наслідків рішень в цих галузях, пов’язаних
із вибором пріоритетів і призначенням об’ємів фінансування на державному
рівні або рівні підприємств, і закінчуючи моделюванням логічних схем з
одноелектронними нанотранзисторами; швидко наростаючі обчислювальні
ресурси і найсучасніший досвід кластеробудування (фірма ЮСТАР); прак-
тично невичерпний резерв талановитої творчої молоді.
У цілях забезпечення повномасштабної участі України в проекті глоба-
льної європейської комп’ютерної інфраструктури типу Grid – EGI-EGEE
ІТФ (провідна організація проекту UAGІ) та ІПСА (провідна організація
проекту UGrid) сформували в серпні 2007 р. спільний проект UNGІ (Україн-
ська Національна Grid Ініціатива — Ukrainian National Grid Initiative), який
вже включено в міжнародну сьому Рамочну програму. Проект UNGI, згідно
із прийнятою в програмі EGEE структурою, входить в EGI–EGEE як скла-
дова регіональної федерації «Росія» («Russia») нарівні з ЦЕРН і іншими
вісьмома національними і регіональними федераціями (Франція, Італія,
Великобританія/Ірландія, Німеччина/Швейцарія, Скандинавські країни,
консорціуми центральноєвропейських країн, Південно-Східної та Південно-
Західної Європи). Тепер на карті Європи залишилося тільки дві білі плями
(Білорусь і Молдова), не охоплені структурою EGI–EGEE.
Спільний проект UAGІ увібрав найкраще від своїх попередників:
UAGІ — тісний зв’язок з ЦЕРН і участь в його Grid-проектах з фізики висо-
ких енергій, UGrid — потужну інформаційну систему у вигляді Української
філії Світового центру даних, що входить в мережу з 52 центрів. Величезні
обсяги доступної інформації стимулюють розробку методів її обробки, збе-
рігання і оцінки (Data Mining), особливо в сучасних умовах, коли існуючі
обсяги інформації почали перевершувати технічні можливості зберігання.
Передбачено єдиний сертифікаційний центр відкритих ключів, єдине ПГЗ
gLite, шлюзи між комп’ютерними мережами УРАН і УАРНЕТ, однакові
Grid-портали у споживачів, спільні ресурсно-операційні вузли Grid-системи.
Заявлені в Європі параметри UNGІ зведені у таблицю.
Тепер черга за координацією чи об’єднанням робіт з проектів Grid, що
проводяться організаціями НАН України і МОН України, в єдину дійсно
національну Grid-інфраструктуру для наукових досліджень і освіти із залу-
ченням зацікавлених організацій і відомств.
Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти
Системні дослідження та інформаційні технології, 2008, № 1 91
Базові параметри UNGІ у документах EGI
Параметр Кількість
Як багато ресурсно-операційних центрів у
Вашій Grid-системі? 8 зараз і ще 9 в найближчі півроку
Як багато процесорів у Вашій
Grid-системі? Більше 1000
Яка ємність існуючих сховищ даних? Біля 100 TB
Чи фінансує Уряд Вашу розробку? Так, Наказ МОНУ №758 від
22.08.07
Чи існує концепція впровадження Grid-
технологій в країні? Так
Коли розпочалися роботи з Grid? Листопад 2004 (UAGI)
Січень 2006 (UGrsd)
Чи є національні дослідницько-освітні
мережі? УРАН і УАРНЕТ
Чи є центри суперкомп’ютерних обчис-
лень?
Так, в ІК НАН України
і НТУУ «КПІ»
Чи займається Ваша NGI розробкою до-
датків? Так
Скільки додатків планується створити? 20
До яких галузей відносяться ці додатки? Наука, інженерія, бізнес,
наука про Землю
Скільки людей працюють над Grid-
розробками? Біля 100
НА КОГО РОЗРАХОВАНА GRID-ІНФРАСТРУКТУРА
Потенціал технологій Grid вже зараз оцінюється дуже високо: він має стра-
тегічний характер, і в близькій перспективі Grid повинен стати обчислюва-
льним інструментарієм для розвитку високих технологій в різних сферах
людської діяльності, подібно персональному комп’ютерові та Інтернет.
Україна розпочала «на рівних» співпрацювати з країнами Європейсько-
го Союзу по створенню і впровадженню технології 21-го століття — Grid,
яка забезпечує сумісний доступ до комп’ютерних ресурсів (що змінюються
не лише на рівні файлів і даних, але й комп’ютерів, сенсорів і мереж), реалі-
зує різноманітні режими їх використання, забезпечує суворий контроль,
управління і організацію системи безпеки, підтримує гетерогенність мережі,
баланс навантаження на обчислювальних вузлах і т. ін.
Наведемо основні співтовариства, що сьогодні потребують застосуван-
ня Grid-технологій.
• Урядові організації (службовці, експерти і науковці), які традиційно
займаються питаннями національної безпеки, довгостроковими досліджен-
нями і плануванням.
• Організації охорони здоров’я, Grid-сегмент яких відрізняють віднос-
но невеликі розміри, централізоване управління і складність корпоративної
інфраструктури.
А.І. Петренко
ISSN 1681–6048 System Research & Information Technologies, 2008, № 1 92
• Співтовариства вчених, яким необхідна віртуальна Grid-мережа, з
універсальним доступом, відносно вузькою спрямованістю, динамічно змін-
ним складом користувачів, децентралізованістю управління, а також частим
сумісним зверненням до існуючих ресурсів. Схожа модель може бути вико-
ристана для міжгалузевих, міжвідомчих і міждисциплінарних дослідниць-
ких груп і т.п. Прикладом такого співтовариства вчених може бути участь
фахівців ІТФ у виконанні завдань проектів ALICE, CMS, що проводяться
ЦЕРНом у галузі фізики високих енергій.
• Співтовариство з великим числом учасників, яке охоплює весь існу-
ючий ринок обчислень і якому властива, відсутність постійних схем і варіа-
нтів взаємодій.
У рамках спільного проекту UNGI головна мета України — включення
UNGI у спільну Grid-інфраструктуру Європи і забезпечення постійного фу-
нкціонування її як повноцінної операційної та функціональної складової цієї
структури. Україна отримує можливість уже сьогодні співпрацювати з
країнами Європейського Союзу над створенням і використанням
Grid-технологій для забезпечення обміну науковими даними та організації їх
колективного використання, а в найближчих кілька років подолати відста-
вання від європейських країн і увійти в Європейський дослідницький прос-
тір (European Research Area, ERA) повноправним і кваліфікованим партне-
ром.
ЛІТЕРАТУРА
1. Zgurovsky M.Z. Development of educational and research segment of information
society in Ukraine // Proc. of world symposium on information society
(WSIS). — Tunis, 2004. — Р. 254–260.
2. Zgurovsky М.Z., Petrenko A.I. Grid-infrastructure for supporting education and re-
search in Ukraine // CD-ROM with material of Baltic grid first all-hands meet-
ing. — Vilnus, 26–28 April 2006.
3. Zgurovsky M.Z., Petrenko A.I. National Ukrainian GRID Infrastructure (UGRID) for
sciences and educations // Proc. Intern. conf. on computer science and informa-
tion technologies. — Lviv, Ukraine, October, 2006. — Р. 6–12.
4. Petrenko A.I. Development of GRID-infrastructure for educational and research seg-
ment of information society in Ukraine with focus on Ecological monitoring and
Telemedicine // Proc. of 20-th CODATA conf. — Beijing, China. 2006 —
Р. 145–147.
5. Петренко А.І. GRID-технології в науці і освіті // Матеріали 9-ї Міжнар.
конф. «Системний аналіз та інформаційні технології». — Київ: IПСА. —
15–19 травня 2007. — С. 22–23.
6. Петренко А. Национальная GRID-инфраструктура для науки и образования. —
CD-ROM с материалами конф. «HPC Day: Современные решения для высо-
копродуктивных вычислений». — Киев: ЮСТАР, 18 октября 2007.
7. Мартынов Е.С. Украинская национальная GRID-инициатива: Состояние и
перспективы. — CD-ROM c материалами конф. «HPC Day: Современные
решения для высокопродуктивных вычислений». — Киев: ЮСТАР,
18 октября 2007.
8. Свистунов С.Я. GRID-инфраструктура НАНУ: Опыт создания и первые резуль-
таты эксплуатации. — CD-ROM с материалами конф. «HPC Day: Совре-
менные решения для высокопродуктивных вычислений». — Киев: ЮСТАР,
18 октября 2007.
Надійшла 01.11.2007.
|
| id | journaliasakpiua-article-109776 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Ukrainian |
| last_indexed | 2025-07-17T10:23:09Z |
| publishDate | 2017 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/82/f4bfd35a362513b5d7c38e36d49c3c82.pdf |
| spelling | journaliasakpiua-article-1097762018-04-11T11:06:06Z National Grid–infrastructure for research and education Национальная Grid-инфраструктура для обеспечения научных исследований и просвещения Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти Petrenko, A. I. The Grid conception and resources for up-to-date Grid systems have been analyzed by the example of construction of the national Grid infrastructure for research and education. Проведен анализ концепции Grid-архитектуры и ресурсов современных Grid-систем на примере построения национальной Grid-инфраструктуры для научных исследований и образования. Проведено аналіз концепції Grid, архітектури та ресурсів сучасних Grid-систем на прикладі побудови національної Grid-інфраструктури для наукових досліджень і освіти. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2017-09-08 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/109776 System research and information technologies; No. 1 (2008); 79-92 Системные исследования и информационные технологии; № 1 (2008); 79-92 Системні дослідження та інформаційні технології; № 1 (2008); 79-92 2308-8893 1681-6048 uk https://journal.iasa.kpi.ua/article/view/109776/104817 Copyright (c) 2021 System research and information technologies |
| spellingShingle | Petrenko, A. I. Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти |
| title | Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти |
| title_alt | National Grid–infrastructure for research and education Национальная Grid-инфраструктура для обеспечения научных исследований и просвещения |
| title_full | Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти |
| title_fullStr | Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти |
| title_full_unstemmed | Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти |
| title_short | Національна Grid-інфраструктура для забезпечення наукових досліджень і освіти |
| title_sort | національна grid-інфраструктура для забезпечення наукових досліджень і освіти |
| url | https://journal.iasa.kpi.ua/article/view/109776 |
| work_keys_str_mv | AT petrenkoai nationalgridinfrastructureforresearchandeducation AT petrenkoai nacionalʹnaâgridinfrastrukturadlâobespečeniânaučnyhissledovanijiprosveŝeniâ AT petrenkoai nacíonalʹnagridínfrastrukturadlâzabezpečennânaukovihdoslídženʹíosvíti |