Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем
Saved in:
| Published in: | Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України |
|---|---|
| Date: | 2009 |
| Main Authors: | , , , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України
2009
|
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/26523 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем / А.Н. Давиденко, В.Ю. Логачова, М.П. Марковская, А.С. Потенко // Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України. — К.: ІПМЕ ім. Г.Є.Пухова НАН України, 2009. — Вип. 52. — Бібліогр.: 3 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860193689256591360 |
|---|---|
| author | Давиденко, А.Н. Логачова, В.Ю. Марковская, М.П. Потенко, А.С. |
| author_facet | Давиденко, А.Н. Логачова, В.Ю. Марковская, М.П. Потенко, А.С. |
| citation_txt | Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем / А.Н. Давиденко, В.Ю. Логачова, М.П. Марковская, А.С. Потенко // Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України. — К.: ІПМЕ ім. Г.Є.Пухова НАН України, 2009. — Вип. 52. — Бібліогр.: 3 назв. — рос. |
| collection | DSpace DC |
| container_title | Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України |
| first_indexed | 2025-12-07T18:07:44Z |
| format | Article |
| fulltext |
УДК 004.75: 004.942
Давиденко А.Н., Логачова В.Ю., Марковская М.П., Потенко А.С.
АНАЛИЗ СТРУКТУРЫ ГРИД-УЗЛА КЛАСТЕРА ИПМЭ НАНУ С
ТОЧКИ ЗРЕНИЯ ИНФОРМАЦИОННОГО ВЗАИМОДЕЙСТВИЯ
ОТКРЫТЫХ СИСТЕМ.
Технология Грид [3] (Grid) используется для создания географически
распределенной вычислительной инфраструктуры, объединяющей ресурсы
различных типов с коллективным доступом к этим ресурсам в рамках
виртуальных организаций, состоящих из предприятий и специалистов,
совместно использующих эти общие ресурсы. Термин Grid (сетка, решетка)
начал использоваться с середины 90-х годов и был выбран по аналогии с
сетями передачи и распределения электроэнергии (Power Grids).
Развитие и внедрение технологии Грид носят стратегический
характер. В ближайшей перспективе эта технология позволит создать
принципиально новый вычислительный инструмент для развития высоких
технологий в различных сферах человеческой деятельности. Идейной
основой технологии Грид является объединение ресурсов путем создания
компьютерной инфраструктуры нового типа, обеспечивающей глобальную
интеграцию информационных и вычислительных ресурсов на основе сетевых
технологий и специального программного обеспечения промежуточного
уровня (между базовым и прикладным ПО), а также набора
стандартизованных служб для обеспечения надежного совместного доступа к
географически распределенным информационным и вычислительным
ресурсам: отдельным компьютерам, кластерам, хранилищам информации и
сетям.
Несмотря на достаточно тесное взаимодействие многих проектов,
конкретные реализации Грид-систем отличаются друг от друга, хотя к
настоящему времени с достаточной определенностью начала наблюдаться
тенденция стандартизации большинства компонент, что означает важнейший
этап формирования технологии Грид (архитектура, протоколы, сервисы и
др.). С самых общих позиций эта технология характеризуется простым
набором критериев:
координация использования ресурсов при отсутствии
централизованного управления этими ресурсами;
использование стандартных, открытых, универсальных
протоколов и интерфейсов;
обеспечение высококачественного обслуживания
пользователей.
Грид является технологией обеспечения гибкого, безопасного и
скоординированного общего доступа к ресурсам. При этом слово «ресурс»
понимается в очень широком смысле, т.е. ресурсом может быть аппаратура
(жесткие диски, процессоры), а также системное и прикладное ПО
(библиотеки, приложения). В терминологии Грид совокупность людей и
организаций, решающих совместно ту или иную общую задачу и
предоставляющих друг другу свои ресурсы, называется виртуальной
организацией (ВО). Например, виртуальной организацией может быть
совокупность всех людей, участвующих в какой-либо научной коллаборации.
Виртуальные организации могут различаться по составу, масштабу, времени
существования, роду деятельности, целям, отношениям между участниками
(доверительные, не доверительные) и т.д. Состав виртуальных организаций
может динамически меняться.
Хотя сама технология Грид не привязана к определенным ресурсам,
наиболее часто реализации Грид-систем обеспечивают работу со
следующими типами ресурсов:
вычислительные ресурсы – отдельные компьютеры,
кластеры;
ресурсы хранения данных – диски и дисковые массивы,
ленты, системы массового хранения данных;
сетевые ресурсы;
программное обеспечение – какое-либо
специализированное ПО.
Архитектура Грид определяет системные компоненты, цели и
функции этих компонент и отражает способы взаимодействия компонент
друг с другом. Архитектура Грид представляет собой архитектуру
взаимодействующих протоколов, сервисов и интерфейсов, определяющих
базовые механизмы, посредством которых пользователи устанавливают
соединения с Грид-системой, совместно используют вычислительные
ресурсы для решения различного рода задач. Архитектура протоколов Грид
разделена на уровни [1] (рис. 1), компоненты каждого из них могут
использовать возможности компонент любого из нижерасположенных
уровней. В целом эта архитектура задает требования для основных
компонент технологии (протоколов, сервисов, прикладных интерфейсов и
средств разработки ПО), не предоставляя строгий набор спецификаций,
оставляя возможность их развития в рамках принятой концепции.
Базовый уровень (Fabric Layer) описывает службы, непосредственно
работающие с ресурсами. Ресурс является одним из основных понятий
архитектуры Грид. Ресурсы могут быть весьма разнообразными, однако, как
уже упоминалось, можно выделить несколько основных типов:
вычислительные ресурсы;
ресурсы хранения данных;
информационные ресурсы, каталоги;
сетевые ресурсы.
Вычислительные ресурсы предоставляют пользователю Грид-
системы (точнее говоря, задаче пользователя) процессорные мощности.
ППррииккллаадднноойй
РРеессууррсснныыйй
ККооллллееккттииввнныыйй
ССввяяззыыввааюющщиийй
ББааззооввыыйй
ППррииккллаадднноойй
ТТррааннссппооррттнныыйй
ССееттееввоойй
ККааннааллььнныыйй
УУ
рр оо
вв нн
ии
пп рр
оо тт
оо кк
оо лл
оо вв
ГГ
рр ии
дд
Рис. 1. Уровни архитектуры протоколов Грид и их соответствие
уровням архитектуры протоколов Интернет
Вычислительными ресурсами могут быть как кластеры, так и отдельные
рабочие станции. При всем разнообразии архитектур любая
вычислительная система может рассматриваться как потенциальный
вычислительный ресурс Грид-системы. Необходимым условием для этого
является наличие специального программного обеспечения, называемого ПО
промежуточного уровня (middleware), реализующего стандартный внешний
интерфейс с ресурсом и позволяющего сделать ресурс доступным для Грид-
системы. Основной характеристикой вычислительного ресурса является
производительность. Кластер ИПМЭ НАНУ содержит управляющий узел и
три вычислительных. Вычислительный узел состоит из двух процессоров
Quad-Core Intel Xeon E5405, частота ядра 2 ГГц, FSB 1333 МГц, 12 Мб кэш.,
четырех 2 Гб-модуля DDR2 DIMM 667 МHz, ECC.
Ресурсы памяти представляют собой пространство для хранения
данных. Для доступа к ресурсам памяти также используется программное
обеспечение промежуточного уровня, реализующее унифицированный
интерфейс управления и передачи данных. Как и в случае вычислительных
ресурсов, физическая архитектура ресурса памяти не принципиальна для
Грид-системы, будь то жесткий диск на рабочей станции или система
массового хранения данных на сотни терабайт. Основной характеристикой
ресурса памяти является его объем, для кластера ИПМЭ НАНУ это 1 жесткий
диск на управляющем узле на 500 Гб1 7200 об/мин. SATA II , и по одному
жесткому диску на вычислительных 80 Гб 7200 об/мин. SATA II
Информационные ресурсы и каталоги являются особым видом
ресурсов памяти. Они служат для хранения и предоставления информации о
других ресурсах Грид-системы. Информационные ресурсы позволяют
структурировано хранить огромный объем информации о текущем состоянии
Грид-системы и эффективно выполнять задачи поиска.
Системное программное обеспечение кластера ИПМЭ НАНУ:
Операционная система - CentOS версии 5.2 для архитектуры Intel x64.
Распределенная файловая система – NFS.
Пакет драйверов OFED для оборудования интерконнекта Infiniband.
Система управления пакетной обработкой (СУПО) –TORQUE .
Система виртуализации – OpenVZ.
Программное обеспечение грид (middleware) – пакет ARC,
разработанный объединением NorduGrid.метаданных и
Сетевой ресурс является связующим звеном между распределенными
ресурсами Грид-системы. Основной характеристикой сетевого ресурса
является скорость передачи данных. Географически распределенные системы
на основе рассматриваемой технологии способны объединять тысячи
ресурсов разного типа, независимо от их географического положения.
Коммуникационный контролер - интегрированный 1-портовый Infiniband
адаптер Mellanox MT25204AD-FCC-D. Транспортный контролер -
интегрированый 2-портовый Gigabit Ethernet адаптер Intel 82563EB
Уровень связи (Connectivity Layer) определяет коммуникационные
протоколы и протоколы аутентификации.
Коммуникационные протоколы обеспечивают обмен данными между
компонентами базового уровня.
Протоколы аутентификации, основываясь на коммуникационных
протоколах, предоставляют криптографические механизмы для
идентификации и проверки подлинности пользователей и ресурсов, в данном
случае используется Kerberos 5.
Протоколы уровня связи должны обеспечивать надежный транспорт
и маршрутизацию сообщений, а также присвоение имен объектам сети.
Несмотря на существующие альтернативы, сейчас протоколы уровня связи в
Грид-системах предполагают использование только стека протоколов TCP/IP,
в частности: на сетевом уровне – IP и ICMP, транспортном уровне – TCP,
UDP, на прикладном уровне – HTTP, FTP, DNS, RSVP. Учитывая бурное
развитие сетевых технологий, в будущем уровень связи, возможно, будет
зависеть и от других протоколов.
Для обеспечения надежного транспорта сообщений в Грид-системе
должны использоваться решения, предусматривающие гибкий подход к
безопасности коммуникаций (возможность контроля над уровнем защиты,
ограничение делегирования прав, поддержка надежных транспортных
протоколов). В настоящее время эти решения основываются как на
существующих стандартах безопасности, изначально разработанных для
Интернет (SSL, TLS), так и на новых разработках.
Ресурсный уровень (Resource Layer) построен над протоколами
коммуникации и аутентификации уровня связи архитектуры Грид. Ресурсный
уровень реализует протоколы, обеспечивающие выполнение следующих
функций:
согласование политик безопасности использования ресурса;
процедура инициации ресурса;
мониторинг состояния ресурса;
контроль над ресурсом;
учет использования ресурса.
Протоколы этого уровня опираются на функции базового уровня для
доступа и контроля над локальными ресурсами. На ресурсном уровне
протоколы взаимодействуют с ресурсами, используя унифицированный
интерфейс и не различая архитектурные особенности конкретного ресурса.
Различают два основных класса протоколов ресурсного уровня:
1. информационные протоколы, которые получают
информацию о структуре и состоянии ресурса, например, о его
конфигурации, текущей загрузке, политике использования;
2. протоколы управления, которые используются для
согласования доступа к разделяемым ресурсам, определяя требования и
допустимые действия по отношению к ресурсу (например, поддержка
резервирования, возможность создания процессов, доступ к данным).
Протоколы управления должны проверять соответствие запрашиваемых
действий политике разделения ресурса, включая учет и возможную оплату.
Они могут поддерживать функции мониторинга статуса и управления
операциями.
Список требований к функциональности протоколов ресурсного
уровня близок к списку для базового уровня архитектуры Грид. Добавилось
лишь требование единой семантики для различных операций с поддержкой
системы оповещения об ошибках.
Информационная система (LdapBrowser, ldapsearch, grid-monitor,
ngtest)
Система передачи данных (ngls, ngcp, ngrm, ngcat, ngtest)
Система работы с задачами (ngsub, ngstat, ngget, ngresub, ngkill,
ngrenew, ngtest)
Коллективный уровень (Collective Layer) отвечает за глобальную
интеграцию различных наборов ресурсов, в отличие от ресурсного уровня,
сфокусированного на работе с отдельно взятыми ресурсами. В коллективном
уровне различают общие и специфические (для приложений) протоколы. К
общим протоколам относятся, в первую очередь, протоколы обнаружения и
выделения ресурсов, системы мониторинга и авторизации сообществ.
Специфические протоколы создаются для различных приложений Грид,
(например, протокол архивации распределенных данных или протоколы
управления задачами сохранения состояния и т.п.).
Компоненты коллективного уровня предлагают огромное
разнообразие методов совместного использования ресурсов. Ниже приведены
функции и сервисы, реализуемые в протоколах данного уровня:
сервисы каталогов позволяют виртуальным организациям
обнаруживать свободные ресурсы, выполнять запросы по именам и
атрибутам ресурсов, таким как тип и загрузка;
сервисы совместного выделения, планирования и
распределения ресурсов обеспечивают выделение одного или более ресурсов
для определенной цели, а также планирование выполняемых на ресурсах
задач;
сервисы мониторинга и диагностики отслеживают аварии,
атаки и перегрузку.
сервисы дублирования (репликации) данных координируют
использование ресурсов памяти в рамках виртуальных организаций,
обеспечивая повышение скорости доступа к данным в соответствии с
выбранными метриками, такими как время ответа, надежность, стоимость и
т.п.;
сервисы управления рабочей загрузкой применяются для
описания и управления многошаговыми, асинхронными,
многокомпонентными заданиями;
службы авторизации сообществ способствуют улучшению
правил доступа к разделяемым ресурсам, а также определяют возможности
использования ресурсов сообщества. Подобные службы позволяют
формировать политики доступа на основе информации о ресурсах,
протоколах управления ресурсами и протоколах безопасности связывающего
уровня;
службы учета и оплаты обеспечивают сбор информации об
использовании ресурсов для контроля обращений пользователей;
сервисы координации поддерживают обмен информацией в
потенциально большом сообществе пользователей.
Системы мониторинга [2]:
Grid Monitor вэб-интерфес для информационной системы
ARC NorduGrid
Ganglia масштабируемая система мониторинга для
высокопроизводительных вычислительных систем, таких как кластеры
Nagios система мониторинга сервисов, состояния сети,
серверов
Logger независимо разработанная система сбора
статистической информации о задачах
Прикладной уровень (Application Layer) описывает пользовательские
приложения, работающие в среде виртуальной организации. Приложения
функционируют, используя сервисы, определенные на нижележащих
уровнях. На каждом из уровней имеются определенные протоколы,
обеспечивающие доступ к необходимым службам, а также прикладные
программные интерфейсы (Application Programming Interface – API),
соответствующие данным протоколам.
Для облегчения работы с прикладными программными интерфейсами
пользователям предоставляются наборы инструментальных средств для
разработки программного обеспечения (Software Development Kit – SDK).
Наборы инструментальных средств высокого уровня могут обеспечивать
функциональность с одновременным использованием нескольких
протоколов, а также комбинировать операции протоколов с
дополнительными вызовами прикладных программных интерфейсов нижнего
уровня. На данный момент в кластере ИПМЭ НАНУ используются
стандартное программное обеспечение операционной системы CentOS
версии 5.2
Инфраструктура Грид основана на предоставлении ресурсов в общее
пользование, с одной стороны, и на использовании публично доступных
ресурсов, с другой. В этом плане ключевое понятие инфраструктуры Грид –
виртуальная организация, в которой кооперируются как потребители, так и
владельцы ресурсов. Мотивы кооперации могут быть разными. В
существующих Грид-системах виртуальная организация представляет собой
объединение специалистов из некоторой прикладной области, которые
объединяются для достижения общей цели.
Любая ВО располагает определенным количеством ресурсов,
которые предоставлены зарегистрированными в ней владельцами (некоторые
ресурсы могут одновременно принадлежать нескольким ВО). Каждая ВО
самостоятельно устанавливает правила работы для своих участников, исходя
из соблюдения баланса между потребностями пользователей и наличным
объемом ресурсов, поэтому пользователь должен обосновать свое желание
работать с Грид-системой и получить согласие управляющих органов ВО.
Грид-система является средой коллективного компьютинга, в
которой каждый ресурс имеет владельца, а доступ к ресурсам открыт в
разделяемом по времени и по пространству режиме множеству входящих в
ВО пользователей. Виртуальная организация может образовываться
динамически и иметь ограниченное время существования.
Литература
1. Кирьянов А.К., Рябов Ю.Ф. Введение в технологию Грид: Учебное пособие. -
//Гатчина: ПИЯФ РАН, 2006. - 39 с.
2. Макаров А. Технологии GRID на примере проекта ARC NorduGrid
Установка и настройка вычислительного кластера,
подключенного к ARC NorduGrid //V Всероссийская межвузовская
конференция молодых ученых., Санкт-Петербург -2008
3. Википедия о Гриде. http://ru.wikipedia.org/wiki/Grid-система
http://en.wikipedia.org/wiki/Grid_computing
|
| id | nasplib_isofts_kiev_ua-123456789-26523 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | XXXX-0067 |
| language | Russian |
| last_indexed | 2025-12-07T18:07:44Z |
| publishDate | 2009 |
| publisher | Інститут проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України |
| record_format | dspace |
| spelling | Давиденко, А.Н. Логачова, В.Ю. Марковская, М.П. Потенко, А.С. 2011-09-04T20:54:13Z 2011-09-04T20:54:13Z 2009 Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем / А.Н. Давиденко, В.Ю. Логачова, М.П. Марковская, А.С. Потенко // Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України. — К.: ІПМЕ ім. Г.Є.Пухова НАН України, 2009. — Вип. 52. — Бібліогр.: 3 назв. — рос. XXXX-0067 https://nasplib.isofts.kiev.ua/handle/123456789/26523 004.75:004.942 ru Інститут проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем Article published earlier |
| spellingShingle | Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем Давиденко, А.Н. Логачова, В.Ю. Марковская, М.П. Потенко, А.С. |
| title | Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем |
| title_full | Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем |
| title_fullStr | Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем |
| title_full_unstemmed | Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем |
| title_short | Анализ структуры грид-узла кластера ИПМЭ НАНУ с точки зрения информационного взаимодействия открытых систем |
| title_sort | анализ структуры грид-узла кластера ипмэ нану с точки зрения информационного взаимодействия открытых систем |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/26523 |
| work_keys_str_mv | AT davidenkoan analizstrukturygriduzlaklasteraipménanustočkizreniâinformacionnogovzaimodeistviâotkrytyhsistem AT logačovavû analizstrukturygriduzlaklasteraipménanustočkizreniâinformacionnogovzaimodeistviâotkrytyhsistem AT markovskaâmp analizstrukturygriduzlaklasteraipménanustočkizreniâinformacionnogovzaimodeistviâotkrytyhsistem AT potenkoas analizstrukturygriduzlaklasteraipménanustočkizreniâinformacionnogovzaimodeistviâotkrytyhsistem |