Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі

Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі

Описана архитектура и реализация автоматизированной службы репликации данных в грид-инфраструктуре, обеспечивающая поддержку нескольких виртуальных организаций и различных политик репликации, а также прозрачность доступа к данным благодаря применению каталога данных LFC для хранения политик. Автоном...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Veröffentlicht in:Управляющие системы и машины
Datum:2012
1. Verfasser: Слюсар, Є.А.
Format: Artikel
Sprache:Ukrainian
Veröffentlicht: Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України 2012
Schlagworte:
Программная инженерия и программные средства
Online Zugang:https://nasplib.isofts.kiev.ua/handle/123456789/83084
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі / Є.А. Слюсар // Управляющие системы и машины. — 2012. — № 4. — С. 63-74. — Бібліогр.: 10 назв. — укр., рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id nasplib_isofts_kiev_ua-123456789-83084
record_format dspace
spelling Слюсар, Є.А.
2015-06-14T11:08:45Z
2015-06-14T11:08:45Z
2012
Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі / Є.А. Слюсар // Управляющие системы и машины. — 2012. — № 4. — С. 63-74. — Бібліогр.: 10 назв. — укр., рос.
0130-5395
https://nasplib.isofts.kiev.ua/handle/123456789/83084
004.75
Описана архитектура и реализация автоматизированной службы репликации данных в грид-инфраструктуре, обеспечивающая поддержку нескольких виртуальных организаций и различных политик репликации, а также прозрачность доступа к данным благодаря применению каталога данных LFC для хранения политик. Автономность работы обеспечивается путем получения делегации владельцев файлов через службу MyProxy и удостоверением членства в виртуальных организациях службой VOMS.
Automatic data replication service architecture supporting multiple Virtual Organizations and different replication policies is presented. The transparent data access is accomplished by employing the LFC data catalog service for storage of replication policies. A noninteractive batch operation is achieved by integrating the credential delegation mechanisms for actual data owners, which employ the MyProxy credential repository and the Virtual Organizations membership service.
Описано архітектуру та реалізацію автоматизованої служби реплікації даних у грід-інфраструктурі, що забезпечує підтримку декількох віртуальних організацій та політик реплікації, забезпечує прозорість доступу до даних шляхом використання каталогу даних LFC для зберігання політик реплікації. Автономність роботи забезпечується шляхом отримання делегації власників файлів через службу MyProxy з подальшим засвідченням участі у віртуальних організаціях службою VOMS.
uk
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
Управляющие системы и машины
Программная инженерия и программные средства
Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі
The Automatic Replication Service for Maintaining the High Availability of Data in the Grid-Infrastructure
Автоматизированная служба репликации файлов для организации высокой доступности данных в грид-инфраструктуре
Article
published earlier
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
title Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі
spellingShingle Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі
Слюсар, Є.А.
Программная инженерия и программные средства
title_short Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі
title_full Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі
title_fullStr Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі
title_full_unstemmed Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі
title_sort автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі
author Слюсар, Є.А.
author_facet Слюсар, Є.А.
topic Программная инженерия и программные средства
topic_facet Программная инженерия и программные средства
publishDate 2012
language Ukrainian
container_title Управляющие системы и машины
publisher Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
format Article
title_alt The Automatic Replication Service for Maintaining the High Availability of Data in the Grid-Infrastructure
Автоматизированная служба репликации файлов для организации высокой доступности данных в грид-инфраструктуре
description Описана архитектура и реализация автоматизированной службы репликации данных в грид-инфраструктуре, обеспечивающая поддержку нескольких виртуальных организаций и различных политик репликации, а также прозрачность доступа к данным благодаря применению каталога данных LFC для хранения политик. Автономность работы обеспечивается путем получения делегации владельцев файлов через службу MyProxy и удостоверением членства в виртуальных организациях службой VOMS. Automatic data replication service architecture supporting multiple Virtual Organizations and different replication policies is presented. The transparent data access is accomplished by employing the LFC data catalog service for storage of replication policies. A noninteractive batch operation is achieved by integrating the credential delegation mechanisms for actual data owners, which employ the MyProxy credential repository and the Virtual Organizations membership service. Описано архітектуру та реалізацію автоматизованої служби реплікації даних у грід-інфраструктурі, що забезпечує підтримку декількох віртуальних організацій та політик реплікації, забезпечує прозорість доступу до даних шляхом використання каталогу даних LFC для зберігання політик реплікації. Автономність роботи забезпечується шляхом отримання делегації власників файлів через службу MyProxy з подальшим засвідченням участі у віртуальних організаціях службою VOMS.
issn 0130-5395
url https://nasplib.isofts.kiev.ua/handle/123456789/83084
citation_txt Автоматизованна служба реплікації файлів для організації високої доступності даних в грід-інфраструктурі / Є.А. Слюсар // Управляющие системы и машины. — 2012. — № 4. — С. 63-74. — Бібліогр.: 10 назв. — укр., рос.
work_keys_str_mv AT slûsarêa avtomatizovannaslužbareplíkacíífailívdlâorganízacíívisokoídostupnostídanihvgrídínfrastrukturí
AT slûsarêa theautomaticreplicationserviceformaintainingthehighavailabilityofdatainthegridinfrastructure
AT slûsarêa avtomatizirovannaâslužbareplikaciifailovdlâorganizaciivysokoidostupnostidannyhvgridinfrastrukture
first_indexed 2025-11-25T21:01:35Z
last_indexed 2025-11-25T21:01:35Z
_version_ 1850545169820024832
fulltext УСиМ, 2012, № 4 63 УДК 004.75 Є.А. Слюсар Автоматизована служба реплікації файлів для організації високої доступності даних у грід-інфраструктурі Описана архитектура и реализация автоматизированной службы репликации данных в грид-инфраструктуре, обеспечивающая поддержку нескольких виртуальных организаций и различных политик репликации, а также прозрачность доступа к данным благодаря применению каталога данных LFC для хранения политик. Автономность работы обеспечивается путем получения делегации владельцев файлов через службу MyProxy и удостоверением членства в виртуальных организациях службой VOMS. Automatic data replication service architecture supporting multiple Virtual Organizations and different replication policies is presented. The transparent data access is accomplished by employing the LFC data catalog service for storage of replication policies. A non- interactive batch operation is achieved by integrating the credential delegation mechanisms for actual data owners, which employ the MyProxy credential repository and the Virtual Organizations membership service. Описано архітектуру та реалізацію автоматизованої служби реплікації даних у грід-інфраструктурі, що забезпечує підтримку декількох віртуальних організацій та політик реплікації, забезпечує прозорість доступу до даних шляхом використання ката- логу даних LFC для зберігання політик реплікації. Автономність роботи забезпечується шляхом отримання делегації власни- ків файлів через службу MyProxy з подальшим засвідченням участі у віртуальних організаціях службою VOMS. Вступ. Грід-система – це поєднання технологій, інфраструктури та стандартів. Технології вклю- чають в себе спеціальне програмне забезпечен- ня проміжного рівня, що дозволяє організаціям надавати свої інформаційні та обчислювальні ре- сурси у загальне користування; інфраструктура складається з апаратних засобів та служб на ос- нові інформаційних та обчислювальних ресур- сів, а стандарти визначають формат та протоко- ли обміну як для взаємодії між самими служ- бами, так і між службами та користувачами [1]. Доступ до ресурсів грід-інфраструктури здій- снюється через звернення до відповідних служб з використанням визначених протоколів. Реалі- зація грід-служби приховує від користувачів, інших служб інфраструктури внутрішню архі- тектуру і особливості функціонування ресурсу, що нею обслуговується, та надає уніфікований стандартизований інтерфейс згідно типу цього ресурсу [2]. Постановка задачі Для віртуальних організацій (ВО), що опе- рують великими обсягами даних, актуальною є проблема забезпечення високої доступності да- них для обчислень та оптимізації їх розміщення між елементами зберігання даних (Storage Ele- ment – SE) для підвищення швидкості доступу з найближчих обчислювальних елементів (Com- puting Element – CE). Пакет програмного забез- печення проміжного рівня Nordugrid Advanced Resource Connector (ARC) [3] не містить у сво- єму складі автоматизованих засобів реплікації даних. До пакету gLite входить служба File Transfer Service [4], яка є вузько спеціалізова- ною та організує доставку наборів даних із од- ного центрального елемента на декілька роз- поділених сховищ без взаємодії з каталогом да- них. ВО змушені розробляти власні засоби ре- плікації даних, що відповідають застосованим ними методам обробки. Як наслідок, розробле- ні засоби також мають вузьку спеціалізацію і не можуть без істотних модифікацій викорис- товуватись як універсальний засіб в межах грід- інфраструктури. Наведемо вимоги до реалізації автоматизова- ної служби реплікації:  масштабованість на велику кількість еле- ментів зберігання даних;  підтримка декількох ВО та різних політик реплікації для різних ВО;  автономність роботи – керування репліка- ми без втручання користувачів;  прозорість доступу до даних та інтеграція зі службою каталогу файлів;  робота від імені користувачів ВО за допо- могою делегації;  можливість як централізованого, так і міс- цевого розгортання. Єдина реалізація служби реплікації даних, що відповідає вимогам різних ВО і сприятиме 64 УСиМ, 2012, № 4 розвитку грід-технологій у складі національних грід-інфраструктур, зокрема й української. Це дозволить учасникам ВО сконцентруватись на галузі своїх досліджень та позбавить їх необ- хідності вручну керувати великими обсягами розподілених даних у грід-інфраструктурі. Архітектура служби Розроблена служба реплікації складається з декількох компонентів, що взаємодіють між со- бою. Для звернення до інших служб грід-інфра- структури використовуються утиліти та біблі- отеки пакетів програмного забезпечення про- міжного рівня gLite та Nordugrid ARC. Оскіль- ки політики реплікації застосовуються до логі- чних імен у каталозі файлів, то доцільним є ви- користання спільної бази даних для зберігання логічної ієрархії імен, а також відповідних ме- таданих, до складу яких долучається опис по- літик реплікації. Реалізація служби каталогу да- них LCG File Catalog (LFC) [5], що застосову- ється в українському грід-сегменті, а також у світових інфраструктурах WLCG та EGI, не міс- тить вбудованих засобів для зберігання спеціа- лізованих метаданих. Проте, кожен іменований об’єкт у каталозі має атрибут коментар – текст вільної форми, який може змінюватись корис- тувачем згідно політик контролю доступу LFC і не впливає на будь-які інші аспекти роботи ка- талогу. Однією з особливостей запропонованої архітектури є зберігання політик реплікації в за- кодованому та стисненому вигляді у складі ко- ментаря файлу або директорії у каталозі LFC. Така організація сховища метаданих для служ- би реплікації має певні переваги:  відсутність власної бази даних: усі полі- тики реплікації зберігаються безпосередньо як метадані логічних імен у каталозі файлів, а служба реплікації звертається до нього для чи- тання або запису цих політик;  стандартний протокол зовнішнього ін- терфейсу служби: взаємодія користувачів із службою відбувається через внесення змін до коментарів логічних імен у каталозі LFC; при цьому використовується стандартний протокол LFC, який передбачає автентифікацію та авто- ризацію користувачів;  мобільність реалізації інтерфейсу кори- стувача: засоби інтерфейсу користувача базу- ються на програмних бібліотеках клієнта служ- би LFC, не мають ніяких інших суттєвих зале- жностей та можуть бути реалізованими як у вигляді Shell-сценарію, так і у формі самостій- ної утиліти. Рис.1. Взаємодія компонентів служби реплікації Схема взаємодії компонентів служби реплі- кації показана на рис. 1. Ядро системи виконує зіставлення характеристик наявних у грід-інфра- структурі елементів зберігання даних та пара- метрів логічних імен у каталозі файлів, у тому числі кількість наявних реплік та політики ре- плікації, внаслідок чого формуються запити на перевірку доступності існуючих реплік та ство- рення нових. Сканер інформаційної системи – це ком- понент, що забезпечує ядро відомостями про на- явні елементи зберігання даних та їх поточні ха- рактеристики. Один і той же елемент зберіган- ня даних може підтримувати декілька ВО, а кож- на ВО в свою чергу може мати декілька точок входу до сховища та резервації дискового про- стору (Storage Space Reservations – SSR) на них. Ці відомості, разом із обсягами резервацій та фактичними показниками вільного простору, публікуються у локальній інформаційній систе- мі елемента зберігання даних. Опубліковані ві- домості з усіх грід-ресурсів передаються на центральний каталог ресурсів інфраструктури. Сканер інформаційної системи періодично опи- тує цей каталог та формує список усіх наявних сховищ даних та резервацій на кожну ВО. До списку входить також посилання на стандартний інтерфейс керування елементом зберігання да- них Storage Resource Manager (SRM) [6], що підтримується більшістю поширених реаліза- цій грід-сховищ – Disk Pool Manager (DPM), УСиМ, 2012, № 4 65 dCache, Storage Resource Manager (StoRM), Ber- keley Storage Manager (BeStMan) та CERN Ad- vanced STORage manager (CASTOR). Сформований список зберігається у загаль- ному кеші об’єктів служби реплікації, звідки його може отримати ядро системи. Сканер пе- ріодично поповнює кеш об’єктів новим спис- ком на кожному циклі своєї роботи. Сканер каталогу даних виконує обхід ієра- рхічної структури логічних імен у каталозі LFC, отримуючи метадані та список існуючих реп- лік на кожне ім’я, куди може входити опис по- літики реплікації. Оскільки один каталог LFC може обслуговувати декілька ВО, кожна з яких може встановлювати власні політики доступу до каталогу, звернення до нього відбувається з використанням проксі-сертифікатів учасників відповідних ВО. Для отримання таких сертифі- катів, в процесі обходу каталогу, сканер зверта- ється до сховища сертифікатів користувачів. Якщо у сховищі на момент запиту не зберіга- лось необхідного сертифіката, то відповідна гіл- ка ієрархії імен пропускається, а на сховище на- правляється запит на отримання проксі-серти- фіката. В результаті одного циклу обходу скане- ра формується список усіх логічних імен, що мають хоча б одну репліку та перебувають в по- лі дії хоча б одної з політик реплікації. Політи- ки реплікації наслідуються від батьківського об’- єкта вниз за ієрархією. Сформований список за- носиться до загального кешу об’єктів служби ре- плікації та періодично оновлюється сканером. Сховище сертифікатів користувачів слугує для зменшення навантаження на службу делега- ції MyProxy [7] та службу засвідчення участі у ВО (Virtual Organization Membership Service, VOMS) [8]. Агент сховища звертається до кешу об’єктів та отримує список необроблених запи- тів на отримання проксі-сертифіката. Викорис- товуючи власний сертифікат служби, агент здій- снює запити до служби MyProxy на отримання делегації користувачів, унікальні імена сертифі- катів яких (Distinguished Name – DN) були вка- зані у необроблених запитах кешу. У разі ус- пішного отримання делегації проксі-сертифікати завантажуються у кеш. На наступному етапі з використанням отриманих проксі-сертифікатів за допомогою служби VOMS генеруються нові, але вже зі спеціальним розширенням, що під- тверджує участь користувача у відповідній ВО. Оптимізація полягає у зменшенні кількості за- питів до служби MyProxy в тому випадку, коли один і той самий користувач є учасником декі- лькох ВО. Результуючі проксі-сертифікати з VOMS-розширенням також завантажуються у кеш (рис. 2). Рис. 2. Схема роботи сховища сертифікатів користувачів Для успішної роботи описаного механізму необхідно, щоб користувачі служби реплікації завантажували на відповідний MyProxy-сервер довгострокові делегації та вказували у політиці делегування унікальне ім’я сертифіката служби. Це забезпечить отримання делегації та швидке реагування на зміну стану реплікації файлів у ка- талозі. Сертифікат служби також використовується у випадках, коли неможливо визначити корис- тувача-власника певного файлу чи директорії у каталозі файлів, а також при початковому скану- ванні для визначення піддерев, підтримуваних ВО. Якщо служба реплікації входить до складу ВО як учасник, то її сертифікат можна викори- стовувати замість користувацького у всіх опе- раціях, де дозволено доступ до файлів усім учас- никам ВО. Це стосується загальних вхідних даних для подальшого аналізу учасниками ВО. Ядро системи отримує список об’єктів та їх політики реплікації зі сканера каталогу даних. На першому кроці циклу відбувається перевір- ка кожного об’єкта на відповідність вказаним 66 УСиМ, 2012, № 4 політикам. Зокрема, перевіряється, щоб кількість реплік файла була у встановлених межах. Для зменшення навантаження на елементи зберіган- ня даних перевірка доступності репліки відбу- вається за допомогою операції отримання спи- ску файлів у відповідній директорії сховища, ре- зультати якої заносяться у загальний кеш. Спо- чатку перевіряється наявність у кеші відповід- ного елемента, і у випадку його відсутності ге- нерується запит до монітору доступності реп- лік і ядро переходить до розгляду наступного об’єкта. У випадку, коли результати перевірки до- ступності реплік файла були успішно отримані, визначається реальна кількість доступних реп- лік. На підставі цих даних приймається рішен- ня про створення нової репліки у разі їх недо- статньої кількості або про видалення зайвих реп- лік у разі їх надмірної кількості. Якщо кіль- кість реплік залишається у діапазоні, вказано- му в політиці, ядро переходить до розгляду на- ступного об’єкта. Для створення нової репліки обирається ре- зервація на елементі зберігання даних, де не- має жодної репліки відповідного файла. Резер- вації є іменованими і можуть вказуватися у по- літиці реплікації. У випадку, коли резервацію не вказано, обирається простір за замовчуван- ням відповідного елемента зберігання даних. Отримані таким чином резервації впорядкову- ються за рейтингом, що обчислюється із пока- зників надійності відповідного обчислювального елемента, що отримуються з системи тестуван- ня грід-інфраструктури або за внутрішніми ре- зультатами перевірки доступності служби реп- лікації, які формуються та поновлюються при перевірці доступності реплік. У політиці реп- лікації вказується порог відсічки – величина, що вказує з скількох елементів зберігання да- них із верхівки рейтингу необхідно обрати мі- сцезнаходження нової репліки. Кінцевий еле- мент обирається випадково. На наступному кроці обирається існуюча реп- ліка, з якої відбуватиметься копіювання вмісту файла для нової репліки. Також формується рей- тинг серед існуючих реплік та обирається така пара елементів зберігання даних, для яких швид- кість передачі була максимальною при поперед- ніх операціях передачі даних, відомості про які також зберігаються у загальному кеші служби реплікації. Це забезпечить якнайшвидше ство- рення нової репліки. Запит на передачу даних, сформований за описаними принципами, направ- ляється до черги диспетчера передачі даних. При видаленні репліки також будується рей- тинг усіх використаних елементів зберігання да- них, враховуючи показники надійності та віль- ного дискового простору. Із рейтингу обирається репліка з мінімальним рейтингом та формуєть- ся відповідний запит на видалення даних та посилання на них із каталогу даних (рис. 3). Рис.3. Схема роботи ядра служби реплікації Монітор доступності реплік виконує пе- ревірку наявності реальних даних за посилан- нями, що вказуються як репліки файла. Для зни- ження навантаження на елементи зберігання даних запити консолідуються для кожного еле- мента шляхом отримання списку файлів певної директорії замість перевірки окремого файла. При автоматичному створенні реплік на елемен- тах зберігання даних використовується проста дворівнева структура директорій, тому імовір- УСиМ, 2012, № 4 67 ність того, що декілька файлів матимуть реплі- ки в одній і тій самій директорії, досить висо- ка. Списки файлів директорії заносяться до за- гального кешу на певний час, щоб виключити надто часті повторні запити. В результаті пе- ревірки можливі наступні варіанти:  необхідний файл наявний у списку файлів директорії – тоді поточна репліка вважається доступною;  необхідний файл відсутній у списку – реп- ліка вважається видаленою;  елемент зберігання даних недоступний на момент запиту – репліка вважається недоступ- ною. Спроба безпосереднього отримання даних із репліки не виконується через те, що ці дані мо- жуть зберігатися на стрічкових накопичувачах, і необхідний певний час та інші ресурси, щоб підготувати ці дані для завантаження. Якщо роз- мір файла досить суттєвий, то це може спричи- нити високе нецільове навантаження на елемент зберігання даних. Перед зверненням до сховища, виконується спроба отримати проксі-сертифікат із сховища сертифікатів користувачів. Якщо сертифікат не знайдено, то залишається запит на генерацію такого сертифіката і логічне ім’я, репліки яко- го перевіряються у поточний момент, відкла- дається до наступного циклу роботи ядра. Якщо файл відсутній у директорії на схо- вищі – це означає, що дані були видалені кори- стувачем вручну або іншою службою грід-ін- фраструктури. Тому таку репліку необхідно ви- даляти із каталогу даних. Запит на видалення репліки формується автоматично та направля- ється безпосередньо до каталогу даних. Якщо при зверненні до елемента зберігання даних виникла помилка, то не можна однозна- чно констатувати видалення репліки. Проте, можна констатувати тимчасову недоступність сховища в цілому. Успішність запитів до кож- ного сховища зберігається та поновлюється після кожного запиту у загальному кеші служ- би реплікації. Ці відомості у подальшому вико- ристовуються для обчислення рейтингу сховищ при виборі місцезнаходження нової репліки. Диспетчер передачі даних застосовується для розподілу навантаження між елементами зберігання даних. Для цього використовується таблиця стану, де ведеться облік поточних се- ансів обміну даними між елементами зберіган- ня. Максимальна кількість одночасних сеансів читання та запису для одного сховища задаєть- ся у глобальній конфігурації служби. Диспет- чер вибирає з черги запит, який можна задово- льнити у поточний момент, не порушуючи зга- даних показників, та викликає агент передачі даних, який і обслуговує цей запит. Агент передачі даних використовує стан- дартні засоби програмного забезпечення про- міжного рівня для погодження тристоронньої передачі між елементами зберігання даних. От- же, дані передаються безпосередньо між двома сховищами, але процес передачі контролюєть- ся з вузла служби реплікації. Операція викону- ється від імені користувача-власника відповід- них даних, проксі-сертифікат із необхідним VOMS-розширенням отримується з сховища сер- тифікатів користувачів. У разі невдачі при отри- манні сертифіката або при налаштуванні пере- дачі, лічильник спроб запиту збільшується і він залишається у черзі. При успішному створенні репліки вона реєструється у каталозі даних та запит видаляється з черги. Загальний кеш об’єктів – це підсистема, яка забезпечує взаємодію усіх інших компонентів служби реплікації. Кеш являє собою довгостро- кове сховище типу «ключ-значення», об’єкти в якому мають обмежений час життя. Крім того, на кожен об’єкт вводиться лічильник звернень, і необхідною умовою для видалення об’єкта є рівність цього лічильника нулю. Замість об’єк- та за заданим ключем може міститися запит на отримання об’єкта. Така схема дозволяє компо- нентам залишати запити на отримання об’єкта певного типу, а іншим – обробляти такі запити та замінювати їх сформованим об’єктом. Бло- кування та атомарний доступ до об’єктів за- безпечується завдяки використанню стандарт- них примітивів синхронізації операційного се- редовища, таких як семафори та блокування читання-запису. 68 УСиМ, 2012, № 4 Підсистему кешу об’єктів реалізовано у ви- гляді окремого процесу, взаємодія з яким від- бувається через стандартні засоби міжпроцес- ного зв’язку – загальну пам’ять та доменні гні- зда UNIX. Для попередження втрати об’єктів при перезапуску служби, вони періодично із опе- ративної пам’яті записуються на диск. Система підтримує об’єкти різних типів та різні ключі відповідно до типів. Реалізація та впровадження Реалізація автоматизованої служби репліка- ції даних отримала назву RAPTOR – Robot for Autonomous Precisely Tunable Operation of Rep- lication. Програмне забезпечення реалізовано мовою C та складається із наступних модулів:  диспетчера кешу об’єктів (raptor_ocs – Object Cache Service);  сканера інформаційної системи (raptor_ iss – Information System Scanner);  сканера каталогу даних (raptor_fcc – File Catalog Crawler);  ядра системи (raptor_combinator);  монітора доступності реплік (raptor_ ram – Replica Availability Monitor);  диспетчера та агента передачі даних (rap- tor_tm – Transfer Manager);  сховища сертифікатів (raptor_credman – Credential Manager);  утиліти адміністрування (raptor_admin). Утиліта адміністрування дозволяє отримува- ти статистику роботи системи, а також здійс- нювати запуск та зупинку усіх модулів. Для до- ступу до інших служб грід-інфраструктури ви- користано стандартні бібліотеки клієнтів засо- бів програмного забезпечення проміжного рів- ня, зокрема LFC, MyProxy, VOMS та Grid File Access Layer (GFAL) [9]. Усі компоненти, за виключенням утиліти адміністрування, працю- ють як фонові служби UNIX – демони, та взає- модіють між собою лише через диспетчер ке- шу об’єктів. Усі компоненти налаштовуються за допомогою загального файла конфігурації, що завантажується у кеш об’єктів при старті системи. До складу системи також входить бі- бліотека для роботи із двома форматами пред- ставлення політик реплікації – текстовим та бі- нарним. Текстовий формат можна застосовува- ти для встановлення політик реплікації безпо- середньо через засоби інтерфейсу користувача служби каталогу файлів LFC. Для більш зручного доступу до служби реп- лікації розроблено сценарій-обгортку мовою Python, що використовує стандартні клієнтські бібліотеки LFC та дозволяє встановлювати і де- кодувати опис політик реплікації, розміщений у полі коментаря до логічного імені файла чи директорії в каталозі LFC. Підтримуються на- ступні параметри політики:  мінімальна кількість реплік;  максимальна кількість реплік;  спосіб вибору елементів зберігання даних – усі доступні для ВО, усі доступні з фіксовано- го списку, резервації за шаблоном, рейтингові коефіцієнти;  атомарна реплікація каталогу або групи файлів за шаблоном імені;  ознака наслідування/перевизначення. Підтримується також надсилання сповіщен- ня на вказану електронну адресу при зміні кі- лькості реплік об’єкта. Розроблена служба реплікації була впрова- джена для обслуговування центрального ката- логу даних української національної грід-інфра- структури, розміщеного в Інформаційно-обчи- слювальному центрі Київського національного університету імені Тараса Шевченка. Зокрема, службу реплікації інтегровано до віртуальної організації MolDynGrid [10], що працює з ве- ликими обсягами даних. Траєкторії молекуляр- ної динаміки білків, що є результатом комп’ю- терних симуляцій, займають сотні гігабайт. Во- ни є вхідними даними для різноманітних задач аналізу, тому забезпечення їх високої доступ- ності є критичним для функціонування ВО. Висновки. Проаналізовано існуючі засоби за- безпечення високої доступності даних у грід- інфраструктурах та доведено необхідність за- провадження служби реплікації даних в Укра- їнському національному грід-сегменті. Сформо- вано вимоги до реалізації служби – масштабо- ваність, підтримку декількох ВО та політик ре- плікації, прозорість доступу до даних. УСиМ, 2012, № 4 69 Представлено архітектуру автономної слу- жби реплікації даних, що використовує ката- лог даних LFC як для зберігання списків реп- лік, так і для задання самих політик реплікації. Автономність служби забезпечується через ви- користання механізмів отримання делегації ко- ристувачів-власників файлів із служби тимча- сових посвідчень MyProxy та засвідчення учас- ті користувачів у ВО через службу VOMS. Реалізація служби складається із набору мо- дулів, що виконуються паралельно і взаємоді- ють через загальний кеш об’єктів. Така архіте- ктура забезпечує швидкий запуск, зупинку та відновлення роботи служби у випадку збою. Взаємодія з користувачами відбувається через модифікацію поля коментаря об’єкта у катало- зі LFC. Підтримується дві схеми взаємодії – з використанням інтерфейсу користувача LFC та за допомогою власної утиліти керування полі- тиками реплікації. Розроблену реалізацію автономної служби ре- плікації інтегровано з центральним каталогом даних Українського національного гріду (УНГ). Інтеграція з віртуальною організацією MolDyn- Grid дозволила автоматизувати забезпечення високої доступності великих обсягів даних, роз- поділених між сховищами УНГ. Планується ін- теграція служби реплікації з іншими віртуаль- ними організаціями національної грід-інфра- структури. 1. Демичев А., Ильин В., Крюков А. Введение в грид- технологии. – 2007. – http://www.sinp.msu.ru 2. Foster I., Kesselman С., Tuecke S. The Anatomy of the Grid – Enabling Scalable Virtual Organizations // Intern. J. of Supercomputer Appl. – 2001. – 15. – P. 2001. 3. Advanced Resource Connector middleware for light- weight computational Grids / M. Ellert, M. Gronager, A. Konstantinov et al. // Future Gener. Comput. Syst. – 2007. – 23, N 1. – P. 219–240. 4. The gLite File Transfer Service / Paolo Badino, Ri- cardo Brito da Rocha, James Casey et al. // 1st EGEE User Forum, CERN, Geneva, Switzerland – 01–03 Mar. 2006. – P. 94. 5. Calanducci T. LFC: The LCG File Catalog // gLite Bratislava.– 27–30 Jun. 2005. 6. Storage resource manager version 2.2: design, imple- mentation, and testing experience. / F. Donno, P. Badio, E. Corso et al. // J. of Physics: Conf. Series. – 119. – IOP Publ., 2008. 7. Basney J., Humphrey M., Welch V. The MyProxy Online Credential Repository // J. Software: Practice and Expe- rience. – 2005. – 35 (9). – P. 801–816. 8. An Authorization System for Virtual Organizations / R. Alfieri, R. Cecchini, V. Ciaschini et al. // Proc. of the 1st Europ. Across Grids Conf., Santiago de Com- postela. – 2003. – P. 13–14. 9. Jean-Philippe Baud. Grid File Access Design // [Draft] LCG Design document. – 13th May 2003. – http://lcg. web.cern.ch/LCG/peb/GTA/GTA-ES/Grid-File-Access- Design-v1.0.doc 10. Virtual Laboratory MolDynGrid as a Part of Scientific Infrastructure for Biomolecular Simulations / A.O. Sal- nikov, I.A. Sliusar, O.O. Sudakov et al. // Computing. – 2010. – 9, N 4. – P. 295–301. Поступила 10.02.2012 Тел. для справок: (044) 526-1214 (Киев) +380 67 500-8124 E-mail: slu@grid.org.ua © Е.А. Слюсар, 2012  Е.А. Слюсар Автоматизированная служба репликации файлов для организации высокой доступности данных в грид-инфраструктуре Введение. Грид-система – это сочетание технологий, инфраструктуры и стандартов. Технологии предусмат- ривают специальное программное обеспечение проме- жуточного уровня, позволяющее организациям предос- тавлять свои информационные и вычислительные ре- сурсы в общее пользование. Инфраструктура состоит из аппаратных средств и служб на основе информацион- ных и вычислительных ресурсов, а стандарты опреде- ляют формат и протоколы обмена как для взаимодейст- вия между самими службами, так и между службами и пользователями [1]. Доступ к ресурсам грид-инфраструктуры осуществ- ляется с помощью обращения к соответствующим служ- бы с использованием определенных протоколов. Реали- зация грид-службы скрывает от пользователей и других служб инфраструктуры внутреннюю архитектуру и осо- бенности функционирования ресурса, который ею об- служивается, и предоставляет унифицированный стан- дартизированный интерфейс по типу этого ресурса [2]. Постановка задачи Для виртуальных организаций (ВО), работающих с большими объемами данных, актуальна проблема обес- 70 УСиМ, 2012, № 4 печения высокой доступности данных для своих вычис- лений и оптимизации их размещения среди элементов хранения данных (Storage Element – SE) для повышения скорости доступа из ближайших вычислительных элемен- тов (Computing Element – CE). Пакет программного обес- печения промежуточного уровня Nordugrid Advanced Re- source Connector (ARC) [3] не содержит в своем составе автоматизированных средств репликации данных. В па- кет gLite входит служба File Transfer Service [4], узко- специализированная и организующая доставку наборов данных с одного центрального элемента на несколько рас- пределенных хранилищ без взаимодействия с каталогом данных. ВО вынуждены разрабатывать собственные сред- ства репликации данных, соответствующие использован- ным ими методам обработки. Как следствие, разработан- ные средства также имеют узкую специализацию и не могут без существенных модификаций использоваться как универсальный инструмент в пределах грид-инфра- структуры. Требования к реализации автоматизированной служ- бы репликации можно сформулировать так:  масштабируемость на большое количество элемен- тов хранения данных;  поддержка нескольких ВО и различных политик репликации для разных ВО;  автономность работы – управление репликами без вмешательства пользователей;  прозрачность доступа к данным и интеграция со службой каталога файлов;  работа от имени пользователей ВО с помощью ме- ханизма делегации;  возможность как централизованного, так и местно- го развертывания. Единственная реализация службы репликации дан- ных, соответствующая требованиям различных ВО, бу- дет содействовать развитию грид-технологий в составе национальных грид-инфраструктур, включая украинс- кую. Это позволит участникам ВО сконцентрироваться на области своих исследований и избавит их от необхо- димости вручную управлять большими объемами распре- деленных данных в грид-инфраструктуре. Архитектура службы Разработанная служба репликации состоит из несколь- ких взаимодействующих компонентов. Для обращения к другим службам грид-инфраструктуры используются ути- литы и библиотеки пакетов программного обеспечения промежуточного уровня gLite и Nordugrid ARC. Посколь- ку политики репликации применяются к логическим именам в каталоге файлов, целесообразно использование общей базы данных для хранения логической иерархии имен вместе с соответствующими метаданными, в со- став которых входит описание политик репликации. Реа- лизация службы каталога данных LCG File Catalog (LFC) [5], применяемая в Украинском грид-сегменте, а также в мировых инфраструктурах WLCG и EGI, не со- держит встроенных средств для хранения специализиро- ванных метаданных. Однако каждый именуемый объект в каталоге имеет атрибут комментарий – текст свобод- ной формы, который может изменяться пользователем согласно политикам контроля доступа LFC и не затра- гивает другие аспекты работы каталога. Одна из особен- ностей предложенной архитектуры – хранение политик репликации в закодированном и сжатом виде в составе комментария к файлу или директории в каталоге LFC. Такая организация хранилища метаданных службы реп- ликации имеет ряд преимуществ:  отсутствие собственной базы данных: все поли- тики репликации хранятся непосредственно как мета- данные логических имен в каталоге файлов, а служба репликации обращается к нему для чтения или записи этих политик;  стандартный протокол внешнего интерфейса службы: взаимодействие пользователей со службой про- исходит через внесение изменений в комментарии к ло- гическим именам в каталоге LFC; при этом используется стандартный протокол обмена LFC, предусматриваю- щий аутентификацию и авторизацию пользователей;  переносимость реализации пользовательского ин- терфейса: средства интерфейса пользователя базируют- ся на программных библиотеках клиента службы LFC, не имеют никаких других существенных зависимостей и могут быть реализованы как в виде Shell-сценария, так и в форме самостоятельной утилиты. Схема взаимодействия компонентов службы репли- кации показана на рис. 1. Ядро системы выполняет со- поставление характеристик, имеющихся в грид-инфра- структуре элементов хранения данных и параметров логи- ческих имен в каталоге файлов, в том числе количество имеющихся реплик и политики репликации, в результа- те чего формируются запросы на проверку доступности существующих реплик и создания новых. Рис. 1. Взаимодействие компонентов службы репликации Сканер информационной системы – это компонент, предоставляющий ядру сведения об имеющихся элемен- тах хранения данных и их текущих характеристиках. Один и тот же элемент хранения данных может поддер- живать несколько ВО, а каждая ВО в свою очередь мо- жет иметь несколько точек входа в хранилище с резер- вациями дискового пространства (Storage Space Reserva- tions – SSR). Эти сведения, вместе с объемами резерва- ций и фактическими показателями свободного простран- ства, публикуются в локальной информационной систе- УСиМ, 2012, № 4 71 ме элемента хранения данных. Опубликованные сведе- ния из всех грид-ресурсов передаются на центральный каталог ресурсов инфраструктуры. Сканер информаци- онной системы периодически опрашивает этот каталог и формирует список всех имеющихся хранилищ данных и резерваций на каждую ВО. В списке также указываются ссылки на стандартный интерфейс управления элемен- том хранения данных Storage Resource Manager (SRM) [6], поддерживаемый большинством распространенных реализаций грид-хранилищ – Disk Pool Manager (DPM), dCache, Storage Resource Manager (StoRM), Berkeley Sto- rage Manager (BeStMan) и CERN Advanced STORage manager (CASTOR). Сформированный список заносится в общий кэш объ- ектов службы репликации, откуда его может получить ядро системы. Сканер периодически обновляет кэш объ- ектов, загружая новый список на каждом цикле своей работы. Сканер каталога данных выполняет обход иерархи- ческой структуры логических имен в каталоге LFC, по- лучая метаданные и список существующих реплик для каждого имени, где может содержаться описание поли- тики репликации. Поскольку один каталог LFC может обслуживать несколько ВО, каждая из которых может устанавливать собственные политики доступа к катало- гу, обращение к нему происходит с использованием прок- си-сертификатов участников соответствующих ВО. Для получения таких сертификатов в процессе обхода ката- лога сканер обращается к хранилищу сертификатов поль- зователей. Если хранилище на момент запроса не содер- жало необходимого сертификата, то соответствующая ветвь иерархии имен пропускается, а в хранилище направ- ляется запрос на получение прокси-сертификата. В ре- зультате одного цикла обхода сканера формируется спи- сок всех логических имен, имеющих хотя бы одну реп- лику и находящихся в поле действия хотя бы одной из политик репликации. Политики репликации наследуют- ся от родительского объекта вниз по иерархии. Сформи- рованный список заносится в общий кэш объектов службы репликации и периодически обновляется сканером. Хранилище сертификатов пользователей приме- няется для уменьшения нагрузки на службу делегации MyProxy [7] и службу удостоверения участия в ВО (Vir- tual Organization Membership Service – VOMS) [8]. Агент хранилища обращается к кэшу объектов и получает спи- сок необработанных запросов на получение прокси-сер- тификата. Используя собственный сертификат службы, агент осуществляет запросы к службе MyProxy на полу- чение делегации пользователей, отличительные имена сертификатов которых (Distinguished Name – DN) были указаны в необработанных запросах в кэше. В случае успешного получения делегации, прокси-сертификаты загружаются в кэш. На следующем этапе на основании полученных прокси-сертификатов с помощью службы VOMS генерируются новые, но уже со специальным расширением, подтверждающим участие пользователя в соответствующей ВО. Оптимизация заключается в умень- шении количества запросов в службу MyProxy в том случае, когда один и тот же пользователь является уча- стником нескольких ВО. Полученные прокси-сертификаты с VOMS-разрешением также загружаются в кэш (рис. 2). Для успешной работы описанного механизма необхо- димо, чтобы пользователи службы репликации загружа- ли на соответствующий MyProxy-сервер долгосрочные делегации и указывали в политике делегирования отли- чительное имя сертификата службы репликации. Это обеспечит получение делегации и быстрое реагирование на изменение состояния репликации файлов в каталоге. Сертификат службы также используется в случаях, когда невозможно определить пользователя-владельца какого-либо файла или директории в каталоге файлов, а также при первоначальном сканировании для определе- ния поддеревьев поддерживаемых ВО. Если служба реп- ликации входит в состав ВО как участник, то ее серти- фикат можно применять вместо пользовательского сер- тификата во всех операциях, где разрешен доступ к фай- лам всем участникам ВО. Это касается, например, об- щих входных данных для последующего анализа участ- никами ВО. Рис. 2. Схема работы хранилища сертификатов пользователей Ядро системы получает список объектов и их поли- тики репликации со сканера каталога данных. На пер- вом шаге цикла происходит проверка каждого объекта на соответствие указанным политикам. В частности, про- веряется, чтобы количество реплик файла было в установ- ленных пределах. Для уменьшения нагрузки на элемен- ты хранения данных проверка доступности реплики про- исходит с помощью операции получения списка файлов в соответствующей директории хранилища, результаты которой заносятся в общий кэш. Сначала проверяется на- личие в кэше соответствующего элемента, и в случае его отсутствия генерируется запрос к монитору доступно- сти реплик и ядро переходит к рассмотрению следую- щего объекта. В случае, когда результаты проверки доступности реп- лик файла были успешно получены, определяется реаль- ное количество доступных реплик. На основании этих данных принимается решение о создании новой реплики в случае их недостатка или об удалении лишних реплик 72 УСиМ, 2012, № 4 в случае их чрезмерного количества. Если количество реплик находится в диапазоне, указанном в политике, то ядро переходит к рассмотрению следующего объекта. Для создания новой реплики выбирается резервация на элементе хранения данных, где нет ни одной реплики соответствующего файла. Резервации различаются по имени и могут быть указаны в политике репликации. В случае, когда резервация не указана, выбирается про- странство по умолчанию соответствующего элемента хранения данных. Полученные таким образом резерва- ции упорядочиваются по рейтингу, который вычисляет- ся исходя из показателей надежности соответствующего вычислительного элемента, получаемых из системы тес- тирования грид-инфраструктуры или по внутренним результатам проверки доступности, которые формиру- ются и обновляются при проверке доступности реплик службой репликации. В политике репликации указыва- ется порог отсечки – величина, указывающая, из сколь- ких элементов хранения данных с верхушки рейтинга необходимо выбрать местоположение новой реплики. Конечный элемент хранения выбирается случайно. На следующем шаге выбирается существующая реп- лика, с которой будет происходить копирование содер- жимого файла для новой реплики. Также формируется рейтинг среди существующих реплик и выбирается такая пара элементов хранения данных, для которых скорость передачи была максимальной при предыдущих операци- ях передачи данных, сведения о которых также хранятся в общем кэше службы репликации. Это обеспечит скорей- шее создание новой реплики. Запрос на передачу данных, сформированный описанным способом, направляется в очередь диспетчера передачи данных (рис. 3). Рис. 3. Схема работы ядра службы репликации При удалении реплики также строится рейтинг всех использованных элементов хранения данных, включая показатели надежности и свободного дискового простран- ства. Из него выбирается реплика с минимальным рейтин- гом и формируется соответствующий запрос на удаление данных и ссылки на реплику из каталога данных. Монитор доступности реплик выполняет проверку наличия реальных данных по ссылкам, которые указыва- ются как реплики файла. Для снижения нагрузки на эле- менты хранения данных запросы консолидируются для каждого элемента путем получения списка файлов опре- деленной директории вместо проверки отдельного файла. При автоматическом создании реплик на элементах хра- нения данных используется простая двухуровневая струк- тура директорий, поэтому вероятность того, что несколько файлов будут иметь реплики в одной и той же директо- рии, достаточно высока. Списки файлов директории зано- сятся в общий кэш на определенное время, чтобы ис- ключить слишком частые повторные запросы. В резуль- тате проверки возможны следующие варианты исхода:  искомый файл присутствует в списке файлов ди- ректории – тогда текущая реплика считается доступной;  искомый файл отсутствует в списке – реплика счи- тается удаленной;  элемент хранения данных недоступен на момент запроса – реплика считается недоступной. Попытка непосредственного получения данных из реплики не выполняется исходя из того, что эти данные могут храниться на ленточных накопителях, и необхо- димо определенное время и другие ресурсы, чтобы под- готовить эти данные для загрузки. Если файл имеет дос- таточно существенный объем, то это может создать вы- сокую нагрузку на элемент хранения данных. Перед обращением к хранилищу данных выполняет- ся попытка получить прокси-сертификат из хранилища сертификатов пользователей. Если сертификат не найден, то в кеш вносится запрос на генерацию такого сертифи- ката, и обработка логического имени файла, реплики которого проверяются в текущий момент, откладывает- ся до следующего цикла работы ядра. Если файл отсутствует в директории на хранилище, значит, данные были удалены пользователем вручную или другой службой грид-инфраструктуры. Поэтому такую реплику необходимо удалить и из каталога данных. За- прос на удаление реплики формируется автоматически и направляется непосредственно на каталог данных. Если при обращении к элементу хранения данных возникла ошибка, то нельзя однозначно констатировать удаление реплики. Однако можно констатировать вре- менную недоступность хранилища в целом. Успешность запросов к каждому хранилищу заносится и обновляется после каждого запроса в общий кэш службы реплика- ции. Эти сведения в дальнейшем используются для вы- числения рейтинга хранилищ при выборе местоположе- ния новой реплики. Диспетчер передачи данных применяется для рас- пределения нагрузки между элементами хранения дан- ных. Для этого используется таблица состояния, в кото- УСиМ, 2012, № 4 73 рой ведется учет текущих сеансов обмена данными ме- жду элементами хранения. Максимальное количество одновременных сеансов чтения и записи для одного хра- нилища задается в глобальной конфигурации службы. Диспетчер выбирает из очереди запрос, который можно удовлетворить в текущий момент, не нарушая упомяну- тых показателей, и вызывает агента передачи данных для обслуживания этого запроса. Агент передачи данных использует стандартные средства программного обеспечения промежуточного уровня для трехстороннего согласования передачи меж- ду элементами хранения данных. Таким образом, дан- ные передаются непосредственно между двумя хранили- щами, но процесс передачи контролируется третьей сто- роной – узлом службы репликации. Операция выполня- ется от имени пользователя-владельца соответствующих данных, прокси-сертификат с соответствующим VOMS- разрешением которого получается из хранилища серти- фикатов пользователей. В случае неудачи при получе- нии сертификата или при согласовании передачи дан- ных, счетчик попыток данного запроса увеличивается, и он остается в очереди. При успешном создании реплики она регистрируется в каталоге данных, и запрос удаля- ется из очереди. Общий кэш объектов – это подсистема, обеспечи- вающая взаимодействие всех других компонентов служ- бы репликации. Кэш представляет собой долговремен- ное хранилище типа ключ-значение, объекты в котором имеют ограниченное время жизни. Также на каждый объ- ект вводится счетчик обращений, и необходимым усло- вием для удаления объекта будет равенство этого счет- чика нулю. Вместо объекта с заданным ключом может содержаться запрос на получение объекта. Такая схема позволяет компонентам оставлять запросы на получение объекта определенного типа, а другим – обрабатывать такие запросы и заменять их полученным объектом. Блокировка и атомарный доступ к объектам обеспечива- ется благодаря использованию стандартных примитивов синхронизации операционной среды, таких как семафо- ры и блокировки чтения-записи. Подсистема кэша объектов реализована в виде отдель- ного процесса, взаимодействие с которым происходит че- рез стандартные средства межпроцессного взаимдоей- ствия – общую память и доменные гнезда UNIX. Для пре- дупреждения потери объектов при перезапуске службы они периодически из оперативной памяти записываются на диск. Система поддерживает объекты разных типов и разные ключи согласно определениям этих типов. Реализация и внедрение Реализация автоматизированной службы репликации данных получила название RAPTOR – Robot for Auto- nomous Precisely Tunable Operation of Replication. Про- граммное обеспечение реализовано на языке C и состо- ит из следующих модулей:  диспетчера кеша объектов (raptor_ocs – Object Cache Service);  сканера информационной системы (raptor_iss – Information System Scanner);  сканера каталога данных (raptor_fcc – File Cata- log Crawler);  ядроа системы (raptor_combinator);  монитора доступности реплик (raptor_ram – Replica Availability Monitor);  диспетчера и агента передачи данных (raptor_ tm – Transfer Manager);  хранилища сертификатов (raptor_credman – Cre- dential Manager);  утилиты для администрирования (raptor_admin). Утилита администрирования позволяет получать ста- тистику работы системы, а также осуществлять запуск и остановку всех модулей. Для доступа к другим службам грид-инфраструктуры были использованы стандартные клиентские библиотеки программного обеспечения про- межуточного уровня, в частности, LFC, MyProxy, VOMS и Grid File Access Layer (GFAL) [9]. Все компоненты, за исключением утилиты администрирования, работают как фоновые службы среды UNIX – демоны, и взаимодей- ствуют между собой только через диспетчер кэша объ- ектов. Все компоненты настраиваются с помощью об- щего файла конфигурации, загружаемого в кэш объек- тов при старте системы. В состав системы также входит программная библиотека для работы с двумя форматами представления политик репликации – текстовым и дво- ичным. Текстовый формат может применяться для уста- новки политик репликации непосредственно через поль- зовательский интерфейс службы каталога файлов LFC. Для большего удобства доступа к службе репликации разработан сценарий-обертка на языке Python, исполь- зующий стандартные клиентские библиотеки LFC и по- зволяющий устанавливать и декодировать описание по- литик репликации, размещенное в поле комментария к логическому имени файла или директории в каталоге LFC. Поддерживаются следующие параметры политики:  минимальное количество реплик;  максимальное количество реплик;  метод выбора элементов хранения данных – из всех доступных для ВО, из всех доступных из фиксирован- ного списка, по шаблону имени резервации, по рейтин- говым коэффициентам;  атомарная репликация каталога или группы файлов по шаблону имени;  признак наследования / переопределения. Поддерживается также отправка уведомлений на ука- занный электронный адрес при изменении количества реплик объекта. Разработанная служба репликации была внедрена для обслуживания центрального каталога данных Украин- ской национальной грид-инфраструктуры, расположен- ного в Информационно-вычислительном центре Киев- ского национального университета имени Тараса Шев- ченко. В частности, служба репликации интегрирована с 74 УСиМ, 2012, № 4 виртуальной организацией MolDynGrid [10], работаю- щей с большими объемами данных. Траектории молеку- лярной динамики белков, получаемых с помощью ком- пьютерных симуляций, занимают сотни гигабайт. Они служат входными данными для различных задач анали- за, поэтому обеспечение их высокой доступности кри- тично для функционирования данной ВО. Заключение. Проанализированы существующие сред- ства обеспечения высокой доступности данных в грид- инфраструктурах и доказана необходимость внедрения службы репликации данных в Украинском националь- ном грид-сегменте. Сформулированы требования к реа- лизации службы – масштабируемость, поддержка не- скольких ВО и политик репликации, прозрачность дос- тупа к данным. Представлена архитектура автономной службы реп- ликации данных, использующая каталог данных LFC как для хранения списков реплик, так и для указания поли- тик репликации. Автономность службы обеспечивается путем использования механизмов получения делегации пользователей-владельцев файлов с помощью службы временных удостоверений MyProxy и последующего удостоверения участия пользователей в ВО через служ- бу VOMS. Реализация службы состоит из нескольких модулей, выполняемых параллельно и взаимодействующих через общий кэш объектов. Такая архитектура обеспечивает бы- стрый запуск, остановку и возобновление работы служ- бы в случае сбоя. Взаимодействие с пользователями про- исходит через модификацию поля комментария к объек- ту в каталоге LFC. Поддерживается две схемы взаимо- действия – с использованием стандартного интерфейса LFC и с помощью собственной утилиты для управления политиками репликации. Разработанная реализация автономной службы реп- ликации интегрирована с центральным каталогом дан- ных Украинского национального грида (УНГ). Интегра- ция с виртуальной организацией MolDynGrid позволила автоматизировать механизмы обеспечения высокой дос- тупности больших объемов данных, распределенных меж- ду хранилищами в составе УНГ. Планируется дальней- шая интеграция службы репликации с другими виртуаль- ными организациями национальной грид-инфраструктуры.  << /ASCII85EncodePages false /AllowTransparency false /AutoPositionEPSFiles true /AutoRotatePages /None /Binding /Left /CalGrayProfile (Dot Gain 20%) /CalRGBProfile (sRGB IEC61966-2.1) /CalCMYKProfile (U.S. Web Coated \050SWOP\051 v2) /sRGBProfile (sRGB IEC61966-2.1) /CannotEmbedFontPolicy /Error /CompatibilityLevel 1.4 /CompressObjects /Tags /CompressPages true /ConvertImagesToIndexed true /PassThroughJPEGImages true /CreateJobTicket false /DefaultRenderingIntent /Default /DetectBlends true /DetectCurves 0.0000 /ColorConversionStrategy /CMYK /DoThumbnails false /EmbedAllFonts true /EmbedOpenType false /ParseICCProfilesInComments true /EmbedJobOptions true /DSCReportingLevel 0 /EmitDSCWarnings false /EndPage -1 /ImageMemory 1048576 /LockDistillerParams false /MaxSubsetPct 100 /Optimize true /OPM 1 /ParseDSCComments true /ParseDSCCommentsForDocInfo true /PreserveCopyPage true /PreserveDICMYKValues true /PreserveEPSInfo true /PreserveFlatness true /PreserveHalftoneInfo false /PreserveOPIComments true /PreserveOverprintSettings true /StartPage 1 /SubsetFonts true /TransferFunctionInfo /Apply /UCRandBGInfo /Preserve /UsePrologue false /ColorSettingsFile () /AlwaysEmbed [ true ] /NeverEmbed [ true ] /AntiAliasColorImages false /CropColorImages true /ColorImageMinResolution 300 /ColorImageMinResolutionPolicy /OK /DownsampleColorImages true /ColorImageDownsampleType /Bicubic /ColorImageResolution 300 /ColorImageDepth -1 /ColorImageMinDownsampleDepth 1 /ColorImageDownsampleThreshold 1.50000 /EncodeColorImages true /ColorImageFilter /DCTEncode /AutoFilterColorImages true /ColorImageAutoFilterStrategy /JPEG /ColorACSImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /ColorImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /JPEG2000ColorACSImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /JPEG2000ColorImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /AntiAliasGrayImages false /CropGrayImages true /GrayImageMinResolution 300 /GrayImageMinResolutionPolicy /OK /DownsampleGrayImages true /GrayImageDownsampleType /Bicubic /GrayImageResolution 300 /GrayImageDepth -1 /GrayImageMinDownsampleDepth 2 /GrayImageDownsampleThreshold 1.50000 /EncodeGrayImages true /GrayImageFilter /DCTEncode /AutoFilterGrayImages true /GrayImageAutoFilterStrategy /JPEG /GrayACSImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /GrayImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /JPEG2000GrayACSImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /JPEG2000GrayImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /AntiAliasMonoImages false /CropMonoImages true /MonoImageMinResolution 1200 /MonoImageMinResolutionPolicy /OK /DownsampleMonoImages true /MonoImageDownsampleType /Bicubic /MonoImageResolution 1200 /MonoImageDepth -1 /MonoImageDownsampleThreshold 1.50000 /EncodeMonoImages true /MonoImageFilter /CCITTFaxEncode /MonoImageDict << /K -1 >> /AllowPSXObjects false /CheckCompliance [ /None ] /PDFX1aCheck false /PDFX3Check false /PDFXCompliantPDFOnly false /PDFXNoTrimBoxError true /PDFXTrimBoxToMediaBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXSetBleedBoxToMediaBox true /PDFXBleedBoxToTrimBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXOutputIntentProfile () /PDFXOutputConditionIdentifier () /PDFXOutputCondition () /PDFXRegistryName () /PDFXTrapped /False /CreateJDFFile false /Description << /ARA <FEFF06270633062A062E062F0645002006470630064700200627064406250639062F0627062F0627062A002006440625064606340627062100200648062B062706260642002000410064006F00620065002000500044004600200645062A064806270641064206290020064406440637062806270639062900200641064A00200627064406450637062706280639002006300627062A0020062F0631062C0627062A002006270644062C0648062F0629002006270644063906270644064A0629061B0020064A06450643064600200641062A062D00200648062B0627062606420020005000440046002006270644064506460634062306290020062806270633062A062E062F062706450020004100630072006F0062006100740020064800410064006F006200650020005200650061006400650072002006250635062F0627063100200035002E0030002006480627064406250635062F062706310627062A0020062706440623062D062F062B002E0635062F0627063100200035002E0030002006480627064406250635062F062706310627062A0020062706440623062D062F062B002E> /BGR <FEFF04180437043f043e043b043704320430043904420435002004420435043704380020043d0430044104420440043e0439043a0438002c00200437043000200434043000200441044a0437043404300432043004420435002000410064006f00620065002000500044004600200434043e043a0443043c0435043d04420438002c0020043c0430043a04410438043c0430043b043d043e0020043f044004380433043e04340435043d04380020043704300020043204380441043e043a043e043a0430044704350441044204320435043d0020043f04350447043004420020043704300020043f044004350434043f0435044704300442043d04300020043f043e04340433043e0442043e0432043a0430002e002000200421044a04370434043004340435043d043804420435002000500044004600200434043e043a0443043c0435043d044204380020043c043e0433043004420020043404300020044104350020043e0442043204300440044f0442002004410020004100630072006f00620061007400200438002000410064006f00620065002000520065006100640065007200200035002e00300020043800200441043b0435043404320430044904380020043204350440044104380438002e> /CHS <FEFF4f7f75288fd94e9b8bbe5b9a521b5efa7684002000410064006f006200650020005000440046002065876863900275284e8e9ad88d2891cf76845370524d53705237300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c676562535f00521b5efa768400200050004400460020658768633002> /CHT <FEFF4f7f752890194e9b8a2d7f6e5efa7acb7684002000410064006f006200650020005000440046002065874ef69069752865bc9ad854c18cea76845370524d5370523786557406300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c4f86958b555f5df25efa7acb76840020005000440046002065874ef63002> /CZE <FEFF005400610074006f0020006e006100730074006100760065006e00ed00200070006f0075017e0069006a007400650020006b0020007600790074007600e101590065006e00ed00200064006f006b0075006d0065006e0074016f002000410064006f006200650020005000440046002c0020006b00740065007200e90020007300650020006e0065006a006c00e90070006500200068006f006400ed002000700072006f0020006b00760061006c00690074006e00ed0020007400690073006b00200061002000700072006500700072006500730073002e002000200056007900740076006f01590065006e00e900200064006f006b0075006d0065006e007400790020005000440046002000620075006400650020006d006f017e006e00e90020006f007400650076015900ed007400200076002000700072006f006700720061006d0065006300680020004100630072006f00620061007400200061002000410064006f00620065002000520065006100640065007200200035002e0030002000610020006e006f0076011b006a016100ed00630068002e> /DAN <FEFF004200720075006700200069006e0064007300740069006c006c0069006e006700650072006e0065002000740069006c0020006100740020006f007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e007400650072002c0020006400650072002000620065006400730074002000650067006e006500720020007300690067002000740069006c002000700072006500700072006500730073002d007500640073006b007200690076006e0069006e00670020006100660020006800f8006a0020006b00760061006c0069007400650074002e0020004400650020006f007000720065007400740065006400650020005000440046002d0064006f006b0075006d0065006e0074006500720020006b0061006e002000e50062006e00650073002000690020004100630072006f00620061007400200065006c006c006500720020004100630072006f006200610074002000520065006100640065007200200035002e00300020006f00670020006e0079006500720065002e> /DEU <FEFF00560065007200770065006e00640065006e0020005300690065002000640069006500730065002000450069006e007300740065006c006c0075006e00670065006e0020007a0075006d002000450072007300740065006c006c0065006e00200076006f006e002000410064006f006200650020005000440046002d0044006f006b0075006d0065006e00740065006e002c00200076006f006e002000640065006e0065006e002000530069006500200068006f006300680077006500720074006900670065002000500072006500700072006500730073002d0044007200750063006b0065002000650072007a0065007500670065006e0020006d00f60063006800740065006e002e002000450072007300740065006c006c007400650020005000440046002d0044006f006b0075006d0065006e007400650020006b00f6006e006e0065006e0020006d006900740020004100630072006f00620061007400200075006e0064002000410064006f00620065002000520065006100640065007200200035002e00300020006f0064006500720020006800f600680065007200200067006500f600660066006e00650074002000770065007200640065006e002e> /ESP <FEFF005500740069006c0069006300650020006500730074006100200063006f006e0066006900670075007200610063006900f3006e0020007000610072006100200063007200650061007200200064006f00630075006d0065006e0074006f00730020005000440046002000640065002000410064006f0062006500200061006400650063007500610064006f00730020007000610072006100200069006d0070007200650073006900f3006e0020007000720065002d0065006400690074006f007200690061006c00200064006500200061006c00740061002000630061006c0069006400610064002e002000530065002000700075006500640065006e00200061006200720069007200200064006f00630075006d0065006e0074006f00730020005000440046002000630072006500610064006f007300200063006f006e0020004100630072006f006200610074002c002000410064006f00620065002000520065006100640065007200200035002e003000200079002000760065007200730069006f006e0065007300200070006f00730074006500720069006f007200650073002e> /ETI <FEFF004b00610073007500740061006700650020006e0065006900640020007300e4007400740065006900640020006b00760061006c006900740065006500740073006500200074007200fc006b006900650065006c007300650020007000720069006e00740069006d0069007300650020006a0061006f006b007300200073006f00620069006c0069006b0065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740069006400650020006c006f006f006d006900730065006b0073002e00200020004c006f006f0064007500640020005000440046002d0064006f006b0075006d0065006e00740065002000730061006100740065002000610076006100640061002000700072006f006700720061006d006d006900640065006700610020004100630072006f0062006100740020006e0069006e0067002000410064006f00620065002000520065006100640065007200200035002e00300020006a00610020007500750065006d006100740065002000760065007200730069006f006f006e00690064006500670061002e000d000a> /FRA <FEFF005500740069006c006900730065007a00200063006500730020006f007000740069006f006e00730020006100660069006e00200064006500200063007200e900650072002000640065007300200064006f00630075006d0065006e00740073002000410064006f00620065002000500044004600200070006f0075007200200075006e00650020007100750061006c0069007400e90020006400270069006d007000720065007300730069006f006e00200070007200e9007000720065007300730065002e0020004c0065007300200064006f00630075006d0065006e00740073002000500044004600200063007200e900e90073002000700065007500760065006e0074002000ea0074007200650020006f007500760065007200740073002000640061006e00730020004100630072006f006200610074002c002000610069006e00730069002000710075002700410064006f00620065002000520065006100640065007200200035002e0030002000650074002000760065007200730069006f006e007300200075006c007400e90072006900650075007200650073002e> /GRE <FEFF03a703c103b703c303b903bc03bf03c003bf03b903ae03c303c403b5002003b103c503c403ad03c2002003c403b903c2002003c103c503b803bc03af03c303b503b903c2002003b303b903b1002003bd03b1002003b403b703bc03b903bf03c503c103b303ae03c303b503c403b5002003ad03b303b303c103b103c603b1002000410064006f006200650020005000440046002003c003bf03c5002003b503af03bd03b103b9002003ba03b103c42019002003b503be03bf03c703ae03bd002003ba03b103c403ac03bb03bb03b703bb03b1002003b303b903b1002003c003c103bf002d03b503ba03c403c503c003c903c403b903ba03ad03c2002003b503c103b303b103c303af03b503c2002003c503c803b703bb03ae03c2002003c003bf03b903cc03c403b703c403b103c2002e0020002003a403b10020005000440046002003ad03b303b303c103b103c603b1002003c003bf03c5002003ad03c703b503c403b5002003b403b703bc03b903bf03c503c103b303ae03c303b503b9002003bc03c003bf03c103bf03cd03bd002003bd03b1002003b103bd03bf03b903c703c403bf03cd03bd002003bc03b5002003c403bf0020004100630072006f006200610074002c002003c403bf002000410064006f00620065002000520065006100640065007200200035002e0030002003ba03b103b9002003bc03b503c403b103b303b503bd03ad03c303c403b503c103b503c2002003b503ba03b403cc03c303b503b903c2002e> /HEB <FEFF05D405E905EA05DE05E905D5002005D105D405D205D305E805D505EA002005D005DC05D4002005DB05D305D9002005DC05D905E605D505E8002005DE05E105DE05DB05D9002000410064006F006200650020005000440046002005D405DE05D505EA05D005DE05D905DD002005DC05D405D305E405E105EA002005E705D305DD002D05D305E405D505E1002005D005D905DB05D505EA05D905EA002E002005DE05E105DE05DB05D90020005000440046002005E905E005D505E605E805D5002005E005D905EA05E005D905DD002005DC05E405EA05D905D705D4002005D105D005DE05E605E205D505EA0020004100630072006F006200610074002005D5002D00410064006F00620065002000520065006100640065007200200035002E0030002005D505D205E805E105D005D505EA002005DE05EA05E705D305DE05D505EA002005D905D505EA05E8002E05D005DE05D905DD002005DC002D005000440046002F0058002D0033002C002005E205D905D905E005D5002005D105DE05D305E805D905DA002005DC05DE05E905EA05DE05E9002005E905DC0020004100630072006F006200610074002E002005DE05E105DE05DB05D90020005000440046002005E905E005D505E605E805D5002005E005D905EA05E005D905DD002005DC05E405EA05D905D705D4002005D105D005DE05E605E205D505EA0020004100630072006F006200610074002005D5002D00410064006F00620065002000520065006100640065007200200035002E0030002005D505D205E805E105D005D505EA002005DE05EA05E705D305DE05D505EA002005D905D505EA05E8002E> /HRV (Za stvaranje Adobe PDF dokumenata najpogodnijih za visokokvalitetni ispis prije tiskanja koristite ove postavke. Stvoreni PDF dokumenti mogu se otvoriti Acrobat i Adobe Reader 5.0 i kasnijim verzijama.) /HUN <FEFF004b0069007600e1006c00f30020006d0069006e0151007300e9006701710020006e0079006f006d00640061006900200065006c0151006b00e90073007a00ed007401510020006e0079006f006d00740061007400e100730068006f007a0020006c006500670069006e006b00e1006200620020006d0065006700660065006c0065006c0151002000410064006f00620065002000500044004600200064006f006b0075006d0065006e00740075006d006f006b0061007400200065007a0065006b006b0065006c0020006100200062006500e1006c006c00ed007400e10073006f006b006b0061006c0020006b00e90073007a00ed0074006800650074002e0020002000410020006c00e90074007200650068006f007a006f00740074002000500044004600200064006f006b0075006d0065006e00740075006d006f006b00200061007a0020004100630072006f006200610074002000e9007300200061007a002000410064006f00620065002000520065006100640065007200200035002e0030002c0020007600610067007900200061007a002000610074007400f3006c0020006b00e9007301510062006200690020007600650072007a006900f3006b006b0061006c0020006e00790069007400680061007400f3006b0020006d00650067002e> /ITA <FEFF005500740069006c0069007a007a006100720065002000710075006500730074006500200069006d0070006f007300740061007a0069006f006e00690020007000650072002000630072006500610072006500200064006f00630075006d0065006e00740069002000410064006f00620065002000500044004600200070006900f900200061006400610074007400690020006100200075006e00610020007000720065007300740061006d0070006100200064006900200061006c007400610020007100750061006c0069007400e0002e0020004900200064006f00630075006d0065006e007400690020005000440046002000630072006500610074006900200070006f00730073006f006e006f0020006500730073006500720065002000610070006500720074006900200063006f006e0020004100630072006f00620061007400200065002000410064006f00620065002000520065006100640065007200200035002e003000200065002000760065007200730069006f006e006900200073007500630063006500730073006900760065002e> /JPN <FEFF9ad854c18cea306a30d730ea30d730ec30b951fa529b7528002000410064006f0062006500200050004400460020658766f8306e4f5c6210306b4f7f75283057307e305930023053306e8a2d5b9a30674f5c62103055308c305f0020005000440046002030d530a130a430eb306f3001004100630072006f0062006100740020304a30883073002000410064006f00620065002000520065006100640065007200200035002e003000204ee5964d3067958b304f30533068304c3067304d307e305930023053306e8a2d5b9a306b306f30d530a930f330c8306e57cb30818fbc307f304c5fc59808306730593002> /KOR <FEFFc7740020c124c815c7440020c0acc6a9d558c5ec0020ace0d488c9c80020c2dcd5d80020c778c1c4c5d00020ac00c7a50020c801d569d55c002000410064006f0062006500200050004400460020bb38c11cb97c0020c791c131d569b2c8b2e4002e0020c774b807ac8c0020c791c131b41c00200050004400460020bb38c11cb2940020004100630072006f0062006100740020bc0f002000410064006f00620065002000520065006100640065007200200035002e00300020c774c0c1c5d0c11c0020c5f40020c2180020c788c2b5b2c8b2e4002e> /LTH <FEFF004e006100750064006f006b0069007400650020016100690075006f007300200070006100720061006d006500740072007500730020006e006f0072011700640061006d00690020006b0075007200740069002000410064006f00620065002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b00750072006900650020006c0061006200690061007500730069006100690020007000720069007400610069006b007900740069002000610075006b01610074006f00730020006b006f006b007900620117007300200070006100720065006e006700740069006e00690061006d00200073007000610075007300640069006e0069006d00750069002e0020002000530075006b0075007200740069002000500044004600200064006f006b0075006d0065006e007400610069002000670061006c006900200062016b007400690020006100740069006400610072006f006d00690020004100630072006f006200610074002000690072002000410064006f00620065002000520065006100640065007200200035002e0030002000610072002000760117006c00650073006e0117006d00690073002000760065007200730069006a006f006d00690073002e> /LVI <FEFF0049007a006d0061006e0074006f006a00690065007400200161006f00730020006900650073007400610074012b006a0075006d00750073002c0020006c0061006900200076006500690064006f00740075002000410064006f00620065002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b006100730020006900720020012b00700061016100690020007000690065006d01130072006f00740069002000610075006700730074006100730020006b00760061006c0069007401010074006500730020007000690072006d007300690065007300700069006501610061006e006100730020006400720075006b00610069002e00200049007a0076006500690064006f006a006900650074002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b006f002000760061007200200061007400760113007200740020006100720020004100630072006f00620061007400200075006e002000410064006f00620065002000520065006100640065007200200035002e0030002c0020006b0101002000610072012b00200074006f0020006a00610075006e0101006b0101006d002000760065007200730069006a0101006d002e> /NLD (Gebruik deze instellingen om Adobe PDF-documenten te maken die zijn geoptimaliseerd voor prepress-afdrukken van hoge kwaliteit. De gemaakte PDF-documenten kunnen worden geopend met Acrobat en Adobe Reader 5.0 en hoger.) /NOR <FEFF004200720075006b00200064006900730073006500200069006e006e007300740069006c006c0069006e00670065006e0065002000740069006c002000e50020006f0070007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740065007200200073006f006d00200065007200200062006500730074002000650067006e0065007400200066006f00720020006600f80072007400720079006b006b0073007500740073006b00720069006600740020006100760020006800f800790020006b00760061006c0069007400650074002e0020005000440046002d0064006f006b0075006d0065006e00740065006e00650020006b0061006e002000e50070006e00650073002000690020004100630072006f00620061007400200065006c006c00650072002000410064006f00620065002000520065006100640065007200200035002e003000200065006c006c00650072002000730065006e006500720065002e> /POL <FEFF0055007300740061007700690065006e0069006100200064006f002000740077006f0072007a0065006e0069006100200064006f006b0075006d0065006e007400f300770020005000440046002000700072007a0065007a006e00610063007a006f006e00790063006800200064006f002000770079006400720075006b00f30077002000770020007700790073006f006b00690065006a0020006a0061006b006f015b00630069002e002000200044006f006b0075006d0065006e0074007900200050004400460020006d006f017c006e00610020006f007400770069006500720061010700200077002000700072006f006700720061006d006900650020004100630072006f00620061007400200069002000410064006f00620065002000520065006100640065007200200035002e0030002000690020006e006f00770073007a0079006d002e> /PTB <FEFF005500740069006c0069007a006500200065007300730061007300200063006f006e00660069006700750072006100e700f50065007300200064006500200066006f0072006d00610020006100200063007200690061007200200064006f00630075006d0065006e0074006f0073002000410064006f0062006500200050004400460020006d00610069007300200061006400650071007500610064006f00730020007000610072006100200070007200e9002d0069006d0070007200650073007300f50065007300200064006500200061006c007400610020007100750061006c00690064006100640065002e0020004f007300200064006f00630075006d0065006e0074006f00730020005000440046002000630072006900610064006f007300200070006f00640065006d0020007300650072002000610062006500720074006f007300200063006f006d0020006f0020004100630072006f006200610074002000650020006f002000410064006f00620065002000520065006100640065007200200035002e0030002000650020007600650072007300f50065007300200070006f00730074006500720069006f007200650073002e> /RUM <FEFF005500740069006c0069007a00610163006900200061006300650073007400650020007300650074010300720069002000700065006e007400720075002000610020006300720065006100200064006f00630075006d0065006e00740065002000410064006f006200650020005000440046002000610064006500630076006100740065002000700065006e0074007200750020007400690070010300720069007200650061002000700072006500700072006500730073002000640065002000630061006c006900740061007400650020007300750070006500720069006f006100720103002e002000200044006f00630075006d0065006e00740065006c00650020005000440046002000630072006500610074006500200070006f00740020006600690020006400650073006300680069007300650020006300750020004100630072006f006200610074002c002000410064006f00620065002000520065006100640065007200200035002e00300020015f00690020007600650072007300690075006e0069006c006500200075006c0074006500720069006f006100720065002e> /RUS <FEFF04180441043f043e043b044c04370443043904420435002004340430043d043d044b04350020043d0430044104420440043e0439043a043800200434043b044f00200441043e043704340430043d0438044f00200434043e043a0443043c0435043d0442043e0432002000410064006f006200650020005000440046002c0020043c0430043a04410438043c0430043b044c043d043e0020043f043e04340445043e0434044f04490438044500200434043b044f00200432044b0441043e043a043e043a0430044704350441044204320435043d043d043e0433043e00200434043e043f0435044704300442043d043e0433043e00200432044b0432043e04340430002e002000200421043e043704340430043d043d044b04350020005000440046002d0434043e043a0443043c0435043d0442044b0020043c043e0436043d043e0020043e0442043a0440044b043204300442044c002004410020043f043e043c043e0449044c044e0020004100630072006f00620061007400200438002000410064006f00620065002000520065006100640065007200200035002e00300020043800200431043e043b043504350020043f043e04370434043d043804450020043204350440044104380439002e> /SKY <FEFF0054006900650074006f0020006e006100730074006100760065006e0069006100200070006f0075017e0069007400650020006e00610020007600790074007600e100720061006e0069006500200064006f006b0075006d0065006e0074006f0076002000410064006f006200650020005000440046002c0020006b0074006f007200e90020007300610020006e0061006a006c0065007001610069006500200068006f0064006900610020006e00610020006b00760061006c00690074006e00fa00200074006c0061010d00200061002000700072006500700072006500730073002e00200056007900740076006f00720065006e00e900200064006f006b0075006d0065006e007400790020005000440046002000620075006400650020006d006f017e006e00e90020006f00740076006f00720069016500200076002000700072006f006700720061006d006f006300680020004100630072006f00620061007400200061002000410064006f00620065002000520065006100640065007200200035002e0030002000610020006e006f0076016100ed00630068002e> /SLV <FEFF005400650020006e006100730074006100760069007400760065002000750070006f0072006100620069007400650020007a00610020007500730074007600610072006a0061006e006a006500200064006f006b0075006d0065006e0074006f0076002000410064006f006200650020005000440046002c0020006b006900200073006f0020006e0061006a007000720069006d00650072006e0065006a016100690020007a00610020006b0061006b006f0076006f00730074006e006f0020007400690073006b0061006e006a00650020007300200070007200690070007200610076006f0020006e00610020007400690073006b002e00200020005500730074007600610072006a0065006e006500200064006f006b0075006d0065006e0074006500200050004400460020006a00650020006d006f0067006f010d00650020006f0064007000720065007400690020007a0020004100630072006f00620061007400200069006e002000410064006f00620065002000520065006100640065007200200035002e003000200069006e0020006e006f00760065006a01610069006d002e> /SUO <FEFF004b00e40079007400e40020006e00e40069007400e4002000610073006500740075006b007300690061002c0020006b0075006e0020006c0075006f00740020006c00e400680069006e006e00e4002000760061006100740069007600610061006e0020007000610069006e006100740075006b00730065006e002000760061006c006d0069007300740065006c00750074007900f6006800f6006e00200073006f00700069007600690061002000410064006f0062006500200050004400460020002d0064006f006b0075006d0065006e007400740065006a0061002e0020004c0075006f0064007500740020005000440046002d0064006f006b0075006d0065006e00740069007400200076006f0069006400610061006e0020006100760061007400610020004100630072006f0062006100740069006c006c00610020006a0061002000410064006f00620065002000520065006100640065007200200035002e0030003a006c006c00610020006a006100200075007500640065006d006d0069006c006c0061002e> /SVE <FEFF0041006e007600e4006e00640020006400650020006800e4007200200069006e0073007400e4006c006c006e0069006e006700610072006e00610020006f006d002000640075002000760069006c006c00200073006b006100700061002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e007400200073006f006d002000e400720020006c00e4006d0070006c0069006700610020006600f60072002000700072006500700072006500730073002d007500740073006b00720069006600740020006d006500640020006800f600670020006b00760061006c0069007400650074002e002000200053006b006100700061006400650020005000440046002d0064006f006b0075006d0065006e00740020006b0061006e002000f600700070006e00610073002000690020004100630072006f0062006100740020006f00630068002000410064006f00620065002000520065006100640065007200200035002e00300020006f00630068002000730065006e006100720065002e> /TUR <FEFF005900fc006b00730065006b0020006b0061006c006900740065006c0069002000f6006e002000790061007a006401310072006d00610020006200610073006b013100730131006e006100200065006e0020006900790069002000750079006100620069006c006500630065006b002000410064006f006200650020005000440046002000620065006c00670065006c0065007200690020006f006c0075015f007400750072006d0061006b0020006900e70069006e00200062007500200061007900610072006c0061007201310020006b0075006c006c0061006e0131006e002e00200020004f006c0075015f0074007500720075006c0061006e0020005000440046002000620065006c00670065006c0065007200690020004100630072006f006200610074002000760065002000410064006f00620065002000520065006100640065007200200035002e003000200076006500200073006f006e0072006100730131006e00640061006b00690020007300fc007200fc006d006c00650072006c00650020006100e70131006c006100620069006c00690072002e> /UKR <FEFF04120438043a043e0440043804410442043e043204430439044204350020044604560020043f043004400430043c043504420440043800200434043b044f0020044104420432043e04400435043d043d044f00200434043e043a0443043c0435043d044204560432002000410064006f006200650020005000440046002c0020044f043a04560020043d04300439043a04400430044904350020043f045604340445043e0434044f0442044c00200434043b044f0020043204380441043e043a043e044f043a04560441043d043e0433043e0020043f0435044004350434043404400443043a043e0432043e0433043e0020043404400443043a0443002e00200020042104420432043e04400435043d045600200434043e043a0443043c0435043d0442043800200050004400460020043c043e0436043d04300020043204560434043a0440043804420438002004430020004100630072006f006200610074002004420430002000410064006f00620065002000520065006100640065007200200035002e0030002004300431043e0020043f04560437043d04560448043e04570020043204350440044104560457002e> /ENU (Use these settings to create Adobe PDF documents best suited for high-quality prepress printing. Created PDF documents can be opened with Acrobat and Adobe Reader 5.0 and later.) >> /Namespace [ (Adobe) (Common) (1.0) ] /OtherNamespaces [ << /AsReaderSpreads false /CropImagesToFrames true /ErrorControl /WarnAndContinue /FlattenerIgnoreSpreadOverrides false /IncludeGuidesGrids false /IncludeNonPrinting false /IncludeSlug false /Namespace [ (Adobe) (InDesign) (4.0) ] /OmitPlacedBitmaps false /OmitPlacedEPS false /OmitPlacedPDF false /SimulateOverprint /Legacy >> << /AddBleedMarks false /AddColorBars false /AddCropMarks false /AddPageInfo false /AddRegMarks false /ConvertColors /ConvertToCMYK /DestinationProfileName () /DestinationProfileSelector /DocumentCMYK /Downsample16BitImages true /FlattenerPreset << /PresetSelector /MediumResolution >> /FormElements false /GenerateStructure false /IncludeBookmarks false /IncludeHyperlinks false /IncludeInteractive false /IncludeLayers false /IncludeProfiles false /MultimediaHandling /UseObjectSettings /Namespace [ (Adobe) (CreativeSuite) (2.0) ] /PDFXOutputIntentProfileSelector /DocumentCMYK /PreserveEditing true /UntaggedCMYKHandling /LeaveUntagged /UntaggedRGBHandling /UseDocumentProfile /UseDocumentBleed false >> ] >> setdistillerparams << /HWResolution [2400 2400] /PageSize [612.000 792.000] >> setpagedevice

Ähnliche Einträge