Реализация моделей хранилища в семействе кластерных комплексов Инпарком
Рассмотрены архитектуры хранилища для кластерных комплексов. Приведена сравнительная характеристика хранилища для кластерных комплексов. Розглянуто можливість застосування різних моделей сховища. Можливість оптимізації доступу до данних за допомогою застосування різних архітектур сховища, які відпов...
Saved in:
| Published in: | Компьютерная математика |
|---|---|
| Date: | 2009 |
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2009
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/84550 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Реализация моделей хранилища в семействе кластерных комплексов Инпарком / В.В. Фальфушинский // Компьютерная математика. — 2009. — № 2. — С. 89-94. — Бібліогр.: 7 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859797375515623424 |
|---|---|
| author | Фальфушинский, В.В. |
| author_facet | Фальфушинский, В.В. |
| citation_txt | Реализация моделей хранилища в семействе кластерных комплексов Инпарком / В.В. Фальфушинский // Компьютерная математика. — 2009. — № 2. — С. 89-94. — Бібліогр.: 7 назв. — рос. |
| collection | DSpace DC |
| container_title | Компьютерная математика |
| description | Рассмотрены архитектуры хранилища для кластерных комплексов. Приведена сравнительная характеристика хранилища для кластерных комплексов.
Розглянуто можливість застосування різних моделей сховища. Можливість оптимізації доступу до данних за допомогою застосування різних архітектур сховища, які відповідають вимогам малої ціни, великого об’єму, високої стабільності та високої швидкості доступу. Продемонстровано швидкість роботи різних архітектур сховища.
A possibility of using different models of file systems is described. Optimization of data access with the help of different storage architectures with criteria of small price, big size, stability and access speed is analyzed.
|
| first_indexed | 2025-12-02T14:10:18Z |
| format | Article |
| fulltext |
Рассмотрены архитектуры хра-
нилища для кластерных комплек-
сов. Приведена сравнительная
характеристика хранилища для
кластерных комплексов.
© В.В. Фальфушинский, 2009
ÓÄÊ 681.3.06
Â.Â. ÔÀËÜÔÓØÈÍÑÊÈÉ
ÐÅÀËÈÇÀÖÈß ÌÎÄÅËÅÉ ÕÐÀÍÈËÈÙÀ
 ÑÅÌÅÉÑÒÂÅ ÊËÀÑÒÅÐÍÛÕ
ÊÎÌÏËÅÊÑÎÂ ÈÍÏÀÐÊÎÌ
Введение. Институт кибернетики имени
В.М. Глушкова НАН Украины вместе с НВО
«Електронмаш» создал первое в Украине се-
мейство серийных кластерных комплексов
Инпарком-16, -64, -128 и -256. На этих кла-
стерных комплексах реализовано ряд биб-
лиотек для решения важных классов задач.
Сокращение времени постановки задачи, ис-
следование и решение задач достигается не
только за счет организации параллельных
вычислений, а также за счет интеллектуаль-
ного программирования, которое учитывает
адаптивную настройку алгоритма и синтези-
рованной программы со свойствами задачи
с учетом технических и математических воз-
можностей кластера [1, 2].
С развитием дешевых систем коммуника-
ции, высокопродуктивных технологий и вы-
сокоскоростных сетей одним из ключевых
моментов в оптимизации процесса решения
задачи занимает быстрое считывание и запи-
сывание данных. Таким образом, появляется
задача подбора подходящей архитектуры
хранилища, которое учитывает оптимальный
выбор архитектуры файловой системы опе-
рационной среды и технологий реализации.
Дальше проанализируем разные аспекты
выбора оптимальной архитектуры хранили-
ща для кластерного комплекса выходя с по-
требностей к реализованным в составе ОС
штатных файловых систем, доступных на ИТ
рынках Украины.
Мобильность открытых систем. С раз-
витием открытых систем стало возможным
распространение архитектуры «клиент-сер-
вер». Основным смыслом подхода открытых
систем является упрощение комплексирования
Компьютерная математика. 2009, № 2 89
В.В. ФАЛЬФУШИНСКИЙ
вычислительных систем за счет международной и национальной стандартизации
аппаратных и программных интерфейсов. Основной причиной развития концеп-
ции открытых систем явились повсеместный переход к использованию локаль-
ных компьютерных сетей и проблемы комплексирования аппаратно-програм-
мных средств. В связи с бурным развитием технологий глобальных коммуника-
ций открытые системы приобретают еще большее значение и масштабность.
Технологии и стандарты открытых систем обеспечивают реальную и прове-
ренную практикой возможность производства системных и прикладных про-
граммных средств со свойствами мобильности (portability) и интероперабельно-
сти (interoperability). Свойство мобильности означает сравнительную простоту
переноса программной системы в широком спектре аппаратно-программных
средств, соответствующих стандартам. Интероперабельность означает упроще-
ние комплексирования новых программных систем на основе использования
готовых компонентов со стандартными интерфейсами.
Использование подхода открытых систем выгодно и производителям, и
пользователям. Открытые системы обеспечивают естественное решение про-
блемы поколений аппаратных и программных средств. Производители таких
средств не вынуждены решать все проблемы заново; по крайней мере, они могут
временно продолжать комплексировать системы, используя существующие
компоненты [3].
Особенности файловых систем ОС. Единицей обмена в компьютерной се-
ти является файл. Его спецификацию понимают все ОС, однако каждая ОС име-
ет специфику восприятия файлов. Большие объёмы файлов могут быть сохране-
ны в хранилищах. Таким образом, хранилища исполняют функцию размещения
информации в блоках определенного объема, а файловая система выполняет
функцию промежуточного шара между пользователем и хранилищем, вводит
абстракцию файлов и каталогов для пользователя, обеспечивает управление до-
ступом к файлам и устойчивой системой восстановления утерянных или нару-
шенных файлов во время сбоев или потери питания.
В ОС файлы имеют два стандартные атрибута: идентификатор пользователя
(user-id) и группы (group-id). Такие атрибуты допускают легко разграничивать
доступ на считывания, записывания и выполнения для отдельных пользователей
и групп. Также возможно управлять доступом для всех и определенных групп.
Поэтому, как только процесс делает запрос на доступ к файлу, файловая система
проверяет его на возможность доступа, а уже потом возвращает дескриптор
файла. Когда некоторое количество процессов получают доступ к файлу, то
каждый процесс получает свой дескриптор для роботы с файлом.
Файловая система поддерживает разные типы файлов: регулярные файлы,
которые могут выполнять определенный набор функций и хранимые файлы, ко-
торые размещаются в памяти (т.е. для считывания и записывания). Другими ти-
пами файлов есть сокет-файлы (socket files) и файлы устройств. Сокет-файлы
содержат информацию о межпроцессном взаимодействии разных приложений, а
файлы устройств – о взаимодействии между сущностями пользовательского
уровня (user-level entities) и ядра (kernel-level entities).
90 Компьютерная математика. 2009, № 2
РЕАЛИЗАЦИЯ МОДЕЛЕЙ ХРАНИЛИЩА В СЕМЕЙСТВЕ КЛАСТЕРНЫХ КОМПЛЕКСОВ ИНПАРКОМ
Большинство файловых систем встроено в ядро ОС. Интерфейсом для до-
ступа к файлам является виртуальная файловая система (VFS), задекларирован-
ная в стандарте POSIX [4], куда входят:
• основные определения, список основных определений и соглашений, ис-
пользуемых в спецификациях заголовочных файлов языка Си, которые предо-
ставляются в соответствии со стандартом;
• оболочка и утилиты, описание утилит и командной оболочки sh, стан-
дарты регулярных выражений;
• системные интерфейсы, список системных вызовов языка Си;
• обоснование, объяснение принципов, используемых в стандарте.
Поскольку файловая система относится к уровню прикладного программно-
го обеспечения, реализуя системные интерфейсы и обеспечивая мобильность
данных, она может работать в среде разных операционных систем. Системные
интерфейсы предлагают наборы сигнатур функций, построенных в соответствии
со стандартом POSIX [4].
Поскольку файловая система сохраняет файлы на диске блоками, то ско-
рость доступа к этим блокам имеет существенное значение для считывания,
записывания и поиска данных. На физическом уровне такой показатель зависит
от скорости прокручивания диска. Но такие алгоритмы обратной записи (write-
behind) и обратного считывания (read-behind), которые относятся к уровню фай-
ловой системы, также влияют на скорость работы с данными. Технология преду-
преждающего записывания обеспечивает запоминание операций процесса и вы-
полнения их независимо от процесса записывания или считывания [5].
Современные архитектуры организации хранилища. С ростом количест-
ва узлов кластера и объемов данных возрастает проблема выбора архитектуры
хранилища. Хранилище кластера представляет собой отдельную систему, кото-
рая предоставляет свои ресурсы для хранения данных. Известны такие архитек-
туры хранилищ:
• хранилище с прямым доступом (DAS – Direct attached Storage);
• хранилище из сетевым доступом (NAS – Network attached Storage);
• кластерный NAS (CNAS – Clustered NAS);
• объектное хранилище (OSS – Object Storage Systems);
• сетевая файловая система (NFS – Network File System);
• параллельная файловая система (PFS – Parallel File System).
Наиболее распространенные архитектуры – DAS, NAS, NFS и PFS. Как по-
казали предварительные исследования, одна архитектура не может быть
универсальной для всех задач, поэтому разработчики кластерных комплексов
комбинируют несколько архитектур вместе.
В процессе проектирования и настройки прикладной программы для вычис-
лений на кластере целесообразно рассмотреть разные методы доступа к данным.
Для этого наиболее подходят некоторые из возможных архитектур организации
хранилища, скорость доступа к данным, стоимость эксплуатации и рыночная
цена хранилища, его объем и механизмы поддержки целостности данных [6, 7].
Рассмотрим три потенциальных архитектуры хранилища кластера ИНПАРКОМ:
DAS, NAS+NFS и PFS.
Компьютерная математика. 2009, № 2 91
В.В. ФАЛЬФУШИНСКИЙ
Хранилище с прямым доступом (DAS – Direct attached Storage). Такая ар-
хитектура хранилища представляет собой модуль ОС, который состоит с поль-
зовательского модуля ОС и модуля хранилища. Пользовательский модуль обес-
печивает контроль доступа, возможности записывания и считывания и управле-
ния квотами. Модуль хранилища транслирует запросы с пользовательского мо-
дуля в секторы, блоки и цилиндры, которые интерпретируют функции устройст-
ва хранения информации. Хранилище с прямым доступом можно подсоединить
к узлу с помощью канала SCSI или оптоволоконного соединения. Основными
файловыми системами, которые поддерживают работу с такой архитектурой
хранилища, – ext3, reiserFS, NTFS (для Windows), SGI XFS. Такая архитектура
хранилища имеет показатели надежности, помехоустойчивости, относительно
высокой скорости доступа к данным, ограничены пропускной способностью ка-
нала передачи данных. Основные недостатки такого хранилища – цена и отсут-
ствие мобильности, а также существенное возрастание нагрузки сети в случае
синхронизации данных между узлами.
NAS с поддержкой NFS. Хранилище такой архитектуры является самым
распространенным, если учесть его относительно простую и дешевую архитек-
туру. Оно состоит из отдельного сервера, клиента и сети, которая их соединяет.
Таким образом, клиент делает запрос файловой системы через сеть Gigabit
Ethernet или InfiniBand, сервер обрабатывает запрос и передает результат клиен-
ту. Так сервер наследует большинство характеристик хранилища с прямым до-
ступом. Такая архитектура помогает избежать проблемы дублирования файлов
в хранилище, переносом операций с файлами на сторону сервера, применения
кэширования для часто повторяющихся запросов. Хотя есть ряд проблем – огра-
ничение доступа к хранилищу, ограничения доступа из-за пропускной способ-
ности сети. Самые распространенные файловые системы такой архитектуры –
NFS и CIFS.
Параллельная файловая система (PFS – Parallel File System). Когда стоит
задача построения большого и в то же время быстрого хранилища с минималь-
ными затратами, то большинство выбирает параллельную файловую систему.
Согласно статистическим данным top500 за август 2008 г., 6 из 10 кластеров ис-
пользуют параллельную файловую систему [6], которая позволяет соединить
определенное количество узлов кластера в массив и таким образом получить
хранилище с довольно большим объемом и высокой скоростью доступа.
Параллельная файловая система состоит из клиента и сервера. Сервер пре-
доставляет пространство для сохранения данных, а клиент использует его для
сохранения данных. Узлы кластера могут быть как клиентами, так и серверами,
если их часть собственного дискового пространства добавляется к пространству
параллельной файловой системы.
Для сохранения служебной информации элементов файловой системы (име-
на файлов, права доступа, атрибуты) используют сервер метаданных. На уровне
ОС параллельная файловая система виртуальная, потому она не привязана к ти-
пам физических разделов на диске. Для функционирования такой системы
используют выделенную администратором область существующей файловой
92 Компьютерная математика. 2009, № 2
РЕАЛИЗАЦИЯ МОДЕЛЕЙ ХРАНИЛИЩА В СЕМЕЙСТВЕ КЛАСТЕРНЫХ КОМПЛЕКСОВ ИНПАРКОМ
системы (каталог, файл), например “/tmp/storage”, доступ к которой получают
через специальный модуль ядра системы и демон виртуальной файловой систе-
мы. Для реализации параллельной файловой системы используют Filesystem in
Userspace (FUSE).
Параллельные файловые системы используют разные алгоритмы сортиров-
ки данных в хранилище. Для ускорения доступа необходимо равномерно рас-
пределять данные между дисками / узлами кластера для лучшего параллельного
выполнения файловых операций. Но оптимизация разделения данных с позиций
оптимизации доступа – довольно сложная задача. Потому чаще всего использу-
ют последовательное сохранение файлов в хранилище.
Известен ряд параллельных файловых систем, разработанный для разных
типов кластерных комплексов: GlusterFS, SSHFS, GmailFS, EncFS, NTFS-3G,
WikipediaFS, Lustre. Они позволяют строить свои архитектуры хранилищ, с раз-
ным доступом к данным в процессе их обработки. Некоторые файловые системы
представляют свой набор функций для управления процессом параллельного
доступа к данным во время выполнения программы. Скорость доступа в парал-
лельной файловой системе возрастает с ростом количества узлов. Единственная
проблема параллельной файловой системы – восстановление системы после сбоев.
Результат задачи выбора. Для выбора оптимальной архитектуры храни-
лища было реализовано три архитектуры (таблица). Для хранилища с прямым
доступом в Инпарком-256 (как наиболее мощному вычислительному комплексу
семейства) использованы жесткие диски размером 250 Gb с файловой системой
ext3. Для реализации NAS+NFS использовано хранилище объемом 931 Gb, свя-
зано с узлами через сети Infiniband. Для реализации хранилища с параллельной
файловой системой было использовано 8 узлов с жесткими дисками по 250 Gb,
соединенными с помощью сети Infiniband, которая имеет пропускную способ-
ность 20 Гбит/с.
ТАБЛИЦА. Характеристики файловых систем
Архитектура
Скорость досту-
па к данным,
Мб/с
Цена, $ Объем
хранилища
Уровень
целостности
данных
Хранилище
с прямым доступом 74,29 60 / 1 узел 250 Gb Максимальный
NAS с поддержкой
NFS 68,11 800 1Tb Средний
Параллельная
файловая система 71,27 0 4Tb Минимальный
Исходя из данных таблицы невозможно сделать однозначный выбор файло-
вой системы. Получив выигрыш в некоторых показателях, таких как скорость и
цена, можно получить существенные потери при сбоях системы и наоборот. По-
этому оптимальным решением будет использование определенных систем
в зависимости от параметров задачи.
Компьютерная математика. 2009, № 2 93
В.В. ФАЛЬФУШИНСКИЙ
Выводы. С проблемой эффективности обработки исходных данных разра-
ботчики сталкиваются каждый раз. Изучение этой проблемы способствовало
сужению круга архитектур файловых систем и нахождения оптимальных, в за-
висимости от определенных критериев. Изложенные в работе архитектуры были
протестированы на кластере Инпарком-256 и могут быть укомплектованы к лю-
бому другому кластеру.
В.В. Фальфушинський
РЕАЛІЗАЦІЯ МОДЕЛЕЙ СХОВИЩА У СІМЕЙСТВІ КЛАСТЕРНИХ КОМПЛЕКСІВ
ІНПАРКОМ
Розглянуто можливість застосування різних моделей сховища. Можливість оптимізації до-
ступу до данних за допомогою застосування різних архітектур сховища, які відповідають
вимогам малої ціни, великого об’єму, високої стабільності та високої швидкості доступу.
Продемонстровано швидкість роботи різних архітектур сховища.
V.V. Falfushinsky
IMPLEMENTATION OF STORAGE MODELS IN THE FAMILY OF INPARCOM CLUSTERS
A possibility of using different models of file systems is described. Optimization of data access
with the help of different storage architectures with criteria of small price, big size, stability and
access speed is analyzed.
1. Численное программное обеспечение интеллектуального MIMD-компьютера ИНПАР-
КОМ / А.Н. Химич, И.Н. Молчанов, В.И. Мова и др.– Киев: Наук. думка, 2007. – 222 с.
2. Перевозчикова О.Л., Тульчинский В.Г., Ющенко Р.А. Построение и оптимизация парал-
лельных компьютеров для обработки больших объемов данных // Кибернетика и систем-
ный анализ. – 2006. – № 4. – С. 117–129.
3. Noronha R .Designing high-performance and scalable file network attached storage with iInfini-
band // Technical Report OSU-CISRC-3/08-TR09,Oniversity, 2008. – P. 244.
4. ДСТУ 4249:2003. Настанова щодо POSIX-сумісних середовищ відкритих систем (POSIX-
OSE) / О. Демська-Кульчицька, А. Гречко, Б. Кульчицька, О. Перевозчикова, В. Січка-
ренко. – К.: Держспоживстандарт, 2007. – 176 с.
5. Тульчинский В.Г., Чарута А.К. Оценка времени обработки данных в кластерных системах
// Проблеми програмування. – 2006. – № 2–3. – С. 118 – 123.
6. www.top500.org , TOP 500 of supercomputers, 2008.
7. Липаев В.В., Филинов Е.Н. Мобильность программ и данных в открытых информацион-
ных системах. – М.: Научная книга, 1997. – 368 с.
Получено 02.11.2008
Îá àâòîðå:
Фальфушинский Владислав Владимирович,
инженер-программист 1-й категории
Института кибернетики имени В.М. Глушкова НАН Украины.
94 Компьютерная математика. 2009, № 2
http://www.top500.org/
|
| id | nasplib_isofts_kiev_ua-123456789-84550 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | ХХХХ-0003 |
| language | Russian |
| last_indexed | 2025-12-02T14:10:18Z |
| publishDate | 2009 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Фальфушинский, В.В. 2015-07-10T11:35:11Z 2015-07-10T11:35:11Z 2009 Реализация моделей хранилища в семействе кластерных комплексов Инпарком / В.В. Фальфушинский // Компьютерная математика. — 2009. — № 2. — С. 89-94. — Бібліогр.: 7 назв. — рос. ХХХХ-0003 https://nasplib.isofts.kiev.ua/handle/123456789/84550 681.3.06 Рассмотрены архитектуры хранилища для кластерных комплексов. Приведена сравнительная характеристика хранилища для кластерных комплексов. Розглянуто можливість застосування різних моделей сховища. Можливість оптимізації доступу до данних за допомогою застосування різних архітектур сховища, які відповідають вимогам малої ціни, великого об’єму, високої стабільності та високої швидкості доступу. Продемонстровано швидкість роботи різних архітектур сховища. A possibility of using different models of file systems is described. Optimization of data access with the help of different storage architectures with criteria of small price, big size, stability and access speed is analyzed. ru Інститут кібернетики ім. В.М. Глушкова НАН України Компьютерная математика Инструментальные средства информационных технологий Реализация моделей хранилища в семействе кластерных комплексов Инпарком Реалізація моделей сховища у сімействі кластерних комплексів Інпарком Implementation of storage models in the family of Inparcom clusters Article published earlier |
| spellingShingle | Реализация моделей хранилища в семействе кластерных комплексов Инпарком Фальфушинский, В.В. Инструментальные средства информационных технологий |
| title | Реализация моделей хранилища в семействе кластерных комплексов Инпарком |
| title_alt | Реалізація моделей сховища у сімействі кластерних комплексів Інпарком Implementation of storage models in the family of Inparcom clusters |
| title_full | Реализация моделей хранилища в семействе кластерных комплексов Инпарком |
| title_fullStr | Реализация моделей хранилища в семействе кластерных комплексов Инпарком |
| title_full_unstemmed | Реализация моделей хранилища в семействе кластерных комплексов Инпарком |
| title_short | Реализация моделей хранилища в семействе кластерных комплексов Инпарком |
| title_sort | реализация моделей хранилища в семействе кластерных комплексов инпарком |
| topic | Инструментальные средства информационных технологий |
| topic_facet | Инструментальные средства информационных технологий |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/84550 |
| work_keys_str_mv | AT falʹfušinskiivv realizaciâmodeleihraniliŝavsemeistveklasternyhkompleksovinparkom AT falʹfušinskiivv realízacíâmodeleishoviŝausímeistvíklasternihkompleksívínparkom AT falʹfušinskiivv implementationofstoragemodelsinthefamilyofinparcomclusters |