Сравнение архитектуры распределенных файловых систем
Дан обзор популярных распределенных файловых систем разных типов для операционных систем Linux. Показано, как их архитектура адаптирована к решению специфических задач. Проведено сравнение рассмотренных файловых систем. This report contains the survey of actual distributed file systems of different...
Saved in:
| Published in: | Управляющие системы и машины |
|---|---|
| Date: | 2012 |
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2012
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/83095 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Сравнение архитектуры распределенных файловых систем / Е.В. Назаренко // Управляющие системы и машины. — 2012. — № 5. — С. 63-69. — Бібліогр.: 10 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860125435036172288 |
|---|---|
| author | Назаренко, Е.В. |
| author_facet | Назаренко, Е.В. |
| citation_txt | Сравнение архитектуры распределенных файловых систем / Е.В. Назаренко // Управляющие системы и машины. — 2012. — № 5. — С. 63-69. — Бібліогр.: 10 назв. — рос. |
| collection | DSpace DC |
| container_title | Управляющие системы и машины |
| description | Дан обзор популярных распределенных файловых систем разных типов для операционных систем Linux. Показано, как их архитектура адаптирована к решению специфических задач. Проведено сравнение рассмотренных файловых систем.
This report contains the survey of actual distributed file systems of different types for the Linux. It is shown how their architecture is adapted to the solution of specific issues. The comparison of the surveyed file systems is made.
Дано огляд популярних розподілених файлових систем різних типів для операційних систем Linux. Показано, як їх архітектуру адаптовано до розв’язання специфічних задач. Проведено порівняння розглянутих файлових систем.
|
| first_indexed | 2025-12-07T17:41:40Z |
| format | Article |
| fulltext |
УСиМ, 2012, № 5 63
УДК 004
Е.В. Назаренко
Сравнение архитектуры распределенных файловых систем
Дан обзор популярных распределенных файловых систем разных типов для операционных систем Linux. Показано, как их архи-
тектура адаптирована к решению специфических задач. Проведено сравнение рассмотренных файловых систем.
This report contains the survey of actual distributed file systems of different types for the Linux. It is shown how their architecture is
adapted to the solution of specific issues. The comparison of the surveyed file systems is made.
Дано огляд популярних розподілених файлових систем різних типів для операційних систем Linux. Показано, як їх архітектуру
адаптовано до розв’язання специфічних задач. Проведено порівняння розглянутих файлових систем.
Введение. Локальные файловые системы – не-
отъемлемая часть операционной системы. Они
предоставляют пользователю высокоуровневый
интерфейс к локальным запоминающим устрой-
ствам. Распределенные файловые системы обес-
печивают интерфейс к запоминающим устрой-
ствам удаленных компьютеров. Кроме того, они
позволяют разделять ресурсы одного компью-
тера между несколькими пользователями. Для
пользователя UNIX-подобных систем распре-
деленная файловая система, как правило, неот-
личима от локальной: имена файлов локальной
ФС и удаленной ФС начинаются с общего кор-
ня и имеют одинаковую структуру, а приложе-
ния, работающие с файлами локальной ФС,
могут также работать и с файлами удаленной
ФС. Это стало возможно благодаря внедрению
в операционную систему уровня виртуальной
файловой системы, изначально разработанного
для поддержки файловой системы NFS в UNIX.
Программы, запускаемые на вычислительных
кластерах, состоят из множества процессов, вы-
полняемых параллельно на разных узлах кла-
стера. При этом часто программы оперируют
данными очень большого объема, которые не
помещаются в оперативной памяти вычислитель-
ных узлов. Во время расчета их процессы ин-
тенсивно обращаются к дисковой памяти кла-
стера. Такие задачи выдвигают дополнительные
требования к распределенным файловым сис-
темам. Во-первых, они должны обеспечивать
высокую суммарную пропускную способность
ввода–вывода. Это достигается путем объеди-
нения ресурсов множества узлов ввода–выво-
да. Во-вторых, файловые системы должны по-
зволять одновременный доступ к файлу боль-
шого количества параллельных процессов с вы-
сокой пропускной способностью. Для этого дан-
ные файла распределяются между набором уз-
лов ввода–вывода. Стратегии распределения мо-
гут быть разными. Например, файловые систе-
мы PVFS и Lustre могут разделять файл между
узлами ввода–вывода на непересекающиеся
подмножества данных (порции), а файловая сис-
тема GFS вдобавок поддерживает несколько ко-
пий каждой порции, позволяя считывать дан-
ные параллельно.
Распределенные файловые системы исполь-
зуются также для долгосрочного хранения боль-
ших объемов данных. Системы, выполняющие
эту функцию, обычно состоят из большого ко-
личества элементов. Как следствие, вероятность
выхода из строя отдельного элемента системы
достаточно высока. Поэтому такие системы об-
ладают отказоустойчивостью и обеспечивают
высокую доступность данных. Они также обес-
печивают одновременный доступ множества
клиентов к хранимым данным. Примером та-
кой файловой системы служит GFS. Lustre так-
же используется в этих целях. Важная харак-
теристика для систем такого типа – масштаби-
руемость.
Существует большое количество распреде-
ленных файловых систем. При выборе распре-
деленной файловой системы для компьютер-
ной сети пользователь руководствуется тем, ка-
кие задачи будут решаться на его оборудова-
нии. Цель статьи – показать, как архитектура
распределенных файловых систем адаптирова-
на к решению специфических задач. Далее дан
обзор популярных распределенных файловых
систем разных типов для ОС Linux. Такие об-
64 УСиМ, 2012, № 5
зоры по системам одного класса делались не-
однократно. Например, в [1] приведено сравне-
ние PVFS и Lustre – файловых систем для вы-
числительных кластеров, в [2] рассмотрены сис-
темы для хранения больших объемов данных.
Файловая система NFS
Файловая система NFS (Network Filesystem –
сетевая файловая система) впервые разработа-
на корпорацией Sun для предоставления уда-
ленного доступа к файловым системам [3]. NFS
состоит из протокола, серверной части и кли-
ентской части.
Протокол NFS определяется набором про-
цедур для доступа к файлам и каталогам. Вы-
зовы процедур синхронны, т.е. клиент блоки-
руется до тех пор, пока сервер не завершит об-
работку вызова. Протокол NFS есть протоко-
лом без состояния. Это значит, что параметры
каждого вызова процедуры содержат всю не-
обходимую информацию для того, чтобы за-
вершить вызов, сервер не содержит информа-
ции о предыдущих вызовах. Например, проце-
дура read чтения данных из файла, в отличие
от соответствующей процедуры некоторой ло-
кальной файловой системы, требует указания
позиции в файле, с которой следует начать
чтение. Использование протокола без состоя-
ния упрощает восстановление после сбоев: при
возникновении сбоя на сервере клиент повтор-
но посылает запросы до тех пор, пока не полу-
чит ответ, что позволяет серверу вообще не
проводить восстановление, при этом данные
не будут потеряны. При сбое клиента ни сер-
веру, ни клиенту проводить восстановление не
требуется.
Для выполнения файловых операций исполь-
зуется предоставленный сервером дескриптор
файла, непрозрачный для клиента. Он исполь-
зуется для указания файла на сервере при вы-
зове процедур. В качестве дескриптора файла
UNIX-сервер может использовать совокупность,
состоящую из номеров i-узла, его поколения и
идентификатора файловой системы. Номер по-
коления i-узла – это число, содержащееся в i-
узле и увеличиваемое на единицу всякий раз,
когда i-узел освобождается. Таким образом,
если сервер выдал дескриптор файла с номе-
ром i-узла файла, который затем был удалён, а
i-узел использован повторно, при получении
первоначального дескриптора файла от клиен-
та сервер может определить, что номер i-узла
ссылается на другой файл и сообщить об этом
клиенту. Новый дескриптор файла возвращают
процедуры lookup (просмотреть, процедура воз-
вращает новый дескриптор файла и атрибуты
по имени файла в каталоге), create и mkdir, ко-
торые в свою очередь принимают дескриптор
файла (описывающий каталог) как аргумент.
Для получения дескриптора файла корнево-
го каталога по его имени используется прото-
кол MOUNT. Монтирование связывает каталог
клиента с каталогом сервера. В результате об-
разуется единое дерево каталогов и имена уда-
лённых файлов имеют ту же структуру, что и
имена локальных файлов. Монтирование про-
водится вызовом программы mount. Любой узел
дерева файловой системы может быть точкой
монтирования другой файловой системы. Сер-
вер MOUNT – это процесс (демон), обслужи-
вающий запросы на монтирование по мере их
поступления. При поступлении запроса от кли-
ента проводится проверка списка экспортиру-
емых файловых систем и клиентов, которые
могут их импортировать. Если клиент имеет
разрешение импортировать запрошенную фай-
ловую систему, он получает дескриптор файла
экспортируемого сервером каталога.
Для того чтобы скрыть от программ пользо-
вателя различия между удаленной и локальной
файловыми системами, в операционную систе-
му UNIX был добавлен уровень VFS (Virtual
File System – виртуальная файловая система).
Место VFS в операционной системе иллюстри-
рует рис. 1 [4]. С каждым файлом или катало-
гом связывается v-узел – структура, содержа-
щая операции, которые могут быть выполнены
над файлом или каталогом. Операции реали-
зуются конкретной файловой системой, а ядро
взаимодействует не с файловой системой не-
посредственно, а с VFS. Такая реализация по-
зволяет операционной системе обращаться с
файловыми системами разных типов одинако-
во, независимо от конкретной реализации. Для
получения v-узла файла по v-узлу каталога и по
УСиМ, 2012, № 5 65
имени файла в каталоге служит операция lookup.
При разборе пути операционная система раз-
бивает путь на составляющие, вызывая lookup
для получения v-узла каждой следующей со-
ставляющей. Путь не передается целиком, по-
скольку реализации v-узла недоступна инфор-
мация о точках монтирования других файло-
вых систем. В свою очередь, передача полных
путей в файловой системе NFS привела бы к то-
му, что сервер был бы вынужден хранить ин-
формацию о точках монтирования клиента и
уже не был бы сервером без состояния.
Ядро клиента
Уровень системных вызовов
Уровень виртуальной
файловой системы
Локальная
ФС 1
Локальная
ФС 2 Клиент NFS
Буферный кэш
Драйвер Драйвер
Локальные диски
Сообщение
серверу
v- узел
c cc
c c c
cc c
Уровень виртуальной
файловой системы
c
Сервер NFS Локальная
ФС 1
Локальная
ФС 2
c c
Буферный кэш
c c
cc
Драйвер Драйвер
Сообщение
от клиента
Ядро сервера
Локальные диски
Рис. 1. Архитектура NFS
Сервер NFS не поддерживает блокировку
файла между запросами. Поскольку одна опе-
рация записи может потребовать нескольких
обращений к серверу, при одновременной за-
писи файла двумя клиентами данные могут
смешиваться. UNIX позволяет удалить запись
каталога для открытого процессом файла, по-
сле чего файл не будет иметь имени в файло-
вой системе, а процесс будет продолжать чи-
тать и записывать файл. Эта возможность ис-
пользуется некоторыми программами для реа-
лизации временных файлов. Эта особенность
файловой системы UNIX была поддержана в
NFS. При выполнении операции VFS remove
клиент проверяет, открыт ли файл, и если да,
переименовывает его. Когда v-узел становится
неактивным, файл удаляется.
Для повышения производительности фай-
ловой системы NFS предпринят ряд улучше-
ний. Среди них отметим следующие. Для умень-
шения количества запросов к серверу на сто-
роне клиента применяется буферное кэширо-
вание и кэширование атрибутов файлов. Обмен
информацией между клиентом и сервером вы-
полняется большими порциями. Для ускорения
последовательного чтения применяется опе-
режающее чтение.
Параллельная файловая система PVFS
Параллельная виртуальная файловая систе-
ма Parallel Virtual File System (PVFS) создана с
целью обеспечить Linux кластеры высокопро-
изводительной файловой системой [5]. Ее ар-
хитектура изображена на рис. 2. PVFS органи-
зована как клиент-серверная система с более
чем одним процессом ввода–вывода (сервером).
Процессы ввода–вывода выполняются на узлах
ввода–вывода. Прикладные процессы выпол-
няют операции ввода–вывода с помощью кли-
ентской библиотеки. Единое дерево каталогов
для прикладных процессов поддерживает про-
цесс менеджер PVFS (мастер на рис. 2). Клиен-
ты, процессы ввода–вывода и менеджер PVFS
не обязательно должны выполняться на раз-
личных узлах. Однако выполнение их на раз-
ных узлах может привести к повышению про-
изводительности файловой системы.
Клиент
Процессввода-
вывода
Открытие, создание, удаление файлов
Запросына ввод-
вывод данных
Данные
Метаданные
Дерево каталогов
Каталог
Файл
Локальная ФС
1
4
Открытьфайл /foo/data (1)
i-й узел ввода-вывода
Процессввода-
вывода
Данные
Локальная ФС
2
5
i+1-й узел ввода-вывода
Узлы ввода-вывода: i – i+2, размер полосы: m байт (2)
m байт
Запросы на чтение данных
файла /foo/data (3)
Локальная ФС
Информация о
распределении,
права доступа,
владелец, группа
Мастер
Чтение
файла
/foo/data
Логическое разбиение
файла /foo/data на
полосы размера m байт
c c
c c
Процессввода -
вывода
Данные
Локальная ФС
3
6
i+2 -й узел ввода -вывода
3 65421
Рис. 2. Архитектура PVFS и Lustre
PVFS распределяет данные каждого файла
между упорядоченным набором узлов ввода–
вывода. Информация о распределении файлов,
как и прочие метаданные (права доступа, вла-
делец, группа и др.), хранится в файлах локаль-
ной файловой системы и поддерживается ме-
неджером PVFS. За распределение файла отве-
чают три параметра: номер базового узла вво-
да–вывода (base), количество узлов ввода–вы-
вода (pcount) и размер полосы (ssize). Распре-
деляемый файл логически разбивается на по-
66 УСиМ, 2012, № 5
лосы размера ssize байт. Узел ввода–вывода под
номером base+i (0 ≤ i < pcount) содержит поло-
сы i, pcount+i и т.д. Эти параметры можно ус-
тановить при создании файла, в противном слу-
чае PVFS использует значения по умолчанию.
Каждый узел хранит свою порцию файла PVFS
в файле локальной файловой системы. Имя это-
го файла основано на номере i-узла, который
менеджер присвоил файлу PVFS. Такой способ
распределения облегчает параллельный доступ
к данным файла.
Когда прикладной процесс открывает файл
PVFS, менеджер PVFS возвращает ему распо-
ложение тех узлов ввода–вывода, которые со-
держат данные файла. При выполнении даль-
нейших операций чтения-записи прикладной
процесс взаимодействует напрямую с узлами
ввода–вывода без участия менеджера. При чте-
нии данных файла клиентская библиотека по-
сылает дескриптор запрашиваемой области фай-
ла процессам ввода–вывода. Область может не
быть непрерывной. Область с регулярным ша-
гом описывают параметры offset, gsize и stride.
При вызове функции чтения по такой области
будут прочитаны gsize байт файла с позиций
offset, offset+stride, offset+2*stride, …. Процес-
сы ввода–вывода определяют, какая часть об-
ласти содержится в обслуживаемых ими дан-
ных, и выполняют необходимый ввод-вывод.
Клиентские библиотеки, работающие в про-
странстве пользователя, содержат реализацию
процедур ввода–вывода UNIX/POSIX API. Эти
процедуры заменяют функции библиотеки C
(libc), осуществляющие системные вызовы (libc
syscall wrappers). На каждом вычислительном
узле с PVFS связывается каталог. Файл, путь к
которому содержит этот каталог, трактуется кли-
ентской библиотекой как файл PVFS. Таким
образом существующие приложения, исполь-
зующие UNIX API, могут работать с файлами
PVFS без перекомпиляции. Кроме того, с фай-
лами PVFS могут работать общепринятые ко-
манды оболочки UNIX, такие как ls, cp и rm.
PVFS также имеет свой API. Его функции по-
зволяют считывать несмежные зоны файла од-
ним вызовом функции. PVFS также поддержи-
вает интерфейс MPI–IO.
Lustre – файловая система для Linux кла-
стеров
Распределённая параллельная файловая сис-
тема Lustre (сочетание терминов «Linux» и «Clu-
sters») предназначена для работы в больших
кластерах под управлением Linux [6]. Её ис-
пользуют в кластерах с десятками тысяч кли-
ентских систем, а многие центры HPC исполь-
зуют Lustre как глобальную файловую систе-
му, обслуживающую десятки кластеров вычис-
лительного центра [7]. Lustre совместима с
POSIX. Как и прочие распределённые файло-
вые системы, Lustre разделяет вычислительные
ресурсы и ресурсы хранения данных. Это ос-
вобождает вычислительные узлы от чтения, пе-
редачи и записи данных, а файловые серверы –
от вычислительной работы.
Устройство Lustre представлено на рис. 2.
Полезный ввод-вывод файловой системы вы-
полняют серверы хранения объектов Object Sto-
rage Servers (OSS). Интерфейс к запоминаю-
щим устройствам сервера предоставляют OST
(Object Storage Targets). OST рассматривает свой
накопитель как объектно-ориентированный диск
(OBD – Object-Based Disk), доступ к которому
обеспечивает модуль Lustre, отвечающий за вза-
имодействие с локальными журналируемыми
файловыми системами Linux, среди которых раз-
работанная для Lustre ldiskfs (Lustre Disk File-
system) [8]. Один сервер может обслуживать
несколько OST. Метаданные файловой систе-
мы хранятся на сервере метаданных (MDS –
MetaData Server). Сервер метаданных обслужи-
вает все операции пространства имён файло-
вой системы, такие как поиск файлов, создание
файла, управление атрибутами файлов и ката-
логов. Для MDS и OSS характерны разные фор-
мы доступа к данным. MDS выполняет боль-
шое количество операций чтения и записи ма-
лых объёмов данных. Напротив, OSS как пра-
вило выполняют операции чтения и записи боль-
ших объёмов данных. На производительность
MDS влияет время доступа, для OSS важна
пропускная способность диска. Прикладные
процессы взаимодействуют с Lustre через VFS.
На уровне файловой системы Lustre рас-
сматривает файлы как объекты (а не как набор
УСиМ, 2012, № 5 67
блоков данных), местонахождение которых ус-
танавливается через MDS. С каждым обычным
файлом, каталогом, символической ссылкой и
специальным файлом Lustre связывает i-узел.
Однако i-узлы обычных файлов вместо указа-
телей на блоки данных файла содержат ссылки
на объекты из OSTs, которые хранят данные
файла. Данные файла на одном OST хранятся в
одном объекте. Файлу может отвечать не-
сколько объектов. В этом случае данные файла
будут распределены между ними по той же
схеме, по которой файл PVFS распределяется
между узлами ввода–вывода. Как и в PVFS,
заданные по умолчанию параметры распреде-
ления файла можно настроить при создании
файла. Lustre также позволяет определить эти
параметры для всех файлов каталога (и рекур-
сивно для всех файлов подкаталогов этого ка-
талога). Распределение файла между OST по-
зволяет повысить пропускную способность вво-
да–вывода при доступе к файлу. Кроме того,
это позволяет создавать файлы размером боль-
ше одного OST (Lustre допускает файлы боль-
ше 1 ПБ).
При создании файла клиент обращается к
серверу метаданных. MDS создаёт i-узел фай-
ла, после чего обращается к OSTs, чтобы они
создали объекты для хранения данных файла.
Аналогично при доступе к существующему
файлу клиент обращается к MDS, чтобы полу-
чить информацию о расположении файла. По-
следующий ввод-вывод файла выполняется
напрямую между клиентом и OSTs.
Lustre спроектирована так, что отказ или
перезагрузка одного сервера не выводит из строя
всю систему. Так, если для активного сервера
имеется резервный сервер, то при отказе ак-
тивного сервера его функции возьмёт на себя
резервный сервер, при этом приложения про-
должат выполняться без сбоя, только испыта-
ют задержку в выполнении системных вызо-
вов, обращающихся к файловой системе. Кро-
ме того, при создании новых файлов отслежи-
ваются неисправные OST. Дополнительную на-
дёжность файловой системе обеспечивает ис-
пользование журналируемых файловых систем
для хранения метаданных и объектов из OSTs.
Lustre позволяет добавлять новые OSS не пре-
рывая работу файловой системы.
The Google File System
Файловая система Google (GFS) была спро-
ектирована с учетом рабочих нагрузок, харак-
терных для внутренних приложений Google [9].
Так, система состоит из сравнительно неболь-
шого (несколько миллионов) количества фай-
лов очень большого размера – в среднем 100
МБ, многогигабайтные файлы общеприняты.
Файлы, как правило, изменяются путем добав-
ления новых данных, а не перезаписи суще-
ствующих, произвольные записи крайне редки.
Например, распределенные приложения Google
интенсивно используют файлы для реализации
очереди много производителей – один потреби-
тель, в которую сотни производителей пишут
одновременно. При чтении возможны две фор-
мы доступа: большие потоковые чтения (пор-
циями около 1 МБ, как и для записей) и малые
произвольные чтения (по нескольку КБ). Кро-
ме того, изначально предполагалось эксплуа-
тировать файловую систему на недорогом обо-
рудовании. Поскольку система состоит из боль-
шого количества элементов, отказ отдельных
составляющих системы – скорее норма, чем
исключение.
Журнал операций
Дерево каталогов
Оперативная память
Дескрипторыпорций, из
которых состоит файл
Мастер
Процесс ввода-
вывода
Данные порций
ФС Linux
id2
i-й chunk-сервер
64 МБ id1 id2 id3
разбиение /foo/data на
порции размера 64 МБ
……
Расположение
копий
Дескриптор
порции
Дескрипторпорции: id2,
chunk-серверы: i, j, k (2)
Имяфайла: /foo/data,
индекс порции: 2 (1)
Создание, удаление, поиск файлов
Дескрипторпорции: id2,
Диапазон байт (3)
Запросына ввод-
вывод данных
Каталог
Файл
Чтениефайла
/foo/data
Клиентскийкод GFS
Приложение
c
c
c
c
c
Процесс ввода-
вывода
Данные порций
ФС Linux
id2
j -й chunk-сервер
Процесс ввода-
вывода
Данные порций
ФС Linux
id2
k-й chunk-сервер
c
Рис. 3. Архитектура GFS
Файл в GFS состоит из порций (chunk) раз-
мера 64 МБ. Каждая порция имеет неизменный
64-х битный идентификатор – дескриптор пор-
ции, уникальный в пределах системы. Про-
странства имен файлов и порций, а также ин-
формацию о том, из каких порций состоит файл,
содержит единственный в системе мастер. Са-
ми порции хранятся на chunk-серверах как Linux-
файлы, по умолчанию в трех экземплярах. Фай-
68 УСиМ, 2012, № 5
лы растут по мере необходимости. Расположе-
ние копий каждой порции хранится на мастере.
Приложения, выполняемые на машинах под уп-
равлением Linux, взаимодействуют с GFS че-
рез API файловой системы, реализуемый кли-
ентским кодом, с которым они компонуются.
GFS не имеет POSIX-интерфейса. Допускается
выполнение chunk-сервера и клиента на одной
машине. Клиенты, chunk-серверы и мастер вы-
полняются в пространстве пользователя. Эле-
менты файловой системы показаны на рис. 3.
При чтении данных клиент сначала вычис-
ляет индекс порции в файле по заданному в бай-
тах смещению. Затем он посылает мастеру за-
прос, содержащий имя файла и индекс порции.
В ответ клиент получает дескриптор порции и
расположение копий порции. После этого кли-
ент читает данные с одного из chunk-серверов,
содержащего копию порции, сообщая ему де-
скриптор порции и диапазон байт. Хотя систе-
ма и имеет единственного мастера, к которому
обращаются все клиенты, он не является узким
местом системы. При чтении и записи, клиент
обменивается с мастером лишь небольшим ко-
личеством метаданных, выполняя обмен дан-
ными напрямую с chunk-серверами. Кроме то-
го, клиенты кэшируют результаты запросов к
мастеру, причем, читая данные, клиент обычно
запрашивает информацию о нескольких порциях
в одном запросе, а мастер может дополнить
свои ответы информацией о следующих за за-
прошенными порциях.
Запись данных в GFS требует более слож-
ного взаимодействия между элементами сис-
темы, чем чтение. Во-первых, каждая порция
имеет несколько копий, и запись должна быть
сделана в каждую из них. Во-вторых, одна пор-
ция может изменяться многими клиентами од-
новременно. Для того чтобы одинаково влиять
на разные копии, изменения во все копии вно-
сятся в одном порядке. Упорядочением записей
в порцию занимается одна из ее копий – пер-
вичная копия. При записи данных в порцию
клиент сначала запрашивает у мастера распо-
ложение ее первичной и остальных (вторичных)
копий, кэшируя полученную информацию. Да-
лее, клиент посылает данные во все копии. По-
лучив от всех копий подтверждение о получе-
нии данных, клиент направляет первичной ко-
пии запрос на запись. Первичная копия, взаи-
модействуя с вторичными копиями, удовле-
творяет этот запрос в установленном порядке.
Особой формой записи в GFS есть атомар-
ная операция добавления record append. При
одновременной записи файла многими клиен-
тами, смещение в файле, которое содержит от-
дельный клиент, может не совпадать с настоя-
щим концом файла. Операция record append
записывает данные в конец файла независимо
от текущего смещения в клиенте.
Мастер держит все метаданные файловой
системы в оперативной памяти, что возможно
благодаря большому размеру порции и сравни-
тельно небольшому количеству файлов в фай-
ловой системе. Пространства имен и отобра-
жение из файлов в порции также хранятся на
локальном диске мастера, в отличие от распо-
ложения копий порций, которое может быть
получено у chunk-серверов. Мастер периоди-
чески сканирует свое состояние в фоновом ре-
жиме, выполняя сборку мусора в файловой сис-
теме, повторное копирование при наличии от-
каза chunk-серверов, а также перемещая пор-
ции для балансировки нагрузки и использова-
ния дискового пространства между chunk-
серверами. Мастер обслуживает запросы на со-
здание, удаление, поиск файлов.
Сравнение файловых систем
Характеристики рассмотренных файловых
систем сведены в таблицу.
Заключение. Рассмотренные распределен-
ные файловые системы спроектированы в со-
ответствии с нагрузками, для которых они пред-
назначены. Файловые системы PVFS, Lustre и
GFS решают задачу параллельного доступа к
файлу множества клиентов, распределяя файл
между узлами ввода–вывода. Разработчики
PVFS отказались от кэширования данных на
клиенте, чтобы избежать накладных расходов
на поддержание клиентских кэшей в непроти-
воречивом состоянии (это необходимо для на-
учных приложений, для которых предназначе-
на файловая система) [10]. В файловой системе
NFS кэш разных клиентов может быть несо-
УСиМ, 2012, № 5 69
гласован [4]. В GFS, как и в PVFS, клиенты
также не кэшируют данные, поскольку кэши-
рование не оправдывает себя при типичной
форме доступа приложений к файлам GFS и
больших размерах файлов, характерных для
файловой системы. Специфическое назначение
распределенной файловой системы отражается
и в ее API. API PVFS позволяет описать об-
ласть с регулярным шагом для доступа к фай-
лу, GFS имеет атомарную операцию добавле-
ния. Файловая система GFS обеспечивает вы-
сокую доступность данных, поддерживая
множественные копии данных.
1. A comparative experimental study of parallel file sys-
tems for large-scale data processing / Z. Sebepou, K. Ma-
goutis, Marazakis M. et al. // Institute of computer sci-
ence, 2008-06-06. – http://www.usenix.org/event/las-
co08/tech/full_papers/sebepou/sebepou_html/
2. Черняк Л. Файловые системы для Больших Дан-
ных // Открытые системы. – 2011. – № 5. – С. 68. –
http://www.osp.ru/os/2011/05/13009415/
3. Design and implementation of the Sun Network File-
system / R. Sandberg, D. Goldberg, S. Kleiman et al.
// Proc. of the Summer, Portland. June 1985 USENIX
Conf. – P. 119–130.
4. Таненбаум Э. Современные операционные систе-
мы. – СПб.: Питер, 2010. – 1120 с.
5. PVFS: a parallel file system for Linux Clusters /
P.H. Carns, W.B. Ligon III, R.B. Ross et.al. // Proc. of
the 4th Annual Linux Showcase and Conf., Atlanta, GA,
Oct. 2000. – P. 317–327. – http://www. parl.clemson.
edu/pvfs/el2000/extreme2000.ps
6. Braam P.J. Lustre: a scalable, high-performance file
system. Nov. 11th, 2002.
7. Lustre file system. High performance storage architec-
ture and scalable cluster file system. Dec. 2007.
8. Understanding Lustre filesystem internals / F. Wang,
S. Oral, G. Shipman et al. // April 2009. – http://wiki.
lustre.org/images/d/da/Understanding_Lustre_Filesys-
tem_ Internals.pdf
9. Ghemawat S., Gobioff H., Shun-Tak Leung. The Google
File System // SOSP’03, Oct. 19–22, 2003, New York:
Bolton Landing, USA.
10. Frequently Asked Questions about PVFS. – http://www.
pvfs.org
Поступила 03.06.2012
Тел. для справок: +380 44 526-3603 (Киев)
E-mail: eugn@ukr.net
© Е.В. Назаренко, 2012
Внимание !
Оформление подписки для желающих
опубликовать статьи в нашем журнале обязательно.
В розничную продажу журнал не поступает.
Подписной индекс 71008
Т а б л и ц а.
NFS PVFS Lustre GFS
Область применения
(назначение)
Предоставляет
удаленный дос-
туп к файловым
системам
Высокопроизводительный ввод–вывод на вычис-
лительных кластерах, Lustre также используют в
информационных центрах как внутреннюю фай-
ловую систему общего назначения
Обслуживает внутренние рас-
пределенные приложения
Google, которые требуют интен-
сивной обработки данных
Способ распределе-
ния одного файла
между узлами ввода–
вывода
Не распределяет
файл
Файл расчленяется между узлами ввода–вывода
по схеме RAID 0, количество узлов ввода–вывода
и размер полос, по которым распределяется
файл, устанавливает пользователь
Файл разбивается на порции фик-
сированного размера, каждая из
которых дублируется, количест-
во копий настраивается
Кэширование дан-
ных на клиенте
Да Нет Да Нет
Способ доступа к
файловой системе
VFS модуль
Клиентские библиотеки
или VFS модуль
VFS модуль Киентские библиотеки
Поддерживаемые
API
POSIX Свой API, POSIX, MPI–IO POSIX, MPI–IO Свой API
<<
/ASCII85EncodePages false
/AllowTransparency false
/AutoPositionEPSFiles true
/AutoRotatePages /None
/Binding /Left
/CalGrayProfile (Dot Gain 20%)
/CalRGBProfile (sRGB IEC61966-2.1)
/CalCMYKProfile (U.S. Web Coated \050SWOP\051 v2)
/sRGBProfile (sRGB IEC61966-2.1)
/CannotEmbedFontPolicy /Error
/CompatibilityLevel 1.4
/CompressObjects /Tags
/CompressPages true
/ConvertImagesToIndexed true
/PassThroughJPEGImages true
/CreateJobTicket false
/DefaultRenderingIntent /Default
/DetectBlends true
/DetectCurves 0.0000
/ColorConversionStrategy /CMYK
/DoThumbnails false
/EmbedAllFonts true
/EmbedOpenType false
/ParseICCProfilesInComments true
/EmbedJobOptions true
/DSCReportingLevel 0
/EmitDSCWarnings false
/EndPage -1
/ImageMemory 1048576
/LockDistillerParams false
/MaxSubsetPct 100
/Optimize true
/OPM 1
/ParseDSCComments true
/ParseDSCCommentsForDocInfo true
/PreserveCopyPage true
/PreserveDICMYKValues true
/PreserveEPSInfo true
/PreserveFlatness true
/PreserveHalftoneInfo false
/PreserveOPIComments true
/PreserveOverprintSettings true
/StartPage 1
/SubsetFonts true
/TransferFunctionInfo /Apply
/UCRandBGInfo /Preserve
/UsePrologue false
/ColorSettingsFile ()
/AlwaysEmbed [ true
]
/NeverEmbed [ true
]
/AntiAliasColorImages false
/CropColorImages true
/ColorImageMinResolution 300
/ColorImageMinResolutionPolicy /OK
/DownsampleColorImages true
/ColorImageDownsampleType /Bicubic
/ColorImageResolution 300
/ColorImageDepth -1
/ColorImageMinDownsampleDepth 1
/ColorImageDownsampleThreshold 1.50000
/EncodeColorImages true
/ColorImageFilter /DCTEncode
/AutoFilterColorImages true
/ColorImageAutoFilterStrategy /JPEG
/ColorACSImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/ColorImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/JPEG2000ColorACSImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/JPEG2000ColorImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/AntiAliasGrayImages false
/CropGrayImages true
/GrayImageMinResolution 300
/GrayImageMinResolutionPolicy /OK
/DownsampleGrayImages true
/GrayImageDownsampleType /Bicubic
/GrayImageResolution 300
/GrayImageDepth -1
/GrayImageMinDownsampleDepth 2
/GrayImageDownsampleThreshold 1.50000
/EncodeGrayImages true
/GrayImageFilter /DCTEncode
/AutoFilterGrayImages true
/GrayImageAutoFilterStrategy /JPEG
/GrayACSImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/GrayImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/JPEG2000GrayACSImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/JPEG2000GrayImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/AntiAliasMonoImages false
/CropMonoImages true
/MonoImageMinResolution 1200
/MonoImageMinResolutionPolicy /OK
/DownsampleMonoImages true
/MonoImageDownsampleType /Bicubic
/MonoImageResolution 1200
/MonoImageDepth -1
/MonoImageDownsampleThreshold 1.50000
/EncodeMonoImages true
/MonoImageFilter /CCITTFaxEncode
/MonoImageDict <<
/K -1
>>
/AllowPSXObjects false
/CheckCompliance [
/None
]
/PDFX1aCheck false
/PDFX3Check false
/PDFXCompliantPDFOnly false
/PDFXNoTrimBoxError true
/PDFXTrimBoxToMediaBoxOffset [
0.00000
0.00000
0.00000
0.00000
]
/PDFXSetBleedBoxToMediaBox true
/PDFXBleedBoxToTrimBoxOffset [
0.00000
0.00000
0.00000
0.00000
]
/PDFXOutputIntentProfile ()
/PDFXOutputConditionIdentifier ()
/PDFXOutputCondition ()
/PDFXRegistryName ()
/PDFXTrapped /False
/CreateJDFFile false
/Description <<
/ARA <FEFF06270633062A062E062F0645002006470630064700200627064406250639062F0627062F0627062A002006440625064606340627062100200648062B062706260642002000410064006F00620065002000500044004600200645062A064806270641064206290020064406440637062806270639062900200641064A00200627064406450637062706280639002006300627062A0020062F0631062C0627062A002006270644062C0648062F0629002006270644063906270644064A0629061B0020064A06450643064600200641062A062D00200648062B0627062606420020005000440046002006270644064506460634062306290020062806270633062A062E062F062706450020004100630072006F0062006100740020064800410064006F006200650020005200650061006400650072002006250635062F0627063100200035002E0030002006480627064406250635062F062706310627062A0020062706440623062D062F062B002E0635062F0627063100200035002E0030002006480627064406250635062F062706310627062A0020062706440623062D062F062B002E>
/BGR <FEFF04180437043f043e043b043704320430043904420435002004420435043704380020043d0430044104420440043e0439043a0438002c00200437043000200434043000200441044a0437043404300432043004420435002000410064006f00620065002000500044004600200434043e043a0443043c0435043d04420438002c0020043c0430043a04410438043c0430043b043d043e0020043f044004380433043e04340435043d04380020043704300020043204380441043e043a043e043a0430044704350441044204320435043d0020043f04350447043004420020043704300020043f044004350434043f0435044704300442043d04300020043f043e04340433043e0442043e0432043a0430002e002000200421044a04370434043004340435043d043804420435002000500044004600200434043e043a0443043c0435043d044204380020043c043e0433043004420020043404300020044104350020043e0442043204300440044f0442002004410020004100630072006f00620061007400200438002000410064006f00620065002000520065006100640065007200200035002e00300020043800200441043b0435043404320430044904380020043204350440044104380438002e>
/CHS <FEFF4f7f75288fd94e9b8bbe5b9a521b5efa7684002000410064006f006200650020005000440046002065876863900275284e8e9ad88d2891cf76845370524d53705237300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c676562535f00521b5efa768400200050004400460020658768633002>
/CHT <FEFF4f7f752890194e9b8a2d7f6e5efa7acb7684002000410064006f006200650020005000440046002065874ef69069752865bc9ad854c18cea76845370524d5370523786557406300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c4f86958b555f5df25efa7acb76840020005000440046002065874ef63002>
/CZE <FEFF005400610074006f0020006e006100730074006100760065006e00ed00200070006f0075017e0069006a007400650020006b0020007600790074007600e101590065006e00ed00200064006f006b0075006d0065006e0074016f002000410064006f006200650020005000440046002c0020006b00740065007200e90020007300650020006e0065006a006c00e90070006500200068006f006400ed002000700072006f0020006b00760061006c00690074006e00ed0020007400690073006b00200061002000700072006500700072006500730073002e002000200056007900740076006f01590065006e00e900200064006f006b0075006d0065006e007400790020005000440046002000620075006400650020006d006f017e006e00e90020006f007400650076015900ed007400200076002000700072006f006700720061006d0065006300680020004100630072006f00620061007400200061002000410064006f00620065002000520065006100640065007200200035002e0030002000610020006e006f0076011b006a016100ed00630068002e>
/DAN <FEFF004200720075006700200069006e0064007300740069006c006c0069006e006700650072006e0065002000740069006c0020006100740020006f007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e007400650072002c0020006400650072002000620065006400730074002000650067006e006500720020007300690067002000740069006c002000700072006500700072006500730073002d007500640073006b007200690076006e0069006e00670020006100660020006800f8006a0020006b00760061006c0069007400650074002e0020004400650020006f007000720065007400740065006400650020005000440046002d0064006f006b0075006d0065006e0074006500720020006b0061006e002000e50062006e00650073002000690020004100630072006f00620061007400200065006c006c006500720020004100630072006f006200610074002000520065006100640065007200200035002e00300020006f00670020006e0079006500720065002e>
/DEU <FEFF00560065007200770065006e00640065006e0020005300690065002000640069006500730065002000450069006e007300740065006c006c0075006e00670065006e0020007a0075006d002000450072007300740065006c006c0065006e00200076006f006e002000410064006f006200650020005000440046002d0044006f006b0075006d0065006e00740065006e002c00200076006f006e002000640065006e0065006e002000530069006500200068006f006300680077006500720074006900670065002000500072006500700072006500730073002d0044007200750063006b0065002000650072007a0065007500670065006e0020006d00f60063006800740065006e002e002000450072007300740065006c006c007400650020005000440046002d0044006f006b0075006d0065006e007400650020006b00f6006e006e0065006e0020006d006900740020004100630072006f00620061007400200075006e0064002000410064006f00620065002000520065006100640065007200200035002e00300020006f0064006500720020006800f600680065007200200067006500f600660066006e00650074002000770065007200640065006e002e>
/ESP <FEFF005500740069006c0069006300650020006500730074006100200063006f006e0066006900670075007200610063006900f3006e0020007000610072006100200063007200650061007200200064006f00630075006d0065006e0074006f00730020005000440046002000640065002000410064006f0062006500200061006400650063007500610064006f00730020007000610072006100200069006d0070007200650073006900f3006e0020007000720065002d0065006400690074006f007200690061006c00200064006500200061006c00740061002000630061006c0069006400610064002e002000530065002000700075006500640065006e00200061006200720069007200200064006f00630075006d0065006e0074006f00730020005000440046002000630072006500610064006f007300200063006f006e0020004100630072006f006200610074002c002000410064006f00620065002000520065006100640065007200200035002e003000200079002000760065007200730069006f006e0065007300200070006f00730074006500720069006f007200650073002e>
/ETI <FEFF004b00610073007500740061006700650020006e0065006900640020007300e4007400740065006900640020006b00760061006c006900740065006500740073006500200074007200fc006b006900650065006c007300650020007000720069006e00740069006d0069007300650020006a0061006f006b007300200073006f00620069006c0069006b0065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740069006400650020006c006f006f006d006900730065006b0073002e00200020004c006f006f0064007500640020005000440046002d0064006f006b0075006d0065006e00740065002000730061006100740065002000610076006100640061002000700072006f006700720061006d006d006900640065006700610020004100630072006f0062006100740020006e0069006e0067002000410064006f00620065002000520065006100640065007200200035002e00300020006a00610020007500750065006d006100740065002000760065007200730069006f006f006e00690064006500670061002e000d000a>
/FRA <FEFF005500740069006c006900730065007a00200063006500730020006f007000740069006f006e00730020006100660069006e00200064006500200063007200e900650072002000640065007300200064006f00630075006d0065006e00740073002000410064006f00620065002000500044004600200070006f0075007200200075006e00650020007100750061006c0069007400e90020006400270069006d007000720065007300730069006f006e00200070007200e9007000720065007300730065002e0020004c0065007300200064006f00630075006d0065006e00740073002000500044004600200063007200e900e90073002000700065007500760065006e0074002000ea0074007200650020006f007500760065007200740073002000640061006e00730020004100630072006f006200610074002c002000610069006e00730069002000710075002700410064006f00620065002000520065006100640065007200200035002e0030002000650074002000760065007200730069006f006e007300200075006c007400e90072006900650075007200650073002e>
/GRE <FEFF03a703c103b703c303b903bc03bf03c003bf03b903ae03c303c403b5002003b103c503c403ad03c2002003c403b903c2002003c103c503b803bc03af03c303b503b903c2002003b303b903b1002003bd03b1002003b403b703bc03b903bf03c503c103b303ae03c303b503c403b5002003ad03b303b303c103b103c603b1002000410064006f006200650020005000440046002003c003bf03c5002003b503af03bd03b103b9002003ba03b103c42019002003b503be03bf03c703ae03bd002003ba03b103c403ac03bb03bb03b703bb03b1002003b303b903b1002003c003c103bf002d03b503ba03c403c503c003c903c403b903ba03ad03c2002003b503c103b303b103c303af03b503c2002003c503c803b703bb03ae03c2002003c003bf03b903cc03c403b703c403b103c2002e0020002003a403b10020005000440046002003ad03b303b303c103b103c603b1002003c003bf03c5002003ad03c703b503c403b5002003b403b703bc03b903bf03c503c103b303ae03c303b503b9002003bc03c003bf03c103bf03cd03bd002003bd03b1002003b103bd03bf03b903c703c403bf03cd03bd002003bc03b5002003c403bf0020004100630072006f006200610074002c002003c403bf002000410064006f00620065002000520065006100640065007200200035002e0030002003ba03b103b9002003bc03b503c403b103b303b503bd03ad03c303c403b503c103b503c2002003b503ba03b403cc03c303b503b903c2002e>
/HEB <FEFF05D405E905EA05DE05E905D5002005D105D405D205D305E805D505EA002005D005DC05D4002005DB05D305D9002005DC05D905E605D505E8002005DE05E105DE05DB05D9002000410064006F006200650020005000440046002005D405DE05D505EA05D005DE05D905DD002005DC05D405D305E405E105EA002005E705D305DD002D05D305E405D505E1002005D005D905DB05D505EA05D905EA002E002005DE05E105DE05DB05D90020005000440046002005E905E005D505E605E805D5002005E005D905EA05E005D905DD002005DC05E405EA05D905D705D4002005D105D005DE05E605E205D505EA0020004100630072006F006200610074002005D5002D00410064006F00620065002000520065006100640065007200200035002E0030002005D505D205E805E105D005D505EA002005DE05EA05E705D305DE05D505EA002005D905D505EA05E8002E05D005DE05D905DD002005DC002D005000440046002F0058002D0033002C002005E205D905D905E005D5002005D105DE05D305E805D905DA002005DC05DE05E905EA05DE05E9002005E905DC0020004100630072006F006200610074002E002005DE05E105DE05DB05D90020005000440046002005E905E005D505E605E805D5002005E005D905EA05E005D905DD002005DC05E405EA05D905D705D4002005D105D005DE05E605E205D505EA0020004100630072006F006200610074002005D5002D00410064006F00620065002000520065006100640065007200200035002E0030002005D505D205E805E105D005D505EA002005DE05EA05E705D305DE05D505EA002005D905D505EA05E8002E>
/HRV (Za stvaranje Adobe PDF dokumenata najpogodnijih za visokokvalitetni ispis prije tiskanja koristite ove postavke. Stvoreni PDF dokumenti mogu se otvoriti Acrobat i Adobe Reader 5.0 i kasnijim verzijama.)
/HUN <FEFF004b0069007600e1006c00f30020006d0069006e0151007300e9006701710020006e0079006f006d00640061006900200065006c0151006b00e90073007a00ed007401510020006e0079006f006d00740061007400e100730068006f007a0020006c006500670069006e006b00e1006200620020006d0065006700660065006c0065006c0151002000410064006f00620065002000500044004600200064006f006b0075006d0065006e00740075006d006f006b0061007400200065007a0065006b006b0065006c0020006100200062006500e1006c006c00ed007400e10073006f006b006b0061006c0020006b00e90073007a00ed0074006800650074002e0020002000410020006c00e90074007200650068006f007a006f00740074002000500044004600200064006f006b0075006d0065006e00740075006d006f006b00200061007a0020004100630072006f006200610074002000e9007300200061007a002000410064006f00620065002000520065006100640065007200200035002e0030002c0020007600610067007900200061007a002000610074007400f3006c0020006b00e9007301510062006200690020007600650072007a006900f3006b006b0061006c0020006e00790069007400680061007400f3006b0020006d00650067002e>
/ITA <FEFF005500740069006c0069007a007a006100720065002000710075006500730074006500200069006d0070006f007300740061007a0069006f006e00690020007000650072002000630072006500610072006500200064006f00630075006d0065006e00740069002000410064006f00620065002000500044004600200070006900f900200061006400610074007400690020006100200075006e00610020007000720065007300740061006d0070006100200064006900200061006c007400610020007100750061006c0069007400e0002e0020004900200064006f00630075006d0065006e007400690020005000440046002000630072006500610074006900200070006f00730073006f006e006f0020006500730073006500720065002000610070006500720074006900200063006f006e0020004100630072006f00620061007400200065002000410064006f00620065002000520065006100640065007200200035002e003000200065002000760065007200730069006f006e006900200073007500630063006500730073006900760065002e>
/JPN <FEFF9ad854c18cea306a30d730ea30d730ec30b951fa529b7528002000410064006f0062006500200050004400460020658766f8306e4f5c6210306b4f7f75283057307e305930023053306e8a2d5b9a30674f5c62103055308c305f0020005000440046002030d530a130a430eb306f3001004100630072006f0062006100740020304a30883073002000410064006f00620065002000520065006100640065007200200035002e003000204ee5964d3067958b304f30533068304c3067304d307e305930023053306e8a2d5b9a306b306f30d530a930f330c8306e57cb30818fbc307f304c5fc59808306730593002>
/KOR <FEFFc7740020c124c815c7440020c0acc6a9d558c5ec0020ace0d488c9c80020c2dcd5d80020c778c1c4c5d00020ac00c7a50020c801d569d55c002000410064006f0062006500200050004400460020bb38c11cb97c0020c791c131d569b2c8b2e4002e0020c774b807ac8c0020c791c131b41c00200050004400460020bb38c11cb2940020004100630072006f0062006100740020bc0f002000410064006f00620065002000520065006100640065007200200035002e00300020c774c0c1c5d0c11c0020c5f40020c2180020c788c2b5b2c8b2e4002e>
/LTH <FEFF004e006100750064006f006b0069007400650020016100690075006f007300200070006100720061006d006500740072007500730020006e006f0072011700640061006d00690020006b0075007200740069002000410064006f00620065002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b00750072006900650020006c0061006200690061007500730069006100690020007000720069007400610069006b007900740069002000610075006b01610074006f00730020006b006f006b007900620117007300200070006100720065006e006700740069006e00690061006d00200073007000610075007300640069006e0069006d00750069002e0020002000530075006b0075007200740069002000500044004600200064006f006b0075006d0065006e007400610069002000670061006c006900200062016b007400690020006100740069006400610072006f006d00690020004100630072006f006200610074002000690072002000410064006f00620065002000520065006100640065007200200035002e0030002000610072002000760117006c00650073006e0117006d00690073002000760065007200730069006a006f006d00690073002e>
/LVI <FEFF0049007a006d0061006e0074006f006a00690065007400200161006f00730020006900650073007400610074012b006a0075006d00750073002c0020006c0061006900200076006500690064006f00740075002000410064006f00620065002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b006100730020006900720020012b00700061016100690020007000690065006d01130072006f00740069002000610075006700730074006100730020006b00760061006c0069007401010074006500730020007000690072006d007300690065007300700069006501610061006e006100730020006400720075006b00610069002e00200049007a0076006500690064006f006a006900650074002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b006f002000760061007200200061007400760113007200740020006100720020004100630072006f00620061007400200075006e002000410064006f00620065002000520065006100640065007200200035002e0030002c0020006b0101002000610072012b00200074006f0020006a00610075006e0101006b0101006d002000760065007200730069006a0101006d002e>
/NLD (Gebruik deze instellingen om Adobe PDF-documenten te maken die zijn geoptimaliseerd voor prepress-afdrukken van hoge kwaliteit. De gemaakte PDF-documenten kunnen worden geopend met Acrobat en Adobe Reader 5.0 en hoger.)
/NOR <FEFF004200720075006b00200064006900730073006500200069006e006e007300740069006c006c0069006e00670065006e0065002000740069006c002000e50020006f0070007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740065007200200073006f006d00200065007200200062006500730074002000650067006e0065007400200066006f00720020006600f80072007400720079006b006b0073007500740073006b00720069006600740020006100760020006800f800790020006b00760061006c0069007400650074002e0020005000440046002d0064006f006b0075006d0065006e00740065006e00650020006b0061006e002000e50070006e00650073002000690020004100630072006f00620061007400200065006c006c00650072002000410064006f00620065002000520065006100640065007200200035002e003000200065006c006c00650072002000730065006e006500720065002e>
/POL <FEFF0055007300740061007700690065006e0069006100200064006f002000740077006f0072007a0065006e0069006100200064006f006b0075006d0065006e007400f300770020005000440046002000700072007a0065007a006e00610063007a006f006e00790063006800200064006f002000770079006400720075006b00f30077002000770020007700790073006f006b00690065006a0020006a0061006b006f015b00630069002e002000200044006f006b0075006d0065006e0074007900200050004400460020006d006f017c006e00610020006f007400770069006500720061010700200077002000700072006f006700720061006d006900650020004100630072006f00620061007400200069002000410064006f00620065002000520065006100640065007200200035002e0030002000690020006e006f00770073007a0079006d002e>
/PTB <FEFF005500740069006c0069007a006500200065007300730061007300200063006f006e00660069006700750072006100e700f50065007300200064006500200066006f0072006d00610020006100200063007200690061007200200064006f00630075006d0065006e0074006f0073002000410064006f0062006500200050004400460020006d00610069007300200061006400650071007500610064006f00730020007000610072006100200070007200e9002d0069006d0070007200650073007300f50065007300200064006500200061006c007400610020007100750061006c00690064006100640065002e0020004f007300200064006f00630075006d0065006e0074006f00730020005000440046002000630072006900610064006f007300200070006f00640065006d0020007300650072002000610062006500720074006f007300200063006f006d0020006f0020004100630072006f006200610074002000650020006f002000410064006f00620065002000520065006100640065007200200035002e0030002000650020007600650072007300f50065007300200070006f00730074006500720069006f007200650073002e>
/RUM <FEFF005500740069006c0069007a00610163006900200061006300650073007400650020007300650074010300720069002000700065006e007400720075002000610020006300720065006100200064006f00630075006d0065006e00740065002000410064006f006200650020005000440046002000610064006500630076006100740065002000700065006e0074007200750020007400690070010300720069007200650061002000700072006500700072006500730073002000640065002000630061006c006900740061007400650020007300750070006500720069006f006100720103002e002000200044006f00630075006d0065006e00740065006c00650020005000440046002000630072006500610074006500200070006f00740020006600690020006400650073006300680069007300650020006300750020004100630072006f006200610074002c002000410064006f00620065002000520065006100640065007200200035002e00300020015f00690020007600650072007300690075006e0069006c006500200075006c0074006500720069006f006100720065002e>
/RUS <FEFF04180441043f043e043b044c04370443043904420435002004340430043d043d044b04350020043d0430044104420440043e0439043a043800200434043b044f00200441043e043704340430043d0438044f00200434043e043a0443043c0435043d0442043e0432002000410064006f006200650020005000440046002c0020043c0430043a04410438043c0430043b044c043d043e0020043f043e04340445043e0434044f04490438044500200434043b044f00200432044b0441043e043a043e043a0430044704350441044204320435043d043d043e0433043e00200434043e043f0435044704300442043d043e0433043e00200432044b0432043e04340430002e002000200421043e043704340430043d043d044b04350020005000440046002d0434043e043a0443043c0435043d0442044b0020043c043e0436043d043e0020043e0442043a0440044b043204300442044c002004410020043f043e043c043e0449044c044e0020004100630072006f00620061007400200438002000410064006f00620065002000520065006100640065007200200035002e00300020043800200431043e043b043504350020043f043e04370434043d043804450020043204350440044104380439002e>
/SKY <FEFF0054006900650074006f0020006e006100730074006100760065006e0069006100200070006f0075017e0069007400650020006e00610020007600790074007600e100720061006e0069006500200064006f006b0075006d0065006e0074006f0076002000410064006f006200650020005000440046002c0020006b0074006f007200e90020007300610020006e0061006a006c0065007001610069006500200068006f0064006900610020006e00610020006b00760061006c00690074006e00fa00200074006c0061010d00200061002000700072006500700072006500730073002e00200056007900740076006f00720065006e00e900200064006f006b0075006d0065006e007400790020005000440046002000620075006400650020006d006f017e006e00e90020006f00740076006f00720069016500200076002000700072006f006700720061006d006f006300680020004100630072006f00620061007400200061002000410064006f00620065002000520065006100640065007200200035002e0030002000610020006e006f0076016100ed00630068002e>
/SLV <FEFF005400650020006e006100730074006100760069007400760065002000750070006f0072006100620069007400650020007a00610020007500730074007600610072006a0061006e006a006500200064006f006b0075006d0065006e0074006f0076002000410064006f006200650020005000440046002c0020006b006900200073006f0020006e0061006a007000720069006d00650072006e0065006a016100690020007a00610020006b0061006b006f0076006f00730074006e006f0020007400690073006b0061006e006a00650020007300200070007200690070007200610076006f0020006e00610020007400690073006b002e00200020005500730074007600610072006a0065006e006500200064006f006b0075006d0065006e0074006500200050004400460020006a00650020006d006f0067006f010d00650020006f0064007000720065007400690020007a0020004100630072006f00620061007400200069006e002000410064006f00620065002000520065006100640065007200200035002e003000200069006e0020006e006f00760065006a01610069006d002e>
/SUO <FEFF004b00e40079007400e40020006e00e40069007400e4002000610073006500740075006b007300690061002c0020006b0075006e0020006c0075006f00740020006c00e400680069006e006e00e4002000760061006100740069007600610061006e0020007000610069006e006100740075006b00730065006e002000760061006c006d0069007300740065006c00750074007900f6006800f6006e00200073006f00700069007600690061002000410064006f0062006500200050004400460020002d0064006f006b0075006d0065006e007400740065006a0061002e0020004c0075006f0064007500740020005000440046002d0064006f006b0075006d0065006e00740069007400200076006f0069006400610061006e0020006100760061007400610020004100630072006f0062006100740069006c006c00610020006a0061002000410064006f00620065002000520065006100640065007200200035002e0030003a006c006c00610020006a006100200075007500640065006d006d0069006c006c0061002e>
/SVE <FEFF0041006e007600e4006e00640020006400650020006800e4007200200069006e0073007400e4006c006c006e0069006e006700610072006e00610020006f006d002000640075002000760069006c006c00200073006b006100700061002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e007400200073006f006d002000e400720020006c00e4006d0070006c0069006700610020006600f60072002000700072006500700072006500730073002d007500740073006b00720069006600740020006d006500640020006800f600670020006b00760061006c0069007400650074002e002000200053006b006100700061006400650020005000440046002d0064006f006b0075006d0065006e00740020006b0061006e002000f600700070006e00610073002000690020004100630072006f0062006100740020006f00630068002000410064006f00620065002000520065006100640065007200200035002e00300020006f00630068002000730065006e006100720065002e>
/TUR <FEFF005900fc006b00730065006b0020006b0061006c006900740065006c0069002000f6006e002000790061007a006401310072006d00610020006200610073006b013100730131006e006100200065006e0020006900790069002000750079006100620069006c006500630065006b002000410064006f006200650020005000440046002000620065006c00670065006c0065007200690020006f006c0075015f007400750072006d0061006b0020006900e70069006e00200062007500200061007900610072006c0061007201310020006b0075006c006c0061006e0131006e002e00200020004f006c0075015f0074007500720075006c0061006e0020005000440046002000620065006c00670065006c0065007200690020004100630072006f006200610074002000760065002000410064006f00620065002000520065006100640065007200200035002e003000200076006500200073006f006e0072006100730131006e00640061006b00690020007300fc007200fc006d006c00650072006c00650020006100e70131006c006100620069006c00690072002e>
/UKR <FEFF04120438043a043e0440043804410442043e043204430439044204350020044604560020043f043004400430043c043504420440043800200434043b044f0020044104420432043e04400435043d043d044f00200434043e043a0443043c0435043d044204560432002000410064006f006200650020005000440046002c0020044f043a04560020043d04300439043a04400430044904350020043f045604340445043e0434044f0442044c00200434043b044f0020043204380441043e043a043e044f043a04560441043d043e0433043e0020043f0435044004350434043404400443043a043e0432043e0433043e0020043404400443043a0443002e00200020042104420432043e04400435043d045600200434043e043a0443043c0435043d0442043800200050004400460020043c043e0436043d04300020043204560434043a0440043804420438002004430020004100630072006f006200610074002004420430002000410064006f00620065002000520065006100640065007200200035002e0030002004300431043e0020043f04560437043d04560448043e04570020043204350440044104560457002e>
/ENU (Use these settings to create Adobe PDF documents best suited for high-quality prepress printing. Created PDF documents can be opened with Acrobat and Adobe Reader 5.0 and later.)
>>
/Namespace [
(Adobe)
(Common)
(1.0)
]
/OtherNamespaces [
<<
/AsReaderSpreads false
/CropImagesToFrames true
/ErrorControl /WarnAndContinue
/FlattenerIgnoreSpreadOverrides false
/IncludeGuidesGrids false
/IncludeNonPrinting false
/IncludeSlug false
/Namespace [
(Adobe)
(InDesign)
(4.0)
]
/OmitPlacedBitmaps false
/OmitPlacedEPS false
/OmitPlacedPDF false
/SimulateOverprint /Legacy
>>
<<
/AddBleedMarks false
/AddColorBars false
/AddCropMarks false
/AddPageInfo false
/AddRegMarks false
/ConvertColors /ConvertToCMYK
/DestinationProfileName ()
/DestinationProfileSelector /DocumentCMYK
/Downsample16BitImages true
/FlattenerPreset <<
/PresetSelector /MediumResolution
>>
/FormElements false
/GenerateStructure false
/IncludeBookmarks false
/IncludeHyperlinks false
/IncludeInteractive false
/IncludeLayers false
/IncludeProfiles false
/MultimediaHandling /UseObjectSettings
/Namespace [
(Adobe)
(CreativeSuite)
(2.0)
]
/PDFXOutputIntentProfileSelector /DocumentCMYK
/PreserveEditing true
/UntaggedCMYKHandling /LeaveUntagged
/UntaggedRGBHandling /UseDocumentProfile
/UseDocumentBleed false
>>
]
>> setdistillerparams
<<
/HWResolution [2400 2400]
/PageSize [612.000 792.000]
>> setpagedevice
|
| id | nasplib_isofts_kiev_ua-123456789-83095 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0130-5395 |
| language | Russian |
| last_indexed | 2025-12-07T17:41:40Z |
| publishDate | 2012 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| record_format | dspace |
| spelling | Назаренко, Е.В. 2015-06-14T13:03:03Z 2015-06-14T13:03:03Z 2012 Сравнение архитектуры распределенных файловых систем / Е.В. Назаренко // Управляющие системы и машины. — 2012. — № 5. — С. 63-69. — Бібліогр.: 10 назв. — рос. 0130-5395 https://nasplib.isofts.kiev.ua/handle/123456789/83095 004 Дан обзор популярных распределенных файловых систем разных типов для операционных систем Linux. Показано, как их архитектура адаптирована к решению специфических задач. Проведено сравнение рассмотренных файловых систем. This report contains the survey of actual distributed file systems of different types for the Linux. It is shown how their architecture is adapted to the solution of specific issues. The comparison of the surveyed file systems is made. Дано огляд популярних розподілених файлових систем різних типів для операційних систем Linux. Показано, як їх архітектуру адаптовано до розв’язання специфічних задач. Проведено порівняння розглянутих файлових систем. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Управляющие системы и машины Программная инженерия и программные средства Сравнение архитектуры распределенных файловых систем A Comparison of the Distributed File Systems Architecture Порівняння архітектур розподілених файлових систем Article published earlier |
| spellingShingle | Сравнение архитектуры распределенных файловых систем Назаренко, Е.В. Программная инженерия и программные средства |
| title | Сравнение архитектуры распределенных файловых систем |
| title_alt | A Comparison of the Distributed File Systems Architecture Порівняння архітектур розподілених файлових систем |
| title_full | Сравнение архитектуры распределенных файловых систем |
| title_fullStr | Сравнение архитектуры распределенных файловых систем |
| title_full_unstemmed | Сравнение архитектуры распределенных файловых систем |
| title_short | Сравнение архитектуры распределенных файловых систем |
| title_sort | сравнение архитектуры распределенных файловых систем |
| topic | Программная инженерия и программные средства |
| topic_facet | Программная инженерия и программные средства |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/83095 |
| work_keys_str_mv | AT nazarenkoev sravneniearhitekturyraspredelennyhfailovyhsistem AT nazarenkoev acomparisonofthedistributedfilesystemsarchitecture AT nazarenkoev porívnânnâarhítekturrozpodílenihfailovihsistem |