Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы

Рассмотрены средства и способы организации взаимосвязи в компьютерных системах с применением различных коммуникационных сред и технологий обмена информацией между компонентами системы. Определены наиболее значимые параметры коммуникационной среды, влияющие на характеристики копьютерной системы в цел...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Datum:2002
1. Verfasser: Яковлев, Ю.С.
Format: Artikel
Sprache:Russian
Veröffentlicht: Інститут кібернетики ім. В.М. Глушкова НАН України 2002
Online Zugang:https://nasplib.isofts.kiev.ua/handle/123456789/6363
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы / Ю.С. Яковлев // Комп’ютерні засоби, мережі та системи. — 2002. — № 1. — С. 71-78. — Бібліогр.: 20 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id nasplib_isofts_kiev_ua-123456789-6363
record_format dspace
spelling Яковлев, Ю.С.
2010-03-01T16:39:11Z
2010-03-01T16:39:11Z
2002
Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы / Ю.С. Яковлев // Комп’ютерні засоби, мережі та системи. — 2002. — № 1. — С. 71-78. — Бібліогр.: 20 назв. — рос.
1817-9908
https://nasplib.isofts.kiev.ua/handle/123456789/6363
681.322.00; 681.324.00
Рассмотрены средства и способы организации взаимосвязи в компьютерных системах с применением различных коммуникационных сред и технологий обмена информацией между компонентами системы. Определены наиболее значимые параметры коммуникационной среды, влияющие на характеристики копьютерной системы в целом и на процедуру её выбора.
ru
Інститут кібернетики ім. В.М. Глушкова НАН України
Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы
Article
published earlier
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
title Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы
spellingShingle Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы
Яковлев, Ю.С.
title_short Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы
title_full Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы
title_fullStr Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы
title_full_unstemmed Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы
title_sort коммуникационная среда и ее влияние на параметры распределенной компьютерной системы
author Яковлев, Ю.С.
author_facet Яковлев, Ю.С.
publishDate 2002
language Russian
publisher Інститут кібернетики ім. В.М. Глушкова НАН України
format Article
description Рассмотрены средства и способы организации взаимосвязи в компьютерных системах с применением различных коммуникационных сред и технологий обмена информацией между компонентами системы. Определены наиболее значимые параметры коммуникационной среды, влияющие на характеристики копьютерной системы в целом и на процедуру её выбора.
issn 1817-9908
url https://nasplib.isofts.kiev.ua/handle/123456789/6363
citation_txt Коммуникационная среда и ее влияние на параметры распределенной компьютерной системы / Ю.С. Яковлев // Комп’ютерні засоби, мережі та системи. — 2002. — № 1. — С. 71-78. — Бібліогр.: 20 назв. — рос.
work_keys_str_mv AT âkovlevûs kommunikacionnaâsredaieevliânienaparametryraspredelennoikompʹûternoisistemy
first_indexed 2025-11-25T22:19:21Z
last_indexed 2025-11-25T22:19:21Z
_version_ 1850562409444409344
fulltext Комп’ютерні засоби, мережі та системи. 2002, №1 71 Рассмотрены средства и спосо- бы организации взаимосвязи в компьютерных системах с при- менением различных коммуника- ционных сред и технологий обме- на информацией между компо- нентами системы. Определены наиболее значимые параметры коммуникационной среды, влияю- щие на характеристики копью- терной системы в целом и на процедуру её выбора.  Ю.С. Яковлев, 2002 ÓÄÊ 681.322.00; 681.324.00 Þ.Ñ. ßÊÎÂËÅ ÊÎÌÌÓÍÈÊÀÖÈÎÍÍÀß ÑÐÅÄÀ È Å¨ ÂËÈßÍÈÅ ÍÀ ÏÀÐÀÌÅÒÐÛ ÐÀÑÏÐÅÄÅËÅÍÍÎÉ ÊÎÌÏÜÞÒÅÐÍÎÉ ÑÈÑÒÅÌÛ Одной из отличительных особенностей ком- пьютерной системы любого типа является наличие коммуникационной среды, с помо- щью которой элементы системы (процессо- ры, память и др.) соединяются между собой. Коммуникационная среда является важной составной частью не только многопроцес- сорной системы с микропроцессорами, фи- зически размешенными на одной плате или в одном шкафу, но и многомашинной сис- темы, машины которой (например, персо- нальные ЭВМ) размещены в пределах одного помещения (например, комнаты, здания) и являются компонентами локальной сети, а также сложной распределенной компьютер- ной системы (например, с клиент-серверной архитектурой), компоненты которой (серве- ры, рабочие станции и др.) могут быть гео- графически удалены на большие расстояния и входят в состав корпоративной сети [1]. Несмотря на то, что существует несколько разновидностей архитектур коммуникацион- ных сред, всех их объединяют общее свойст- во − они задерживают прохождение инфор- мации между компонентами системы. При- чем может оказаться, что задержки сигналов в коммуникационной среде могут быть на- столько существенными, что исчезает целе- сообразность построения и применения рас- пределенной компьютерной системы на базе имеющихся ЭВМ для решения конкретного класса задач, и появляется необходимость создания дорогостоящей супер ЭВМ с по- вышенными требованиями к параметрам Ю.С. ЯКОВЛЕВ Комп’ютерні засоби, мережі та системи. 2002, №1 72 производительности. Тем не менее, часто при расчете производительности компьютерных систем затраты на обмен информацией через коммуникационную среду не учитывают- ся, так как проблемы обмена в значительной степени скрыты от программиста. Это может привести к неправильному выбору типа и конфигурации системы, если предполагается её использование на пределе производительности, а расче- ты при выборе были сделаны без учета задержек коммуникационной среды. Од- нако, оценка влияния задержки коммуникационной среды на параметры ком- пьютерной системы в отечественных и зарубежных публикациях отсутствует. В данной работе кратко изложены результаты анализа организации взаи- мосвязи в компьютерных системах и технологий обмена информацией с помо- щью коммуникационных сред, определены их основные параметры. Существуют две основные модели межпроцессорного обмена: одна основа- на на использовании общей памяти, другая − на передаче сообщений. Для их реализации как правило применяют два соответствующих способа организации коммуникационной среды: на базе общей шины и на базе скорост- ных коммутационных сетей, построенных по соответствующей топологии (2D – решетка, куб или 2D − тор, клик, конвейер и т.д.) [2] – [4]. В многопроцессорной системе с общей памятью, чтобы обеспечить согласо- ванность данных и синхронизацию процессов, обмен часто реализуется методом "почтового ящика", когда один процессор осуществляет запись в конкретную ячейку памяти, а другой - производит считывание из этой ячейки. В архитектурах с передачей сообщений и локальной памятью процессоры получают доступ к совместно используемым данным как правило по быстродей- ствующей сети обмена (табл.1). ТАБЛИЦА 1. Примеры средств и способов организации взаимосвязи для некоторых компьютеров [2] Компьютер Средства и способы организации взаимосвязи IBM RS/6000 SP Пакетами с помощью высокопроизводительного многоступенчатого ком- мутатора (IBM high-performance switch) Cray T3E Высокопроизводительная (до 480Mб/с) коммуникационная сеть с тополо- гией 3D-тор и двунаправленными каналами Cray Origin2000 Коммуникационная сеть CrayLink, выполненная на маршрутизаторах MetaRouter Fujitsu VPP Коммутатор Сrossbar network, релизующий двухсторонние обмены без прерывания вычислений (615Mб/с – 1,6Gб/с.) WorldMark Узлы объединяются c помощью сети BYNET V2 (120 Mб/с) AViiON Система с общей памятью (cc-NUMA) QM-1 Кластерная система. Одновременный обмен в двух направлениях (250 Мб/с) КОММУНИКАЦИОННАЯ СРЕДА И ЕЁ ВЛИЯНИЕ НА ПАРАМЕТРЫ РАСПРЕДЕЛЕННОЙ ... Комп’ютерні засоби, мережі та системи. 2002, №1 73 Для реализации скоростного обмена в таких системах используют различ- ные технологии, обеспечивающие одновременную передачу (распараллелива- ние) большого количества потоков данных, например, технологии, основанные на использовании [5] - [6]: высокоскоростных каналов с соединениями типа "точка-точка" (последова- тельно-параллельный интерфейс SCI − Scaleable Coherent Interface); принципа коммутации потоков данных (ServerNet фирмы Tandem); распределенной передачи сообщений DMP(Distributed Message Passing); многопротокольной (многоуровневой) коммутации на основе меток (Multi- protocol Label Switching – MPLS); технологии адаптивной коммутации, а также технологий: UPA (Ultra Port), которая предусматривает возможность использования тео- ретически неограниченного количества коммутируемых портов; кластерные и другие новейшие технологии, такие как: VI ( Virtual Interface), интеллектуального ввода/вывода - I2O (Intelligent Input/Output) и др. Наиболее популярными сегодня коммуникационными технологиями для по- строения кластерных архитектур являются: Myrinet, Virtual Interface Architecture, SCI (Scalable Coherent Interface), QsNet (компании Quadrics Supercomputers World), Memory Channel (разработка Compaq и Encore), Fast Ethernet и Gigabit Ethernet [7], а также обычные сетевые технологии (Ethernet, Token Ring, FDDI, АТМ), высокоскоростной интерфейс Fibre Channel или специализированные технологии (DSSI, CI,) [8 ]. Требования, предъявляемые к быстродействию коммуникационного канала, зависят от степени интеграции узлов кластера и характера работы приложений. Для высокоскоростной коммуникации обычно используется специальная высо- коэффективная коммуникационная технология Memory Channel, которая обес- печивает обмен сообщениями между серверами в сети (кластере) со скоростью до 100 Мб/с. Более того, с помощью определенных сетевых соединений можно разносить узлы кластера на расстояния до 40 км и строить резервные компью- терные центры. Для унификации межсоединений используется виртуальный интерфейс (Virtual Interface − VI) , который определяет стандартные аппаратные и про- граммные средства, задающие универсальные правила передачи сообщений между узлами кластера. При увеличении быстродействия микропроцессорного ядра как правило со- вершенствуются другие компоненты сервера, в частности − системная шина и система ввода/вывода. Для этой цели используется новая технология (I2O − Intelligent Input/Output), обеспечивающая стандартизацию архитектуры интел- лектуального ввода/вывода. Эта технология основана на применении специаль- ного процессора ввода/вывода, который в значительной степени освобождает центральный процессор и системную шину от операций по обслуживанию функций ввода/вывода [8]. Ю.С. ЯКОВЛЕВ Комп’ютерні засоби, мережі та системи. 2002, №1 74 Одним из новых решений, позволяющих организовать параллельную пере- дачу данных в системе, является технология UPA (Ultra Port). Это − высоко- производительная многошинная (многопортовая) масштабируемая архитектура, построенная на принципе одновременной пакетной коммутации нескольких портов и предназначенная для реализации широкого спектра вычислительных систем (от однопроцессорных рабочих станций до многопроцессорных серве- ров), имеющих оптимальное соотношение производительность/стоимость [5]. Обмен данными при применении технологии UPA реализуется пакетами по схеме "процессор-память" с использованием трех основных типов шин: шины UPA-адреса; шины UPA-данных; шины данных памяти (Memory Databus). Все шины имеют соединения типа "точка-точка", что позволяет поднять частоту пе- редачи данных до величин порядка 100 МГц. Анализ практически реализованных систем показал, что различные комму- никационные технологии и соответственно коммуникационные среды имеют разные возможности с точки зрения максимально допустимого количества при- меняемых в системе компонентов, которые необходимо коммутировать (табл.2) [9]. Этот фактор является в большинстве случаев определяющим при выборе архитектуры не только коммуникационной среды, но и многопроцессорной рас- пределенной системы в целом. ТАБЛИЦА 2. Примеры предельных возможностей коммуникационных сред для отдельных типов известных компьютерных систем Тип используемой коммуника- ционной среды Допустимое число процессоров, шт. Примеры компьютерных систем Коммуникационный процессор или сетевой адаптер Несколько тысяч (ASCI Red, Blue Mountain) IBM RS/6000 SP2, Hitachi SR8000, транспьютерные сис- темы Parsytec и др. Общая шина (базовые 2 - 4 про- цессорные SMP-сервера), crossbar-коммутатора (HP 9000) Для < 32 процессо- ров НР9000; SMP-cервера и рабочие станции на базе МП ф.Intel (IBM, HP, Compaq, Fujitsu и др.) Высокоскоростной коммутатор До 256 процессо-ров (Origin2000) НР9000; SGI Origin2000, IBM/Sequent NUMA-Q2000 Шина для узла (16 процессоров с общей памятью), коммутатор для узлов (1-16) процессоров на один узел NEC SX-4/SX-5, CRAY-1, CRAY J90/T90, CRAY SV1, се- рия Fujitsu VPP Корпоративные и локальные сети, помимо выполнения своих классических функций (доставки различных форм информации), могут быть также использо- ваны для построения сверхкомпьютера (метакомпьютера), который для пользо- вателей и программистов выступает как единая вычислительная среда, доступ- ная непосредственно с рабочего места [10]. Составляющими компонентами метакомпьютера могут быть серверы, рабо- чие станции и даже персональные компьютеры, соединенные средствами ком- муникационной среды. КОММУНИКАЦИОННАЯ СРЕДА И ЕЁ ВЛИЯНИЕ НА ПАРАМЕТРЫ РАСПРЕДЕЛЕННОЙ ... Комп’ютерні засоби, мережі та системи. 2002, №1 75 Одним из основных компонентов коммуникационной среды (маршрутиза- торы, коммутаторы, мосты, шлюзы, общая шина с коммутационной логикой) компьютерных сетей являются коммутаторы, которые позволяют [11]: повысить отдачу от уже существующей сети, в частности − повысить про- изводительность сети за счет сегментации и эффективность её использования за счет равномерного распределения полосы пропускания между пользователя- ми и приложениями; создавать логические (виртуальные) сети и перегруппировывать устройства в них. Поэтому коммутаторы стараются ставить в сети там, где это возможно, а маршрутизаторы – только там, где необходимо. Особенности архитектуры коммутаторов во многом определяются сетевой технологией. Тем не менее, принципы построения остаются общими. Коммута- торы как правило содержат: решающую логику, которая обрабатывает заголовки пакетов; регистр-защелку, фиксирующий результат решения; линию задержки, необходимую для синхронизации операций, и непосредственно коммутационное поле (switch fabric), выполняющее "прямое" или "кросс-соединение" входных и выходных портов. Некоторые разновидности коммутаторов представляют собой достаточно сложное устройство, имеющее один или несколько процессорных модулей и по- этому могут выполнять, помимо основной задачи по передаче кадров из порта в порт, ряд дополнительных функций, таких как: трансляция протоколов каналь- ного уровня; поддержка протокола spanning tree; фильтрация кадров; использо- вание различных классов сервиса; локализация потоков информации в сети и управление ими (создание и поддержка особых условий фильтрации). Примеры отдельных разновидностей коммутаторов сетей и их параметры приведены в табл.3, составленной по [12 - 18]. ТАБЛИЦА 3. Примеры сетевых коммутаторов и их параметры Тип Состав, параметры Функции 1 2 3 CELLplex ф. 3Com Внутренняя шина; модули для локальных и глобальных связей. Пропускная способность − 2.56 Гб/с; ATM (коммутация до 16 портов) и Ethernet-коммутаторов; поддержка до 4096 виртуальных каналов на порт Набор Lat- tisCell 10114 (10 типов) Корпус с 16 портами. Пропускная способность – 155 Мб/с для каждого порта Коммутация без блокировок; broadcast , multicast передачи; различный уровень качества сервиса (Quality of Service - QoS) EtherCell (10328-F и 10328-SM) 12 портов 10Base-T RJ-45 и один порт прямого доступа к ATM со скоростью 10 Мб/с Поддержка стандарта LAN emulation, спецификаций UNI, MIB-II, EtherCell-MIB, формата MIB компании Bay Networks Ю.С. ЯКОВЛЕВ Комп’ютерні засоби, мережі та системи. 2002, №1 76 Окончание табл. 3 1 2 3 Light Stream 1010 Модуль управления ATM; Коммутационная матрица;RISC- процессор MIPS R4600; 8 адаптеров портов PAM. Производительность 5 Гб/с Поддержка спецификации PNNI Phase1 для маршрутизации (SVC) в неоднород- ных АТМ−сетях и всех определенных ATM Forum видов трафика, в том числе − ABR Newbridge 670 Устройство управления; коммута- ционная матрица; 224 порта OC - 3/STM-1 (мин.конфигурация), 1700 портов (макс.) Управление голосовым трафиком и тра- фиком данных; сбор статистики; управ- ление услугами при помощи графическо- го интерфейса Стандартным методом решения проблем, возникающих при конкуренции за выходной порт в коммутаторах, является использование схем буферизации, ко- торые могут быть установлены на входе коммутатора, на его выходе и внутри коммутационного поля. Для предотвращения потерь кадров при кратковремен- ном многократном превышении среднего значения интенсивности трафика при- меняют буфер большого объема. Дополнительным средством защиты может служить общий для всех портов буфер в модуле управления коммутатором. Та- кой буфер обычно имеет объем в несколько мегабайт. Основной характеристикой коммутатора принято считать его производи- тельность, в качестве оценочных параметров которой могут выступать: скорость фильтрации (filtering); скорость маршрутизации (forwarding); пропускная спо- собность (throughput); задержка передачи кадра [12]. Для сокращения числа коммутационных элементов, необходимых при внут- ренней коммутации каналов, были разработаны многокаскадные сетевые архи- тектуры внутренних соединений (Multistage Interconnection Networks - MIN). В число наиболее распространенных многокаскадных архитектур входят баньяноподобные коммутационные сети [18], при применении которых можно получить такую комбинацию путей, что пакеты не смогут коммутироваться одновременно. Последним словом в развитии средств маршрутизации и коммутации для магистралей Интернет является технология многопротокольной (многоуровне- вой) коммутации на основе меток (Multiprotocol Label Switching – MPLS), кото- рая сохраняет все лучшее, что присуще архитектуре IP- over - ATM, и при этом повышает масштабирование сети, упрощает их построение и эксплуатацию. Ло- гическая маршрутизируемая IP- сеть функционирует как бы поверх коммути- руемой топологии (ATM либо Frame Relay) и независимо от неё. Коммутаторы обеспечивают скоростные соединения, а IP - маршрутизаторы на периферии се- ти, связанные друг с другом сетью виртуальных каналов второго уровня, осуще- ствляют виртуальную пересылку IP - пакетов [19]. Внутри ядра сети коммутаторы игнорируют информацию сетевого уровня в заголовках пакетов и определяют маршрут их следования исключительно на ос- нове меток (рисунок). КОММУНИКАЦИОННАЯ СРЕДА И ЕЁ ВЛИЯНИЕ НА ПАРАМЕТРЫ РАСПРЕДЕЛЕННОЙ ... Комп’ютерні засоби, мережі та системи. 2002, №1 77 Для широкого внедрения многоуровневой коммутации был разработан стандарт MPLS – (Multiprotokol Label Switching) , что позволило обеспечить со- вместимость аппаратуры разных производителей. Кроме того, появилась воз- можность применять метки в сетях, где используются любые технологии ка- нального уровня. Таким образом, несмотря на то, что архитектура и наборы реализуемых функций коммуникационных сред могут существенно отличаться [20], все они имеют общие признаки: главная их функция − установление связи и передача информации между компонентами системы и что они при этом вносят задержки по времени, которые могут оказаться весьма значительными . Поэтому при выборе конкретной архитектуры распределенной компьютер- ной системы необходимо учитывать не только тип и параметры процессоров и памяти, но и архитектуру коммуникационной среды, технологию обмена ин- формацией посредством этой среды и время задержки при прохождении через неё сигналов. Например, при построении систем с ориентацией на архитектуру UPA с большим количеством процессоров можно использовать эту архитектуру толь- ко на уровне процессорных модулей (по два микропроцессора на каждом моду- ле), связь между которыми осуществляется по общей шине (например, Gigaplane), реализующей конвейерную передачу данных. Точно также при выборе системы необходимо иметь ввиду, что использова- ние технологии и стандарта многоуровневой коммутации MPLS предоставля- ет поставщику сетевых услуг большую гибкость: он может конструировать спе- Ядро сети РИСУНОК. Применение коммутаторов для передачи пакетов по маршруту с коммутацией на основе меток IP-адрес А Выходная метка а Присвоение метки Входная Выходная метка a метка b Смена метки Входная Следующий метка b шаг Удаление метки a b Входной коммутатор Выходной коммутатор Коммутатор Маркированный путь (LSP) Ю.С. ЯКОВЛЕВ Комп’ютерні засоби, мережі та системи. 2002, №1 78 циальные LSP- маршруты, использовать различные критерии для классифика- ции пакетов, выделять любой путь пользовательского трафика и ассоциировать его с определенным классом и т.д. Приведенные в работе результаты анализа коммуникационных сред, кому- таторов и технологий обмена информацией могут служить в качестве исходной ориентировки для предварительной оценки влияния параметров коммуникаци- онной среды на параметры распределенной компьютерной системы (например, производительность, надежность и стоимость), что имеет огромное значение для принятия решения по проблеме: комплексировать распределенную компьютер- ную систему с заданными параметрами из компонентов, имеющихся на рынке; закупать требуемую систему за рубежом или разрабатывать и создавать новую. 1 . Олифер В.Г. Олифер Н.А. Компьютерные сети. Принципы.Технологии. Протоколы. − СПБ: Питер. − 2002. − 672 с. 2. Многопроцессорные компьютеры (http://parallel.ru/computers/computers.html). 3. Бездушный А. MIMD компьютеры (http://www.cs.ru/paral/mimd/mimd.html). 4. SIMD - компьютеры (h ttp://www.ccas.ru/paral/simd/simd.html). 5. Архитектура семейства компьютеров Ultra (http://www.jetinfo.ru/1997/23 - 24/1/arhult.html). 6. Многопроцессорные системы // Сервер Информационных Технологий / E-mail: mailto:info@citmgu.msk.su?Subject='From page topic CIT-FORUM'. 7. Савьяк В. Интерфейсы межузлового взаимодействия в кластерах // Компьютерное Обозрение. − 2002. − №18−19. − С. 30−31. 8. Дубова Н. Кластеризация массовых серверных систем (http://www.jobuniverse.ru/os/1999/02/05.htm). 9. Основные классы современных параллельных компьютеров (http://parallel.ru/computers/classes.html). 10. Корягин Д.А., Коваленко В.Н. Вычислительная инфраструктура будущего. (http ://www.keldysh.ru/metacomputing/infrastructure.html ). 11. Коммутирующие сети. ( http://kunegin.narod.ru/ref1/net_dev/switch.htm). 12. Характеристики производительности коммутаторов (http://www.citforum.ru/nets/lsok/glava_8.shtml). 13. Примеры АТМ-коммутаторов для локальных сетей. (http://koi.citforum.tula.ru/nets/lsok/glava_19.shtml). 14. Маршрутизирующий коммутатор 7670 (Newbridge 670). (http://www.datatel.ru/products/alcatel/7670/content.html). 15. Особенности коммутаторов локальных сетей. (http://www.citforum.ru/nets/lsok/glava_7.shtml). 16. Коммутационная платформа «ЭКСЕЛ». (http://www.paco.odessa.ua/~ocvef/exs/excel_reklama.htm). 17. Centillion 100. (http://old.ruslan-com.ru/bay/centil.html). 18. Бараш Л. Архитектура коммутаторов. Основные принципы. (http://www.vector.kh.ua/support/techn/ar_arch_kom.htm). 19. Сатовский Б.Л. MPLS – технология маршрутизации для нового поколения сетей общего пользования // Сети и системы связи. – 2001. - №3 (67). – С.57 – 65. 20. Спортак Марк, Паппас Френк и др. Компьютерные сети и сетевые технологии / Пер. c англ. − Киев: ООО «ТИД « ДС». – 2002. − 736c. Получено 01.07.2002