Опыт разработки семейства кластерных комплексов Инпарком
Розглянуто проблеми розробки паралельних алгоритмів та програм для розв’язання так званих задач трансобчислювальної складності. Сформульовано вимоги до якості програмної складової інформаційних технологій (ІТ) та інструментів розробки паралельних МPI програм. Запропоновано інтелектуальну ІТ для авто...
Saved in:
| Published in: | Кибернетика и системный анализ |
|---|---|
| Date: | 2009 |
| Main Authors: | , , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2009
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/44486 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Опыт разработки семейства кластерных комплексов Инпарком / И.Н. Молчанов, О.Л. Перевозчикова, А.Н. Химич // Кибернетика и системный анализ. — 2009. — № 6. — С. 88-96. — Бібліогр.: 19 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-44486 |
|---|---|
| record_format |
dspace |
| spelling |
Молчанов, И.Н. Перевозчикова, О.Л. Химич, А.Н. 2013-06-02T09:08:40Z 2013-06-02T09:08:40Z 2009 Опыт разработки семейства кластерных комплексов Инпарком / И.Н. Молчанов, О.Л. Перевозчикова, А.Н. Химич // Кибернетика и системный анализ. — 2009. — № 6. — С. 88-96. — Бібліогр.: 19 назв. — рос. 0023-1274 https://nasplib.isofts.kiev.ua/handle/123456789/44486 681.322 Розглянуто проблеми розробки паралельних алгоритмів та програм для розв’язання так званих задач трансобчислювальної складності. Сформульовано вимоги до якості програмної складової інформаційних технологій (ІТ) та інструментів розробки паралельних МPI програм. Запропоновано інтелектуальну ІТ для автоматизації дослідження та розв’язання задач науки та інженерії і на її основі сформульовано принципи створення знанняорієнтованих комп’ютерів Інпарком. The creation of parallel algorithms and programs to solve the so called problems of trans-computational complexity is considered. The requirements to the quality of both the IT program component and tools for the development of parallel MPI-programs are formulated. An intelligent IT is proposed to automate the investigation and solution of problems arising in science and engineering and is used to formulate the principles of creating Inparcom knowledge-based computers. ru Інститут кібернетики ім. В.М. Глушкова НАН України Кибернетика и системный анализ Системный анализ Опыт разработки семейства кластерных комплексов Инпарком Досвід розробки сімейства кластерних комплексів Інпарком Experience in the development of the Inparcom family of cluster complexes Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Опыт разработки семейства кластерных комплексов Инпарком |
| spellingShingle |
Опыт разработки семейства кластерных комплексов Инпарком Молчанов, И.Н. Перевозчикова, О.Л. Химич, А.Н. Системный анализ |
| title_short |
Опыт разработки семейства кластерных комплексов Инпарком |
| title_full |
Опыт разработки семейства кластерных комплексов Инпарком |
| title_fullStr |
Опыт разработки семейства кластерных комплексов Инпарком |
| title_full_unstemmed |
Опыт разработки семейства кластерных комплексов Инпарком |
| title_sort |
опыт разработки семейства кластерных комплексов инпарком |
| author |
Молчанов, И.Н. Перевозчикова, О.Л. Химич, А.Н. |
| author_facet |
Молчанов, И.Н. Перевозчикова, О.Л. Химич, А.Н. |
| topic |
Системный анализ |
| topic_facet |
Системный анализ |
| publishDate |
2009 |
| language |
Russian |
| container_title |
Кибернетика и системный анализ |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| format |
Article |
| title_alt |
Досвід розробки сімейства кластерних комплексів Інпарком Experience in the development of the Inparcom family of cluster complexes |
| description |
Розглянуто проблеми розробки паралельних алгоритмів та програм для розв’язання так званих задач трансобчислювальної складності. Сформульовано вимоги до якості програмної складової інформаційних технологій (ІТ) та інструментів розробки паралельних МPI програм. Запропоновано інтелектуальну ІТ для автоматизації дослідження та розв’язання задач науки та інженерії і на її основі сформульовано принципи створення знанняорієнтованих комп’ютерів Інпарком.
The creation of parallel algorithms and programs to solve the so called problems of trans-computational complexity is considered. The requirements to the quality of both the IT program component and tools for the development of parallel MPI-programs are formulated. An intelligent IT is proposed to automate the investigation and solution of problems arising in science and engineering and is used to formulate the principles of creating Inparcom knowledge-based computers.
|
| issn |
0023-1274 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/44486 |
| citation_txt |
Опыт разработки семейства кластерных комплексов Инпарком / И.Н. Молчанов, О.Л. Перевозчикова, А.Н. Химич // Кибернетика и системный анализ. — 2009. — № 6. — С. 88-96. — Бібліогр.: 19 назв. — рос. |
| work_keys_str_mv |
AT molčanovin opytrazrabotkisemeistvaklasternyhkompleksovinparkom AT perevozčikovaol opytrazrabotkisemeistvaklasternyhkompleksovinparkom AT himičan opytrazrabotkisemeistvaklasternyhkompleksovinparkom AT molčanovin dosvídrozrobkisímeistvaklasternihkompleksívínparkom AT perevozčikovaol dosvídrozrobkisímeistvaklasternihkompleksívínparkom AT himičan dosvídrozrobkisímeistvaklasternihkompleksívínparkom AT molčanovin experienceinthedevelopmentoftheinparcomfamilyofclustercomplexes AT perevozčikovaol experienceinthedevelopmentoftheinparcomfamilyofclustercomplexes AT himičan experienceinthedevelopmentoftheinparcomfamilyofclustercomplexes |
| first_indexed |
2025-11-24T03:25:03Z |
| last_indexed |
2025-11-24T03:25:03Z |
| _version_ |
1850837453561135104 |
| fulltext |
ÓÄÊ 681.322
È.Í. ÌÎË×ÀÍÎÂ, Î.Ë. ÏÅÐÅÂÎÇ×ÈÊÎÂÀ, À.Í. ÕÈÌÈ×
ÎÏÛÒ ÐÀÇÐÀÁÎÒÊÈ ÑÅÌÅÉÑÒÂÀ ÊËÀÑÒÅÐÍÛÕ
ÊÎÌÏËÅÊÑÎÂ ÈÍÏÀÐÊÎÌ
Êëþ÷åâûå ñëîâà: êëàñòåðíûé êîìïëåêñ, ñõåìà îðãàíèçàöèè ïàðàëëåëüíûõ âû-
÷èñëåíèé, ìàòåìàòè÷åñêàÿ ìîäåëü çàäà÷è, õîñò-ïðîöåññîð, îïåðàöèîííàÿ ñðåäà.
ÂÂÅÄÅÍÈÅ
 íàñòîÿùåå âðåìÿ òðåáîâàíèÿ ê ïðîèçâîäèòåëüíîñòè êîìïüþòåðîâ âîçðîñëè
íàñòîëüêî, ÷òî äëÿ ðåøåíèÿ ñâåðõñëîæíûõ çàäà÷ èñïîëüçóþò ìíîãîÿäåðíûå
ïðîöåññîðû [1]. Èìåííî èõ çàäåéñòâóþò äëÿ òåõíîëîãè÷åñêîãî ïðîðûâà â ýíåð-
ãî- è ðåñóðñîñáåðåãàþùèõ òåõíîëîãèÿõ, â ïðîåêòèðîâàíèè ñîâðåìåííûõ îáúåê-
òîâ è ñîîðóæåíèé. Äëÿ ñóïåðêîìïüþòåðîâ, íàñ÷èòûâàþùèõ îò íåñêîëüêèõ ñîò
äî äâóõñîò òûñÿ÷ ïðîöåññîðîâ, íåîáõîäèìû íîâûå ïðèåìû ïðîãðàììèðîâàíèÿ
ïàðàëëåëüíûõ âû÷èñëåíèé, ñïîñîáíûå îðãàíèçîâàòü îäíîâðåìåííî ðàáîòó âñåõ
ïðîöåññîðîâ è ìèíèìèçèðîâàòü îáìåíû ìåæäó íèìè. Ñîçäàíèå òàêèõ àëãîðèòìîâ
è ïðîãðàìì â ñîñòàâå îòðàáîòàííûõ ñõåì îðãàíèçàöèè ïàðàëëåëüíûõ âû÷èñëåíèé
òðåáóåò âûñî÷àéøåé êâàëèôèêàöèè è îïûòà ïðîãðàììèñòîâ è ñòàëî àêòóàëüíûì
íàïðàâëåíèåì èññëåäîâàíèé.
Ñâîéñòâà êëàññîâ çàäà÷ ñâåðõáîëüøîé ðàçìåðíîñòè:
— çíà÷èòåëüíàÿ äëèòåëüíîñòü âû÷èñëåíèé, ÷åì îáóñëîâëåíî ïðèìåíåíèå ìå-
õàíèçìà êîíòðîëüíûõ òî÷åê, ïîñêîëüêó íàðàáîòêà íà îòêàç àïïàðàòóðû êîìïëåêñà
îñòàåòñÿ äîñòàòî÷íî íèçêîé (6–7 ÷àñîâ);
— îáÿçàòåëüíîå èññëåäîâàíèå íàñëåäñòâåííîé ïîãðåøíîñòè è âû÷èñëèòåëüíîé
ïîãðåøíîñòè, íàêàïëèâàåìîé â õîäå äëèòåëüíûõ ÷èñëåííûõ ðàñ÷åòîâ, ÷åì îáóñëîâ-
ëåíî èñïîëüçîâàíèå ïðîãðàììíî ýìóëèðóåìîé àðèôìåòèêè ïîâûøåííîé òî÷íîñòè;
— ïðèíöèïèàëüíàÿ íåâîçìîæíîñòü ïðèìåíåíèÿ òåõíîëîãèè ñåðâåðà áàç äàí-
íûõ â ñîñòàâå ïàðàëëåëüíî-êîíâåéåðíûõ ñõåì âû÷èñëåíèé (ó ñåðâåðà áàç äàííûõ
ñåðèàëèçàöèÿ, êàê ñïîñîá ðàñïàðàëëåëèâàíèÿ ïðîöåññîâ, ïîñòðîåíà íà î÷åðåäè çà-
ïðîñîâ, ïîýòîìó â êëàñòåðíîì êîìïëåêñå íåîáõîäèìû íîâûå ìåòîäû îáðàáîòêè
äàííûõ áîëüøîãî îáúåìà).
Öåëü íàñòîÿùåé ñòàòüè — ñôîêóñèðîâàòü âíèìàíèå íà îñíîâíûõ ïðîáëåìàõ ñîçäàíèÿ
ïàðàëëåëüíûõ àëãîðèòìîâ è ïðîãðàìì äëÿ ðåøåíèÿ òàê íàçûâàåìûõ çàäà÷ òðàíñâû÷èñëè-
òåëüíîé ñëîæíîñòè è îõàðàêòåðèçîâàòü ðåçóëüòàòû îäíîãî ïîäõîäà ê ðåøåíèþ ïðîáëåìû,
ïîëó÷åííûå ïðè ðåàëèçàöèè ñåìåéñòâà êëàñòåðíûõ êîìïëåêñîâ Èíïàðêîì.
ÎÐÃÀÍÈÇÀÖÈß ÏÀÐÀËËÅËÜÍÛÕ ÂÛ×ÈÑËÅÍÈÉ ÍÀ ÊËÀÑÒÅÐÍÛÕ ÊÎÌÏËÅÊÑÀÕ
Ñ êîíöà 1970-õ ãã. ñòàëà àêòóàëüíîé ðàçðàáîòêà îñíîâ òåîðèè è ïðîãðàììíîãî
îáåñïå÷åíèÿ ïàðàëëåëüíûõ âû÷èñëåíèé. Îäíàêî ôèçè÷åñêè íà îäíîì ïðîöåññîðå
ñóùåñòâîâàâøèõ â òî âðåìÿ ìàéíôðåéìîâ ñëîæíî áûëî äîñòè÷ü çíà÷èòåëüíîãî ïî-
âûøåíèÿ ïðîèçâîäèòåëüíîñòè âû÷èñëåíèé. Íàñòîÿùåãî ïàðàëëåëèçìà âû÷èñëåíèé
íà íåñêîëüêèõ èëè ìíîãèõ ñêîîðäèíèðîâàííî ðàáîòàþùèõ ïðîöåññîðàõ äîñòèãëè
ëèøü ñ ïðèìåíåíèåì ñåòåâûõ òåõíîëîãèé. Ïðîèçîøëî ýòî â ñåðåäèíå 1990-õ ãã.,
à ïðîìûøëåííîå çíà÷åíèå ïðèîáðåëî â êîíöå 1990-õ — íà÷àëå 2000-õ ãã.
Ðåøåíèå íàøëè, òîëüêî èçìåíèâ ïîäõîä ê àðõèòåêòóðå ñóïåðêîìïüþòåðîâ êëàñ-
òåðíîãî òèïà, îáåñïå÷èâàþùèõ ïàðàëëåëüíûå âû÷èñëåíèÿ íà óçëàõ ñóáëîêàëüíîé êîì-
ïüþòåðíîé ñåòè, â êàæäîì èç êîòîðûõ èñïîëüçóþò ïðîöåññîðû ìàññîâîãî ïðîèçâîä-
ñòâà, à óçëû ñâÿçûâàþò â ñåòü âûñîêîïðîèçâîäèòåëüíûìè êàíàëàìè ñâÿçè.  êà÷åñòâå
îáùåñèñòåìíîãî ïðîãðàììíîãî îáåñïå÷åíèÿ ïðàêòè÷åñêè ïîâñåìåñòíî ïðèìåíÿþò ñâî-
áîäíîå ïðîãðàììíîå îáåñïå÷åíèå ñ îòêðûòûì êîäîì, äîñòóïíîå ÷åðåç Èíòåðíåò. Ýòà
àðõèòåêòóðà, íàçâàííàÿ «Áåîâóëüô», áûñòðî çàíÿëà âåäóùåå ìåñòî â ìèðå, à îáðàçöû
òàêèõ ñóïåðêîìïüþòåðîâ çàíèìàþò ïî÷òè âåñü ïåðå÷åíü «TOP-500».
88 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2009, ¹ 6
© È.Í. Ìîë÷àíîâ, Î.Ë. Ïåðåâîç÷èêîâà, À.Í. Õèìè÷, 2009
Ïîÿâèëàñü âîçìîæíîñòü ïîñòðîåíèÿ ñóïåðêîìïüþòåðîâ äëÿ âñåõ æåëàþùèõ
ïðè íàëè÷èè ôèíàíñîâûõ ðåñóðñîâ. Âëîæèâ ñíà÷àëà íåêîòîðûå ñðåäñòâà â áàçîâóþ
ñòðóêòóðó ñóïåðêîìïüþòåðà, ìîæíî ìíîãîêðàòíî óâåëè÷èâàòü åãî ìîùíîñòü, íå çà-
ìåíÿÿ, à ëèøü ïîïîëíÿÿ åãî êîìïîíåíòû. Çà 2005–2008 ãã. â Èíñòèòóòå êèáåðíåòè-
êè èì. Â.Ì. Ãëóøêîâà ÍÀÍÓ, êðîìå êîìïëåêñîâ ÑÊÈÒ, ñîâìåñòíî ñ êèåâñêèì
ÃÍÏÎ «Ýëåêòðîíìàø» ñîçäàíû îïûòíûå îáðàçöû ðàáî÷èõ ñòàíöèé Èíïàðêîì-16,
-32, -64, -128, -256. Ïî çàïàäíûì ìåðêàì, ìîùíîñòü êîìïëåêñà Èíïàðêîì-256 ñîîò-
âåòñòâóåò êëàñòåðó óíèâåðñèòåòñêîãî óðîâíÿ. Ôàêòè÷åñêè îòå÷åñòâåííûå MIMD-êîì-
ïüþòåðû âîïëîòèëè âûäâèíóòóþ Â.Ì. Ãëóøêîâûì â êîíöå 1970-õ ãã. êîíöåïöèþ ïà-
ðàëëåëüíî-êîíâåéåðíûõ âû÷èñëåíèé.
Äëÿ êëàñòåðíûõ êîìïëåêñîâ íåîáõîäèìû èíòåëëåêòóàëüíûå (ïîñòðîåííûå íà
çíàíèÿõ) ÈÒ, òðåáóþùèå ôóíäàìåíòàëüíûõ èññëåäîâàíèé ëîãèêî-àëãîðèòìè÷åñêî-
ãî àïïàðàòà, ñîâðåìåííûõ îïåðàöèîííûõ ñðåä è èíñòðóìåíòîâ ðàçðàáîòêè ïðîã-
ðàìì. Ïî ñóòè, äëÿ ðàçðàáîòêè, íàïðèìåð, MPI-ïðîãðàìì íóæíà ïðèíöèïèàëüíî íî-
âàÿ ïàðàäèãìà ïðîãðàììèðîâàíèÿ. Áûñòðîå ïðîäâèæåíèå Èíñòèòóòà êèáåðíåòèêè
â ñîçäàíèè èíñòðóìåíòàðèÿ ïàðàëëåëüíûõ ïðîãðàìì è ïîëó÷åíèå èì íåòðèâèàëü-
íûõ ðåçóëüòàòîâ îáóñëîâëåíû äîñòèæåíèÿìè Êèåâñêîé øêîëû òåîðèè ïðîãðàììè-
ðîâàíèÿ, äëÿ êîòîðîé íàïðàâëåíèÿ ôóíäàìåíòàëüíûõ èññëåäîâàíèé âñåãäà
ñîâïàäàëè ñ èíòåëëåêòóàëèçàöèåé ïðîöåññà ïðîåêòèðîâàíèÿ ïðîãðàìì.
Çà ïîñëåäíåå äåñÿòèëåòèå âñëåäñòâèå ñóùåñòâåííîãî ïðîãðåññà â ïðîåêòèðîâàíèè
ïðîãðàììíîãî ïðîäóêòà, à òàêæå áëàãîäàðÿ ðàçíîîáðàçíûì ìåòîäîëîãèÿì áûñòðîé ðàç-
ðàáîòêè ïðèëîæåíèé è îáúåêòíî-îðèåíòèðîâàííûì CASE-ñèñòåìàì ïðîãðàììèðîâà-
íèå ñòàëè ðàññìàòðèâàòü êàê ñèñòåìíóþ èíòåãðàöèþ íà îñíîâå «ãîòîâûõ ðåøåíèé».
Ïðè÷èíîé ïðîãðåññà ïîñëóæèëè ôîðìàëèçàöèÿ è ñòàíäàðòèçàöèÿ âñåõ ýòàïîâ æèçíåí-
íîãî öèêëà íà îñíîâå ñòðóêòóðíîé äåêîìïîçèöèè ïðåäìåòíîé îáëàñòè. Ïðåîáðàçîâà-
íèå çàäà÷è â ñåòü áîëåå ïðîñòûõ çàäà÷, ïîòîêîâ äàííûõ — â ñåòü îáîáùåííûõ ñîîáùå-
íèé è òðàíçàêöèé, à îáúåêòîâ è ïðîöåññîâ ïðåäìåòíîé îáëàñòè — â ñîâîêóïíîñòü èí-
òåðôåéñîâ îáåñïå÷èëî èåðàðõè÷åñêîå ðàñïðåäåëåíèå çàäà÷, ïîëíîìî÷èé
è îòâåòñòâåííîñòè ó÷àñòíèêîâ ïðîåêòà ñ îäíîâðåìåííûì ðàññëîåíèåì ðàáîò ìåæäó
íèìè. Êîíñîðöèóì OMG ñ÷èòàåò ïðèîðèòåòíîé ðàçðàáîòêó ïîäîáíûõ ñðåäñòâ â ñîñòà-
âå èíñòðóìåíòàðèÿ UML è äðóãèõ ôîðì ñïåöèôèêàöèè ïðîãðàììíîãî ïðîäóêòà.
Óñïåøíî âîïëîòèòü êîìïëåêñíóþ ìåòîäîëîãèþ ìîæíî òîëüêî ïðè óñëîâèè èäå-
àëüíîé ðàçðàáîòêè íà êàæäîì óðîâíå èåðàðõèè. Íà ñàìîì äåëå, áîëüøèíñòâî ñïåöèà-
ëèñòîâ â ïðåäìåòíîé îáëàñòè ìîãóò ñôîðìóëèðîâàòü ñâîè èíôîðìàöèîííûå ïîòîêè è
ïîòðåáíîñòè â öåëîì, íî íå ñïîñîáíû ïðîâåñòè èõ äåêîìïîçèöèþ ñîãëàñíî òðåáîâàíè-
ÿì êîìïüþòåðíîãî âîïëîùåíèÿ. Ïîýòîìó äàæå ïðè óñëîâèè îòíîñèòåëüíîé ñòàáèëü-
íîñòè ñàìèõ îáúåêòîâ êîìïüþòåðíîãî ìîäåëèðîâàíèÿ ðàáî÷èå ìîäåëè ïîñòîÿííî èç-
ìåíÿþòñÿ, ÷òî ôàêòè÷åñêè ñâîäèò íà íåò âñå ïðåèìóùåñòâà ïðîâåäåííîé äåêîìïîçè-
öèè. Ðàñõîä âðåìåíè íà ñîçäàíèå êîððåêòíîé ìîäåëè íåíàìíîãî îòëè÷àåòñÿ îò
âðåìåííûõ çàòðàò íà ðåàëèçàöèþ äåéñòâóþùåãî ïðîãðàììíîãî ïðîäóêòà.
Îñîáûé èíòåðåñ ðàçðàáîò÷èêîâ âûçûâàþò ñðåäñòâà ïðîãðàììèðîâàíèÿ, íå òðå-
áóþùèå ïîñòðîåíèÿ åäèíîé öåíòðàëèçîâàííîé ìîäåëè ïðîãðàììíîé ñèñòåìû,
à ïîääåðæèâàþùèå àâòîìàòè÷åñêîå ñîãëàñîâàíèå åå ôðàãìåíòîâ, ïàðàëëåëüíî ðàç-
ðàáîòàííûõ ñïåöèàëèñòàìè ïî ñïèðàëüíîé ìîäåëè æèçíåííîãî öèêëà.  ÷àñòíîñòè,
ñëåäóåò ïåðåéòè îò èåðàðõè÷åñêîé ê ñåòåâîé àðõèòåêòóðå ïðîãðàììíîãî ïðîäóêòà.
Íåîáõîäèìî ñîêðàòèòü ïóòü îò ìîäåëè äî äåéñòâóþùåé ïðîãðàììíîé ñèñòå-
ìû, ÷òîáû ïðåäîòâðàòèòü íåýôôåêòèâíûé ðàñõîä ïðîãðàììèñòñêîãî òðóäà è
ñðåäñòâ íà ðåàëèçàöèþ ìîäåëè, êîòîðàÿ óñïåâàåò óñòàðåòü çà âðåìÿ ðåàëèçàöèè. Ïî-
ýòîìó àêòóàëüíû ñðåäñòâà àâòîìàòèçàöèè, ñïîñîáíûå íåïîñðåäñòâåííî ïåðåðàáî-
òàòü ìîäåëü íà äåéñòâóþùèé ïðîòîòèï ñèñòåìû ñ âîçìîæíîñòüþ åãî äàëüíåéøåãî
óñîâåðøåíñòâîâàíèÿ. Êðîìå ñðåäñòâ êîìïîíåíòíîãî ïðîãðàììèðîâàíèÿ, íîâûå
ïîäõîäû ê àâòîìàòèçàöèè ïðîãðàììèðîâàíèÿ íåîáõîäèìî îáÿçàòåëüíî ãàðìîíèçè-
ðîâàòü ñ ñîâðåìåííûìè òåõíîëîãèÿìè è ìåòîäàìè ðàçðàáîòêè, ò.å. ðàçâèâàòü èõ
ýâîëþöèîííî, à íå ðåâîëþöèîííî, íå òðåáîâàòü ðàäèêàëüíûõ èçìåíåíèé ñóùåñòâó-
þùèõ âçãëÿäîâ è ïåðåîáó÷åíèÿ ðàçðàáîò÷èêîâ.
Òàêóþ ïàðàäèãìó êîìïîíåíòíîãî (àñïåêòíîãî) ïðîãðàììèðîâàíèÿ ïðèìåíÿþò
äëÿ ïîñëåäîâàòåëüíî âûïîëíÿåìûõ ïðîãðàìì, ïîýòîìó ðàçðàáîò÷èêè, âîïëîùàÿ
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2009, ¹ 6 89
ïðîãðàììíóþ ñîñòàâëÿùóþ ÈÒ íà ìàêðîêîíâåéåðå êëàñòåðíîãî êîìïëåêñà ñ ðàñïà-
ðàëëåëèâàíèåì âû÷èñëåíèé, íóæäàþòñÿ â ñóùåñòâåííî äðóãèõ ìåòîäàõ è ìîäåëÿõ.
Ê òîìó æå MPI-ïðîãðàììû ïèøóò äëÿ êëàññîâ çàäà÷ ñâåðõáîëüøîé ðàçìåðíîñòè,
òðåáóþùèõ îáðàáîòêè ñóïåðáîëüøèõ îáúåìîâ äàííûõ. Âû÷èñëèòåëüíóþ ñëîæ-
íîñòü àëãîðèòìîâ òàêèõ ÈÒ ìîæíî ïðåîäîëåòü äâóìÿ ïóòÿìè:
— âñòðàèâàÿ â ìàòåìàòè÷åñêóþ ìîäåëü êîíâåéåðèçàöèþ îáðàáîòêè è ñâÿçàí-
íóþ ñ íåé ñõåìó ðàñïðåäåëåíèÿ ïàìÿòè ïåðèîäà âû÷èñëåíèé, ïðèâÿçàííóþ ê àðõè-
òåêòóðå êîìïîíåíòîâ êëàñòåðà è òîïîëîãèè ìåæñîåäèíåíèé åãî óçëîâ; òîãäà äèíà-
ìèêó ñòðóêòóðíûõ èçìåíåíèé â MPI-ïðîãðàììå â òå÷åíèå ðåøåíèÿ êëàññîâ çàäà÷
ìîæíî èññëåäîâàòü ïîñðåäñòâîì äîêàçàòåëüñòâà àäåêâàòíîñòè ìîäåëè, ïðåæäå âñå-
ãî åå íåïðîòèâîðå÷èâîñòè;
— âîçëîæèâ íà ñàì êëàñòåð îðãàíèçàöèþ ïðåîáðàçîâàíèÿ ïîñëåäîâàòåëüíîé
ïðîãðàììû â ïàðàëëåëüíóþ è îòñëåæèâàÿ ïðèíöèïèàëüíûå ðàñõîæäåíèÿ âî âðåìÿ
ôóíêöèîíèðîâàíèÿ MPI-ïðîãðàììû.
Ðå÷ü èäåò îá èíòåëëåêòóàëèçàöèè ñàìèõ èíñòðóìåíòîâ ïðîåêòèðîâàíèÿ ïðî-
ãðàììíîãî ïðîäóêòà, ïðèìåíåíèå êîòîðûõ ñóùåñòâåííî ïîâûñèò èíòåëëåêò ñîçäà-
âàåìûõ ÈÒ. Òåì íå ìåíåå â âû÷èñëèòåëüíîé ñðåäå êëàñòåðíûõ êîìïëåêñîâ èìååì
ðÿä íåïðåîäîëèìûõ ïðîáëåì óäîáíîé ïîääåðæêè îáû÷íîé îòëàäêè ïðîãðàìì èëè
îðãàíèçàöèè íå ñóãóáî ïàêåòíîãî, à èíòåðàêòèâíîãî ðåæèìà ðåøåíèÿ çàäà÷è (ôóíê-
öèîíèðîâàíèå MPI-ïðîãðàììû), êîãäà äîñòàòî÷íî ïðîñòîå âçàèìîäåéñòâèå ñ ïîëü-
çîâàòåëåì ñîäåéñòâîâàëî áû ýêîíîìèè âðåìåíè èëè äðóãèõ ðåñóðñîâ.
Íà îñíîâàíèè îïûòà âíåäðåíèÿ ÈÒ íåîáõîäèìî ñôîðìóëèðîâàòü òðåáîâàíèÿ
ê êà÷åñòâó ïðîãðàììíîé ñîñòàâëÿþùåé ÈÒ è èíñòðóìåíòîâ ðàçðàáîòêè ïàðàëëåëü-
íûõ MPI-ïðîãðàìì â îïåðàöèîííîé ñðåäå êëàñòåðíîãî êîìïëåêñà. Íà ïóòè ïîâûøå-
íèÿ èíòåëëåêòóàëüíîñòè ñðåäñòâ è èíñòðóìåíòîâ ðàçðàáîòêè ïðîãðàììíîãî ïðîäóê-
òà, ñïîñîáíûõ ñîêðàòèòü è óïðîñòèòü ïðîãðàììèðîâàíèå ïàðàëëåëüíûõ ïðîãðàìì,
öåëåñîîáðàçíî çàäåéñòâîâàòü:
— îáúåìíûé íàáîð reuse-êîìïîíåíòîâ ïîâòîðíîãî ïðèìåíåíèÿ, èñïîëüçóåìûé
êàê «ãîòîâûå ðåøåíèÿ»;
— óäîáíûå ñðåäñòâà îòëàäêè ïàðàëëåëüíûõ MPI-ïðîãðàìì ñ ðàçâèòûì àïïàðà-
òîì îáðàáîòêè ïðåðûâàíèé äëÿ ïðîäîëæåíèÿ «æèçíè êîìïëåêñà»;
— ìåòîäû è ìåõàíèçìû áàëàíñèðîâàíèÿ íàãðóçêè óçëîâ êëàñòåðà, â ïåðâóþ
î÷åðåäü ìíîãîÿäåðíûõ;
— ìàòåìàòè÷åñêèå ìîäåëè è àâòîìàòèçèðîâàííûå îáùåñèñòåìíûå ñðåäñòâà
ðàñïðåäåëåíèÿ ïàìÿòè (ïåðèîäà èñïîëíåíèÿ ïðîãðàìì, â äîëãîñðî÷íûõ õðàíèëè-
ùàõ ñâåðõáîëüøîãî ðàçìåðà), ñïîñîáíûå àäàïòèðîâàòüñÿ ê èçìåíåíèþ àðõèòåêòóðû
êëàñòåðîâ è ïðèìåíåííûõ òîïîëîãèé ñåòåâîãî ñîåäèíåíèÿ óçëîâ.
ÒÅÕÍÎËÎÃÈß ÐÅØÅÍÈß ÇÀÄÀ×
Äëÿ ïîñòàíîâêè è ðåøåíèÿ çàäà÷ íàóêè è èíæåíåðèè èõ ïðåäâàðèòåëüíî èññëå-
äóþò â öåëÿõ ñîçäàíèÿ è îáîñíîâàíèÿ íåîáõîäèìîãî àëãîðèòìà ðåøåíèÿ, äàëåå
ïèøóò è îòëàæèâàþò ïðîãðàììó. Ñõåìà èññëåäîâàíèÿ è ðåøåíèÿ çàäà÷ íà êîì-
ïüþòåðå ïðèâåäåíà íà ðèñ. 1.
 êîíå÷íîì èòîãå äëÿ ðåøåíèÿ íîâûõ çàäà÷ ñðåäíåé ñëîæíîñòè òðåáóåòñÿ 2–3 ãî-
äà, à äëÿ ñëîæíûõ çàäà÷ — 4–5 ëåò.
90 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2009, ¹ 6
Ïðèêëàäíàÿ
çàäà÷à
Ôèçè÷åñêàÿ
ìîäåëü
Ìàòåìàòè÷åñêàÿ
ìîäåëü
Äèñêðåòíàÿ
ìîäåëü
Ìåòîä Àëãîðèòì Âû÷èñëèòåëüíàÿ
ñõåìà
Àëãîðèòì
íà ÿçûêå
ïðîãðàììèðîâàíèÿ
Êîìïüþòåðíàÿ
ìîäåëü
Àëãîðèòì
â ìàøèííûõ
êîäàõ
Ðèñ. 1
Èíîãäà ïîëó÷àþò êîìïüþòåðíûå ðåøåíèÿ, íå îáëàäàþùèå ôèçè÷åñêèì ñìûñ-
ëîì. Ïîêàæåì íà ýëåìåíòàðíîì ïðèìåðå îäíó èç ïðè÷èí ýòîãî ÿâëåíèÿ. Ñâîáîäíûå
÷ëåíû ñèñòåì óðàâíåíèé
100 500 1700
15 75 01 255
1 2
1 2
x x
x x
� �
� �
,
, ,
(1)
100 500 1700
15 75 01 255 03
1 2
1 2
x x
x x
� �
� �
,
, ,
(2)
îòëè÷àþòñÿ â ïÿòîé çíà÷àùåé öèôðå. Ðåøåíèåì ïåðâîé èç íèõ ÿâëÿåòñÿ x1 17� ,
x2 0� , à âòîðîé — x1 2� , x2 3� . Îïðåäåëèòåëü ýòèõ ñèñòåì ðàâåí åäèíèöå.
Óâåëè÷èâ ïîãðåøíîñòü çàäàíèÿ èñõîäíûõ äàííûõ, íàïðèìåð, äëÿ
100 500 1700
15 75 01 255 000003
1 2
1 2
x x
x x
� �
� �
,
, , ,
(3)
ïîëó÷èì x1 16 9985� , , x2 0 0003� , ,� , ÷òî ÿâëÿåòñÿ äîñòàòî÷íî õîðîøèì ïðèáëè-
æåíèåì ê ðåøåíèþ x1 17� , x2 0� íåâîçìóùåííîé ñèñòåìû (1).
Ýòîò ïðèìåð ïîêàçûâàåò âëèÿíèå íàñëåäñòâåííîé ïîãðåøíîñòè íà äîñòîâåð-
íîñòü ïîëó÷åííûõ ðåçóëüòàòîâ. Îòìåòèì, ÷òî âñå èíæåíåðíûå è íàó÷íûå çàäà÷è
èìåþò ïðèáëèæåííûå èñõîäíûå äàííûå, êîòîðûå íå ó÷èòûâàþòñÿ â ñîâðåìåííûõ
ïðîãðàììíûõ ñðåäñòâàõ. Âëèÿíèþ äðóãèõ ôàêòîðîâ íà òî÷íîñòü ïîëó÷åíèÿ ðåøå-
íèÿ ïîñâÿùåíû ðàáîòû [2–4]. Òîëüêî çíàÿ ñâîéñòâà êîìïüþòåðíîé ìîäåëè çàäà÷è,
ìîæíî îöåíèòü äîñòîâåðíîñòü ïîëó÷åííûõ ðåøåíèé.
Òàêèì îáðàçîì, âîçíèêàåò ïîòðåáíîñòü èñïîëüçîâàíèÿ êîìïüþòåðà äëÿ èññëå-
äîâàíèÿ ñâîéñòâ ìàòåìàòè÷åñêèõ, äèñêðåòíûõ è êîìïüþòåðíûõ ìîäåëåé çàäà÷.
Èçâåñòíûå òåîðåìû êëàññè÷åñêîé ìàòåìàòèêè íåâîçìîæíî ïðèìåíèòü äëÿ êîì-
ïüþòåðíîãî èññëåäîâàíèÿ ìàòåìàòè÷åñêèõ çàäà÷. Òàê, äëÿ âûáîðà ìåòîäà ðåøåíèÿ ñèñ-
òåì ëèíåéíûõ àëãåáðàè÷åñêèõ óðàâíåíèé (ÑËÀÓ) íåîáõîäèìî âûÿñíèòü, ñîâìåñòíà
ñèñòåìà èëè íåò. Îòâåò ñîäåðæèòñÿ â òåîðåìå Êðîíåêåðà–Êàïåëëè: «Ñèñòåìà ëèíåé-
íûõ àëãåáðàè÷åñêèõ óðàâíåíèé ñîâìåñòíà òîãäà è òîëüêî òîãäà, êîãäà ðàíã ìàòðèöû
ðàâåí ðàíãó ðàñøèðåííîé ìàòðèöû». Íî äëÿ âû÷èñëåíèÿ ðàíãà ìàòðèöû ñèñòåìû, íà-
ñ÷èòûâàþùåé íåñêîëüêî òûñÿ÷ èëè äåñÿòêîâ òûñÿ÷ íåèçâåñòíûõ, íå õâàòèò âû÷èñëè-
òåëüíûõ ðåñóðñîâ, à êðîìå òîãî, èç-çà ïîãðåøíîñòè ìàøèííîé ðåàëèçàöèè ðàíã áóäåò
âû÷èñëåí íåïðàâèëüíî. Íåîáõîäèì êîìïüþòåðíûé àíàëîã äàííîé òåîðåìû, äàþùèé
îòâåò íà âîïðîñ î ñîâìåñòíîñòè êîìïüþòåðíûõ ìîäåëåé ÑËÀÓ.
 ñâÿçè ñ ýòèì ðàçðàáîòàíà êîìïüþòåðíàÿ ìåòîäîëîãèÿ èññëåäîâàíèÿ ñâîéñòâ
çàäà÷ âû÷èñëèòåëüíîé ìàòåìàòèêè ñ ïðèáëèæåííî çàäàííûìè èñõîäíûìè äàííû-
ìè, ñ ó÷åòîì ìàòåìàòè÷åñêèõ è òåõíè÷åñêèõ îñîáåííîñòåé âû÷èñëèòåëüíîé ñðåäû
êîìïüþòåðîâ, â òîì ÷èñëå è MIMD-êîìïüþòåðîâ. Íà îñíîâå ýòîé ìåòîäîëîãèè ñî-
çäàíî èíòåëëåêòóàëüíîå ÷èñëåííîå ïðîãðàììíîå îáåñïå÷åíèå [5–11], àïðîáèðîâàí-
íîå â 1996–2002 ãã. â ïðîåêòàõ ISPAR [12] è ISKON [13] äëÿ Íåìåöêîãî öåíòðà ïî
àâèàêîñìè÷åñêèì ïîëåòàì DLR.
Çíàíèå ñâîéñòâ ðåøàåìûõ çàäà÷ âû÷èñëèòåëüíîé ìàòåìàòèêè, ê êîòîðûì ñâî-
äèòñÿ 90% âñåõ èíæåíåðíûõ è íàó÷íûõ çàäà÷, äàåò âîçìîæíîñòü íå òîëüêî îöåíèòü
äîñòîâåðíîñòü ïîëó÷àåìûõ ðåøåíèé, íî è ñóùåñòâåííî ñîêðàòèòü âðåìÿ ðåøåíèÿ
çàäà÷ [12–16]. Ñîêðàùåíèå âðåìåíè äîñòèãàåòñÿ çà ñ÷åò àëãîðèòìîâ, ó÷èòûâàþùèõ
ñâîéñòâà ðåøàåìûõ çàäà÷, âû÷èñëèòåëüíûõ ñõåì, ó÷èòûâàþùèõ àðõèòåêòóðó ïðî-
öåññîðîâ è òîïîëîãèþ ïàðàëëåëüíîãî êîìïüþòåðà, à òàêæå âîçìîæíîñòè ïåðå-
ñòðîéêè òîïîëîãèè èç ïðîöåññîðîâ êëàñòåðíûõ êîìïüþòåðîâ («ëèíåéêà», «ðåøåò-
êà», «êîëüöî», «âåòâÿùååñÿ äåðåâî» è ò.ä.).
Òàêèì îáðàçîì, êîìïüþòåð è îïåðàöèîííàÿ ñðåäà äîëæíû îáëàäàòü ñëåäóþùè-
ìè ñâîéñòâàìè:
� ïîääåðæèâàòü èíòåëëåêòóàëüíîå ÷èñëåííîå ïðîãðàììíîå îáåñïå÷åíèå;
� èìåòü àâòîìàòè÷åñêè ïåðåíàñòðàèâàåìóþ òîïîëîãèþ ïàðàëëåëüíîãî êîì-
ïüþòåðà â çàâèñèìîñòè îò ñâîéñòâ çàäà÷è.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2009, ¹ 6 91
ÎÏÈÑÀÍÈÅ ÑÅÌÅÉÑÒÂÀ ÈÍÏÀÐÊÎÌ
Òàêèì òðåáîâàíèÿì óäîâëåòâîðÿåò ñîçäàííîå ñîâìåñòíî Èíñòèòóòîì êèáåðíåòèêè
èì. Â.Ì. Ãëóøêîâà ÍÀÍÓ è ÃÍÏÏ «Ýëåêòðîíìàø» ñåìåéñòâî èíòåëëåêòóàëü-
íûõ ðàáî÷èõ ñòàíöèé Èíïàðêîì (òàáë. 1, 2), çàíèìàþùåå ïðîìåæóòî÷íóþ íèøó
ìåæäó ñóïåð- è ïåðñîíàëüíûì êîìïüþòåðîì.
Êàê çíàíèåîðèåíòèðîâàííûé èíñòðóìåíò Èíïàðêîì õðàíèò çíàíèÿ î ñâîéñòâàõ
êîìïüþòåðíîé ìîäåëè çàäà÷è è íà îñíîâàíèè ýòîãî àâòîìàòè÷åñêè ñòðîèò àëãîðèòì
ðåøåíèÿ, ôîðìèðóåò òîïîëîãèþ èç ïðîöåññîðîâ MIMD-êîìïüþòåðà è ñîçäàåò êîä
ïðîãðàììû ïàðàëëåëüíûõ âû÷èñëåíèé, à ïî îêîí÷àíèè âû÷èñëåíèé îöåíèâàåò äîñ-
òîâåðíîñòü ïîëó÷åííûõ ðåçóëüòàòîâ.
 ñîñòàâ êîìïëåêñà Èíïàðêîì âõîäèò: õîñò-ñèñòåìà, îáðàáàòûâàþùàÿ ÷àñòü,
êîììóíèêàöèîííàÿ ñðåäà.
Õîñò-ñèñòåìà îñóùåñòâëÿåò óïðàâëåíèå ìíîãîïðîöåññîðíûì âû÷èñëèòåëüíûì ðå-
ñóðñîì, îáùåñèñòåìíûé ìîíèòîðèíã, îáùåíèå ñ òåðìèíàëüíûìè ñåòÿìè ïîëüçîâàòå-
ëåé, âèçóàëèçàöèþ ðåçóëüòàòîâ ðåøåíèÿ çàäà÷è è ðåàëèçàöèþ òîé ÷àñòè ïðîöåññà âû-
÷èñëåíèé è îáðàáîòêè äàííûõ, êîòîðàÿ íå ðàñïàðàëëåëèâàåòñÿ («ïëîõî» ðàñïàðàëëåëè-
âàåòñÿ). Õîñò-ñèñòåìà ñîñòîèò èç õîñò-êîìïüþòåðîâ (Xeon Quad-Core GHz, 64 bit
äëèíà ìàøèííîãî ñëîâà, 8 GB îïåðàòèâíîé ïàìÿòè, 72 GB ïàìÿòè íà äèñêàõ êàæäûé),
âíåøíåãî îáîðóäîâàíèÿ è ìîæåò âõîäèòü â ëîêàëüíóþ èëè ãëîáàëüíóþ ñåòü.
Îáðàáàòûâàþùàÿ ÷àñòü, ïîääåðæèâàþùàÿ ðåøåíèå çàäà÷è ñ îðãàíèçàöèåé ïàðàë-
ëåëüíûõ âû÷èñëåíèé, — ýòî îäíîðîäíàÿ ìàñøòàáèðóåìàÿ ñòðóêòóðà, ñîñòîÿùàÿ èç
ìíîæåñòâà ïðîöåññîðîâ (ñ ñîáñòâåííîé îïåðàòèâíîé è äèñêîâîé ïàìÿòüþ), îáúåäèíåí-
íûõ êîììóíèêàöèîííîé ñðåäîé ìåæïðîöåññîðíîãî âçàèìîäåéñòâèÿ. Îáðàáàòûâàþùàÿ
÷àñòü ìîæåò âêëþ÷àòü âû÷èñëèòåëüíûå óçëû (Xeon Quad-Core GHz, 64 bit äëèíà ìà-
øèííîãî ñëîâà, 2 GB îïåðàòèâíîé ïàìÿòè, 36 GB ïàìÿòè íà äèñêàõ êàæäûé).
Êîììóíèêàöèîííàÿ ñðåäà ñîñòîèò èç Gigabit Ethernet; InfiniBand è ãèïåðêóáà.
Ïðîãðàììíîå îáåñïå÷åíèå ïðåäóñìàòðèâàåò òðè óðîâíÿ:
— îïåðàöèîííàÿ ñðåäà, ïîääåðæèâàþùàÿ èíòåëëåêòóàëüíîå ïðîãðàììíîå
îáåñïå÷åíèå;
— èíòåëëåêòóàëüíîå ÷èñëåííîå ïðîãðàììíîå îáåñïå÷åíèå äëÿ èññëåäîâàíèÿ è
ðåøåíèÿ çàäà÷ âû÷èñëèòåëüíîé ìàòåìàòèêè ñ ïðèáëèæåííî çàäàííûìè äàííûìè;
— ïðèêëàäíîå ïðîãðàììíîå îáåñïå÷åíèå, íàïðèìåð äëÿ èññëåäîâàíèÿ è ðåøå-
íèÿ çàäà÷ àíàëèçà ïðî÷íîñòè êîíñòðóêöèé.
 îñíîâó îïåðàöèîííîé ñðåäû ïîëîæåíû áåñïëàòíûå ðåøåíèÿ GNU/Linux. Îäíàêî
ïîëüçîâàòåëü ìîæåò âûáðàòü îäèí èç òðåõ âàðèàíòîâ èíñòàëëèðîâàííûõ ÎÑ: Linux,
Windows XP SP2 èëè Linux+Windows. Ïî æåëàíèþ ïîëüçîâàòåëÿ õîñò àâòîìàòè÷åñêè ïå-
ðåêëþ÷àåòñÿ íà Linux è Windows ñ ïåðåçàãðóçêîé óçëîâ. Âåðñèÿ Linux íà îñíîâå Scientific
Linux 4.2 (îò 22.11.2005) îïòèìèçèðîâàíà ïîä àïïàðàòóðó êîìïëåêñà Èíïàðêîì.
 ÿäðå ïàðàëëåëüíîãî êîìïüþòåðà — ñèñòåìå ïåðåäà÷è ñîîáùåíèé — ðåàëè-
çîâàí ñòàíäàðò äå-ôàêòî MPI. Â Linux óñòàíîâëåí MVAPICH, îïòèìèçèðîâàííûé
ïîä InfiniBand, è LAM MPI, â Windows — MPICH. Äëÿ ïîääåðæêè ìàêñèìàëüíîãî
÷èñëà ïðèëîæåíèé ñòîðîííèõ ïîëüçîâàòåëåé íàñòðîåíà ðàñïðîñòðàíåííàÿ ñèñòåìà
ïåðåäà÷è ñîîáùåíèé PVM.
92 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2009, ¹ 6
Ò à á ë è ö à 1
Íàçâàíèå
Õàðàêòåðèñòèêè ñåìåéñòâà ðàáî÷èõ ñòàíöèé Èíïàðêîì
16 32 64 128 256
Ïðîöåññîðû
Xeon
Quad-Core
Xeon
Quad-Core
Xeon
Quad-Core
Xeon
Quad-Core
Xeon
Quad-Core
Êîëè÷åñòâî óçëîâ/ïðîöåññîðîâ/ÿäåð 2/4/16 4/8/32 8/16/64 16/32/128 16/64/256
Ïèêîâàÿ ïðîèçâîäèòåëüíîñòü, GFlops 100–190 200–380 400–770 800–1500 2385
Ïðîèçâîäèòåëüíîñòü íà LINPACK, GFlops 75–145 150–290 300–580 600–1130 1855
Îïåðàòèâíàÿ ïàìÿòü, GB 32 64 128 256 512
Äèñêîâàÿ ïàìÿòü, TB 0,5 1 2 4 8
Åìêîñòü äèñêîâîãî õðàíèëèùà, TB — — Îò 1 Îò 2 Îò 3
Áåñïëàòíûé êîìïèëÿòîð GCC â ñîñòàâå Linux ïîääåðæèâàåò Cè/Ñ++, Ôîðòðàí
è Java. Îïåðàöèîííàÿ ñðåäà âêëþ÷àåò Èíòåðíåò-ñåðâåð Apach ñ ïîääåðæêîé ïðèëî-
æåíèé íà ÿçûêå ÐÍÐ, ÑÓÁÄ MySQL, ñòàíäàðòíûå ìàòåìàòè÷åñêèå áèáëèîòåêè
(â òîì ÷èñëå ScaLAPACK), òåñòû (Linpack, Scali), ñåòåâóþ ôàéëîâóþ ñèñòåìó.
Îïåðàöèîííàÿ ñðåäà îáåñïå÷èâàåò:
— ôîðìèðîâàíèå çàäàíèÿ è åãî çàïóñê íà âûáðàííûõ âû÷èñëèòåëüíûõ óçëàõ;
— ìîíèòîðèíã âñåãî êîìïüþòåðà è âûïîëíÿåìûõ çàäàíèé;
— ñîõðàíåíèå è âèçóàëèçàöèþ ïðîòîêîëîâ ïàðàëëåëüíûõ ðàñ÷åòîâ;
— çàïóñê ïðèëîæåíèÿ (ïàðàëëåëüíîé ïðîãðàììû) íà õîñò-êîìïüþòåðå;
— ðàáîòó ÷åðåç ëîêàëüíóþ ñåòü è/èëè Èíòåðíåò ñ óäàëåííûì äîñòóïîì;
— ðàçðàáîòêó ïàðàëëåëüíûõ ïðîãðàìì;
— àäìèíèñòðèðîâàíèå äîñòóïíûõ ïîëüçîâàòåëþ ÷àñòåé ñåòåâîé ôàéëîâîé ñèñòåìû.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2009, ¹ 6 93
Ò à á ë è ö à 2
Íàçâàíèå
Âû÷èñëèòåëüíûé óçåë Ãðàôè÷åñêàÿ ñòàíöèÿ Äèñêîâîå õðàíèëèùå
Âû÷èñëåíèÿ
Óïðàâëåíèå, ââîä/âûâîä
ãðàôè÷åñêîé èíôîðìàöèè
Óïðàâëåíèå, õðàíåíèå
ìàññèâîâ äàííûõ
Òåõíè÷åñêèå ñðåäñòâà
Ïðîöåññîð 2x2õIntel Xeon 53ÕÕ 2õIntel Xeon 51ÕÕ (53ÕÕ) Intel Xeon 51ÕÕ
Êîëè÷åñòâî ÿäåð 8 8 2
Îáúåì îïåðàòèâíîé
ïàìÿòè
2x16 GB DDR2-667 16(32) GB DDR2-667 2 GB DDR2-667
Äèñêîâàÿ ïàìÿòü
HDD 2x2õ250 GB
(2õRAID1)
HDD 2x250 GB (RAID1),
FDD, DVD±RW
HDD 10x250 GB
(2õRAID1,
8õRAID 0,5,10,50),
FDD, DVD-ROM
Êîëè÷åñòâî óçëîâ
16 âû÷èñëèòåëüíûõ óçëîâ; äâå ãðàôè÷åñêèå ñòàíöèè (êîëè÷åñòâî
îïðåäåëÿåò çàêàç÷èê); äâà äèñêîâûõ õðàíèëèùà
Âû÷èñëèòåëüíàÿ ñåòü InfiniBand (20 Gbit/s)
Ñëóæåáíàÿ ñåòü Gigabit Ethernet, Fast Ethernet (IPMI ñ KVM)
Ñèñòåìà
áåñïåðåáîéíîãî
ïèòàíèÿ
ÈÁÏ 10000VA íà âû÷èñëèòåëüíûé áëîê — 2 øò.,
ÈÁÏ 1000VA íà êàæäóþ ðàáî÷óþ ñòàíöèþ, On-line
Êîíñòðóêöèÿ
Âû÷èñëèòåëüíûé áëîê — øêàô 19" / 25U — 2 øò.
Ãðàôè÷åñêàÿ ñòàíöèÿ — ñèñòåìíûé áëîê, ìîíèòîð, êëàâèàòóðà, ìûøü,
ÈÁÏ, ïðèíòåð, ñêàíåð
Ñèñòåìíîå ïðîãðàììíîå îáåñïå÷åíèå
Îïåðàöèîííàÿ
ñèñòåìà
Linux íà áàçå Red Hat EL 5, Linux èëè Windows íà ãðàôè÷åñêîé ñòàíöèè
Ïàðàëëåëüíàÿ ñðåäà MPI (OpenFabrics Enterprise Distribution)
Ñèñòåìà óïðàâëåíèÿ
Ïðîãðàììíûé ñèñòåìíûé ìîíèòîð (óïðàâëåíèå çàäàíèÿìè, ìîíèòîðèíã
çàäàíèé è àïïàðàòóðû êîìïëåêñà)
Èíòåëëåêòóàëüíîå ïðîãðàììíîå îáåñïå÷åíèå
Áèáëèîòåêè
Áèáëèîòåêè èíòåëëåêòóàëüíûõ ïðîãðàìì ðåøåíèÿ çàäà÷ âû÷èñëèòåëüíîé
ìàòåìàòèêè ñ îöåíêîé äîñòîâåðíîñòè (Inparlib):
— ñèñòåìû ëèíåéíûõ àëãåáðàè÷åñêèõ óðàâíåíèé;
— àëãåáðàè÷åñêàÿ ïðîáëåìà ñîáñòâåííûõ çíà÷åíèé;
— ñèñòåìû íåëèíåéíûõ àëãåáðàè÷åñêèõ è òðàíñöåíäåíòíûõ óðàâíåíèé;
— ñèñòåìû îáûêíîâåííûõ äèôôåðåíöèàëüíûõ óðàâíåíèé ñ íà÷àëüíûìè
óñëîâèÿìè
Èíòåðôåéñ
Äèàëîãîâàÿ ïëàíèðóþùàÿ è óïðàâëÿþùàÿ ñèñòåìà ðåøåíèÿ çàäà÷
âû÷èñëèòåëüíîé ìàòåìàòèêè (Inpartool)
Ïðèêëàäíîå ÏÎ
Èíòåëëåêòóàëüíîå ïðèêëàäíîå ïðîãðàììíîå îáåñïå÷åíèå äëÿ èññëåäîâàíèÿ
è ðåøåíèÿ çàäà÷ àíàëèçà ïðî÷íîñòè êîíñòðóêöèé
(íà áàçå ÏÎ Ëèðà [19])
Èíòåëëåêòóàëüíîå ÷èñëåííîå ïðîãðàììíîå îáåñïå÷åíèå äëÿ èññëåäîâàíèÿ è ðåøåíèÿ
çàäà÷ âû÷èñëèòåëüíîé ìàòåìàòèêè ñ ïðèáëèæåííî çàäàííûìè èñõîäíûìè äàííûìè ïîä-
äåðæèâàåò: àâòîìàòè÷åñêèé ðåæèì ïîëíîãî èññëåäîâàíèÿ è ðåøåíèÿ çàäà÷; ðåøåíèå çàäà÷
âûáðàííîé ïðîãðàììîé èç áèáëèîòåêè. Ðåàëèçîâàíû êëàññû çàäà÷:
— ñèñòåìû ëèíåéíûõ àëãåáðàè÷åñêèõ óðàâíåíèé;
— àëãåáðàè÷åñêàÿ ïðîáëåìà ñîáñòâåííûõ çíà÷åíèé;
— ñèñòåìû íåëèíåéíûõ àëãåáðàè÷åñêèõ è òðàíñöåíäåíòíûõ óðàâíåíèé;
— ñèñòåìû îáûêíîâåííûõ äèôôåðåíöèàëüíûõ óðàâíåíèé ñ íà÷àëüíûìè óñëîâèÿìè.
Ïðèêëàäíîå ïðîãðàììíîå îáåñïå÷åíèå, íàïðèìåð, äëÿ èññëåäîâàíèÿ è ðåøå-
íèÿ çàäà÷ àíàëèçà ïðî÷íîñòè êîíñòðóêöèé ìîæåò ñîäåðæàòü ñðåäñòâà:
— ôîðìèðîâàíèÿ ãåîìåòðè÷åñêîé ìîäåëè êîíñòðóêöèè íà îñíîâå èìåþùèõñÿ
â áàíêå ãåîìåòðè÷åñêèõ ìîäåëåé;
— ôîðìèðîâàíèÿ ìàòåìàòè÷åñêîé ìîäåëè çàäà÷è íà îñíîâå ìîäåëåé, èìåþ-
ùèõñÿ â áàíêå äàííûõ;
— ôîðìèðîâàíèÿ êîíå÷íî-ýëåìåíòíîé èëè êîíå÷íî-ðàçíîñòíîé ìîäåëè çàäà÷è;
— âèçóàëèçàöèè êîíå÷íî-ýëåìåíòíîãî ïîêðûòèÿ ýëåìåíòà èëè èññëåäóåìîé
êîíñòðóêöèè;
— ôîðìèðîâàíèÿ â àâòîìàòè÷åñêîì ðåæèìå äèñêðåòíîé ìîäåëè çàäà÷è è ðàñ-
ñûëêè äàííûõ ïî ïðîöåññîðàì âûáðàííîé òîïîëîãèè;
— îáðàùåíèÿ ê èíòåëëåêòóàëüíîìó ÷èñëåííîìó ïðîãðàììíîìó îáåñïå÷åíèþ
äëÿ èññëåäîâàíèÿ è ðåøåíèÿ ñôîðìóëèðîâàííûõ êîíå÷íî-ýëåìåíòíûõ çàäà÷ íà
MIMD-êîìïüþòåðå ñ âèçóàëèçàöèåé ïîëó÷åííûõ ðåçóëüòàòîâ;
— àíàëèçà äîñòîâåðíîñòè ïîëó÷åííîãî êîíå÷íî-ýëåìåíòíîãî èëè êîíå÷íî-
ðàçíîñòíîãî ðåøåíèÿ.
Òàêèì îáðàçîì, âìåñòî òðàäèöèîííîé ñõåìû èññëåäîâàíèÿ è ðåøåíèÿ çàäà÷è
(ðèñ. 1) âîçíèêàåò íîâàÿ ñõåìà (ðèñ. 2), â êîòîðîé êîìïüþòåð âìåñòî ïîëüçîâàòåëÿ âû-
ïîëíÿåò âñå íåîáõîäèìûå èññëåäîâàíèÿ è ñîçäàåò òîïîëîãèþ è ïðîãðàììó ïàðàëëåëü-
íûõ âû÷èñëåíèé.
Îáëàñòè èñïîëüçîâàíèÿ êîìïëåêñà Èíïàðêîì:
— ÷èñëåííîå ìîäåëèðîâàíèå ñëîæíûõ ïðîöåññîâ, ÿâëåíèé, îáúåêòîâ è ñèñòåì
äëÿ îðãàíèçàöèè íà ýòîé îñíîâå íàòóðíûõ ýêñïåðèìåíòîâ;
— ñîçäàíèå òðåíàæåðîâ óïðàâëåíèÿ ñëîæíûìè îáúåêòàìè ñîâðåìåííîé òåõ-
íèêè, â òîì ÷èñëå ÀÝÑ;
— ðåøåíèå ñëîæíûõ íàó÷íî-òåõíè÷åñêèõ çàäà÷ ñ ïðèáëèæåííî çàäàííûìè
èñõîäíûìè äàííûìè;
— ïîäãîòîâêà ïàðàëëåëüíûõ ïðîãðàìì äëÿ ñóïåðêîìïüþòåðîâ.
Ñïîñîáû èñïîëüçîâàíèÿ:
— àäàïòàöèÿ ñîçäàííûõ ðàíåå ïðîãðàììíûõ ñðåäñòâ íà êëàñòåðàõ Èíïàðêîì:
ðåàëèçàöèÿ ïðåïðîöåññèíãà ñóùåñòâóþùèõ ïðîãðàììíûõ ñðåäñòâ äëÿ ïåðåâîäà çàäà-
÷è íà ÿçûêå ïîëüçîâàòåëÿ â ìàòåìàòè÷åñêóþ çàäà÷ó íà õîñò-ñèñòåìå; ïðîöåññèíã êàê
ðåøåíèå ìàòåìàòè÷åñêîé çàäà÷è â àâòîìàòè÷åñêîì ðåæèìå ñ ïàðàëëåëüíîé îðãàíèçà-
öèåé âû÷èñëåíèé íà âû÷èñëèòåëüíîì áëîêå Èíïàðêîìà, ïîñòïðîöåññèíã — ïåðåâîä
ðåøåíèÿ ìàòåìàòè÷åñêîé çàäà÷è íà ÿçûê ïîëüçîâàòåëÿ íà õîñò-ñèñòåìå;
— ñîçäàíèå ïðîãðàììíûõ êîìïëåêñîâ ñ ó÷åòîì âîçìîæíîñòè èíòåëëåêòóàëü-
íûõ ðàáî÷èõ ñòàíöèé Èíïàðêîì.
Ïðåèìóùåñòâà êîìïëåêñà Èíïàðêîì:
— ïîñòàíîâêà çàäà÷è ïîëüçîâàòåëÿ íà ÿçûêå ïðåäìåòíîé îáëàñòè;
94 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2009, ¹ 6
Ïðèêëàäíàÿ
çàäà÷à
Ôèçè÷åñêàÿ
ìîäåëü
Ìàòåìàòè÷åñêàÿ
ìîäåëü
Äèñêðåòíàÿ
ìîäåëü
Ìåòîä Àëãîðèòì Âû÷èñëèòåëüíàÿ
ñõåìà
Àëãîðèòì
íà ÿçûêå
ïðîãðàììèðîâàíèÿ
Êîìïüþòåðíàÿ
ìîäåëü
Àëãîðèòì
â ìàøèííûõ
êîäàõ
Ðèñ. 2
— îñâîáîæäåíèå ïîëüçîâàòåëÿ îò èññëåäîâàíèÿ ñâîéñòâ çàäà÷è è ñîçäàíèÿ àë-
ãîðèòìà ðåøåíèÿ, íàïèñàíèÿ è îòëàäêè ïàðàëëåëüíîé ïðîãðàììû, ÷òî ñîêðàùàåò
âðåìÿ ïîñòàíîâêè è ðåøåíèÿ çàäà÷è íå ìåíåå ÷åì â 100 ðàç;
— èññëåäîâàíèå è ðåøåíèå çàäà÷ èíæåíåðèè è íàóêè ñ ïðèáëèæåííî çàäàííû-
ìè èñõîäíûìè äàííûìè;
— ïîëó÷åíèå ìàøèííîãî ðåøåíèÿ ñ îöåíêîé äîñòîâåðíîñòè, à òàêæå âñåõ ñâîéñòâ
ðåøàåìîé ìàøèííîé ìîäåëè çàäà÷è ñ ïðèáëèæåííî çàäàííûìè èñõîäíûìè äàííûìè;
— ñóùåñòâåííîå ñîêðàùåíèå âðåìåíè ìàøèííîãî èññëåäîâàíèÿ è ðåøåíèÿ íà-
ó÷íî-òåõíè÷åñêèõ çàäà÷ ïî ñðàâíåíèþ ñ òðàäèöèîííîé òåõíîëîãèåé ðåøåíèÿ òîé
æå çàäà÷è íà MIMD-êîìïüþòåðå ñ òåì æå êîëè÷åñòâîì ïðîöåññîðîâ è íà òîé æå
ýëåìåíòíîé áàçå, íî ñ òðàäèöèîííîé ïàðàëëåëüíîé àðõèòåêòóðîé.
ÏÐÈÌÅÐÛ ÐÅØÅÍÍÛÕ ÇÀÄÀ×
Èñïîëüçîâàíèå êîìïëåêñà Èíïàðêîì öåëåñîîáðàçíî äëÿ ìàòåìàòè÷åñêîãî ìîäåëè-
ðîâàíèÿ, ò.å. êîìïüþòåðíîãî ðåøåíèÿ óðàâíåíèé, îïèñûâàþùèõ èññëåäóåìûé îáú-
åêò. Îíî ïîìîãàåò ðàññìîòðåòü íåñêîëüêî âàðèàíòîâ èññëåäóåìîãî îáúåêòà è â ðå-
çóëüòàòå ñïëàíèðîâàòü íàòóðíûé ýêñïåðèìåíò. Òàê, íà Èíïàðêîì-64 ïðîìîäåëèðî-
âàíî îáòåêàíèå ïëàíåðà äëÿ ÀÍ-148, îòðàáîòàíî íàòóðíîå ìîäåëèðîâàíèå ýòîãî
ïëàíåðà â àýðîäèíàìè÷åñêîé òðóáå ÖÀÃÈ. Êîððåëÿöèÿ äàííûõ ÷èñëåííîãî è íà-
òóðíîãî ýêñïåðèìåíòîâ íå ïðåâûñèëà 3%, à ñàì íàòóðíûé ýêñïåðèìåíò îáîøåëñÿ
ÊÁ Àíòîíîâà â 3–4 ðàçà äåøåâëå, ÷åì áåç ïðåäâàðèòåëüíîãî ìîäåëèðîâàíèÿ.
Íà êîìïëåêñå Èíïàðêîì âûïîëíåí ðàñ÷åò ïðî÷íîñòè êîíñòðóêöèè äâóõêîðïóñ-
íîãî 80-ýòàæíîãî îôèñíîãî öåíòðà â Ìîñêâå [17] (ðèñ. 3). Ïàðàìåòðû ðàñ÷åòà ïðèâå-
äåíû â òàáë. 3, à ñòðóêòóðà ìàòðèöû ïðåäñòàâëåíà íà ðèñ. 4.
Äëÿ Èíñòèòóòà ýëåêòðîñâàðêè èìåíè Å.Î. Ïàòîíà ðåøåíà çàäà÷à íàõîæäåíèÿ êèíå-
òèêè òåìïåðàòóðíûõ íàïðÿæåíèé è äåôîðìàöèé (íàïðÿæåííî-ïëàñòè÷åñêàÿ çàäà÷à) ïðè
ñâàðêå òèòàíîâûõ áàëîê ïîëà â êîíñòðóêöèÿõ ñàìîëåòîâ [18] (ðèñ. 5). Ñîáñòâåííî ðàñ-
ñ÷èòàííàÿ òðàåêòîðèÿ ñâàðêè ïîêàçàíà òåìíîé ëèíèåé âíèçó êîíñòðóêöèè.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2009, ¹ 6 95
Ò à á ë è ö à 3
Êîíå÷íî-ýëåìåíòíàÿ ñåòêà
Êîëè÷åñòâî ýëåìåíòîâ
Êîëè÷åñòâî óçëîâ
972808
895302
Õàðàêòåðèñòèêè äèñêðåòíîé çàäà÷è
Ïîðÿäîê ÑËÀÓ
Ïëîòíîñòü ìàòðèöû æåñòêîñòè
Ïîëóøèðèíà ëåíòû ìàòðèöû
Ðàçìåð ôàéëà èñõîäíûõ äàííûõ
5371727
1%
3174975
76 GÂ
Õàðàêòåðèñòèêè ðàñ÷åòà
Êîìïüþòåð Êîëè÷åñòâî ÿäåð Âðåìÿ ðåøåíèÿ
Èíïàðêîì-256 256 4 ÷ 55 ìèí
Èíïàðêîì-256 192 5 ÷ 29 ìèí
Èíïàðêîì-128 128 6 ÷ 09 ìèí
Èíïàðêîì-64 64 9 ÷ 24 ìèí
ÏÊ ËÈÐÀ 9.2 1 Ïðèìåðíî 115 ÷
Ðèñ. 3
Ðèñ. 4 Ðèñ. 5
96 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2009, ¹ 6
ÇÀÊËÞ×ÅÍÈÅ
Íà íà÷àëî 2009 ã. â Óêðàèíå ðàáîòàëè 17 êëàñòåðíûõ êîìïëåêñîâ, ñðåäè êîòîðûõ
âìåñòå ñ ñåìåéñòâàìè ÑÊÈÒ è Èíïàðêîì ñëåäóåò íàçâàòü êëàñòåðû ÍÒÓÓ «Êèåâ-
ñêèé ïîëèòåõíè÷åñêèé èíñòèòóò», Èíñòèòóòà òåîðåòè÷åñêîé ôèçèêè ÍÀÍ Óêðàèíû,
Ãëàâíîé àñòðîíîìè÷åñêîé îáñåðâàòîðèè ÍÀÍ Óêðàèíû, Êèåâñêîãî íàöèîíàëüíîãî
óíèâåðñèòåòà èìåíè Òàðàñà Øåâ÷åíêî, Èíñòèòóòà ñöèíòèëÿöèîííûõ ìàòåðèàëîâ
ÍÀÍ Óêðàèíû (Õàðüêîâ). Ìîæíî êîíñòàòèðîâàòü, ÷òî ñâîåâðåìåííî íà÷àòîå íà-
ïðàâëåíèå êëàñòåðíûõ âû÷èñëåíèé ïðèîáðåëî â Óêðàèíå ìîùíîå ðàçâèòèå.
ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ
1. http://www.top500.org.
2. Ì î ë ÷ à í î â È . Í . Ìàøèííûå ìåòîäû ðåøåíèÿ çàäà÷ ïðèêëàäíîé ìàòåìàòèêè. Àëãåáðà, ïðèáëèæå-
íèå ôóíêöèé, îáûêíîâåííûå äèôôåðåíöèàëüíûå óðàâíåíèÿ. — Êèåâ: Íàóê. äóìêà, 2007. — 550 ñ.
3. Ó è ë ê è í ñ î í Ä æ . Àëãåáðàè÷åñêàÿ ïðîáëåìà ñîáñòâåííûõ çíà÷åíèé. — Ì.: Íàóêà, 1970. — 564 ñ.
4.  î å â î ä è í  .  . Îøèáêè îêðóãëåíèÿ è óñòîé÷èâîñòü ïðÿìûõ ìåòîäîâ ëèíåéíîé àëãåáðû. — Ì.:
Èçä-âî ÌÃÓ, 1969. — 143 ñ.
5. Ì î ë ÷ à í î â È . Í . Èíôîðìàöèîííî-âû÷èñëèòåëüíàÿ òåõíîëîãèÿ ðåøåíèÿ çàäà÷ // Êèáåðíåòèêà è
ñèñòåìíûé àíàëèç. — 1994. — ¹ 6. — Ñ. 65–72.
6. Ì î ë ÷ à í î â È . Í . , Õ è ì è ÷ À . Í . , × è ñ ò ÿ ê î â à Ò .  . Àëãîðèòìè÷åñêèå è âû÷èñëèòåëüíûå
âîçìîæíîñòè èíòåëëåêòóàëüíîãî ïðîãðàììíîãî ñðåäñòâà LINSYST // Òàì æå. — 1998. — ¹ 3. — Ñ. 40–50.
7. Ì î ë ÷ à í î â ² . Ì . , Ã å º ö ü Î . à . , à å ð à ñ è ì î â à Ò . Î . , ß ê î â ë å â Ì . Ô . ²íòåëåêòóàëüíà ñèñ-
òåìà äîñë³äæåííÿ òà ÷èñåëüíîãî ³íòåãðóâàííÿ çàäà÷³ Êîø³ äëÿ ñèñòåì çâè÷àéíèõ äèôåðåíöiàëüíèõ ð³âíÿíü //
Òåîð³ÿ îá÷èñëåíü: Çá³ðêà íàóê. ïðàöü ÍÀÍÓ. — Êè¿â: Ií-ò ê³áåðíåòèêè ÍÀÍÓ, 1999. — Ñ. 260–264.
8. ² í ò å ë å ê ò ó à ë ü í è é ³íòåðôåéñ äëÿ äîñë³äæåííÿ òà ðîçâ’ÿçóâàííÿ çàäà÷ îá÷èñëþâàëüíî¿
ìàòåìàòèêè ç íàáëèæåíî çàäàíèìè âõ³äíèìè äàíèìè íà MIMD-êîìï’þòåði / ².Ì. Ìîë÷àíîâ,
ª.Ô. Ãàëáà, Î.Â. Ïîïîâ, Î.Ì. Õ³ì³÷, Ò.Â. ×èñòÿêîâà, Ì.Ô. ßêîâëåâ // Ïðîáëåìè ïðîãðàìóâàííÿ.
— 2000. — ¹ 1/2. — Ñ. 102–112.
9. Ì î ë ÷ à í î â È . Í . , × è ñ ò ÿ ê î â à Ò .  . Èíòåëëåêòóàëüíîå ïðîãðàììíîå îáåñïå÷åíèå äëÿ èññëå-
äîâàíèÿ è ðåøåíèÿ ïðèêëàäíûõ çàäà÷ ñ ïðèáëèæåííî çàäàííûìè èñõîäíûìè äàííûìè // ÓÑèÌ. —
2003. — ¹ 3. — Ñ. 72–76.
10. È í ò å ë ë å ê ò ó à ë ü í à ÿ ñèñòåìà äëÿ èññëåäîâàíèÿ è ðåøåíèÿ ìàòðè÷íûõ çàäà÷ íà ñîáñòâåííûå
çíà÷åíèÿ / È.Í. Ìîë÷àíîâ, Ò.À. Ãåðàñèìîâà, Î.Â. Ïîïîâ è äð. // Ïðîáëåìû ïðîãðàììèðîâàíèÿ. —
2004. — ¹ 2–3. — Ñ. 570–576.
11. Ì î ë ÷ à í î â È . Í . Ìàøèííàÿ ìàòåìàòèêà — ïðîáëåìû è ïåðñïåêòèâû // Êèáåðíåòèêà è ñèñòåì-
íûé àíàëèç. — 2004. — ¹ 6. — Ñ. 65–72.
12. I n t e l l i g e n t e Umgebung zur Untersuchung und Loesung wissenschaftlich-tåchnischer Aufgaben auf
Parallelrechnern, 1996–1998 (Ôåäåðàë. Ìèíèñòåðñòâî îáðàç., íàóêè, èññëåäîâàíèé è òåõíîëîãèè
Ãåðìàíèè; ISPAR, 01 IR 601/8).
13. Intelligente Software zur Untersuchung und Loesung von Aufgaben zur Analyse der Festigkeit von
Konstruktionen,1999–2002 (Ôåäåðàë. Ìèíèñòåðñòâî îáðàç., íàóêè, èññëåäîâàíèé è òåõíîëîãèè
Ãåðìàíèè; ISKON, 01 IR 905/3).
14. M o l t s c h a n o w I . N . , H e u e r H . , S t u c h l i k F . Problems encountered with the development of
intelligent MIMD-computers. — Magdeburg, 1995. — (Prepr. / Fak. fur�� Informatik Otto von-Guericke
Univ.; N 8).
15. Ì î ë ÷ à í î â È . Í . Èíòåëëåêòóàëüíûå êîìïüþòåðû — ñðåäñòâî èññëåäîâàíèÿ è ðåøåíèÿ íàó÷íî-
òåõíè÷åñêèõ çàäà÷ // Êèáåðíåòèêà è ñèñòåìíûé àíàëèç. — 2004. — ¹ 1. — Ñ. 175–179.
16. × è ñ ë å í í î å ïðîãðàììíîå îáåñïå÷åíèå èíòåëëåêòóàëüíîãî MIMD-êîìïüþòåðà Èíïàðêîì /
À.Í. Õèìè÷, È.Í. Ìîë÷àíîâ, Â.È. Ìîâà, Î.Ë. Ïåðåâîç÷èêîâà è äð. — Êèåâ: Íàóê. äóìêà, 2007. —
222 ñ.
17. Õ è ì è ÷ À . Í . , Ï î ë ÿ í ê î  .  . , Ï î ï î â À .  . , Ð ó ä è ÷ Î .  . Ðåøåíèå çàäà÷ ðàñ÷åòà ïðî÷-
íîñòè êîíñòðóêöèé íà MIMD-êîìïüþòåðå // Èñêóññòâ. èíòåëëåêò. — 2006. — ¹ 4. — Ñ. 138–147.
18. Ì à ò å ì à ò è ÷ å ñ ê î å ìîäåëèðîâàíèå íà MIMD-êîìïüþòåðàõ ôèçè÷åñêèõ ïðîöåññîâ ïðè ñâàðêå /
Â.È. Ìàõíåíêî, À.Â. Ïîïîâ, À.Ï. Ñåìåíîâ, À.Í. Õèìè÷, Ì.Ô. ßêîâëåâ // ÓÑèÌ. — 2007. — ¹ 6. —
Ñ. 80–87.
19. Ë È Ð À 9 . 2 . Ðóêîâîäñòâî ïîëüçîâàòåëÿ. Îñíîâû: Ó÷åá. ïîñîáèå / Å.Á. Ñòðåëåö-Ñòðåëåöêèé,
Þ.Â. Ãåíçåðñêèé, Ä.Â. Ìàð÷åíêî è äð.; Ïîä ðåä. À.Ñ. Ãîðîäåöêîãî. — Êèåâ: ÔÀÊÒ, 2005. — 146 ñ.
Ïîñòóïèëà 08.07.2009
|