Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень

Розроблено теоретичні основи рекурентно-паралельних обчислень у комбінаторному алгоритмі МГУА на основі генератора послідовно ускладнюваних структур моделей. Ефективність розробленого алгоритму досліджено за допомогою обчислювальних експериментів на персональному комп’ютері та кластерному багатопроц...

Full description

Saved in:
Bibliographic Details
Published in:Індуктивне моделювання складних систем
Date:2014
Main Author: Єфіменко, С.М.
Format: Article
Language:Ukrainian
Published: Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України 2014
Online Access:https://nasplib.isofts.kiev.ua/handle/123456789/83996
Tags: Add Tag
No Tags, Be the first to tag this record!
Journal Title:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень / С.М. Єфіменко // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2014. — Вип. 6. — С. 81-89. — Бібліогр.: 7 назв. — укр.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
_version_ 1859671320685445120
author Єфіменко, С.М.
author_facet Єфіменко, С.М.
citation_txt Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень / С.М. Єфіменко // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2014. — Вип. 6. — С. 81-89. — Бібліогр.: 7 назв. — укр.
collection DSpace DC
container_title Індуктивне моделювання складних систем
description Розроблено теоретичні основи рекурентно-паралельних обчислень у комбінаторному алгоритмі МГУА на основі генератора послідовно ускладнюваних структур моделей. Ефективність розробленого алгоритму досліджено за допомогою обчислювальних експериментів на персональному комп’ютері та кластерному багатопроцесорному комплексі. Theoretical grounds of recurrent parallel computing in combinatorial GMDH algorithm with sequentially complicated structures are developed. The effectiveness of constructed algorithm is experimentally investigated using personal computer and multiprocessor cluster system. Разработаны теоретические основы рекуррентно-параллельных вычислений в комбинаторном алгоритме МГУА на основе генератора последовательно усложняемых структур моделей. Эффективность разработанного алгоритма исследована с помощью вычислительных экспериментов на персональном компьютере и кластерном многопроцессорном комплексе.
first_indexed 2025-11-30T14:03:17Z
format Article
fulltext С.М.Єфіменко Індуктивне моделювання складних систем, випуск , 2014 81 УДК 519.163 + 681.5.015 КОМБІНАТОРНИЙ АЛГОРИТМ МГУА З ПОСЛІДОВНИМ УСКЛАДНЕННЯМ СТРУКТУР МОДЕЛЕЙ НА ОСНОВІ РЕКУРЕНТНО- ПАРАЛЕЛЬНИХ ОБЧИСЛЕНЬ С.М.Єфіменко Міжнародний науково-навчальний центр інформаційних технологій та систем (МННЦ ІТС) НАН та МОН України, syefim@ukr.net Розроблено теоретичні основи рекурентно-паралельних обчислень у комбінаторному алгоритмі МГУА на основі генератора послідовно ускладнюваних структур моделей. Ефективність розробленого алгоритму досліджено за допомогою обчислювальних експериментів на персональному комп’ютері та кластерному багатопроцесорному комплексі. Ключові слова: структурно-параметрична ідентифікація, МГУА, комбінаторний алгоритм, рекурентно-паралельні обчислення, кластерна система. Theoretical grounds of recurrent parallel computing in combinatorial GMDH algorithm with sequentially complicated structures are developed. The effectiveness of constructed algorithm is experimentally investigated using personal computer and multiprocessor cluster system. Keywords: structural parametric identification, GMDH, combinatorial algorithm, recurrent parallel computing, cluster system. Разработаны теоретические основы рекуррентно-параллельных вычислений в комбинаторном алгоритме МГУА на основе генератора последовательно усложняемых структур моделей. Эффективность разработанного алгоритма исследована с помощью вычислительных экспериментов на персональном компьютере и кластерном многопроцессорном комплексе. Ключевые слова: структурно-параметрическая идентификация, МГУА, комбинаторный алгоритм, рекуррентно-параллельные вычисления, кластерная система. 1. Задача структурно-параметричної ідентифікації Розглядаємо задачу структурно-параметричної ідентифікації у такому вигляді. Необхідно сформувати за вибіркою експериментальних даних деяку множину моделей-кандидатів ℑ та знайти оптимальну з них за заданим критерієм селекції CR: )).ˆ,(,(minarg* f f XfyCRf θ ℑ∈ = (1) Оцінки параметрів fθ̂ для кожної моделі ℑ∈f в (1) є розв’язком задачі виду ),,,(minargˆ ff f f sXyQ θθ ℑ∈ = , (2) де CRQ ≠ – критерій якості розв’язання задачі параметричної ідентифікації кожної згенерованої моделі, а sf – складність моделі f (кількість її ненульових параметрів). Комбінаторний алгоритм МГУА з послідовним ускладненням Індуктивне моделювання складних систем, випуск , 2014 82 2. Комбінаторний алгоритм зі стандартним двійковим генератором на основі рекурентно-паралельних обчислень Використання комбінаторного алгоритму COMBI МГУА [1] передбачає повний перебір всіх можливих моделей та вибір найкращої за значенням критерію. В процесі перебору порівнюються моделі лінійного об’єкта з m входами 12...,,1, −== m vvv vXy θ )) (3) де десятковому числу ν ставиться у відповідність двійкове число dν . Зважаючи на експоненційну складність алгоритму, при його використанні доцільно оптимально поєднувати рекурентні обчислення [2] з їх розпаралелюванням на кластерних комплексах [3]. В [4] описується розроблена схема розпаралелювання комбінаторного алгоритму зі стандартним двійковим генератором та рекурентним обчисленням параметрів моделей за допомогою модифікованого алгоритму Гаусса розв’язування систем лінійних рівнянь. У цій схемі зміну станів двійкового структурного вектора midd i ,1},{ == з елементами 0 або 1 (включення або не включення в модель відповідного аргументу) організовано за принципом двійкового лічильника. Зокрема, для випадку трьох аргументів послідовність можливих комбінацій має такий вигляд (поряд у дужках – відповідний двійковий структурний вектор): y1 = a1x1 { }0,0,1 y2 = a2x2 { }0,1,0 y3 = a1x1 + a2x2 { }0,1,1 y4 = a3x3 { }1,0,0 y5 = a1x1+ a3x3 { }1,0,1 y6 = a2x2 + a3x3 { }1,1,0 y7 = a1x1 + a2x2 + a3x3 { }1,1,1 В таблиці 1 наведено орієнтовний час моделювання за допомогою розробленого алгоритму. Вже при кількості аргументів, рівній 50, повний перебір за прийнятний час моделювання стає неможливим навіть при використанні кластерної системи зі ста процесорами. Якимось чином виконати ефективне скорочення повного перебору для такої схеми не передбачається можливим через особливості стандартного двійкового генератора (складність структурних векторів змінюється не послідовно). Для цього випадку розроблено таку схему розпаралелювання алгоритму COMBI. С.М.Єфіменко Індуктивне моделювання складних систем, випуск , 2014 83 Таблиця 1. Оцінка часу повного перебору Час моделювання Кількість аргументів Кількість моделей 1 процесор 100 процесорів 20 1 048 575 1 сек 0,01 сек 21 2 097 151 2 сек 0,02 сек … … … … 40 1,1E+12 ~ 12 днів ~ 3 год … … … … 50 1,1E+15 ~ 34 роки ~ 124 дні 3. Комбінаторний алгоритм з послідовним ускладненням структур моделей та схема його розпаралелювання Ця схема використовує таку послідовність генерації двійкових чисел, при якій спочатку утворюються всі сполучення з однією одиницею у складі структурного вектора (усього генерується mCm =1 можливих варіантів), потім – з двома одиницями ( 2 )1(2 − = mmCm можливих варіантів), і т.д. до одного варіанту ( 1=m mC ) включення в модель усіх аргументів. Послідовність усіх варіантів та структурних векторів для випадку трьох аргументів виглядає так: y1 = a1x1 { }0,0,1 y2 = a2x2 { }0,1,0 y3 = a3x3 { }1,0,0 y4 = a1x1 + a2x2 { }0,1,1 y5 = a1x1+ a3x3 { }1,0,1 y6 = a2x2 + a3x3 { }1,1,0 y7 = a1x1 + a2x2 + a3x3 { }1,1,1 Таку схему можна досить легко застосувати для розпаралелювання комбінаторного алгоритму на задану кількість процесорів. Ідея рівномірного розбиття загальної кількості моделей на всі процесори кластерної системи за умови, що однакова загальна кількість аргументів припадатиме на кожен процесор, полягає у наступному. Кількість моделей !)!( ! iim mC i m ×− = складності mii ,1, = , рівномірно розподіляється між усіма процесорами p, тобто на кожен Комбінаторний алгоритм МГУА з послідовним ускладненням Індуктивне моделювання складних систем, випуск , 2014 84 процесор припадає !)!( ! iimp m ×−× моделей. Таким чином, необхідно для кожної множини двійкових структурних векторів, що відповідають моделям складності mii ,1, = , визначити початкову точку (структурний вектор, з якого починає будувати моделі) для кожного процесора pjmij iimp m ,1,,1),1( !)!( ! ==− ×−× . (4) Алгоритм визначення початкового стану двійкового структурного вектора за його позицією при послідовному ускладненні для кожного процесора описано в [5]. Нехай маємо m аргументів та k процесорів кластерної системи. Запишемо послідовність кроків для моделей складності mii ,1, = : 1. Визначення кількості сполучень – 1−i mC . 2. Визначення початкового стану двійкового вектора d для кожного процесора kjj ,1, = у вигляді десяткового числа – 1)1( 1 +− ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ − j k C i m . 3. Перехід від визначеного на попередньому кроці десяткового числа до відповідного двійкового числа (за схемою із послідовним ускладненням) для кожного процесора: позиція= 1)1( 1 +− ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ − j k C i m ; u=i-1, b=m-1, u bCC = ; Цикл по mll ,1, = якщо позиція<=C, то d[l]=1, u= u -1, b= b -1, u bCC = ; інакше d[i]=0, позиція=позиція-С, u= u-1, u bCC = . Головною перевагою розробленої альтернативної схеми розпаралелювання алгоритму COMBI є те, що вона дозволяє частково розв’язувати задачу повного перебору у випадку, коли кількість аргументів для перебору перевищує можливості алгоритму зі стандартним двійковим генератором, і повний перебір за прийнятний час моделювання стає неможливим навіть із розпаралелюванням (орієнтовно більше п’ятдесяти аргументів). У такому випадку повний перебір доцільно виконувати не серед усіх можливих моделей, а лише моделей обмеженої складності. С.М.Єфіменко Індуктивне моделювання складних систем, випуск , 2014 85 Виконаємо оцінку часу моделювання з використанням алгоритму COMBI з послідовним ускладненням структур моделей на основі рекурентно- паралельних обчислень. Для спрощення обчислень (як і раніше) виходитимемо з того, що 220-1=1048575 моделей відповідна програма будуватиме за одну секунду. Визначимося також із прийнятним часом моделювання – нехай він становитиме не більше, ніж десять годин при розпаралелюванні на сто процесорів. За таких обмежень можна перебрати всі моделі складності не більше, ніж 15, для загальної кількості аргументів 50 (тобто побудувати всі моделі, двійкові 50-елементні структурні вектори яких містять від 1 до 15 одиниць). Для 100 аргументів для перебору можна дійти до складності 9, для 150 та 200 аргументів – до складності 7. Час моделювання при цьому можна знайти в таблиці 2. Таблиця 2. Оцінка часу перебору з послідовним ускладненням структур Час моделювання, години Кількість аргументів, m Обмеження складності, l Кількість моделей, ∑ = l i i mC 1 1 процесор 100 процесорів 50 15 3,7E+12 984 ~ 10 100 9 2,1E+12 558 ~ 6 150 7 3,1E+11 81,8 ~ 1 200 7 2,4E+12 628 ~ 6 4. Результати експериментів 4.1 Експерименти на персональному компютері Експеримент 1. Для експериментального визначення ефективності розпаралелювання комбінаторного алгоритму з послідовним ускладненням структур було виконано тестовий експеримент по розв’язанню задачі структурно- параметричної ідентифікації з повним перебором серед 25 аргументів. Обчислення було розподілено на п’ять потоків і послідовно виконано на персональному комп’ютері з процесором Intel Pentium M з частотою 1.73 ГГц. Таким чином отримуємо результат, наближений до теоретичного через виключення втрат, пов’язаних із міжпроцесорною взаємодією. Під час експерименту генерувалася матриця плану Х розміром 45×25 (45 точок для 25 аргументів) для системи умовних рівнянь yX =θ . Вектор у формувався у вигляді лінійної комбінації п’яти послідовних аргументів: 1514131211 xxxxxy ++++= . Краща модель відбиралася за критерієм регулярності [1]. Вимірювався час виконання кожного з п’яти потоків та час роботи програми без розпаралелювання. Результат експерименту у вигляді діаграми часу виконання представлено на рисунку 1. Комбінаторний алгоритм МГУА з послідовним ускладненням Індуктивне моделювання складних систем, випуск , 2014 86 112 20,8 21,9 22,2 22,6 23,5 0 20 40 60 80 100 120 Без розп. 1-й 2-й 3-й 4-й 5-й Рис. 1. Час виконання в секундах комбінаторного алгоритму з послідовним ускладненням структур Результати експерименту можна використати для обчислення ефективності розпаралелювання %100 5 max5 1 × × = T T E (5) та рівномірності навантаження на обчислювачі %100)1( max5 min5max5 × − −= T TT P , (6) де T1 – час виконання алгоритму з одним потоком (тобто без розпаралелювання), T5max – час виконання алгоритму з розпаралелюванням на 5 потоків (визначається як максимальний серед п’яти потоків час виконання програми), T5min – мінімальний серед п’яти потоків час виконання програми. Суть формули (5) полягає в тому, що, якщо при використанні розпаралелювання на k потоків (у даному випадку п’яти) час моделювання зменшується у k разів, то ефективність розпаралелювання становить 100%. Відповідно до (6), для забезпечення стовідсоткової рівномірності навантаження всі обчислювачі (ядра, процесори, процеси) мають виконувати моделювання за один і той же час. Ця тестова задача була розв’язана також в [6] за допомогою комбінаторного алгоритму на основі рекурентно-паралельних обчислень зі стандартним двійковим генератором. В таблиці 3 порівнюються результати роботи двох алгоритмів. С.М.Єфіменко Індуктивне моделювання складних систем, випуск , 2014 87 Таблиця 3. Експериментальні результати Алгоритм COMBI зі стандартним двійковим генератором з послідовним ускладненням структур Ефективність розпаралелювання, % 99,7 95,3 Рівномірність навантаження, % 99,2 88,5 Повний перебір для 25 аргументів на 1 процесорі, сек. 48,4 112 Двократна перевага алгоритму COMBI зі стандартним двійковим генератором пояснюється тим, що параметри всіх моделей оцінюються рекурентно, в той час, як для схеми з послідовним ускладненням структур – лише половини (що пов’язано з конструктивними особливостями відповідних генераторів структур). До того ж серед усієї послідовності структур генератора з послідовним ускладненням спочатку формується більше моделей, у яких параметри оцінюються рекурентно, а до кінця послідовності таких моделей стає все менше. З цим пов’язана і гірша рівномірність навантаження. 4.1 Експерименти на суперкомп'ютері Інституту кібернетики Експеримент 2. Експеримент 1 було виконано також на обчислювальному комплексі СКІТ ІК НАН України [7] на базі багатоядерних центральних процесорів Intel Xeon E5-2600 з частотою 2.6 ГГц. Отримано такі результати (табл. 4, рис. 2): Таблиця 4. Експериментальні результати Ефективність розпаралелювання, % 94,2 Рівномірність навантаження, % 88,4 Як бачимо, показники ефективності у реальному експерименті близькі до „теоретичних” (табл. 3), вищою є швидкодія програми за рахунок більш потужних процесорів. Комбінаторний алгоритм МГУА з послідовним ускладненням Індуктивне моделювання складних систем, випуск , 2014 88 46,3 8,7 9,2 9,3 9,4 9,8 0 10 20 30 40 50 Без розп. 1-й 2-й 3-й 4-й 5-й Рис. 2. Час виконання в секундах комбінаторного алгоритму з послідовним ускладненням структур Експеримент 3. Тестову задачу було сформовано таким чином: згенеровано матрицю плану Х розміром 70×50 (70 точок для 50 аргументів) для системи умовних рівнянь yX =θ . Вектор у формувався у вигляді лінійної комбінації п’яти аргументів: 5040302010 xxxxxy ++++= . (7) Час повного перебору комбінаторним алгоритмом зі стандартним двійковим генератором на основі рекурентних обчислень для 50 аргументів триватиме близько 34 років (див. табл. 1). Однак цю задачу можна розв’язати за допомогою алгоритму з послідовним ускладненням структур, обмежившись моделями складності 7 (тобто розглянувши всі моделі, що містять не більше, ніж 7 аргументів). Для структурно-параметричної ідентифікації було використано 6 вузлів, що мали 24 ядра, обчислювального кластера СКІТ – 4. Модель (7) такою обчислювальною системою було отримано менше ніж за 2 секунди. Висновки Розроблено принцип розпаралелювання операцій у комбінаторному алгоритмі COMBI МГУА з послідовним ускладненням структур моделей. Кожен процесор автономно обчислює початковий двійковий структурний вектор та кількість моделей, які він будуватиме, а також гарантується неповторюваність структур в різних процесорах. Це значно підвищує ефективність розпаралелювання, оскільки немає втрат часу на міжпроцесорну взаємодію. С.М.Єфіменко Індуктивне моделювання складних систем, випуск , 2014 89 Головною перевагою розробленої альтернативної схеми розпаралелювання алгоритму COMBI є те, що вона дозволяє частково розв’язувати задачу повного перебору у випадку, коли кількість аргументів для перебору перевищує можливості алгоритму зі стандартним двійковим генератором, і повний перебір доцільно виконувати не серед усіх можливих моделей, а лише моделей обмеженої складності. Оптимальне поєднання двох розглянутих схем дозволяє створити ефективну інтелектуальну технологію індуктивного моделювання на основі рекурентно-паралельних обчислень. Виконано дослідження алгоритму COMBI з послідовно ускладнюваними структурами за допомогою обчислювальних експериментів на персональному комп’ютері та кластерному багатопроцесорному комплексі. Розроблена схема дозволила істотно підвищити ефективність комбінаторного алгоритму МГУА за рахунок виконання рекурентно-паралельних обчислень. Література 1. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. – Киев: Наукова думка, 1985. – 216 с.. 2. Stepashko V. S. , and Efimenko S. N. . Sequential Estimation of the Parameters of Regression Model // Cybernetics and Systems Analysis, Springer New York, July, 2005, Vol. 41, Num. 4, pp.631-634. 3. Stepashko V.S., Yefimenko S.M. Optimal paralleling for solving combinatorial modelling problems // Proceedings of the 2nd International Conference on Inductive Modelling ICIM 2008. – Kyiv, 2008. – P. 172-175. 4. Єфіменко С.М., Степашко В.С. Рекурентно-паралельні обчислення в комбінаторному алгоритмі МГУА для задач індуктивного моделювання // Матеріали 21-ї Міжнародної конференції з автоматичного управління „Автоматика-2014”, Київ, 23-27 вересня 2014 р. – К.: Вид-во НТУУ „КПІ” ВПІ ВПК „Політехніка”, 2014. – С. 200-201. 5. Єфіменко С.М., Степашко В.С. Застосування паралельних обчислень при моделюванні з використанням комбінаторного алгоритму МГУА // Праці міжнародної наукової конференції «Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту (ISDMCI’2008)». – Євпаторія, 2008. – Том 3 (частина 1). – С. 121-124.. 6. Єфіменко C.М., Степашко В.С. Організація рекурентно-паралельних обчислень в комбінаторному алгоритмі МГУА для задач індуктивної побудови моделей // Праці 12-ї Всеукраїнської Міжнар. конф. «Оброблення сигналів і зображень та розпізнавання образів» (УкрОБРАЗ’2014), Київ, 3-7 листопада 2014 р. – Київ, УАсОІРО, 2014. – 168 с. / С. 43-46 / ISBN 978- 966-479-069-4. 7. http://icybcluster.org.ua.
id nasplib_isofts_kiev_ua-123456789-83996
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn XXXX-0044
language Ukrainian
last_indexed 2025-11-30T14:03:17Z
publishDate 2014
publisher Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
record_format dspace
spelling Єфіменко, С.М.
2015-07-02T07:04:37Z
2015-07-02T07:04:37Z
2014
Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень / С.М. Єфіменко // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2014. — Вип. 6. — С. 81-89. — Бібліогр.: 7 назв. — укр.
XXXX-0044
https://nasplib.isofts.kiev.ua/handle/123456789/83996
519.163 + 681.5.015
Розроблено теоретичні основи рекурентно-паралельних обчислень у комбінаторному алгоритмі МГУА на основі генератора послідовно ускладнюваних структур моделей. Ефективність розробленого алгоритму досліджено за допомогою обчислювальних експериментів на персональному комп’ютері та кластерному багатопроцесорному комплексі.
Theoretical grounds of recurrent parallel computing in combinatorial GMDH algorithm with sequentially complicated structures are developed. The effectiveness of constructed algorithm is experimentally investigated using personal computer and multiprocessor cluster system.
Разработаны теоретические основы рекуррентно-параллельных вычислений в комбинаторном алгоритме МГУА на основе генератора последовательно усложняемых структур моделей. Эффективность разработанного алгоритма исследована с помощью вычислительных экспериментов на персональном компьютере и кластерном многопроцессорном комплексе.
uk
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
Індуктивне моделювання складних систем
Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень
Article
published earlier
spellingShingle Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень
Єфіменко, С.М.
title Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень
title_full Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень
title_fullStr Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень
title_full_unstemmed Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень
title_short Комбінаторний алгоритм МГУА з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень
title_sort комбінаторний алгоритм мгуа з послідовним ускладненням структур моделей на основі рекурентно-паралельних обчислень
url https://nasplib.isofts.kiev.ua/handle/123456789/83996
work_keys_str_mv AT êfímenkosm kombínatorniialgoritmmguazposlídovnimuskladnennâmstrukturmodeleinaosnovírekurentnoparalelʹnihobčislenʹ