Порівняльний аналіз типових структурних елементів методів побудови моделей
В роботі виконано порівняльний аналіз поширених методів побудови моделей за даними спостережень. Виділено чотири спільні для кожного методу моделювання компоненти, що дає можливість порівнювати функціональні особливості цих методів. В работе выполнен сравнительный анализ распространенных методов пос...
Збережено в:
| Опубліковано в: : | Індуктивне моделювання складних систем |
|---|---|
| Дата: | 2011 |
| Автор: | |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2011
|
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/45931 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Порівняльний аналіз типових структурних елементів методів побудови моделей / С.М. Єфіменко // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2011. — Вип. 3. — С. 61-68. — Бібліогр.: 19 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859520519991197696 |
|---|---|
| author | Єфіменко, С.М. |
| author_facet | Єфіменко, С.М. |
| citation_txt | Порівняльний аналіз типових структурних елементів методів побудови моделей / С.М. Єфіменко // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2011. — Вип. 3. — С. 61-68. — Бібліогр.: 19 назв. — укр. |
| collection | DSpace DC |
| container_title | Індуктивне моделювання складних систем |
| description | В роботі виконано порівняльний аналіз поширених методів побудови моделей за даними спостережень. Виділено чотири спільні для кожного методу моделювання компоненти, що дає можливість порівнювати функціональні особливості цих методів.
В работе выполнен сравнительный анализ распространенных методов построения моделей по данным наблюдений. Выделены четыре общие для каждого метода моделирования компоненты, что дает возможность сравнивать функциональные особенности этих методов.
The comparative analysis of the widespread modeling methods from data observed is executed in the paper. Four common components for every modeling method are extracted that enables to compare the functional features of these methods.
|
| first_indexed | 2025-11-25T21:00:23Z |
| format | Article |
| fulltext |
Порівняльний аналіз типових структурних елементів
УДК 681.513
ПОРІВНЯЛЬНИЙ АНАЛІЗ ТИПОВИХ СТРУКТУРНИХ ЕЛЕМЕНТІВ
МЕТОДІВ ПОБУДОВИ МОДЕЛЕЙ
С.М.Єфіменко
Міжнародний науково-навчальний центр інформаційних технологій
та систем (МННЦ ІТС) НАН та МОН України,
syefim@ukr.net
В роботі виконано порівняльний аналіз поширених методів побудови моделей за даними
спостережень. Виділено чотири спільні для кожного методу моделювання компоненти, що
дає можливість порівнювати функціональні особливості цих методів.
Ключові слова: структурно-параметрична ідентифікація, регресійний аналіз, індуктивне
моделювання, МГУА.
The comparative analysis of the widespread modeling methods from data observed is executed in
the paper. Four common components for every modeling method are extracted that enables to
compare the functional features of these methods.
Keywords: structural and parametric identification, regression analysis, inductive modeling,
GMDH.
В работе выполнен сравнительный анализ распространенных методов построения моделей
по данным наблюдений. Выделены четыре общие для каждого метода моделирования
компоненты, что дает возможность сравнивать функциональные особенности этих
методов.
Ключевые слова: структурно-параметрическая идентификация, регрессионный анализ,
индуктивное моделирование.
Важливим етапом розробки систем управління є ідентифікація об'єкта
управління, природного або технологічного процесу. Ця задача передбачає
побудову моделі за наслідками експериментальних спостережень за їх
функціонуванням.
Підходи до вибору кращої структури моделі. Серед існуючих методів
ідентифікації та регресійного аналізу можна умовно виділити три групи
методів, кожна з яких характеризує один з трьох основних підходів до вибору
кращої структури, які в [1] названі так: класичний, сучасний і нетрадиційний.
Класичний підхід ґрунтується на апараті перевірки статистичних гіпотез і
представлений в роботах С.А.Айвазяна [2], М.Г.Загоруйка [3], В.Камінскаса [4],
Л.Льюнга [5], Н.С.Райбмана [6], Я.З.Ципкіна [7], П.Ейкхофа [8] та інших.
Сучасний підхід передбачає дотримання принципу компромісу між
точністю і складністю (числом оцінюваних параметрів) моделі; найбільш
відомими тут є напрями, розроблені Х.Акаіке [9] (мінімізація ентропії моделі),
В.Н.Вапніком [10] (гарантоване оцінювання величини середнього ризику) і
К.Л.Маллоузом [11] (незміщене оцінювання теоретичної помилки моделі),
істотні результати містяться в роботах Т.Амемія [12], П.Янга [13] та інших.
Нетрадиційний підхід „перехресного обґрунтування” заснований на
розділенні вибірки даних для отримання додаткової інформації; найбільший
внесок належить тут О.Г.Івахненку [14] (метод групового урахування
Індуктивне моделювання складних систем, випуск 3, 2011 61
mailto:syefim@ukr.net
С.М. Єфіменко
аргументів (МГУА)) і Дж.Тьюки [15] (метод "джекнайф"). Останнім часом
інтерес до методів, які використовують розділення вибірки, особливо до
МГУА, значно зріс, передусім через їх ефективність при розв'язанні широкого
спектру задач ідентифікації, прогнозування, розпізнавання.
Аналіз методів структурно-параметричної ідентифікації
Проаналізуємо деякі найчастіше використовувані методи структурно-
параметричної ідентифікації з метою пошуку їхніх спільних етапів.
Айвазян виділяє таку послідовність дій при моделюванні за даними
спостережень [2]:
– генерація підмножини змінних;
– обчислення критерію якості рівняння регресії для цієї підмножини;
– перевірка умови закінчення моделювання.
Відновлення невідомої залежності вихідної змінної від вхідних
розпочинається з вибору класу функцій, в якому буде виконуватися пошук
найкращої апроксимації. Цей етап автор вважає ключовим та рекомендує
максимально використовувати апріорну інформацію про залежність, що
аналізується. У якості допустимих він розглядає:
– лінійні функції
∑
=
+=Θ
p
k
k
k xXf
1
)(
0);( θθ ,
де X – матриця незалежних змінних, Θ — вектор параметрів розмірності
1)1( ×+p ;
– степеневі
ppxxxXf θθθθ )...()()();( )()2()1(
0 21=Θ ;
– поліноміальні
)(
1 1 1
)()(
1
)()(
1
)(
0
1 1
21
21
2
21
21
............
);(
m
m
kp
k
p
k
p
k
kk
mkk
p
k
kk
kk
p
k
k
k
xxxkxx
xXf
∑ ∑ ∑∑
∑
= = ==
=
+++
++=Θ
θθ
θθ
та інші. Останній вираз часто називають поліномом Колмогорова-Габора.
Наступним кроком є пошук невідомого значення параметра, що буде
найкращим у розумінні заданого критерію адекватності. Тут відзначається, що
на практиці найчастіше використовуються такі методи оцінювання:
– метод найменших квадратів;
– метод найменших модулів;
– байєсівське оцінювання;
– робастні методи.
Індуктивне моделювання складних систем, випуск 3, 2011 62
Порівняльний аналіз типових структурних елементів
При відборі кращих моделей Айвазян вказує на необхідність досягнення
компромісу між складністю регресійної моделі та її точністю, та використовує
для мінімізації критерію адекватності ємнісні характеристики класу базисних
функцій.
Також для відбору кращих моделей автор пропонує використовувати
статистичні властивості оцінок складності моделей.
Льюнг виділяє три основні складові методів моделювання за даними
спостережень [5]:
Планування
експериментів
Поточні
дані
Вибрати
множину
моделей
Підтвердити
модель
Вибрати
критерій
якості
Виконати розрахунок
моделі
Апріорне
знання
„Так”: використати
модель
„Ні”: перебудувати
модель
Рисунок 1. Етапи моделювання за Льюнгом
Індуктивне моделювання складних систем, випуск 3, 2011 63
С.М. Єфіменко
– дані. У випадку, коли користувач має можливість виділяти набір
вхідних і вихідних змінних та спосіб їх отримання, він повинен вибирати лише
найбільш інформативні дані;
– множина моделей. Льюнг вважає вибір множини (або класу) моделей,
серед яких користувач буде виконувати пошук найкращої, найскладнішим та
найважливішим етапом процесу моделювання. На цьому етапі формуються
структури моделей (тобто моделі з невизначеними параметрами);
– визначення за даними спостережень найкращої моделі. Цей етап і
становить власне процес ідентифікації.
Після отримання найкращої моделі виконується перевірка, чи задовільно
модель описує поведінку системи.
Відповідно автор виділяє такі етапи ідентифікації:
1. Вибір даних.
2. Вибір множини моделей.
3. Вибір найкращої з цієї множини моделей.
На рисунку 1 представлено послідовність розв’язання задачі
моделювання відповідно до описаних етапів.
Суть методу Вапніка мінімізації емпіричного ризику [10]
полягає у тому, щоб за заданою навчальною вибіркою
{ ),(...,),,(),,( 2211 mm
m yxyxyxX = }, побудувати функціональну залежність
),( θxF , яка мінімізує функціонал емпіричного ризику
∑ −=
=
n
i
iie xFy
n
I
1
2)),((1)( θθ ,
де n – кількість точок.
При побудові регресійних моделей автор використовує передусім клас
лінійних функцій
∑ +=
=
m
i
ii xxf
1
0),( θθθ ,
де m – кількість регресорів.
Для генерації моделей використовуються структури
mSSS ⊂⊂⊂ ...21 .
Кожен елемент miSi ,1, = є лінійною комбінацією аргументів множини
mxxx ...,,, 21 , структура якої задається апріорно.
Автор визначає такі етапи структурної мінімізації ризику для класу
лінійних функцій:
1. Визначити аргументи, які входять до елементів S .
2. Для кожного елемента структури S знайти функцію, що мінімізує
емпіричний ризик.
3. Визначити такий елемент структури S , для якого величина сумарного
ризику
Індуктивне моделювання складних систем, випуск 3, 2011 64
Порівняльний аналіз типових структурних елементів
∑ −=
=
∑
k
i
ii xfy
k
I
1
2)),((1)( θθ (1)
мінімальна. В (1) використовується окрема частина (автор називає її робочою)
вибірки з k векторів kxxx ...,,, 21 .
Пошук найкращого рівняння регресії [16]. В методі виключення
розгляд починається з моделі максимальної складності, коли будується
залежність вихідної величини від усіх можливих вхідних. Наступним кроком
обчислюється значення частинного F-критерію для кожної змінної:
)1(
1 2
......
2
......
2
......
_
1
112121 −−
−
−
= +− mn
R
RR
F
mi
miimi
i
xxyx
xxxxyxxxxyx
xчаст , (2)
де
2
2
2
...... )(
)ˆ(
1
1 ∑ −
∑ −
−=
i
i
i
ii
xxyx yy
yy
R
mi
– коефіцієнт множинної детермінації, ŷ – вихід моделі, y – середнє значення
вектора y. Якщо найменше значення критерію менше за обране попередньо
деяке критичне значення, то відповідна змінна виключається з моделі. Модель
перераховується і знову обчислюються значення частинного F-критерію з
порівнянням з критичним значенням і т.д. Процедура моделювання
закінчується тоді, коли отримане найменше значення критерію буде більшим за
критичне.
Суть методу включення полягає у тому, що найкраща модель шукається
шляхом послідовного додавання аргументів, як з множини початкових
mixi ,1, = , так і деяких функцій від них ...,2,1),( =jxf ij . При додаванні
аргументів у модель також використовується значення критерію (2).
За допомогою методу можлива побудова як лінійних, так і нелінійних за
аргументами (але в будь-якому разі лінійних за параметрами) моделей
∑=
i
ii xfy )(θ .
Метод включення-виключення є поєднанням двох описаних методів та
після етапу включення містить перевірку аргументів на значущість з
виключенням незначущих аргументів. Цей метод також називається методом
покрокової регресії.
Метод еволюційної ідентифікації [17]. Суть цього методу, що є
модифікацією алгоритму включення полягає у використанні генератора
випадкових чисел для вибору аргумента, який додається в модель. Перед
початком роботи алгоритму задаються ваги jw як для кожного аргумента jx ,
Індуктивне моделювання складних систем, випуск 3, 2011 65
С.М. Єфіменко
так і для заданих функціональних перетворень (використовуються різні класи
базисних функцій )( jxf ). Аргументи та функції вибираються за допомогою
генератора випадкових чисел з імовірністю ∑
=
m
j
jj ww
1
/ . Потім у залежності від
значущості випадково вибраних аргумента та функціонального перетворення ці
ваги коригуються. Процес включення-виключення аргументів також триває до
моменту, коли критерій якості перестає зменшуватись.
Комбінаторний алгоритм МГУА. З часу виходу в 1968 році першої
статті, що започаткувала метод групового урахування аргументів (МГУА) [18],
розроблено значну кількість різноманітних алгоритмів.
Серед них є такі, що орієнтовані на різні класи задач моделювання –
поліноміальні алгоритми для статичних об’єктів, гармонічні та авторегресійні
для часових рядів (коливальних процесів), алгоритми побудови різницевих
рівнянь для динамічних об’єктів і процесів.
Існують три основних класи алгоритмів МГУА, що відрізняються
способом організації перебору структур [19]:
– комбінаторні (однорядні);
– комбінаторно-селекційні (багатоетапні);
– селекційні (багаторядні).
Далі описується комбінаторний алгоритм МГУА.
Алгоритм містить такі основні блоки: перетворення даних згідно з
вибраним класом структур моделей, лінійних за параметрами; формування
моделей різної складності та оцінювання параметрів за МНК; обчислення
значень зовнішніх критеріїв якості та відбір кращих моделей; оцінка якості
отриманих моделей на екзаменаційній частині вибірки.
Розглянемо принципи організації обчислень в комбінаторному генераторі
моделей, де концентруються основні обчислювальні витрати.
Основними операціями в блоці генерації моделей є: формування
структури моделі (системи умовних рівнянь) та розв’язання відповідної
нормальної системи рівнянь.
У випадку лінійного об’єкту з m входами в процесі повного перебору
порівнюються моделі виду ,12,...,1,ˆˆ −== m
vvv vXy θ , де десятковому числу ν
ставиться у відповідність двійкове число dν – його ще називають двійковим
структурним вектором dν = (d1...dm)T , одиничні елементи якого вказують на
включення в модель регресорів з відповідними номерами.
Зміну станів вектора d можна організувати різними способами: усіма
можливими варіантами розміщення у векторі однієї, двох, і т.д. до m одиниць;
Індуктивне моделювання складних систем, випуск 3, 2011 66
Порівняльний аналіз типових структурних елементів
за принципом двійкового лічильника, в останній розряд котрого додається
одиниця, тощо.
Суть методу оцінювання за мінімумом інформаційного критерію
Акаіке (MAICE) [8] полягає в тому, що для вибору кращої моделі
використовується інформаційний критерій Акаіке
ssxfsAIC m 2))(ˆ,(ln2)( +−= θ ,
де )ˆ,( θxfm – густина розподілу випадкового вектора x, s – складність моделі
(число оцінюваних параметрів), ms ,1= .
Перебір серед моделей-кандидатів при використанні методу Акаіке
виконується у класі вкладених структур, коли спочатку розглядається модель,
що містить один перший аргумент, потім перших два і т.д. до повної моделі
складності m. Як правило, при цьому мова йде про різницеві моделі динаміки.
Оцінки параметрів при використанні методу Акаіке отримуються як
розв’язок рівняння Юла-Уолкера, яке є аналогом нормального рівняння для
оцінювання параметрів регресії.
Висновки
З представленого короткого огляду методів моделювання за
статистичними даними, який не претендує на вичерпну повноту, можна
зробити висновок про наявність основних спільних для них етапів (які
формують основні компоненти методів побудови моделей):
– вибір класу базисних функцій та відповідне перетворення початкових
даних;
– генерація різних структур моделей у вибраному класі;
– оцінювання параметрів кожної згенерованої структури;
– мінімізація значення заданого критерію селекції та вибір кращої
моделі.
Очевидно, що деякі етапи в конкретному методі моделювання можуть
бути відсутніми, залежно від наявної апріорної інформації. Так, скажімо, якщо
істинна структура моделі (набір аргументів, що реально формують вектор
виходу) відома, то відпадає необхідність в етапах генерації різних структур та
мінімізації значення критерію селекції.
Індуктивне моделювання складних систем, випуск 3, 2011 67
С.М. Єфіменко
Література
1. Степашко В.С. Автоматизована структурна ідентифікація прогнозуючих
моделей складних об’єктів / Автореферат дисертації на здобуття наукового
ступеня доктора технічних наук. – Київ: Ін-т кібернетики НАН України, 1994. –
46 с.
2. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика.
Исследование зависимостей. - М.: Финансы и статистика, 1985. - 487с.
3. Загоруйко H.Г. Эмпирические предсказание. - Новосибирск: Наука, 1979. -
124с.
4. Каминскас В.А. Идентификация динамических систем по дискретным
наблюдениям. Часть 1. Основы стохастических методов оценивания
параметров линейных систем. - Вильнюс: Мокслас, 1982. - 245с.
5. Льюнг Л. Идентификация систем. Теория для пользователя. - М.: Наука,
1991.- 432с.
6. Райбман Н.С. Что такое идентификация? – М.: Наука, 1970. – 345 с.
7. Цыпкин Я.З. Информационная теория идентификации.- М.: Наука, 1995.-
336с.
8. Современные методы идентификации систем / Под ред.П.Эйкхоффа.- М.:
Мир, 1983.- 327с.
9. Акаике Х. Развитие статистических методов / В кн. Современные методы
идентификации систем.- М.: Мир, 1983.- C.148-176.
10. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. - М.:
Наука, 1979.- 447с.
11. Mallows C.L. Some comments on Cp // Technometrics.- 1973.- v.15.- P.661-667.
12. Amemiya, T. Advanced Econometrics, Cambridge, MA: Harvard University
Press, 1985. – 507 p.
13. Young P.S. Data-Based Mechanistic Modeling of Engineering Systems // Journal
of Vibration and Control. – 1998. - v. 4, No. 1. - P.5-28.
14. Ивахненко А.Г. Индуктивный метод самоорганизации моделей сложных
систем. - Киев: Наук.думка, 1982.- 295с.
15. Тьюки Дж. Анализ результатов наблюдений: Разведочный анализ.-М.: Мир,
1981.- 693с.
16. Себер Дж. Линейный регрессионный анализ. – М.: Мир, 1980. – 456 с.
17. Качала В.В., Чагоровская О.А. Алгоритм эволюционной идентификации
сложных объектов // Распределенные информационно-управляющие системы.
Саратов, 1988. С. 159.
18. Ивахненко А.Г. Метод групового урахування аргументів – конкурент
методу стохастичої апроксимації // Автоматика. 1968. № 3. С. 57-72.
19. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. –
Киев: Наукова думка, 1985. – 216 с.
Індуктивне моделювання складних систем, випуск 3, 2011 68
|
| id | nasplib_isofts_kiev_ua-123456789-45931 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | XXXX-0044 |
| language | Ukrainian |
| last_indexed | 2025-11-25T21:00:23Z |
| publishDate | 2011 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| record_format | dspace |
| spelling | Єфіменко, С.М. 2013-06-20T19:18:44Z 2013-06-20T19:18:44Z 2011 Порівняльний аналіз типових структурних елементів методів побудови моделей / С.М. Єфіменко // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2011. — Вип. 3. — С. 61-68. — Бібліогр.: 19 назв. — укр. XXXX-0044 https://nasplib.isofts.kiev.ua/handle/123456789/45931 681.513 В роботі виконано порівняльний аналіз поширених методів побудови моделей за даними спостережень. Виділено чотири спільні для кожного методу моделювання компоненти, що дає можливість порівнювати функціональні особливості цих методів. В работе выполнен сравнительный анализ распространенных методов построения моделей по данным наблюдений. Выделены четыре общие для каждого метода моделирования компоненты, что дает возможность сравнивать функциональные особенности этих методов. The comparative analysis of the widespread modeling methods from data observed is executed in the paper. Four common components for every modeling method are extracted that enables to compare the functional features of these methods. uk Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Індуктивне моделювання складних систем Порівняльний аналіз типових структурних елементів методів побудови моделей Article published earlier |
| spellingShingle | Порівняльний аналіз типових структурних елементів методів побудови моделей Єфіменко, С.М. |
| title | Порівняльний аналіз типових структурних елементів методів побудови моделей |
| title_full | Порівняльний аналіз типових структурних елементів методів побудови моделей |
| title_fullStr | Порівняльний аналіз типових структурних елементів методів побудови моделей |
| title_full_unstemmed | Порівняльний аналіз типових структурних елементів методів побудови моделей |
| title_short | Порівняльний аналіз типових структурних елементів методів побудови моделей |
| title_sort | порівняльний аналіз типових структурних елементів методів побудови моделей |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/45931 |
| work_keys_str_mv | AT êfímenkosm porívnâlʹniianalíztipovihstrukturnihelementívmetodívpobudovimodelei |