Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности
Розглянуто задачу пошуку оптимальної за складністю системи регресійних рівнянь з випадковими коефіцієнтами. Запропоновано критерій якості системи регресійних рівнянь, що є системним аналогом критерію регулярності МГУА. Критерій досліджено у схемі повторних спостережень....
Збережено в:
| Дата: | 2008 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2008
|
| Назва видання: | Проблемы управления и информатики |
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/209119 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности / А.П. Сарычев // Проблемы управления и информатики. — 2008. — № 2. — С. 27-41. — Бібліогр.: 8 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-209119 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-2091192025-11-15T01:19:32Z Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности Моделювання в класі систем регресійних рівнянь з випадковими коефіцієнтами в умовах структурної невизначеності Modeling in class of regression equations systems with random coefficients in structural uncertainty conditions Сарычев, А.П. Вопросы теории индуктивного моделирования Розглянуто задачу пошуку оптимальної за складністю системи регресійних рівнянь з випадковими коефіцієнтами. Запропоновано критерій якості системи регресійних рівнянь, що є системним аналогом критерію регулярності МГУА. Критерій досліджено у схемі повторних спостережень. The problem of search of optimum on comlexity of regression equations system with random coefficients is considered. The system regularity criterion for GMDH is offered. The criterion is investigated in the scheme of repeated observations. 2008 Article Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности / А.П. Сарычев // Проблемы управления и информатики. — 2008. — № 2. — С. 27-41. — Бібліогр.: 8 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/209119 519.25 10.1615/JAutomatInfScien.v40.i4.10 ru Проблемы управления и информатики application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Вопросы теории индуктивного моделирования Вопросы теории индуктивного моделирования |
| spellingShingle |
Вопросы теории индуктивного моделирования Вопросы теории индуктивного моделирования Сарычев, А.П. Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности Проблемы управления и информатики |
| description |
Розглянуто задачу пошуку оптимальної за складністю системи регресійних рівнянь з випадковими коефіцієнтами. Запропоновано критерій якості системи регресійних рівнянь, що є системним аналогом критерію регулярності МГУА. Критерій досліджено у схемі повторних спостережень. |
| format |
Article |
| author |
Сарычев, А.П. |
| author_facet |
Сарычев, А.П. |
| author_sort |
Сарычев, А.П. |
| title |
Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности |
| title_short |
Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности |
| title_full |
Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности |
| title_fullStr |
Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности |
| title_full_unstemmed |
Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности |
| title_sort |
моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2008 |
| topic_facet |
Вопросы теории индуктивного моделирования |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/209119 |
| citation_txt |
Моделирование в классе систем регрессионных уравнений со случайными коэффициентами в условиях структурной неопределенности / А.П. Сарычев // Проблемы управления и информатики. — 2008. — № 2. — С. 27-41. — Бібліогр.: 8 назв. — рос. |
| series |
Проблемы управления и информатики |
| work_keys_str_mv |
AT saryčevap modelirovanievklassesistemregressionnyhuravnenijsoslučajnymikoéfficientamivusloviâhstrukturnojneopredelennosti AT saryčevap modelûvannâvklasísistemregresíjnihrívnânʹzvipadkovimikoefícíêntamivumovahstrukturnoíneviznačeností AT saryčevap modelinginclassofregressionequationssystemswithrandomcoefficientsinstructuraluncertaintyconditions |
| first_indexed |
2025-11-15T02:07:06Z |
| last_indexed |
2025-11-16T02:04:12Z |
| _version_ |
1848910704871997440 |
| fulltext |
© А.П. САРЫЧЕВ, 2008
Проблемы управления и информатики, 2008, № 2 27
УДК 519.25
А.П. Сарычев
МОДЕЛИРОВАНИЕ В КЛАССЕ
СИСТЕМ РЕГРЕССИОННЫХ
УРАВНЕНИЙ СО СЛУЧАЙНЫМИ
КОЭФФИЦИЕНТАМИ В УСЛОВИЯХ
СТРУКТУРНОЙ НЕОПРЕДЕЛЕННОСТИ
Введение
Задача построения системы регрессионных уравнений в условиях структур-
ной неопределенности по количеству и составу регрессоров в регрессионных
уравнениях является одним из объектов исследований в методе группового учета
аргументов (МГУА) [1, 2].
Для решения задачи моделирования в заданном классе моделей в условиях
структурной неопределенности необходимо: 1) указать метод оценивания коэф-
фициентов в моделях; 2) построить алгоритм генерирования структур перебирае-
мых моделей; 3) принять критерий качества моделей.
Как известно, в МГУА сравнение качества моделей основано на разбиении
исходной выборки данных на обучающую и проверочную части: на обучающей вы-
борке оцениваются коэффициенты модели, а на проверочной — качество модели.
В соответствии с принципами моделирования в МГУА для обоснования кри-
терия качества моделей необходимо: 1) вычислить математическое ожидание ис-
следуемого критерия для заданной структуры модели; 2) исследовать поведение
математического ожидания критерия в зависимости от перебираемых структур
моделей; 3) показать существование модели оптимальной сложности; 4) получить
условие редукции (упрощения) модели оптимальной сложности.
В [3] эта задача моделирования рассмотрена в классе систем регрессионных
уравнений c детерминированными коэффициентами, в [4] — в классе систем со
случайными коэффициентами, которые независимы для разных уравнений систе-
мы. В данной работе рассматривается случай зависимых коэффициентов. Для
оценивания коэффициентов в такой системе моделей применяются результаты
работы [5] и принято, что по условиям задачи возможен полный перебор всех
структур моделей.
1. Постановка задачи
Пусть исследуемый статический объект описывается множеством m входных
переменных },,.,{ 21 mxxxX
= и множеством h выходных переменных =Y
)}.(,),2(),1({ hyyy =
Пусть модель функционирования объекта имеет вид
,,,2,1,,,2,1),()()( T nihkkkky iii
=== θx (1)
где k — номер выходной переменной; )(kyi — i-е наблюдение выходной пере-
менной с номером k; )(ki
x — (m(k) × 1)-вектор i-го наблюдения множества входов
,)( XkX ⊆
которые участвуют в формировании выхода объекта );(ky ∅≠)(kX
(∅ — пустое множество); )(kiθ — ненаблюдаемый случайный (m(k) × 1)-вектор
коэффициентов; n — объем выборки наблюдений.
Пусть в результате наблюдения для каждой выходной переменной ),(ky
,,,2,1 hk = для двух независимых выборок наблюдений ),( BAD = получены:
28 ISSN 0572-2691
1) ),( kD
X — ))()(( kmDn × -матрица )(Dn наблюдений )(km входов множества
),(kX
имеющая полный ранг, равный );(km 2) ),( kDy — )1)(( ×Dn -вектор соот-
ветствующих наблюдений выходной переменной ).(ky
Пусть для случайного вектора ),( kDiθ выполняется
),(,,2,1,,,2,1),,()(),( DnihkkDkkD ii
==+= ηθθ (2)
где T
)(21 ))(,),(),(()( kkkk km
θθθ=θ — неизвестный детерминированный
(m(k) × 1)-вектор; ),( kDiη — случайный (m(k) × 1)-вектор.
Пусть T
21 )),(,),,(),,((),( kDkDkDkD hiiii ηηη= η распределен по m(k)-мер-
ному нормальному закону: )),(,(~),( ),( kkNkD kpmi ηΣ0η [6], а относительно
случайных векторов ),,( kDiη ,,,2,1 hk = выполнены предположения:
);(,,2,1,)},({ )( DnikDE kmi == 0η (3)
);,()},(),({ T kkkDkDE ii η= Σηη (4)
;,,,2,1),,()},(),({ T qkhqqkqDkDE ii ≠== η Σηη (5)
;),(,,2,1,,,,2,1,,)},(),({ 2121))()((
T
21
iiDniihqkqDkDE qmkmii ≠=== × Oηη (6)
).(,,2,1),(,,2,1,)},(),({ 21))()((
T
21
BniAniqBkAE qmkmii === ×Oηη (7)
Здесь E{⋅} — знак математического ожидания по всем возможным реализа-
циям случайных векторов ),( kDiη и );,( qDiη )(km0 — нулевой (m(k) × 1)-век-
тор; ),( kkηΣ — неизвестная ковариационная ))()(( kmkm × -матрица; ),( qkηΣ —
неизвестная ковариационная ))()(( qmkm × -матрица; ))()(( qmkm ×O — нулевая
))()(( qmkm × -матрица; A, B — независимые выборки наблюдений.
В соответствии с моделью (1) и предположением (2) для наблюдений выбо-
рок A и B выполняется
.,,,,2,1),,(),()(),(),( TT BADhkkDkDkkDkDy iiii ==+=
ηxθx (8)
Введем обозначение для случайной величины ).,(),(),( T kDkDkD iii ηx
=ξ Тогда
(8) преобразуются к виду
.,,2,1),,(ξ),(),(ξ)(),(),( T hkkDkDykDkkDkDy iiiii
=+=+= θx (9)
Для математического ожидания ),,( kDiξ учитывая (3), получаем
),(,,2,1,,,2,1,0)},({ DnihkkDE i ===ξ (10)
а для ковариаций случайных величин ),,(),( kDkD ii ξξ ),,(),( qDkD ii ξξ
),(),( qDkD ji ξξ и ),(),( qBkA ii ξξ с учетом соответственно (4)–(7) —
;,,2,1,)],([),(),(),()},(),({ ξη
T hkkkkDkkkDkDkDE iiiiii
===ξξ ΣxΣx (11)
Проблемы управления и информатики, 2008, № 2 29
;,)],([),(),(),()},(),({ ξη
T qkqkqDqkkDqDkDE iiiiii ≠==ξξ ΣxΣx
(12)
;),(,,2,1,,,,2,1,,0)},(),({ ijDnjihqkqDkDE ji ≠===ξξ (13)
).(,,2,1),(,,2,1,,,2,1,,0)},(),({ BnjAnihqkqBkAE ji ====ξξ (14)
Запишем (8)–(14) в обобщенном виде. Для этого введем обозначения:
)],,(,),2,(),1,([)( hDDDD yyyY = (15)
)],,(,),2,(),1,([)( hDDDD
yyyY = (16)
)].,(,),2,(),1,([)( hDDDD ξξξΞ = (17)
Тогда (9) можно записать как
),()()( DDD ΞYY +=
(18)
а (10) и (14) соответственно принимают вид
,)}({ )( hnDE ×= OΞ ,)}()({ )(
T
hhBAE ×= OΞΞ (19)
где )( hn×O — нулевая )( hn× -матрица.
Для ),( qk -элемента ковариационной матрицы случайных величин ),1,(Dξ
),(,),2,( hDD ξξ в (12) получаем
=
ξξ=== ∑
=
n
i
iikqkq qDkDEqDkDEDDED
1
TT
ξ ),(),()},(),({})]()({[)]([ ξξΞΞΣ
,),(),(),()},(),({
1
η
T
1
∑∑
==
=ξξ=
n
i
ii
n
i
ii qDqkkDqDkDE
xΣx (20)
а для ее (k, k)-элемента в (11) —
.),(),(),(})]()({[)]([
1
η
TT
ξ ∑
=
==
n
i
iikkkk kDkkkDDDED
xΣxΞΞΣ (21)
Будем считать, что ковариационные матрицы ),(η qkΣ имеют вид
,,,2,1,),,(),(ρ),(η hqkqkqkqk
== ΣΣ (22)
где матрицы ),( qk
Σ заданы, а ),(ρ qk — неизвестные скалярные множители.
Сформулируем постановку задачи: требуется построить критерий регуляр-
ности МГУА для системы регрессионных уравнений со случайными коэффициен-
тами, который позволял бы находить оптимальное множество регрессоров в усло-
виях (1)–(22).
2. Оценивание коэффициентов в SARC-оптимальных системах
регрессионных моделей cо случайными коэффициентами
Рассмотрим случай, когда случайные коэффициенты для разных выходов
объекта в (1) статистически зависимы, т.е. в (5) выполняется
.,,,2,1,,),( ))()((η qkhqkqk qmkm ≠=≠ ×OΣ
(23)
30 ISSN 0572-2691
Решение поставленной задачи предполагает оценивание коэффициентов си-
стемы регрессионных уравнений на обучающей выборке A и оценивание качества
полученной системы регрессионных уравнений на проверочной выборке B.
Для оценивания коэффициентов на обучающей выборке A воспользуемся ре-
зультатами работы [5], где SARC-оптимальные оценки коэффициентов системы
регрессионных уравнений в предположениях (1)–(22) получены в результате ми-
нимизации введенного SARC-функционала.
Пусть ,,,2,1),ˆ,,ˆ,ˆ()(ˆ
)(21 hkdddk km ==d — некоторые оценки неизвест-
ных коэффициентов .,,2,1),( hkk
=θ Для выходов соответствующих регресси-
онных моделей ,,,2,1),(ˆ nikyi = выполняется
),()()(ˆ)()()(ˆ)( TT kkkkkukyky iiiiii vxdx
+=+= (24)
где )(kui — так называемый i-й остаток k-й регрессионной модели;
)())(,),(),(( T
21 kkukuku n u= — )1( ×n -вектор остатков k-й модели; )(ˆ kyi —
выходные значения k-й регрессионной модели; )(kiv — реализация случайного
вектора )(kiη в k-й регрессионной модели.
Определение 1. SARC-оптимальной называется система регрессионных урав-
нений со случайными коэффициентами, для оценок коэффициентов которой
SARCh))(,),2(),1(( ddd выполняется [5]
}{minarg))(,),2(),1((
))(ˆ,),2(ˆ),1(ˆ(
SARC
h
SARC Eh Φ=
ddd
ddd
(25)
при ограничениях ),,2,1,,,2,1( nihk ==
),()()()())(ˆ)()())((ˆ)()((
oTTTT kkkkkkkykkky iiiiiiii xvvxdxdx
=−− (26)
где
.)()(detln
)(
β
])[(detln
β
1 1
TT0 ∑ ∑
= =
+=Φ
h
k
n
i
ii
k
SARC kk
kmh
vvUU (27)
Оценки коэффициентов SARC-оптимальной системы регрессионных уравне-
ний, полученные на выборке A, имеют вид (см. (21)–(35) в [5])
×
+
+=
−1
0
T
0 )(
β
)(
β
)( MMSARC A
nh
A
nh
A IAIAd
),()()(
β
)(
β 0
T
0 AAA
nh
A
nh M yPBIA
+
+× (28)
где
;
),(
)2,(
)1,(
)(,
),(
)2,(
)1,(
)(
=
=
hA
A
A
A
hA
A
A
A
SARC
SARC
SARC
SARC
y
y
y
y
d
d
d
d
(29)
блочные матрицы )(AA и )(AB такие, что для k-й «блочной строки» )(Ak⋅A
матрицы )(AA выполняется
Проблемы управления и информатики, 2008, № 2 31
)2,(),(),Λ,()1,(),(),Λ,([)( 1
2
1
1 AkAkAAkAkAA kkk XΛPXΛPA −− αα=⋅
)],,(),(),Λ,( 1 hAkAkAhk
XΛP −α (30)
а для k-й «блочной строки» )(Ak⋅B матрицы )(AB —
),(),Λ,(),(),Λ,([)( 1
2
1
1 kAkAkAkAA kkk
−− αα=⋅ ΛPΛPB
.)],(),Λ,( 1 kAkAhk
−α
ΛP (31)
Величины ,,,2,1,, hqkqk
=α в (30), (31) определяются по правилу =αqk
,][ 1
qk
−
ξ=
Σ т.е. являются элементами матриц, обратных к ковариационным матри-
цам, определенным в (20)–(22).
Отметим, что размер блочной матрицы )(AA равен hh× блоков или MM ×
элементов, )()2()1( hmmmM +++= , размер блочной матрицы )(AB равен hh×
блоков или )(ANM × элементов, .)()( hAnAN ×=
В формуле (28) MI — единичная )( MM × -матрица; )(AP — блочно-диаго-
нальная матрица:
=
××
××
××
),Λ,(
)2,Λ,(
)1,Λ,(
)(
))(())((
))2(())2((
))1(())1((
hA
A
A
A
nhmnhm
nmnm
nmnm
POO
OPO
OOP
P , (32)
размер которой равен hh× блоков или NM × элементов, а недиагональный
),( kq -й блок в ней — ))(( nqm ×O — нулевая ))(( nqm × -матрица.
В (32) ),( kAP — матрица проектирования при независимом оценивании ко-
эффициентов k-й модели по взвешенному методу наименьших квадратов:
.),(),()),(),(),(((),Λ,( T1T kAkAkAkAkAkA
ΛXXΛXP −= (33)
В (30)–(32) )},(,),,(),,({diag),( 21 kAkAkAkA n
λλλ=Λ — ))()((( AnAn × -
матрица весовых коэффициентов, для элементов которой выполняется
.)),()(),(()(),( 1
η
T1 −− β=λ kAkkAnkA iiki
xΣx (34)
Если ввести обозначение
×
+
+=
−1
0
T
0 )(
β
)(
β
)( MM A
nh
A
nh
A IAIAC
+
+× )()(
β
)(
β 0
T
0 AA
nh
A
nh M PBIA (35)
(размер матрицы )(AC равен hh× блоков или )(ANM × элементов), то SARC-оп-
тимальные оценки коэффициентов, полученные на выборке A, можно записать в
виде
32 ISSN 0572-2691
,
),(
)2,(
)1,(
)(),(,
),(
)2,(
)1,(
)(
)(
)(
),(
)2,(
)1,(
)( 2
1
=
=
= ⋅
⋅
⋅
⋅
hA
A
A
AkA
hA
A
A
A
A
A
hA
A
A
A kSARC
hSARC
SARC
SARC
SARC
y
y
y
Cd
y
y
y
C
C
C
d
d
d
d
(36)
где ])()()([)( 21 AAAA khkkk CCCC =⋅ — k-я «блочная строка» матрицы ).(AC
Введем объединенную матрицу выходов моделей, матрицу регрессоров, мат-
рицу коэффициентов и матрицу остатков моделей:
)],,(ˆ,),2,(ˆ),1,(ˆ[)(ˆ hAAAA yyyY = )],(,),2,(),1,([)( hAAAA
XXXX = , (37)
=
),(
)2,(
)1,(
)(
)()(
)2()2(
)1()1(
hA
A
A
A
SARChmhm
mSARCm
mmSARC
SARC
d00
0d0
00d
D
, (38)
.)],(,),2,(),1,([)( hAAAA uuuU = (39)
Тогда систему (24) можно записать в обобщенном виде:
.)()()()()(ˆ)( AAAAAA SARC UDXUYY +=+=
(40)
Рассмотрим матрицу ),(AW в которой ),( qk -элемент вычисляется по столб-
цам матрицы остатков (39) с номерами k и q:
),(),()](ˆ)([)](ˆ)([)]()([)]([ TTT qAkAAAAAAAA kqkqkq uuYYYYUUW =−−== (41)
и имеет математическое ожидание
−ρ== )],;(),([tr})]({[)]([ kqAkqAEA nkqkq
ΨWΩ
−ρ− ∑
=
h
s
nqs ksAqAks
1
)],;(),([tr),(
ΨCX
+ρ− ∑
=
h
r
nkr qrAkAqr
1
)],;(),([tr),(
ΨCX
∑ ∑
= =
ρ+
h
r
h
s
qskrn qAkArsArs
1 1
TT ],),(),(][),;([tr),( CXXCΨ
(42)
где матрица ),;( srAn
Ψ диагональна, а ее ),( ii -элемент определяется по правилу
.,,2,1),,(),(),()],;([ η
T nisAsrrAsrA iiiin
== xΣxΨ (43)
Математическое ожидание матрицы )(AW определяется заданными матри-
цами планов ),,(,),2,(),1,( hAAA
XXX известными матрицами ),,(η qk
Σ мат-
рицами весовых коэффициентов );,( kXD
Λ и неизвестными множителями
),,( qkρ ,,,2,1, hqk = введенными в (22).
Используем результаты (23)–(43) для построения системного критерия регу-
лярности МГУА, предназначенного для поиска оптимального множества регрес-
соров в системе регрессионных моделей со случайными коэффициентами, кото-
рые могут быть статистически зависимыми в разных уравнениях системы.
Проблемы управления и информатики, 2008, № 2 33
3. Системный критерий регулярности МГУА
Пусть ))(,),2(),1(( hVVVV = — некоторое анализируемое множество ре-
грессоров в системе регрессионных уравнений со случайными коэффициентами
,( XV ⊆ X — заданное множество регрессоров такое, что ),XX ⊆
а матрица
)],(,),2,(),1,([)( hDDDD VVVV = (44)
— матрица наблюдений регрессоров на выборке ),,( BADD = соответствующая
множеству регрессоров V.
Рассмотрим ))(( hBn × -матрицу
.),()()(),/(ˆ)(),/( VABBVABBVAB SARCDVYYYU −=−= (45)
Здесь )(BY — матрица наблюдений выходных переменных (15) на
выборке B; ),/(ˆ VABY — матрица выходов системы регрессионных моделей на
проверочной выборке B, рассчитанная по модели (системе регрессионных уравне-
ний), оценки коэффициентов которой ),( VASARCD получены на обучающей вы-
борке A для анализируемого множества регрессоров V в соответствии с (24)–(38).
Определение 2. Случайную величину
)]),/(),/([(detln1)( T VABVAB
h
VARS UU= (46)
будем называть системным критерием регулярности МГУА.
Для математического ожидания матрицы
),/(),/(),/( T VABVABVAB UUW = (47)
выполняется
=−−= )]},()()([)],()()({[)},/({ T VABBVABBEVABE SARCSARC DVYDVYW
=
−= ][
);,(
)2;,(
)1;,(
)()(
T
)()(
)2()2(
)1()1(
hVA
VA
VA
BBE
SARChmhm
mSARCm
mmSARC
d00
0d0
00d
VY
=
−+= ][
),()(
)2,()2(
)1,()1(
)()()(
T
)()(
)2()2(
)1()1(
o
hAh
A
A
BBBE
hmhm
mm
mm
yP00
0yP0
00yP
VΞY
.),/(),/(),(),()),(( ξ
T VABVABVBVBVB ΩNΣYY =++∆∆=
(48)
Здесь принято ]}[]{[[...]}]{[ TT HHH EE = для сокращения записи громоздкой
матрицы H; );,,Λ()(
o
kVAk PP = — матрица проектирования (33) для множества
регрессоров V:
;);,(),()),();,(),(();,Λ,( T1T kVAkAkAkVAkAkVA
ΛVVΛVP −= (49)
);(,,2,1,)),()(),(()()];,([ 1
η
T1 AnikAkkAAnkVA iiii
== −− vΣvΛ (50)
34 ISSN 0572-2691
),(ξ VBΣ — ковариационная )( hh× -матрица, определенная на множестве регрес-
соров V аналогично (20), (21); для ее ),( qk -элемента выполняется :),,2,1,( hqk =
;)(),;()()],([
)(
1
T
ξ ∑
=
η=
An
i
iikq qqkVkVB vΣvΣ (51)
=∆ ),( BV
Y
;
),();,,Λ(
)2,()2;,,Λ(
)1,()1;,,Λ(
)()(
)()(
)2()2(
)1()1(
−=
hAhVA
AVA
AVA
BB
hmhm
mm
mm
yP00
0yP0
00yP
VY (52)
=),/( VABN
×
= )(
);,,Λ(),(
)2;,,Λ()2,(
)1;,,Λ()1,(
T
TT
)()(
)2(
TT
)2(
)1()1(
TT
B
hVAhA
VAA
VAA
E
hmhm
mm
mm
V
Pξ00
0Pξ0
00Pξ
.
),();,,Λ(
)2,()2;,,Λ(
)1,()1;,,Λ(
)(
)()(
)2()2(
)1()1(
×
hAhVA
AVA
AVA
B
hmhm
mm
mm
ξP00
0ξP0
00ξP
V
(53)
Для (k, q)-элемента матрицы ),/( VABN выполняется
== )},();,,Λ(),(),();,,Λ(),({)],/([ TTT qAkVAqBkBkVAkAEVAB kq ξPVVPξN
,]),();,,Λ([)],;,([)];,,Λ(),([ TT
11
jijjij
n
j
n
i
kBkVAkqVAqVAqB
AB
VPΨPV
∑∑
==
= (54)
где ),;,( kqVAΨ — диагональная матрица с элементами
.)(,,2,1),,(),;(),()],;,([ η
T AnjkAkqVqAkqVA jjjj == vΣvΨ (55)
Рассмотрим схему повторных наблюдений [7], в которой для каждого векто-
ра наблюдений входных переменных выполнена пара наблюдений выходных пе-
ременных, причем «первые» наблюдения каждой пары образуют выборку A, а «вто-
рые» — выборку B, т.е.
.)()(;)()(, VVVXXX ====== BABAnnn BA (56)
Из (56) следует:
);(),(),();(),(),( ξξξξξξ VVBVAXXBXA ΣΣΣΣΣΣ ==== (57)
Проблемы управления и информатики, 2008, № 2 35
=== );,Λ();,,Λ();,,Λ( kVkVBkVA
PPP
.),(),())(),()(( T1T kVkVkkVk
ΛVVΛV −= (58)
.,,2,1,))()()(()],([ 1
η
T1 nikkknkV iiii
== −− vΣvΛ (59)
В схеме повторных наблюдений для )},/({ * VABE W получаем
=−−= )]},(ˆ)([)],(ˆ)({[)},/({ T* VABVABEVABE DVYDVYW
=
−+= ][
),();,Λ(
)2,()2;,Λ(
)1,()1;,Λ(
)(
T
)()(
)2()2(
)1()1(
hAhV
AV
AV
BE
hmhm
mm
mm
yP00
0yP0
00yP
VΞY
),,/(),/()()())(( **
ξ
T VABVABVVV ΩNΣYY =++∆∆=
−=∆
)();,Λ(
)2()2;,Λ(
)1()1;,Λ(
)(
)()(
)2()2(
)1()1(
hhV
V
V
V
hmhm
mm
mm
yP00
0yP0
00yP
VYY , (60)
а ),( qk -элемент матрицы ),/(* VABN имеет вид ),,2,1,( hqk =
,)]();,Λ([)],;([)];,Λ()([)],/([ TT*
11
*
jijjij
n
j
n
i
kq kkVkqVqVqVAB VPΨPVN ∑∑
==
= (61)
где ),;(* kqVΨ — диагональная матрица с элементами
.,,2,1),(),;()()],;([ η
T* njkkqVqkqV jjjj == vΣvΨ (62)
Определение 3. Оптимальным множеством регрессоров называется такое мно-
жество регрессоров ,0 XV ⊆ для которого выполняется
)}.({minarg0 VARSEV
XV⊆
= (63)
Определение 4. Оптимальной по количеству и составу регрессоров называет-
ся система регрессионных уравнений, построенная на множестве регрессоров .0V
4. Условие редукции (упрощения) системы регрессионных
уравнений оптимальной сложности
Рассмотрим два множества регрессоров 1V и :2V
,)}(),1(,),2(),1({
)},(),1(,),2(),1({
2
1
hXhXXXVV
hXhXXXXV
−==
−==
(64)
36 ISSN 0572-2691
где )(hX — подмножество регрессоров такое, что ),()()( hMhXhX
= )(hX
∅=)(hM (∅ — пустое множество), т.е. )(hM — множество пропущенных ре-
грессоров в регрессионном уравнении с номером h.
Вычислим разность
=−== )}({)}({),(Δ),(Δ **
21 VARSEXARSEVXVV
=−= )])},/([(det{ln1)])},/([(det{ln1 *
2
*
1 VABE
h
XABE
h
WW
=
−−
−= ∏∏
==
h
k
h
k
knVABE
h
knXABE
h 1
*
2
1
*
1 )(|}]),/({[detln1)(}]),/({[detln1 WW
.
)],/([det
)],/([det
ln1
)}],/({[det
)}],/({[det
ln1
*
2
*
1
*
2
*
1
=
=
VAB
XAB
hVABE
XABE
h Ω
Ω
W
W
(65)
Для вычисления в (65) математического ожидания определителя матрицы,
имеющей распределение Уишарта, применены результаты [6, теорема 7.5.3,
с. 236, 237].
Учитывая (44)–(63), а также тот факт, что при
XV =1 из (60) следует
)()( hnX ×=∆ OY
— нулевая (n × h)-матрица, для матриц ),/(*
1
XABΩ и ),/(*
2 VABΩ
в (65) получаем
),,/()(),/( *
ξ
*
1
XABXXAB NΣΩ += (66)
=),/(*
2 VABΩ =++∆∆ ),/()()())(( *
ξ
T VABVVV NΣYY
).,/()(
)())((00
000
000
*
ξ
T
VABV
hh
NΣ
yy
++
δδ
=
(67)
Здесь )(ξ VΣ — ковариационная )( hh× -матрица с элементами ),,2,1,( hqk = :
;)(),;()()]([
1
η
T
ξ ∑
=
=
n
i
iikq qqkVkV vΣvΣ (68)
);()()( hhh yyy −=δ
(69)
);()(),Λ;()()(),Λ;()()( hhhVhhhVhh
θXPXyPXy == (70)
а для элементов матриц ),/(*
XABN и ),/(* VABN выполняется :),,2,1,( hqk =
,)]();,Λ([)],;([)];,Λ()([)],/([ TT*
11
*
jijjij
n
j
n
i
kq kkXkqXqXqXAB
XPΨPXN ∑∑
==
= (71)
,)]();,Λ([)],;([)];,Λ()([)],/([ TT*
11
*
jijjij
n
j
n
i
kq kkVkqVqVqVAB VPΨPVN
∑∑
==
= (72)
Проблемы управления и информатики, 2008, № 2 37
где ),;(* kqX
Ψ и ),;(* kqVΨ — диагональные матрицы с элементами
),(),;()()],;([ η
T* kkqXqkqX jjjj vΣvΨ
= (73)
.,,2,1),(),;()()],;([ η
T* njkkqVqkqV jjjj == vΣvΨ (74)
Условие 0),(Δ >VX
представляет собой условие редукции (упрощения) си-
стемы регрессионных уравнений оптимальной сложности. К сожалению, упро-
стить условие редукции с учетом представления (64) чрезвычайно трудно. Но та-
кое упрощение можно получить для частного случая одного пропущенного орто-
гонального регрессора.
Случай пропущенного ортогонального регрессора. В рассматриваемом
классе моделей редукция регрессионной модели оптимальной сложности (ее
упрощение по числу включенных регрессоров) в условиях конечных выборок
наблюдений может происходить по четырем причинам: во-первых, из-за зависи-
мости между регрессорами, во-вторых, из-за малости математического ожидания
коэффициента при данном регрессоре, в-третьих, из-за статистической зависимо-
сти между коэффициентами в данном регрессионном уравнении, в-четвертых, из-
за статистической зависимости между коэффициентами разных регрессионных
уравнений.
Будем предполагать, что множество пропущенных регрессоров )(hM в (64)
состоит лишь из одного регрессора, т.е. для соответствующей матрицы регрессоров,
векторов коэффициентов и ковариационной матрицы выполняются разбиения
,
)(
)()(,
)(
)(
)(],)([)(
θ
=
θ
==
h
hh
h
h
hhh
m
X
m
X
θθ
θ
θmXX (75)
,
);();,(
);,(),(
),(
T
σ
=
ηη
ηη
η
hmhmX
hmXhX
hX
σ
σΣ
Σ (76)
где )(hX — ))1)((( −× hmn -матрица наблюдений множества регрессоров )(hX ;
m — )1( ×n -вектор наблюдений пропущенного регрессора; ),(hXθ )(hX
θ —
)1)1)((( ×−hm -векторы коэффициентов и их математических ожиданий для мно-
жества регрессоров );(hX ),(hmθ )(hm
θ — коэффициент и его математическое
ожидание при пропущенном регрессоре.
Отметим, что в соответствии с разбиением (75) относительно i-го наблюде-
ния i-й строки матрицы )(h
X выполняется .))(),(()( TT hmhh iii xx =
Сделаем дополнительные предположения, оставляющие возможность лишь
второй и четвертой из указанных выше причин редукции модели: будем предпо-
лагать, что пропущенный регрессор ортогонален каждому регрессору из множе-
ства )(hX и каждому регрессору из множеств ,1,,2,1),( −= hkkX
а случайный
коэффициент )(hmθ ортогонален каждой компоненте случайного вектора ),(hXθ
т.е. выполняется
.);,(,)(;)( 1)()(
T
1)(
T
−η− === hmkmhm hmXkh 0σ0mX0mX
(77)
38 ISSN 0572-2691
Вычислим ),(Δ VX
в (65) в предположениях (75)–(77).
Как следует из (65)–(67), значение ),(Δ VX
определяется величиной
),())(( T hh
yy δδ отличием матриц )(ξ
XΣ и )(ξ VΣ и отличием матриц
),/(*
XABN и ).,/(* VABN
Вычислим )())(( T hh
yy δδ в (67). В соответствии с (75) для )(h
y выполняется
),()()(
)(
)(]),([)()()( hhh
h
hhhhh mX
m
X
θ+=
θ
== mθXθmXθXy (78)
и в соответствии с (69), (70) получаем
=−θ+=δ )()();Λ,()()()()()( hhhXhhhhh mX
θXPXmθXy
.)],()())(),()()(()[( T1T mΛXXΛXXI hXhhhXhhh nm
−−θ= (79)
С учетом (79) и предположений (77) для )())(( T hh
yy δδ в (67) получаем
,)]([)()())(( T2T mGImyy Xhhh nm +θ=δδ
(80)
где
×= − )())(),()()((),()( T1T hhhXhhhXX XXΛXXΛG
).,()())(),()()(( T1T hXhhhXhh
ΛXXΛXX −× (81)
Установим отличие матриц )(ξ
XΣ и ).(ξ VΣ Поскольку в соответствии с
(64) множества регрессоров )(kX
и )(kV отличаются один от другого только для
,hk = то матрицы )(ξ
XΣ и )(ξ VΣ могут отличаться только своими h-строками
и h-столбцами, а второе дополнительное предположение приводит к тому, что они
отличаются только своими ),( hh -элементами:
== ∑
=
n
i
iihh hxhXhxX
1
η
T
ξ )(),()()]([
ΣΣ
=
σ
= ∑
= η−
−ηn
i i
i
h
h
ii m
h
hm
hX
mh
1 T
1
1T )(
);(
),(
)),((
x
0
0Σ
x
.);()]([);()(),()( T
ξ
11
η
T mmΣxΣx ⋅σ+=σ+= η
=
η
=
∑∑ hmXmhmmhhXh hh
n
i
ii
n
i
ii
(82)
Установим отличие матриц ),/(*
XABN и ).,/(* VABN Поскольку в соот-
ветствии с (64) множества регрессоров )(kX
и )(kV отличаются один от другого
только для ,hk = то матрицы ),/(*
XABN и ),/(* VABN могут отличаться толь-
ко своими h-строками и h-столбцами, т.е.
Проблемы управления и информатики, 2008, № 2 39
,
)()(
)(
),/(
T
0*
=
XcX
X
XAB
b
bN
N ,
)()(
)(
),/( T
0*
=
XcX
X
XAB
b
bN
N (83)
где элементы матрицы ,1,,2,1,,][ 0 −= hqkkq N определяются по формуле (71);
для )1( −h -векторов )(
Xb и ),(Xb как следует из (71), (72), выполняется
,)]();,Λ([)],;([)];,Λ(])([[)( TT*T
11
jijjij
n
j
n
i
k kkXkhXhXhX
XPΨPmXb ∑∑
==
= (84)
.)]();,Λ([)],;([)];,Λ()([)( TT*
11
jijjij
n
j
n
i
k kkXkhXhXhX
XPΨPXb ∑∑
==
= (85)
Для ),( hh -элемента матрицы ),/(*
XABN в (83), учитывая (49), (71), разбие-
ние (75) и применяя правило обращения блочной матрицы, получаем
== −− )]())(),()()(([tr)( T1T1 hhhXhhnXc
XXΛXX
+= −− )]())(),()()(([tr T1T1 hhhXhhn XXΛXX
,)( T11T11 mmmGm −−−− ++ anXan (86)
где
,)),()())(),()()((),(),(( T1TT mΛXXΛXXΛΛm hXhhhXhhhXhXa
−−= (87)
а элементы диагональной матрицы ),( hX
Λ с учетом (50) и разбиений (75), (76)
имеют вид ),...,2,1( ni =
== −− 1
η
T1 ))(),()(()];([ hhXhnhX iiii
xΣxΛ
,))(),()()(),()(( 1T1 −
ηη
− σ+= hmhmhmhhXhn iiii
xΣx (88)
где ))(),(()( TT hmhh iii xx =
— разбиение i-го наблюдения i-й строки матрицы
)(h
X в соответствии с разбиением (75).
Для ),( hh -элемента матрицы ),/(* XABN в (83) получаем
,)]())(),()()(([tr)( T1T1 hhhXhhnXc XXΛXX −−=
(89)
где элементы диагональной матрицы ),( hX
Λ имеют вид ),,2,1( ni =
.))(),()(()],([ 1
η
T1 −−= hhXhnhX iiii xΣxΛ
(90)
Сравнение (88) и (90) показывает, что выполняется
.,,2,1,)],([)],([ nihXhX iiii
=< ΛΛ (91)
Объединив результаты (66)–(91), продолжим вычисление (65):
=−= )}({)}({),(Δ ** VARSEXARSEVX
40 ISSN 0572-2691
=
=
=
)()(
)(
det
)()(
)(det
ln1
)],/([det
)],/([det
ln1
T
0
oT
0
*
2
*
1
XcX
X
XcX
X
hVAB
XAB
h
b
bN
b
bN
Ω
Ω
−
−
=
−
−
=
))()()((
))()()((
ln1
))()()(]([det
))()()(]([det
ln1
0
T
0
T
0
T
0
0
T
0
XXXc
XXXc
hXXXc
XXXc
h bNb
bNb
bNbN
bNbN
. (92)
Условие 0),(Δ >VX
для рассматриваемого класса моделей представляет со-
бой условие редукции (упрощения) оптимальной системы регрессионных уравне-
ний по составу включенных в нее регрессоров.
Из (92) следует, что это условие редукции можно записать в виде
)()()()()()( 0
T
0
T XXXcXXXc bNbbNb −>−
(93)
или
).()()()()()( 0
T
0
T XXXXXcXc bNbbNb −>−
(94)
При выполнении (94) множество регрессоров X «лучше» множества регрес-
соров
X в смысле системного критерия регулярности (46), и в этом случае си-
стема регрессионных уравнений оптимальной сложности упрощается по числу
включенных в нее регрессоров.
Заключение. Рассмотрена задача поиска оптимальной по сложности системы
регрессионных уравнений со случайными коэффициентами по принципам МГУА.
Предложен критерий качества системы регрессионных уравнений, который явля-
ется системным аналогом критерия регулярности. Критерий исследован в схеме
повторных наблюдений.
Структурная неопределенность в задаче построения системы регрессионных
уравнений со случайными коэффициентами может проявляться в двух видах:
1) неопределенность по степени статистической зависимости между случайными
коэффициентами в разных уравнениях системы — этот вид неопределенности
рассмотрен в [5], где для возникающей задачи оценивания коэффициентов разра-
ботан соответствующий метод; 2) неопределенность по количеству и составу ре-
грессоров в системе регрессионных уравнений — этот вид неопределенности яв-
ляется объектом исследования [4] и данной работы.
Записать все случаи сочетания пропущенных и избыточных регрессоров в
текущем множестве регрессоров V аналогично тому, как это было сделано для од-
ного регрессионного уравнения в работе [8], чрезвычайно трудно в силу блочного
характера матриц A и B в (28). Относительно полученного условия редукции (94)
можно отметить, что если предположить независимость случайных коэффициен-
тов из разных уравнений системы (такой случай рассмотрен в [4]), то матрицы
),;( kqX
∗Ψ и ),;( kqV∗Ψ в (73) и (74) соответственно становятся нулевыми,
а поэтому, как следует из (84), (85), и векторы )(
Xb и )(Xb в (83) становятся
нулевыми. В этом случае условие редукции (94) принимает вид
++θ−=− mGIm )]([)()()( T2 XhXcXc nm
Проблемы управления и информатики, 2008, № 2 41
−+ −− )]())(),()()(([tr T1T1 hhhXhhn XXΛXX
+− −− )]())(),()()(([tr T1T1 hhhXhhn XXΛXX
,0);()( TT11T11 >σ+++ η
−−−− mmmmmGm hmanXan
(95)
что соответствует условию редукции, полученному в [4].
O.П. Саричев
МОДЕЛЮВАННЯ В КЛАСІ СИСТЕМ РЕГРЕСІЙНИХ
РІВНЯНЬ З ВИПАДКОВИМИ КОЕФІЦІЄНТАМИ
В УМОВАХ СТРУКТУРНОЇ НЕВИЗНАЧЕНОСТІ
Розглянуто задачу пошуку оптимальної за складністю системи регресійних рів-
нянь з випадковими коефіцієнтами. Запропоновано критерій якості системи
регресійних рівнянь, що є системним аналогом критерію регулярності МГУА.
Критерій досліджено у схемі повторних спостережень.
А.P. Sarychev
MODELING IN CLASS OF REGRESSION
EQUATIONS SYSTEMS WITH RANDOM
COEFFICIENTS IN STRUCTURAL
UNCERTAINTY CONDITIONS
The problem of search of optimum on comlexity of regression equations system
with random coefficients is considered. The system regularity criterion for GMDH is
offered. The criterion is investigated in the scheme of repeated observations.
1. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. — Киев : Наук. дум-
ка, 1985. — 216 с.
2. Muller J.-A., Lemke F. Self-organizing data mining. Extracting knowledge from data. — Ham-
burg : Libri, 2000. — 250 p.
3. Сарычев А.П. Системный критерий регулярности в методе группового учета аргументов //
Проблемы управления и информатики. — 2006. — № 6. — C. 25–37.
4. Сарычев А.П. Моделирование в классе систем регрессионных уравнений со случайными
коэффициентами в условиях структурной неопределенности. Часть 1. Случай независимых
коэффициентов // Штучний інтелект. — 2007. — № 2. — C. 47–60.
5. Сарычев А.П. Идентификация систем регрессионных моделей с зависимыми случайными
коэффициентами. Случай ковариационных матриц, заданных с точностью до скалярного
множителя // Питання прикладної математики та математичного моделювання. — Днепро-
петровск : ДНУ, 2007. — C. 290–302.
6. Андерсон Т. Введение в многомерный статистический анализ : Пер. с англ. — М. : Физма-
тгиз, 1963. — 500 с.
7. Сарычев А.П. Решение проблемы разбиения в МГУА при расчете критерия регулярности в
условиях активного эксперимента // Автоматика. — 1989. — № 4. — С. 19–27.
8. Сарычев А.П. Определение J-оптимального множества регрессоров по повторным выбор-
кам наблюдений // Там же. — 1993. — № 3. — С. 58–66.
Получено 18.10.2007
Введение
1. Постановка задачи
2. Оценивание коэффициентов в SARC-оптимальных системах регрессионных моделей cо случайными коэффициентами
3. Системный критерий регулярности МГУА
4. Условие редукции (упрощения) системы регрессионных уравнений оптимальной сложности
|