Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов
Для моделирования в классе систем регрессионных уравнений со случайными коэффициентами предложен системный критерий регулярности с разбиением выборок наблюдений на обучающие и проверочные подвыборки. Доказано существование оптимального множества регрессоров. Выявлено условие редукции оптимальной сис...
Збережено в:
| Опубліковано в: : | Індуктивне моделювання складних систем |
|---|---|
| Дата: | 2014 |
| Автор: | |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2014
|
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/84002 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов / А.П. Сарычев // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2014. — Вип. 6. — С. 137-156. — Бібліогр.: 16 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859940343079763968 |
|---|---|
| author | Сарычев, А.П. |
| author_facet | Сарычев, А.П. |
| citation_txt | Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов / А.П. Сарычев // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2014. — Вип. 6. — С. 137-156. — Бібліогр.: 16 назв. — рос. |
| collection | DSpace DC |
| container_title | Індуктивне моделювання складних систем |
| description | Для моделирования в классе систем регрессионных уравнений со случайными коэффициентами предложен системный критерий регулярности с разбиением выборок наблюдений на обучающие и проверочные подвыборки. Доказано существование оптимального множества регрессоров. Выявлено условие редукции оптимальной системы регрессионных уравнений, которое зависит от параметров системы и объемов выборок.
Для моделювання в класі систем регресійних рівнянь з випадковими коефіцієнтами запропоновано системний критерій регулярності з розбиттям вибірок спостережень на навчальні й перевірні підвибірки. Доведено існування оптимальної множини регресірів. Виявлено умову редукції оптимальної системи регресійних рівнянь, що залежить від параметрів системи і обсягів вибірок.
For modelling in a class of regression equations systems with random coefficients the system criterion of regularity with dividing of observation sample on training and testing subsamples is offered. It is proved, that the optimum set of regressors exists. The condition of a reduction of optimum system of regression equations is obtained. This condition depends on parameters of system and volumes of samples.
|
| first_indexed | 2025-12-07T16:10:49Z |
| format | Article |
| fulltext |
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 137
УДК 519.25
МОДЕЛИРОВАНИЕ В КЛАССЕ СИСТЕМ РЕГРЕССИОННЫХ
УРАВНЕНИЙ СО СЛУЧАЙНЫМИ КОЭФФИЦИЕНТАМИ
НА ОСНОВЕ МЕТОДА ГРУППОВОГО УЧЕТА АРГУМЕНТОВ
А.П. Сарычев
Институт технической механики НАНУ и ГКАУ, г. Днепропетровск
Sarychev@prognoz.dp.ua
Для моделювання в класі систем регресійних рівнянь з випадковими коефіцієнтами
запропоновано системний критерій регулярності з розбиттям вибірок спостережень на
навчальні й перевірні підвибірки. Доведено існування оптимальної множини регресірів.
Виявлено умову редукції оптимальної системи регресійних рівнянь, що залежить від
параметрів системи і обсягів вибірок.
Ключові слова: невизначеність за складом регресірів, системний критерій регулярності.
For modelling in a class of regression equations systems with random coefficients the system
criterion of regularity with dividing of observation sample on training and testing subsamples is
offered. It is proved, that the optimum set of regressors exists. The condition of a reduction
of optimum system of regression equations is obtained. This condition depends on parameters
of system and volumes of samples.
Keywords: uncertainty on structure of regressors, system criterion of regulatory.
Для моделирования в классе систем регрессионных уравнений со случайными
коэффициентами предложен системный критерий регулярности с разбиением выборок
наблюдений на обучающие и проверочные подвыборки. Доказано существование
оптимального множества регрессоров. Выявлено условие редукции оптимальной системы
регрессионных уравнений, которое зависит от параметров системы и объемов выборок.
Ключевые слова: неопределенность по составу регрессоров, системный критерий
регулярности.
Введение
Распространенным классом моделей является класс линейных по
параметрам систем регрессионных уравнений со случайными коэффициентами.
Модели этого класса позволяют описывать и прогнозировать состояния
объектов как линейных по входным переменным, так и нелинейных
(необходимо предварительно расширить множество входных переменных за
счет нелинейных функций). Также, такой класс моделей можно применять и
при моделировании статических характеристик динамических систем.
Задачи моделирования в классе систем регрессионных уравнений часто
бывают поставлены в условиях структурной неопределенности по количеству и
составу входных переменных, и для их решения необходимо принять критерий
для оценивания качества и сравнения моделей с разными структурами.
Известный подход к построению критериев качества в условиях структурной
неопределенности применяется в методе группового учета аргументов (МГУА),
который разработал академик НАН Украины А.Г. Ивахненко [1–8]. Подход
основан на разбиении выборки данных на обучающую и проверочную части: на
обучающей выборке оцениваются коэффициенты моделей, а на проверочной
оценивается качество моделей.
Известным критерием качества для систем регрессионных уравнений
является многомерный аналог информационного критерия Акаике [9]. Его
недостаток состоит в том, что он построен в предположении, что все выходные
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 138
переменные объекта определяются общим множеством входных переменных.
В прикладных задачах могут встречаться объекты более широкого класса,
в которых выходные переменные могут определяться, вообще говоря, разными
подмножествами входных переменных. Поэтому построение и обоснование
критерия структурной идентификации для систем регрессионных уравнений
такого класса является актуальной задачей.
1. Априорные предположения об объекте
Пусть статический объект описывается множеством m входных переменных
},...,,{
o
2
o
1
oo
mxxxX = и множеством h выходных переменных
)}(,...),2(),1({ hyyyY = . Пусть модель функционирования объекта представляет
собой систему регрессионных уравнений
nihkkkkky iiii ,...,2,1,,...,2,1),(ζ)()()( T
o
==+= θx , (1)
где k – номер выходной переменной; )(kyi – i -е наблюдение выходной
переменной с номером k ; )(
o
kix – )1)(( ×km -вектор i -го наблюдения
множества входов
oo
)( XkX ⊆ ( ∅≠)(
o
kX , ∅ – пустое множество), которые
участвуют в формировании выходной переменной )(ky ; )(kiθ –
ненаблюдаемый случайный )1)(( ×km -вектор коэффициентов; )(ζ ki –
ненаблюдаемая случайная величина; n – объем выборки наблюдений.
Пусть для случайного вектора )(kiθ выполнено
nihkkkk ii ,...,2,1,,...,2,1),()()(
o
==+= ηθθ , (2)
где T
)(
o
2
o
1
oo
))(θ,...),(θ),(θ()( kkkk km=θ – неизвестный детерминированный
)1)(( ×km -вектор; )(kiη – случайный )1)(( ×km -вектор.
Пусть T
),(21 ))(,...),(),(()( kkkk ikmiii ηηη=η распределен по )(km -мерному
нормальному закону: )(kiη )),(,(~ )( kkN km ηΣ0 , а относительно случайных
векторов ),(kiη ,,...,2,1 hk = выполнено
nikE kmi ...,2,1,)}({ )( == 0η ; (3)
);,()}()({ T kkkkE ii η= Σηη (4)
;,,...,2,1),,()}()({ T qkhqqkqkE ii ≠== ηΣηη (5)
2121))()((
T ,,...,2,1,,,...,2,1,,)}()({
21
iiniihqkqkE qmkmii ≠=== ×Oηη , (6)
где E{⋅} – знак математического ожидания по реализациям случайных векторов
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 139
)(kiη и )(qiη ; )(km0 – нулевой )1)(( ×km -вектор; ),( kkηΣ – неизвестная
ковариационная ))()(( kmkm × -матрица; ),( qkηΣ – неизвестная ковариационная
))()(( qmkm × -матрица; ))()(( qmkm ×O – нулевая ))()(( qmkm × -матрица.
Пусть относительно )(kζ , hk ,...,2,1= , выполнено
hkkkkkEkE nn ,...,2,1,),(σ)}()({,)}({ ζ
T === Iζζ0ζ ; (7)
qkhqkqkqkE n ≠== ;,...,2,1,,),(σ)}()({ ζ
T Iζζ ; (8)
hqkiiniiqkE ii ,...,2,1,,,,...,1,,0)}(ζ)(ζ{ 212121
=≠== , (9)
где }{⋅E – знак математического ожидания по реализациям случайных векторов
)(kζ и )(qζ ; n0 – нулевой )1( ×n -вектор; ),(σζ kk – дисперсия случайной
величины )(ζ ki , ni ,...,2,1= , ограниченная величина; ),(σζ qk – ковариация
случайных величин )(ζ ki и )(ζ qi , ni ,...,2,1= , ограниченная величина; nI –
единичная )( nn× -матрица.
Пусть в результате наблюдения для каждой выходной переменной
,,...,2,1),( hkky = получены: 1) )(
o
kX – ))(( kmn× -матрица n наблюдений )(km
входов множества )(
o
kX , имеющая полный ранг, равный )(km ; 2) )(ky – )1( ×n -
вектор соответствующих наблюдений выходной переменной )(ky .
В соответствии с (1)–(2) для наблюдений выполняется
=++= )(ζ)()()()()( T
oo
T
o
kkkkkky iiiii ηxθx
hkkkykkk iiii ,...,2,1),(ξ)()(ξ)()(
oo
T
o
=+=+= θx , (10)
)(ζ)()()(ξ T
o
kkkk iiii += ηx . (11)
Для математического ожидания )(ξ ki , учитывая (3) и (7), получаем
nihkkE i ,...,2,1,,...,2,1,0)}(ξ{ === , (12)
а для ковариаций случайных величин )(ξ)(ξ kk ii , )(ξ)(ξ qk ii , )(ξ)(ξ qk ji
с учетом соответственно (4)–(6) и (7)–(9) получаем
hkkkkkkkkkkkE iiiiii ,...,2,1,)],([),(σ)(),()()}(ξ)(ξ{ ξζ
o
η
T
o
==+= ΣxΣx ; (13)
qkqkqkqqkkqkE iiiiii ≠=+= ,)],([),(σ)(),()()}(ξ)(ξ{ ξζ
o
η
T
o
ΣxΣx ; (14)
ijnjihqkqkE ji ≠=== ,,...,2,1,,,...,2,1,,0)}(ξ)(ξ{ . (15)
Запишем (10)–(15) в обобщённом виде. Введём обозначения:
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 140
)](,...),2(),1([ hyyyY= , )](,...),2(),1([
oooo
hyyyY = , (16)
)](,...),2(),1([ hξξξΞ = . (17)
Тогда (10) и (12) соответственно принимают вид
ΞYY +=
o
, (18)
)(}{ hnE ×=OΞ , (19)
где )( hn×O – нулевая )( hn× -матрица.
Для ),( qk -элемента матрицы ковариаций векторов в (17) получаем
=ξξ== ∑
=
})()({)}()({}]{[
1
TT n
i
iikq qkEqkEE ξξΞΞ
),(σ)(),()()}()({ ζ
1
o
η
T
o
1
qknqqkkqkE
n
i
ii
n
i
ii ⋅+=ξξ= ∑∑
==
xΣx , (20)
а для ее ),( kk -элемента –
),(σ)(),()(}]{[ ζ
1
o
η
T
o
T kknkkkkE
n
i
iikk ⋅+= ∑
=
xΣxΞΞ . (21)
2. Вывод формул для оценивания коэффициентов
Запишем (10)–(15) в объединенном виде. Введем обозначения
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
=
)(
)2(
)1(
hy
y
y
y
M
,
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
=
)(
)2(
)1(
o
o
o
o
hy
y
y
y
M
,
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
=
)(
)2(
)1(
hθ
θ
θ
θ
M
,
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
=
)(
)2(
)1(
o
o
o
o
hθ
θ
θ
θ
M
,
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
=
)(
)2(
)1(
hξ
ξ
ξ
ξ
M
, (22)
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=
××
××
××
)(
)2(
)1(
o
))2(())1((
))((
o
))1((
))(())2((
o
hmnmn
hmnmn
hmnmn
XOO
OXO
OOX
R
L
MOMM
L
L
, (23)
где y – объединенный )1( ×N -вектор наблюдаемых зашумленных
значений;
o
y – )1( ×N -вектор ненаблюдаемых значений;
o
θ – неизвестный
детермини-рованный )1( ×M -вектор коэффициентов; θ – ненаблюдаемый
случайный )1( ×M -вектор коэффициентов; ξ – )1( ×N -вектор ненаблюдаемых
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 141
случайных аддитивных составляющих; R – объединенная )( MN × -матрица
регрессоров;
hnN = ; += )1(mM )(...)2( hmm ++ .
С учетом (22)–(23) систему регрессионных уравнений (10) запишем
ξθRξyy +=+=
oo
. (24)
Необходимо найти оценку неизвестных коэффициентов
o
θ в виде
yCd = ,
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
=
)(
)2(
)1(
hd
d
d
d
M
, hk
hk
k
k
k ,...,2,1,
),(
)2,(
)1,(
)( =
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
=
d
d
d
d
M
, (25)
где )( NM × -матрицу C , которая зависит от R , требуется определить.
Будем искать такую матрицу C , при которой логарифм определителя
ковариационной матрицы оценки коэффициентов принимает минимальное
значение и оценки коэффициентов несмещены. Математическое ожидание и
ковариационную матрицу оценки (25) вычислим по всем возможным
реализациям случайных величин )(kξ , hk ,...,2,1= . Для математического
ожидания оценки (25) должно выполняться
ooo
}{}{)}({}{}{ θξCθRCξyCyCd =+=+== EEEEE . (26)
Справедливость (26) следует из условий
MM E 0ξCIRC == }{, , (27)
т. е. из несмещенности оценок и независимости элементов матрицы R от
величин )(kξ , hk ,...,2,1= , с учетом (12).
Пусть ξΣ – ковариационная матрица введенного в (22) )1( ×N -вектора ξ .
Тогда для ковариационной матрицы вектора оценок (25) выполняется
=−+−+=−−= }))({(}))({()Cov( T
oooo
T
oo
θCξyCθCξyCθdθdd EE
TTT }{ CΣCCξξC ξ== E , (28)
где }{⋅E – операция математического ожидания, введенная в (26).
Запишем функцию Лагранжа
])([tr])[(detln),( T
MLL IRCΛCΣCΛC −+= ξ , (29)
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 142
где LΛ – диагональная – )( MM × матрица неопределенных множителей.
Тогда необходимые условия оптимальности имеют вид:
⎪
⎪
⎩
⎪⎪
⎨
⎧
=−=−
∂
∂
=
∂
∂
=−
∂
∂
+
∂
∂
=
∂
∂
×
×ξ
.)])([tr(
,)])([tr()])[(detln( T
MMMM
NMML
L
L
L
OIRCIRCΛ
ΛΛ
OIRCΛ
C
CΣC
CC (30)
Применяя правила матричного дифференцирования, из (30) получаем
1T11T )( −
ξ
−−
ξ= ΣRRΣRC . (31)
Для оценки (31) выполняется
oo
1T11T )}(){(}{}{ θξθRΣRRΣRCyd =+== −
ξ
−−
ξEEE , (32)
11T11T1T1T11T )(})(){()(Cov −−
ξ
−−
ξ
−
ξ
−
ξ
−−
ξ == RΣRRΣRRΣξξΣRRΣRd E . (33)
Вычислим матрицу ξΣ , т. е. дисперсии и ковариации случайных величин
)(ξ ki , ni ,...,2,1= , hk ,...,2,1= . Учитывая (13)–(15), для )( nn× -матрицы
),(][ ξξ qkkq ΣΣ = – ),( qk -блока матрицы ξΣ и для всей матрицы ξΣ получаем
),(σ)],([),(σ)(),()(]][[ ζη
o
ζ
o
η
T
o
ξ qkqkqkqqkk iiiiiikq +=+= ΛxΣxΣ , (34)
n
hhEhEhE
hEEE
hEEE
E IΣΛ
ξξξξξξ
ξξξξξξ
ξξξξξξ
ξξΣ ⊗+=
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎣
⎡
==ξ ζη
o
TTT
TTT
TTT
T
)}()({)}2()({)}1()({
)}()2({)}2()2({)}1()2({
)}()1({)}2()1({)}1()1({
}{
L
MOMM
L
L
, (35)
где η
o
Λ – )( NN × -матрица, состоящая из )( hh× блоков, а каждый ),( qk -блок
( hqk ,...,2,1, = ) представляет собой диагональную )( nn× -матрицу с элементами
в (34); ζΣ – ковариационная матрица, элементы которой введены в (7)–(8); nI –
единичная )( nn× -матрица; nIΣ ⊗ζ – кронекеровское произведение матриц.
Из (22)–(35) следует, что для оценок коэффициентов выполняется
=+= ∑ ∑∑
= =
−
ξ
−−
ξ
=
∧ h
l
h
q
kqlqkl
h
q
qqqk
1 1
o
1T11T
1
)()()(][])[()( ξCθRΣRRΣRd
∑∑
=
−
ξ
−−
ξ
≠
=
+=
h
l
lqkl
h
kq
q
q
1
o
1T11T
1
)(][])[( θRΣRRΣR
)()()()(][])[(
1
o
11
o
1T11T qkqk
h
q
kq
h
q
kq
h
l
lkkl ξCθξCθRΣRRΣR ∑∑∑
===
−
ξ
−−
ξ +=++ , (36)
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 143
где использованы свойства обратной блочной матрицы, которые следуют из
IHH =× −1 : 1][][
1
1 =×∑
=
−
h
l
lqkl HH , если qk = , и 0][][
1
1 =×∑
=
−
h
l
lqkl HH , если qk ≠ .
В выражение (35) для матрицы ),( qkξΣ входят неизвестные матрицы
),(η qkΣ и ),(ζ qkΣ . Это обстоятельство использовано в [10] для построения
итерационной процедуры вычисления неизвестных коэффициентов.
Эффективность итерационной процедуры подтверждена методом
статистических испытаний.
3. Системный критерий регулярности МГУА
Ранее предполагалось, что подмножества регрессоров, участвующих
в формировании каждой из выходных переменных в (1), заданы. Далее будем
предполагать, что они неизвестны, и их требуется определить.
Для описания структуры системы регрессионных уравнений введем
структурные матрицы, смысл которых поясним на конкретном примере. Пусть
X – заданное исходное множество регрессоров, а X – )( mn× -матрица
регрессоров множества X . Пусть на значение выходной переменной с номером
k влияют первый, второй и четвертый регрессоры в исходном заданном
множестве регрессоров X , число которых 5=m . Тогда матрицу регрессоров
)(kX в (1)–(36) можно записать виде произведения
== )()( kk SXX
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
×
⎥
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
=
)4()2()1(
)4()2()1(
)4()2()1(
)4()2()1(
000
100
000
010
001
)5()4()3()2()1(
)5()4()3()2()1(
)5()4()3()2()1(
)5()4()3()2()1(
222
111
22222
11111
nnn
iii
nnnnn
iiiii
xxx
xxx
xxx
xxx
xxxxx
xxxxx
xxxxx
xxxxx
MMM
MMM
MMMMM
MMMMM , (37)
где )35( × -матрица )(kS – структурная матрица, отражающая влияние первого,
второго и четвертого регрессоров на выходную переменную с номером k .
Пусть информация о том, какие именно регрессоры определяют значения
каждой выходной переменной, представлена набором структурных матриц
)}(,...),2(),1({
oooo
hS SSS= , (38)
которые могут быть различными для разных выходных переменных. С учетом
введенных структурных матриц закон функционирования (10) можно записать
hkkkkSkkkkkk ,...,2,1),()(),()()()()()()(
ooooo
=+=+=+= ξθRξθSXξyy , (39)
где )(ky – )1( ×n -вектор наблюдаемых значений выходной переменной )(ky .
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 144
Далее предполагается, что множество X и матрица X заданы, а
структурные матрицы )(
o
kS , hk ,...,2,1= , неизвестны, их требуется определить.
Пусть
)}(,...),2(),1({ hS SSS= (40)
– набор структурных матриц, которые соответствуют текущей структуре
модели – одной из структур, перебираемых по алгоритму полного перебора
всех структур; pks ≤)( – число регрессоров в k -ом регрессионном уравнении,
hk ,...,2,1= ; p – заданное максимально возможное число регрессоров.
Пусть
∧
d – оценка вектора коэффициентов
o
θ , а )(k
∧
d – оценка )(
o
kθ в (36).
Тогда для системы регрессионных уравнений выполняется
hkkkkkkk ,...,2,1),()()()()()( =+=+=
∧∧
uyudXy , (41)
где )(k
∧
y – )1( ×n -вектор выходов, а )(ku – )1( ×n -вектор остатков k -й модели.
Введем матрицы выходов
∧
Y и остатков U системы моделей (41):
)](,...(2),(1),[ h
∧∧∧∧
= yyyY , (42)
)](,...(2),(1),[ huuuU = , (43)
для которых выполняется
)]()(,...(2),(2)(1),(1)[ hh
∧∧∧∧
−−−=−= yyyyyyYYU , (44)
где Y – матрица наблюдений, введённая в (16).
Пусть имеются две выборки наблюдений m входных переменных и
h выходных переменных: первую выборку ( A ) будем называть обучающей,
а вторую ( B ) – проверочной. На обучающей выборке будем оценивать
параметры системы регрессионных уравнений с текущей анализируемой
структурой, а на проверочной – оценивать качество этой построенной модели.
Введем для этих выборок обозначения
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
=
),(
)2,(
)1,(
)(
hA
A
A
A
y
y
y
y
M
,
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
××
××
××
);,(
)2;,(
)1;,(
),(
))2(())1((
))(())1((
))(())2((
hSA
SA
SA
SA
mnmn
hmnmn
hmnmn
ROO
ORO
OOR
R
L
MOMM
L
L
, (45)
где )()();,( kAkSA SXR = , hk ,...,2,1= ;
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
=
),(
)2,(
)1,(
)(
hB
B
B
B
y
y
y
y
M
,
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
××
××
××
);,(
)2;,(
)1;,(
),(
))2(())1((
))(())1((
))(())2((
hSB
SB
SB
SB
mnmn
hmnmn
hmnmn
ROO
ORO
OOR
R
L
MOMM
L
L
, (46)
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 145
где )()();,( kBkSB SXR = , hk ,...,2,1= .
Итак, на выборке A оцениваем коэффициенты (использовано (36)):
∑
=
•
∧
==
h
q
kqk qASAASAkSA
1
),(),()(),();,( yCyCd ),(),()(
1
o
qASAk
h
q
kq ξCθ ∑
=
+= . (47)
Для )1)(( ×Bn -вектора остатков на B выполняется (использовано (41)):
);,();,(),()S;,/(),();,/( kSAkSBkBkABkBkSAB
∧∧
−=−= dRyyyu , (48)
где ),( kBy – )1)(( ×Bn -вектор наблюдений выходной переменной с номером k
на проверочной выборке B ; )(Bn – объем выборки B ; );,/( kSAB
∧
y – )1)(( ×Bn -
вектор выходов k -й модели на выборке B , рассчитанный по модели, оценки
коэффициентов (47) которой получены на обучающей выборке A .
С учетом (47) для вектора остатков (48) выполняется
=);,/( kSABu
=−−+= ∑∑
==
),(),();,(),(),();,(),(),(
1
o
1
o
qASAkSBqASAkSBkBkB
h
q
kq
h
q
kq ξCRyCRξy
),(),();,(),();,/(
1
qASAkSBkBkSAB
h
q
kq ξCRξδ ∑
=
−+= , (49)
где );,/( kSABδ – )1( ×n -вектор отклонений (так называемое смещение,
обусловленное выбором текущей структуры S вместо истинной
o
S ):
),(),();,(),();,/(
o
1
o
qASAkSBkBkSAB
h
q
kq yCRyδ ∑
=
−= . (50)
Объединим )1)(( ×Bn -векторы остатков (49) в ))(( hBn × -матрицу
[ ]),,/(,...2),;,/(1),;,/(),/( hSABSABSABSAB uuuU = . (51)
Введем матрицу ковариаций остатков (49)
),/(),/(),/( T SABSABSAB UUW = . (52)
Определение 1. Случайная величина
[ ]( )),/(detln1)( SAB
h
SARS W= (53)
называется системным критерием регулярности МГУА для системы
регрессионных уравнений [11].
Определение 2. Оптимальным множеством регрессоров называется
множество регрессоров, соответствующее набору структурных матриц 0S :
)}({minarg
),(
0 *
SARSES
pmSS⊆
= , (54)
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 146
где ),(* pmS – множество всевозможных наборов структурных матриц при
заданном множестве m регрессоров X и заданном p .
Определение 3. Оптимальной по количеству и составу регрессоров
называется система регрессионных уравнений, построенная на множестве
регрессоров, которое соответствует набору структурных матриц 0S .
Вычислим математическое ожидание матрицы ковариаций остатков (52):
=== )};,/();,/({])},/(),/({[),/( TT qSABkSABESABSABESAB kqkq uuUUΩ
−+= }]),(),([{);,/();,/( TT qBkBEqSABkSAB ξξδδ
−− ∑
=
}])),(),();,((),([{
1
T sASAqSBkBE
h
s
qs ξCRξ
+− ∑
=
}]),()),(),();,(([{ T
1
qBrASAkSBE
h
r
kr ξξCR
}])),(),();,(()),(),();,(([{
1
T
1
sASAqSBrASAkSBE
h
s
qs
h
r
kr ξCRξCR ∑∑
==
+ . (55)
Для второго слагаемого в (55) аналогично (20), выполняется
),(σ)(),(),(),(}),(),({ ζ
)(
1
o
η
T
o
T qkBnqBqkkBqBkBE
Bn
i
ii ⋅+= ∑
=
xΣxξξ , (56)
а третье и четвертое слагаемые равны нулю, поскольку )(Aξ и )(Bξ
статистически независимы. Для пятого слагаемого в (55) выполняется
=∑∑
==
}]),(),();,();,()],()[,([{
1
TTT
1
h
s
qskr
h
r
sASAqSBkSBSArAE ξCRRCξ
∑∑
==
=
h
s
srqskr
h
r
SAqSBkSBSA
1
ξ
TT
1
]][),();,();,()],([[tr ΣCRRC . (57)
Учитывая
krkr SASASASA ]),()),(),(([),( 1T11T −
ξ
−−
ξ= ΣRRΣRC , (58)
qsqs SASASASA ]),()),(),(([),( 1T11T −
ξ
−−
ξ= ΣRRΣRC , (59)
используя rkkr SASA )],([)],([ TT CC = и симметричность матрицы ξΣ , получаем
[ ]
[ ] =
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
×
×
∑∑
= −
ξ
−−
ξ
−−
ξ
−
ξ
=
h
s srqs
rkh
r SASASA
qSBkSBSASASA
1 ξ
1T11T
T11T1
1 ][),()),(),((
);,();,()),(),()(,(
tr
ΣΣRRΣR
RRRΣRRΣ
[ ]
kq
SBSASASB ),()),(),((),(tr T11T RRΣRR −−
ξ= . (60)
Подставляя в (55) выражения (56) и (60), получаем
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 147
++= ∑
=
)(
1
o
η
T
o
T ),(),(),();,/();,/(),/(
Bn
i
iikq qBqkkBqSABkSABSAB xΣxδδΩ
kqSBSASASBqkBn ]),()),(),((),([tr),(σ)( T11T
ζ RRΣRR −−
ξ+⋅+ . (61)
Далее будем предполагать, что мы находимся в условиях активного
эксперимента и можем реализовать схему повторных наблюдений [12, 13]. Для
заданных значений входных переменных проводится пара наблюдений
выходных переменных, причем “первые” наблюдения каждой пары образуют
выборку A , а “вторые” наблюдения – выборку B , т. е. выполняется:
)(),(),(,)()( SSBSAnBnAn RRR ==== , (62)
)();();,();,( kkSkSBkSA SXRRR === , hk ,...,2,1= . (63)
Учитывая (35) и (62)–(63), выражение (61) можно записать
++= ∑
=
n
i
iikq qqkkqSABkSABSAB
1
o
η
T
o
T )(),()();,/();,/(),/( xΣxδδΩ
=+⋅+ −−
ξ kqSSSSqkn ])())()(()([tr),(σ T11T
ζ RRΣRR
[ ] kqii
n
i
kq SqknqkSAB )(tr),(σ)],([),/(][ ζη
o
1
PΛΔ +⋅++= ∑
=
, (64)
где ),/( SABΔ – матрица отклонений, обусловленных выбором текущей
анализируемой структуры S вместо истинной структуры
o
S :
);,/();,/()],/([ T qSABkSABSAB kq δδΔ = , hqk ,...,2,1, = ; (65)
)())()(()()( T11T SSSSS RRΣRRP −−
ξ= ; (66)
),(η
o
qkΛ , hqk ,...,2,1, = – матрицы, введённые в (34).
Введём обозначения
⎥
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎢
⎣
⎡
== ⊗
)],([tr)]2,([tr)]1,([tr
)],2([tr)]2,2([tr)]1,2([tr
)],1([tr)]2,1([tr)]1,1([tr
][tr)(
η
o
η
o
η
o
η
o
η
o
η
o
η
o
η
o
η
o
η
oo
hhhh
h
h
ΛΛΛ
ΛΛΛ
ΛΛΛ
ΛΛT
L
MOMM
L
L
, (67)
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
== ⊗
)],;([tr)]2,;([tr)]1,;([tr
)],2;([tr)]2,2;([tr)]1,2;([tr
)],1;([tr)]2,1;([tr)]1,1;([tr
)]([tr)(
hhShShS
hSSS
hSSS
SSP
PPP
PPP
PPP
PT
L
MOMM
L
L
, (68)
где ][tr ⋅⊗ – обозначение операции “поблочного” взятия следа матрицы.
Тогда для ковариационной матрицы ),/( SABΩ окончательно получаем
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 148
)()(),/(),/( ζ
o
SnSABSAB PTΣΛTΔΩ +⋅++= . (69)
Для случая совпадения структуры S c
o
S получаем ( hqk ,...,2,1, = )
kqii
n
i
kq SqknqkSAB ])([tr),(σ)],([),/(
o
ζη
o
1
o
PΛΩ +⋅+= ∑
=
, (70)
)()(),/(
o
ζ
oo
SnSAB PTΣΛTΩ +⋅+= , (71)
где матрицы )(
o
SP и )(
o
SPT могут быть записаны аналогично (66) и (68).
4. Исследование системного критерия регулярности МГУА
Установим свойства системного критерия регулярности МГУА. С этой
целью исследуем, как изменяется математическое ожидание критерия
в зависимости от состава множества регрессоров. В случае истинной структуры
для математического ожидания критерия регулярности в схеме повторных
наблюдений, используя (71), получаем
== }))],/([det(ln{1)}({
oo
SABE
h
SARSE W
=−⋅= ∏
=
))()}],/({[det(ln1
1
o h
k
knSABE
h
W =−⋅∏
=
))()],/([det(ln1
1
o h
k
knSAB
h
Ω
))(])()([det(ln1
1
o
ζ
o
∏
=
−⋅+⋅+=
h
k
P knSn
h
TΣΛT . (72)
Для математического ожидания критерия регулярности модели с текущей
структурой S в схеме повторных наблюдений, используя (69), получаем
{ } [ ]( ){ }== ),/(detln1)( SABE
h
SARSE W
{ }[ ] =−⋅= ∏
=
))(),/(det(ln1
1
h
k
knSABE
h
W [ ] =−⋅∏
=
))(),/(det(ln1
1
h
k
knSAB
h
Ω
))(])()(),/([det(ln1
1
ζ
o
∏
=
−⋅+⋅++=
h
k
P knSnSAB
h
TΣΛTΔ . (73)
При расчёте математических ожиданий определителей матриц (72)– (73),
имеющих распределение Уишарта, применены результаты [14, с. 236, 237].
Случай недостающего регрессора. Рассмотрим случай, когда в модель
для переменной с номером h ошибочно не включен один регрессор, и для
простоты будем считать, что это регрессор с номером m из множества X .
Тогда для текущих и истинных структурных матриц выполняется соотношение
1,...,2,1),()(
o
−== hkkk SS ; [ ]sSS )()(
o
hh = , (74)
где )(
o
hS – структурная ))((
o
hmm× -матрица истинной модели (регрессионного
уравнения) для переменной с номером h ; )(hS – структурная ))1)(((
o
−× hmm -
матрица текущей модели; s – )1( ×m -вектор, для которого выполняется
T)1,0...,,0,0(=s . (75)
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 149
Используя формулы (72)–(73), рассмотрим разность
=−= )}({)}({),(Δ
oo
1 SARSESARSESS =
⎟⎟
⎟
⎠
⎞
⎜⎜
⎜
⎝
⎛
)],/([det
)],/([det
ln1
o
1
SAB
SAB
h Ω
Ω
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎝
⎛
+⋅+
++⋅+
=
])()([det
]),/()]()([[det
ln1
o
ζ
o
ζ
o
Sn
SABSn
h
P
P
TΣΛT
ΔTΣΛT
. (76)
Вычислим )( hh× -матрицу ),/( SABΔ в (76), для которой выполняется
⎥
⎦
⎤
⎢
⎣
⎡
Δ
=
−
−−×−
hhh
hhhSAB T
1
1)1()1(),/(
0
0O
Δ , );,/();,/(T hSABhSABhh δδ=Δ , (77)
где );,/( hSABδ – так называемое смещение, введенное в (50).
В схеме повторных наблюдений для смещения ),/( SABδ выполняется
=−=−=
oooooo
)()()()()()()()(),/( θRCRθRyCRyδ SSSSASSBSAB
oo
1T11Too
)()())()(()()( θRΣRRΣRRθR SSSSSS −
ξ
−−
ξ−= . (78)
Для матриц регрессоров, соответствующих
o
S и S в (74), выполняется
1,...,2,1),,(),(
o
−== hkkSkS RR , (79)
[ ]sSXSXR )()(),(
oo
hhhS == [ ] [ ]mRsXSX ),()( hSh == , (80)
где m – )1( ×n -вектор наблюдений пропущенного регрессора.
Для матриц )(
o
SR и )(SR , с учётом (79)–(80), получаем
[ ]RSS δRR )()(
o
= , )...,,,( TTTT m00δ nnR = . (81)
Учитывая (81), (78) можно записать
[ ] [ ] =−= −
ξ
−−
ξ
o
1T11To
)()())()(()()(),/( θδRΣRRΣRRθδRδ RR SSSSSSSAB
=⎥
⎦
⎤
⎢
⎣
⎡
−= −
ξ
−−
ξ
−×
o
1T11T
)1(
)())()(()(o θδΣRRΣRRδO RR
MN
SSSS
o
)1(
)(o θδMO ⎥
⎦
⎤
⎢
⎣
⎡
=
−×
R
MN
S , (82)
где ])())()()(([)( 1T11T −
ξ
−−
ξ−= ΣRRΣRRIM SSSSS N – идемпотентная матрица.
Учитывая (74), (82) и соотношения
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
=
)(
)2(
)1(
o
o
o
o
hθ
θ
θ
θ
M
,
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎜
⎝
⎛
=
)(θ
)(θ
)(θ
)(
)(
o
2
o
1
o
o
o h
h
h
h
hm
M
θ , (83)
получаем
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 150
=⎥
⎦
⎤
⎢
⎣
⎡
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
==Δ
−×
×−
o
)1(TT
)1(T
o
T )(
)(
),/(),/( o
o
θδMO
Mδ
O
θδδ R
MN
R
NM
hh S
S
SABSAB
=
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
=
−
−−×− o
TTT
1
1)1()1(T
o
)()(o
ooo
θ
δMMδ0
0O
θ
RR
M
MMM
SS
=
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
=
−
−−×− o
TTT
1
1)1()1(T
o
)]()([o
ooo
θ
mMMm0
0O
θ
hh
M
MMM
SS
mHm )())(θ( T2
)(
o o Sh hhhm ⋅= , (84)
×−== −−
ξ
−
ξ ])())()()(([)()()( T11T1T SSSSSSS N RRΣRRΣIMMH
])())()()(([ 1T11T −
ξ
−−
ξ−× ΣRRΣRRI SSSSN . (85)
Итак, в (82)–(85) установлено
mHmδδ )())(θ();,/();,/( T2
)(
o
T o ShhSABhSAB hhhmhh ⋅==Δ . (86)
Введем )1( ×h -вектор T2/1 ))(,0,...,0,0( hhΔ=b такой, что выполняется
),/(T SABΔbb = , и вычислим определитель под знаком логарифма в числителе
(76), применив правило )1(][det][det 1TT bAbAbbA −+⋅=+ :
=++⋅+= ]),/()]()([[det ζ
o
SABSnc P ΔTΣΛT
×+⋅+= )]()([det ζ
o
Sn PTΣΛT =ΔΔ+ − }))(,0,...,0,0())(,0,...,0,0(1{ T2/112/1
hhhh A
})(])]()([[)(1{)]()([det 2/11
ζ
o
2/1
ζ
o
hhhhPhhP SnSn Δ+⋅+Δ+⋅+⋅+= −TΣΛTTΣΛT . (87)
Используя (87), для разности (76) получаем
=),(Δ
o
1 SS
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎝
⎛
+⋅+
Δ+⋅+Δ+⋅+⋅+
=
−
])()([det
})(])]()([[)(1{])()([det
ln1
o
ζ
o
2/11
ζ
o
2/1
ζ
o
Sn
SnSn
h
P
hhhhPhhP
TΣΛT
TΣΛTTΣΛT
. (88)
Установим теперь соотношение )( hh× -матриц )(SPT и )(
o
SPT в (88).
В соответствии с (68) для их разности выполняется ( hqk ,...,2,1, = )
kqkqPP SSqkSqkSSS )]()([tr)],;(),;([tr)]()([
ooo
PPPPTT −=−=− . (89)
Учитывая (81), вычислим разность
)()(
o
SS PP − −= −−
ξ )(])()([)( T11T SSSS RRΣRR
[ ] =
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
−
−
−
ξ T
T1
1
T
T )(])([)()(
R
R
R
R
SSSS
δ
RδRΣ
δ
RδR
−= −−
ξ )(])()([)( T11T SSSS RRΣRR
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 151
[ ]
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
−
−
−
ξ
−
ξ
−
ξ
−
ξ
T
T1
1T1T
1T1T )(
)(
)()()(
)(
RRRR
R
R
S
S
SSS
S
δ
R
δΣδRΣδ
δΣRRΣR
δR 21 aa −= . (90)
Для вычисления члена 2a в (90) применим формулу обращения блочной
матрицы (она является частным случаем формулы [15, с. 302]):
⎥
⎦
⎤
⎢
⎣
⎡
⋅−
⋅−⋅⋅+
=⎥
⎦
⎤
⎢
⎣
⎡
= −−−
−−−−−−−
−
11T1
111T1111
T
1
ff
ff
e Bd
cBBdcBB
d
cB
A , cBd 1T −−= ef . (91)
В нашем случае выполняется
RRRR eSSSS δΣδRΣδdδΣRcRΣRB 1T1TT1T1T ),(,)(),()( −
ξ
−
ξ
−
ξ
−
ξ ==== , (92)
RRRRRR SSSSSf δMΣδδΣRRΣRRΣδδΣδ )()())()(()( 1T1T11T1T1T −
ξ
−
ξ
−−
ξ
−
ξ
−
ξ =−= .(93)
Учитывая (91)–(93), получаем
[ ] ×= RSa δR )(2
=
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
⋅−
⋅−
⋅⋅+
+
×
−−−
ξ
−
−−
ξ
−
−−
ξ
−−
ξ
−
−
T
T
111T1
11T1
11T11T1
1
)(
)(
)(
)()(
R
R
R
RR
S
fSf
fS
SfS
δ
R
BRΣδ
δΣRB
BRΣδδΣRB
B
[ ] =
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
⋅+⋅−
⋅⋅−
−⋅⋅+
×=
−−−
ξ
−
−−
ξ
−
−−
ξ
−−
ξ
−−
T1T11T1
T11T1
T11T11T1T1
)()(
)(
)()()()(
)(
RR
RR
RR
R
fSSf
fS
SSfSS
S
δRBRΣδ
δδΣRB
RBRΣδδΣRBRB
δR
−⋅⋅+= −−
ξ
−−
ξ
−− )()()()()()( T11T11T1T1 SSfSSSS RR RBRΣδδΣRBRRBR
T1T11T1T11T1 )()()()( RRRRRR fSSffSS δδRBRΣδδδδΣRBR ⋅⋅+⋅⋅−⋅⋅− −−−
ξ
−−−
ξ
− . (94)
Подставляя (94) в (90), получаем
=− )()(
o
SS PP +⋅− −−
ξ
−
ξ
−− )()()()( T11T1T11 SSSSf RR RBRΣδδΣRBR
T1T11T1T1T11 )()()()( RRRRRR fSSfSSf δδRBRΣδδδδΣRBR ⋅−⋅+⋅+ −−−
ξ
−−
ξ
−− . (95)
Учитывая (81), для ),( qk -го элемента (95) получаем
=−=− kqkqPP SSSS )]()([tr)]()([
oo
PPTT +⋅− − mmT1f
+⋅+ −
ξ
−− mΣRBRm khSSf ])()([ 1T1T1
+⋅+ −−
ξ
− mRBRΣm hqSSf )]()([ T11T1
=⋅− −
ξ
−−−
ξ
− mΣRBRRBRΣm khhq SSSSf ])()([)]()([ 1T1T11T1
mMMm khhq SSf )]([)]([ TT1 ⋅−= − , (96)
где )(SM – )( NN × -матрица введена в (82).
Из (96), с учётом (68), следует (во второй строке (97) буква S опущена)
=− )()(
o
SS PP TT =− ⊗⊗ )]([tr)]([tr
o
SS PP
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 152
=
⎥
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎢
⎣
⎡
⋅−= −
mMMmmMMmmMMm
mMMmmMMmmMMm
mMMmmMMmmMMm
hhhhhhhhhh
hhhhhhh
hhhhhhh
f
][][][
][][][
][][][
TT
2
TT
1
TT
T
2
T
2
T
2
T
1
T
2
T
T
1
T
2
T
1
T
1
T
1
T
1
L
OMM
L
L
mMMm hh SSf ••
− ⋅−= )]()[( TT1 , (97)
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
m00
0m0
00m
m
L
MOMM
L
L
nn
nn
nn
,
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=•
)(
)(
)(
)( 2
1
S
S
S
S
hh
h
h
h
M
M
M
M
M
, (98)
])]([)]([)]([[)]([ T
2
T
1
TT
hhhhh SSSS MMMM L=• . (99)
Вычислим определитель в знаменателе (88), выполнив подстановку,
которая следует из (97)
mMMmTT hhPP SSfSS ••
− ⋅+= )]([)()()( TT1
o
. (100)
Применяя формулу для вычисления определителя матрицы
][det][det][det 1TT BABIABBA −+⋅=+ h из [15, с. 302], получаем
=+⋅+ ])()([det
o
ζ
o
Sn PTΣΛT
=⋅++⋅+= ••
− ])]([)()()([det TT1
ζ
o
mMMmTΣΛT hhP SSfSn
×+⋅+= )]()([det ζ
o
Sn PTΣΛT
])]()([][[det T1
ζ
o
T1
•
−
•
− +⋅+⋅+× hPhh Snf MmTΣΛTmMI . (101)
Подставляя (101) в (88), получаем
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎝
⎛
+⋅+⋅+
Δ⋅+⋅+⋅Δ+
=
•
−
•
−
−
])(])]()([)]([[det
)(])]()([[)(1
ln1),(Δ
T1
ζ
o
T1
2/11
ζ
o
2/1o
1
SSnSf
Sn
h
SS
hPhh
hhhhPhh
MmTΣΛTmMI
TΣΛT
. (102)
Если 0),(Δ
o
1 >SS , то структура
o
S лучше S ; если 0),(Δ
o
1 <SS , то структура
S лучше
o
S ; если 0),(Δ
o
1 =SS , то структура S лучше
o
S по принципу простоты.
Выполнение 0),(Δ
o
1 ≤SS является условием так называемой редукции
оптимальной по структуре модели. Из (102) для условия редукции получаем
1
])(])]()([)]([[det
)(])]()([[)(1
T1
ζ
o
T1
2/11
ζ
o
2/1
≤
+⋅+⋅+
Δ⋅+⋅+⋅Δ+
•
−
•
−
−
SSnSf
Sn
hPhh
hhhhPhh
MmTΣΛTmMI
TΣΛT
. (103)
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 153
где hhΔ и f – скалярные величины, определённые в (86) и (93) соответственно;
)(
o
ΛT – )( hh× -матрица, введённая в (67); )(SPT – )( hh× -матрица, введённая
в (66, 68); матрица )(SM – идемпотентная )( NN × -матрица, введённая в (82).
К сожалению, получить условие редукции (103) в простом виде удаётся
только при выполнении дополнительных предположений, и это является
предметом отдельного исследования.
Косвенное подтверждение истинности условия редукции. Установим
здесь, какой вид принимает условие (103), если предположить, что
коэффициенты в уравнении (1) являются детерминированными, а не
случайными (для такого класса моделей задача структурной идентификации по
принципам МГУА рассмотрена в [16]):
nihkkki ,...,2,1,,...,2,1),()(
o
=== θθ . (104)
При выполнении (104) матрица η
o
Λ в (103), введённая в (35), является
нулевой )( NN × -матрицей NN×= OΛη
o
, а матрица )(
o
ΛT из (67) – нулевой
)( hh× -матрицей hh×= OΛT )(
o
. Для )( hh× -матрицы )(SPT в (68) выполняется
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
)(),(σ)()2,(σ)()1,(σ
)2(),2(σ)2()2,2(σ)2()1,2(σ
)1(),1(σ)1()2,1(σ)1()1,1(σ
)(
ζζζ
ζζζ
ζζζ
hmhhhmhhmh
mhmm
mhmm
SP
L
MOMM
L
L
T (105)
или
ζ})(,...),2(),1(diag{)( ΣT ×= hmmmSP , (106)
а матрица )(
o
SPT получается из )(SPT заменой )(km на )(
o
km , hk ,...,2,1= .
Для знаменателя (103) в случае (104) выполняется
)]([det
])([det
])()]([)]([[det
ζ
o
ζT1
ζ
T1
Sn
Sn
SSnSf
P
P
hPhh TΣ
TΣ
MmTΣmMI
+⋅
+⋅
=+⋅⋅+ •
−
•
− .(107)
Подставляя (107) в (103), получаем
1
])([det
})(])]([[)(1{)]([det
o
ζ
2/11
ζ
2/1
ζ ≤
+⋅
Δ⋅+⋅⋅Δ+×+⋅ −
Sn
SnSn
P
hhhhPhhP
TΣ
TΣTΣ
. (108)
Вычисляя (108) аналогично [16], учитывая (86) для hhΔ и вытекающие из
(74) соотношения ,1,...,2,1),()(
o
−== hkkmkm и 1)()(
o
−= hmhm , получаем
1
))((][det
})(][)())((1{))((][det
1
o
ζ
2/11
ζ
2/11
1
ζ
≤
+⋅
ΔΔ⋅++×+⋅
=
∏
∏
=
−−
=
h
k
hhhhhh
h
k
kmn
hmnkmn
Σ
ΣΣ
, (109)
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 154
11
ζ
T2
)(
o
)][()())(θ( o −−≤⋅ hhhhhm Sh ΣmHm . (110)
Совпадение (110) с результатом (95) работы [16] и служит косвенным
подтверждением истинности условия редукции (103).
Случай избыточного регрессора. Рассмотрим случай, когда в текущую
структуру включен излишний регрессор. Предположим для простоты, что этот
регрессор является последним регрессором в исходном множестве входных
переменных X : он включен в модель для переменной с номером h , хотя не
участвует в формировании ее значения. Тогда для выполняется
1,...,2,1),()(
o
−== hkkk SS ; ])([)(
o
sSS hh = , (111)
где )(
o
hS – ))((
o
hmm× -матрица истинной структуры регрессионного уравнения
для переменной с номером h ; )(hS – ))1)(((
o
+× hmm -матрица текущей
структуры; s – )1( ×m -вектор, для которого выполняется
T)1,0,...,0,0(=s . (112)
В этом случае )( hh× -матрица ),/( SABΔ в (65) – так называемое
смещение, обусловленное выбором ошибочной структуры S вместо истинной
структуры
o
S , является нулевой матрицей. Доказательство этого утверждения
проводится аналогично (77)–(82).
Из различия )(
o
hS и )(hS в (111)–(112) следует
1,...,2,1),,(),(
o
−== hkkSkS RR , (113)
])([)(),(
o
sSXSXR hhhS == ]),([])([
oo
rRsXSX hSh == , (114)
где r – )1( ×n -вектор наблюдений избыточного регрессора.
Для матриц )(SR и )(
o
SR , с учётом (113)–(114), получаем
])([)(
o
RSS δRR = , )...,,,( TTTT r00δ nnR = . (115)
Для случая избыточного регрессора, аналогично результатам (97)–(100),
получаем соотношение
mMMmTT hhPP SSSfSS ••
− ⋅+= )]()[()()()(
o
T
oTo
1
o
, (116)
])())()(()([)( 1
oT1
o
1
oToo
−
ξ
−−
ξ−= ΣRRΣRRIM SSSSS N , (117)
– идемпотентная матрица;
RRRRRR SSSSSSf δMΣδδΣRRΣRRΣδδΣδ )()())()(()()(
o
1T1
oT1
o
1
oTo
1T1T
o
−
ξ
−
ξ
−−
ξ
−
ξ
−
ξ =−= (118)
– положительная величина, поскольку матрицы 1−
ξΣ и )(
o
SM положительно
определены; Rδ – )1( ×N -вектор, определённый в (115).
Теперь рассмотрим разность
=−= )}({)}({),(Δ
oo
2 SARSESARSESS
А.П. Сарычев
Індуктивне моделювання складних систем, випуск 6, 2014 155
⎟⎟
⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎜
⎝
⎛
+⋅+
⎥
⎦
⎤
⎢
⎣
⎡
+⋅+
=
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎝
⎛
⎥
⎦
⎤
⎢
⎣
⎡
⎥
⎦
⎤
⎢
⎣
⎡
=
])()([det
)]()([det
ln1
),/(det
),/(det
ln1
o
ζ
o
ζ
o
o
2
Sn
Sn
h
SAB
SAB
h
P
P
TΣΛT
TΣΛT
Ω
Ω
. (119)
Учитывая (116) и применяя формулу для вычисления определителя
матрицы ][det][det][det 1TT BABIABBA −+⋅=+ h из [15, с. 302], получаем
=+⋅+ ])()([det ζ
o
Sn PTΣΛT
=⋅++⋅+= ••
− ])]()[()()()([det
o
T
o
T
o
1
o
ζ
o
mMMmTΣΛT hhP SSSfSn
×+⋅+= )]()([det
o
ζ
o
Sn PTΣΛT
])()]()([)]([)([det
o
T1
o
ζ
oo
T
o
1 SSnSSf hPhh •
−
•
− +⋅+⋅+× MmTΣΛTmMI . (120)
Подставляя (120) в (119), получаем
=),(Δ
o
2 SS
0])()]()([)]([)([detln1 o
T1
o
ζ
oo
T
o
1 >⎟⎟
⎠
⎞
⎜⎜
⎝
⎛
+⋅+⋅+= •
−
•
− SSnSSf
h hPhh MmTΣΛTmMI . (121)
Величина (121) положительна, поскольку положительна величина
)(
o
1 Sf − , а ])()]()([)]([
o
T1
o
ζ
oo
T SSnS hPh •
−
• +⋅+ MmTΣΛTmM – положительно
определенная матрица.
Из (121) следует, что в случае избыточного регрессора истинная
структура
o
S всегда лучше структуры S , а регрессор r действительно не
следует включать в модель.
Заключение
По принципам метода группового учета аргументов построен и
исследован критерий структурной идентификации для моделирования в классе
систем регрессионных уравнений со случайными коэффициентами. В схеме
повторных наблюдений получены условия редукции (упрощения) систем
регрессионных уравнений, оптимальных по составу регрессоров. Эти
результаты обобщают результаты автора [11], где при исследовании критерия
дополнительно предполагалась ортогональность пропущенного (избыточного)
регрессора истинному множеству регрессоров.
Разработанный критерий является системным критерием структурной
идентификации, при построении которого предполагается совместное
оценивание коэффициентов регрессионных уравнений системы. В частном
случае независимого оценивания коэффициентов в разных регрессионных
уравнениях предложенный критерий представляет собой сумму критериев
регулярности отдельных регрессионных уравнений, т. е. он является
обобщением системного критерия регулярности, традиционно применяемого
в МГУА.
Моделирование в классе систем регрессионных Уравнений со случайными коэффициентами
Індуктивне моделювання складних систем, випуск 6, 2014 156
Литература.
1. Ивахненко А. Г. Индуктивный метод самоорганизации моделей
сложных систем / А. Г. Ивахненко. – К. : Наук. думка, 1982. – 296 с.
2. Self-organizing methods in modelling: GMDH type algorithms
/ Ed. By S. J. Farlow. – New York, Basel : Marcel Decker Inc., 1984. – P. 350.
3. Ивахненко А. Г. Помехоустойчивость моделирования / А.Г. Ивахненко,
В. С. Степашко. – Киев : Наукова думка, 1985. – 216 с.
4. Ивахненко А. Г. Самоорганизация прогнозирующих моделей
/ А. Г. Ивахненко, Й. А. Мюллер. – К. : Техніка, 1985. – 223 с.
5. Ивахненко А. Г. Моделирование сложных систем по эксперименталь-
ным данным / А. Г. Ивахненко, Ю. П. Юрачковский. – М. : Радио и связь, 1987.
– 120 с.
6. Madala H. R. Inductive Learning Algorithms for Complex System
Modeling / H. R. Madala, A. G. Ivakhnenko. – London, Tokyo : CRC Press Inc.,
1994. – 370 p.
7. Muller J.-A. Self-organizing Data Mining. Extraсting Knowledge from Data
/ J.-A. Muller, F. Lemke. – Hamburg : Libri, 2000. – 250 p.
8. Сарычев А. П. Идентификация состояний структурно-неопределенных
систем / А. П. Сарычев. – Днепропетровск : НАН Украины и НКА Украины,
Институт технической механики, 2008. – 268 с.
9. Современные методы идентификации систем / Эйкхофф П.,
Ванечек А., Савараги Е., Соэда Т., Наказимо Т., Акаике Х., Райбман Н.,
Петерка В. / Под ред. П. Эйкхоффа ; пер. с англ. – М. : Мир, 1983. – 400 с.
10. Сарычев А. П. Итерационная процедура оценивания параметров
системы регрессионных уравнений со случайными коэффициентами
/ А. П. Сарычев // Системні технології. – Випуск 4 (87). – 2013. – С. 99–110.
11. Сарычев А. П. Моделирование в классе систем регрессионных
уравнений со случайными коэффициентами в условиях структурной
неопределенности / А. П. Сарычев // Проблемы управления и информатики. –
2008. – № 2. – C. 27–41.
12. Сарычев А. П. Решение проблемы разбиения в МГУА при расчете
критерия регулярности в условиях активного эксперимента / А. П. Сарычев
// Автоматика. – 1989. – № 4. – С. 19–27.
13. Сарычев А. П. Определение J-оптимального множества регрессоров
по повторным выборкам наблюдений / А. П. Сарычев // Автоматика. – 1993. –
№ 3. – С. 58–66.
14. Андерсон Т. Введение в многомерный статистический анализ
/ Т Андерсон. ; пер. с англ. – М. : Физматгиз. – 1963. – 500 с.
15. Ермаков С. М. Математическая теория оптимального эксперимента
/ С. М. Ермаков, А. А. Жиглявский. – М. : Наука, 1987. – 320 с.
16. Сарычев А. П. Моделирование в классе систем регрессионных
уравнений на основе метода группового учета аргументов / А. П. Сарычев
// Международный научно-технический журнал “Проблемы управления и
информатики”. – 2013. – № 2. – С. 8–24.
|
| id | nasplib_isofts_kiev_ua-123456789-84002 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | XXXX-0044 |
| language | Russian |
| last_indexed | 2025-12-07T16:10:49Z |
| publishDate | 2014 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| record_format | dspace |
| spelling | Сарычев, А.П. 2015-07-02T07:12:34Z 2015-07-02T07:12:34Z 2014 Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов / А.П. Сарычев // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2014. — Вип. 6. — С. 137-156. — Бібліогр.: 16 назв. — рос. XXXX-0044 https://nasplib.isofts.kiev.ua/handle/123456789/84002 519.25 Для моделирования в классе систем регрессионных уравнений со случайными коэффициентами предложен системный критерий регулярности с разбиением выборок наблюдений на обучающие и проверочные подвыборки. Доказано существование оптимального множества регрессоров. Выявлено условие редукции оптимальной системы регрессионных уравнений, которое зависит от параметров системы и объемов выборок. Для моделювання в класі систем регресійних рівнянь з випадковими коефіцієнтами запропоновано системний критерій регулярності з розбиттям вибірок спостережень на навчальні й перевірні підвибірки. Доведено існування оптимальної множини регресірів. Виявлено умову редукції оптимальної системи регресійних рівнянь, що залежить від параметрів системи і обсягів вибірок. For modelling in a class of regression equations systems with random coefficients the system criterion of regularity with dividing of observation sample on training and testing subsamples is offered. It is proved, that the optimum set of regressors exists. The condition of a reduction of optimum system of regression equations is obtained. This condition depends on parameters of system and volumes of samples. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Індуктивне моделювання складних систем Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов Article published earlier |
| spellingShingle | Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов Сарычев, А.П. |
| title | Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов |
| title_full | Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов |
| title_fullStr | Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов |
| title_full_unstemmed | Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов |
| title_short | Моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов |
| title_sort | моделирование в классе систем регрессионных уравнений со случайными коэффициентами на основе метода группового учета аргументов |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/84002 |
| work_keys_str_mv | AT saryčevap modelirovanievklassesistemregressionnyhuravneniisoslučainymikoéfficientaminaosnovemetodagruppovogoučetaargumentov |