Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости

Для моделирования в классе систем регрессионных уравнений предложен системный критерий регулярности с
 разбиением выборок наблюдений на обучающие и проверочные подвыборки. Доказано существование
 оптимального множества регрессоров. Выявлено условие редукции оптимальной системы регрес...

Повний опис

Збережено в:
Бібліографічні деталі
Опубліковано в: :Искусственный интеллект
Дата:2014
Автор: Сарычев, А.П.
Формат: Стаття
Мова:Російська
Опубліковано: Інститут проблем штучного інтелекту МОН України та НАН України 2014
Теми:
Онлайн доступ:https://nasplib.isofts.kiev.ua/handle/123456789/85237
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости / А.П. Сарычев // Искусственный интеллект. — 2014. — № 4. — С. 14–29. — Бібліогр.: 14 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine
_version_ 1860101330562973696
author Сарычев, А.П.
author_facet Сарычев, А.П.
citation_txt Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости / А.П. Сарычев // Искусственный интеллект. — 2014. — № 4. — С. 14–29. — Бібліогр.: 14 назв. — рос.
collection DSpace DC
container_title Искусственный интеллект
description Для моделирования в классе систем регрессионных уравнений предложен системный критерий регулярности с
 разбиением выборок наблюдений на обучающие и проверочные подвыборки. Доказано существование
 оптимального множества регрессоров. Выявлено условие редукции оптимальной системы регрессионных
 уравнений, которое зависит от параметров системы регрессионных уравнений и объемов выборок. Для моделювання в класі систем регресійних рівнянь запропоновано системний критерій регулярності з
 розбиттям вибірок спостережень на навчальні й перевірні підвибірки. Доведено існування оптимальної мно-
 жини регресірів. Виявлено умову редукції оптимальної системи регресійних рівнянь, що залежить від
 параметрів системи регресійних рівнянь і обсягів вибірок. For modeling in a class of regression equations systems the system criterion of regularity with dividing
 of observation sample on training and testing subsamples is offered. It is proved, that the optimum set
 of regressors exists. The condition of a reduction of optimum system of regression equations is obtained. This
 condition depends on parameters of system regression equations and volumes of samples.
first_indexed 2025-12-07T17:28:22Z
format Article
fulltext ISSN 1561-5359 «Искусственный интеллект» 2014 № 4 14 1С УДК 519.25 А.П. Сарычев Институт технической механики НАН Украины и ГКА Украины Украина, 49005, г. Днепропетровск, ул. Лешко-Попеля, 15 Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости A.P. Sarychev The Institute of Technical Mechanics of NASU and SSAU Ukraine, 49005, Dnipropetrovs’k, Leshko-Popel av., 15 Modeling in the Class of Regression Equations Systems in Structural Uncertainty Conditions О.П. Саричев Інститут технічної механіки НАН України і ДКА України Україна, 49005, Україна, м. Дніпропетровськ, вул. Лешко-Попеля, 15 Моделювання в класі систем регресійних рівнянь в умовах структурної невизначеності Для моделирования в классе систем регрессионных уравнений предложен системный критерий регулярности с разбиением выборок наблюдений на обучающие и проверочные подвыборки. Доказано существование оптимального множества регрессоров. Выявлено условие редукции оптимальной системы регрессионных уравнений, которое зависит от параметров системы регрессионных уравнений и объемов выборок. Ключевые слова: неопределенность по составу регрессоров, системный критерий регулярности. For modeling in a class of regression equations systems the system criterion of regularity with dividing of observation sample on training and testing subsamples is offered. It is proved, that the optimum set of regressors exists. The condition of a reduction of optimum system of regression equations is obtained. This condition depends on parameters of system regression equations and volumes of samples. Key words: uncertainty on structure of regressors, system criterion of regulatory. Для моделювання в класі систем регресійних рівнянь запропоновано системний критерій регулярності з розбиттям вибірок спостережень на навчальні й перевірні підвибірки. Доведено існування оптимальної мно- жини регресірів. Виявлено умову редукції оптимальної системи регресійних рівнянь, що залежить від параметрів системи регресійних рівнянь і обсягів вибірок. Ключові слова: невизначеність за складом регресірів, системний критерій регулярності. Введение Задача построения системы регрессионных уравнений в условиях структурной неопределенности по количеству и составу входных переменных в уравнениях яв- ляется одним из объектов исследования в методе группового учета аргументов (МГУА) [1-8], который разработал академик НАН Украины А.Г. Ивахненко. Метод основан на разбиении выборки данных на обучающую и проверочную части: на обучающей Моделирование в классе систем регрессионных уравнений... «Штучний інтелект» 2014 № 4 15 1С выборке оцениваются коэффициенты модели, а на проверочной оценивается качест- во модели. Обычно в МГУА применялись различные свертки внешних критериев отдельных регрессионных уравнений. В работе разработан системный критерий структурной идентификации, при построении которого коэффициенты системы регрессионных уравнений оцениваются совместно. Известным критерием качества для систем регрессионных уравнений является многомерный аналог информационного критерия Акаике [9]. Его недостаток состоит в том, что он построен в предположении, что все выходные переменные объекта определяются общим множеством входных переменных. В прикладных задачах могут встречаться объекты более широкого класса, когда выходные переменные могут определяться разными подмножествами входных переменных. Поэтому актуальной задачей является построение и обоснование критерия структурной идентификации для систем регрессионных уравнений такого класса. Априорные предположения об объекте Пусть статический объект описывается множеством m входных переменных },...,,{ 21 m xxxX = и множеством h выходных переменных )}(),...,2(),1({ hyyyY = . Пусть модель объекта представляет собой систему регрессионных уравнений hkkkxkkkyky km 1j jj ,...,2,1),(ξ)()(θ)ξ()()( )( oo =+=+= ∑ = , (1) где k – номер выходной переменной; h – число выходных переменных; )(ky – измеряемая с ошибкой k -я выходная переменная; )( o ky – незашумленная (ненаблюдае- мая) составляющая k -й выходной переменной; )(ξ k – ненаблюдаемая аддитивная случайная составляющая в k -й выходной переменной; )(kx j – j -я входная пере- менная из множества входных переменных ∅≠)(kX (∅ – пустое множество), участвующих в формировании )(ky ; )(km – число входных переменных, принадле- жащих множеству )(kX ; ),(θ),(θ()( 2 o 1 oo kkk =θ T )( o ))(θ..., kkm – вектор неизвестных коэффициентов. Пусть в результате наблюдения объекта для каждой выходной переменной hkky ,...,2,1),( = , получены: 1) )(kX – ))(( kmn × -матрица n наблюдений )(km входов множества )(kX , имеющая полный ранг, равный )(km ; 2) )(ky – )1( ×n – вектор наблюдаемых значений выходной переменной )(ky . В соответствии с моделью (1) для наблюдений выполняется hkkkkkkk ,...,2,1),()()()()()( oo =+=+= ξθXξyy , (2) где )( o ky – )1( ×n -вектор ненаблюдаемых незашумленных значений k -й выход- ной переменной; )(kξ – )1( ×n -вектор ненаблюдаемых аддитивных случайных состав- ляющих в наблюдениях k -й выходной переменной. Сарычев А.П. «Искусственный интеллект» 2014 № 4 16 1С Пусть векторная случайная величина T))(ξ),...,2(ξ),1(ξ(ξ h= распределена по h -мерному нормальному закону: ),(~ξ Σ0hN , и относительно )1( ×n -векторов )(kξ выполнено hkkkEkE nkkn ,...,2,1,σ)}()({,)}({ T === Iξξ0ξ ; (3) qkhqkqkE nkq ≠== ,,...,2,1,,σ)}()({ T Iξξ ; (4) 2121 ,,...,2,1,,0)}(ξ)(ξ{ 21 iiniikkE ii ≠== , (5) где }{⋅E – знак математического ожидания по всем возможным реализациям случайных векторов )(kξ и )(qξ ; h0 – )1( ×h -вектор, состоящий из нулей; kkσ – неизвестная конечная величина, дисперсия случайной величины )(ξ k ; kqσ – не- известная конечная величина, ковариация случайных величин )(ξ k и )(ξ q ; n I – единичная )( nn × -матрица. Вывод формул для оценивания коэффициентов Запишем (2) в объединенном виде. Введем обозначения:                 = )( )2( )1( hy y y y M ,                 = )( )2( )1( o o o o hy y y y M ,                 = )( )2( )1( o o o o hθ θ θ θ M ,             = )( )2( )1( hξ ξ ξ ξ M , (6)               = ×× ×× ×× )( )2( )1( ))2(())1(( ))(())1(( ))(())2(( hmnmn hmnmn hmnmn XOO OXO OOX R L MOMM L L , (7) где y – объединенный )1( ×N -вектор наблюдаемых зашумленных значений; o y – )1( ×N -вектор ненаблюдаемых значений; o θ – )1( ×M -вектор неизвестных коэф- фициентов; ξ – )1( ×N – вектор ненаблюдаемых случайных аддитивных составляющих; R – объединенная )( MN × -матрица регрессоров; hnN = ; += )1(mM (2) ... ( ).m m h+ + С учетом (6), (7) систему h регрессионных уравнений (2) можно записать ξθRξyy +=+= oo . (8) Необходимо найти оценку неизвестных коэффициентов o θ в виде yCd = ,             = )( )2( )1( hd d d d M , hk hk k k k ,...,2,1, ),( )2,( )1,( )( =             = d d d d M , (9) где )( NM × -матрицу C , которая зависит от R , требуется определить. Моделирование в классе систем регрессионных уравнений... «Штучний інтелект» 2014 № 4 17 1С Будем искать такую матрицу C , при которой логарифм определителя ковариа- ционной матрицы оценки коэффициентов (9) принимает минимальное значение и оценки коэффициентов несмещены. Математическое ожидание и ковариационную матрицу оценки (9) вычислим по всем возможным реализациям случайных величин )(kξ , hk ,...,2,1= . Для математи- ческого ожидания оценки (9) должно выполняться ooo }{}{)}({}{}{ θξCθRCξyCyCd =+=+== EEEEE . (10) Справедливость (10) следует из условий MM E 0ξCIRC == }{, , (11) где первое – требование несмещённости оценок, а второе – требование незави- симости элементов матрицы R от величин )(kξ , hk ,...,2,1= , с учетом (3). Пусть ξΣ – ковариационная матрица введенного в (6) объединенного )1( ×N - вектора ненаблюдаемых аддитивных случайных составляющих ξ . Тогда для кова- риационной матрицы вектора оценок (9) выполняется { } TTTT oo ))(()Cov( CΣCCξξCθdθdd ξ==         −−= EE , (12) где }{⋅E – операция математического ожидания, введена при вычислении (10). Запишем функцию Лагранжа ])([tr])[(detln),( T M L IRCΛCΣCΛC −+= ξ , (13) где Λ – диагональная – )( MM × -матрица неопределенных множителей. Тогда необходимые условия оптимальности имеют вид: ( ) ( ) ( )       =−=− ∂ ∂ = ∂ ∂ =− ∂ ∂ + ∂ ∂ = ∂ ∂ × ×ξ .])([tr ,])([tr])(det[ln T MMMM NMM L L OIXCIRCΛ ΛΛ OIRCΛ C CΣC CC (14) Применяя правила матричного дифференцирования, из (14) получаем 1T11T )( − ξ −− ξ= ΣRRΣRC . (15) Для математического ожидания и ковариационной матрицы оценки выполняется oo 1T11T )}(){(}{}{ θξθRΣRRΣRCyd =+== − ξ −− ξEEE , (16) =−− }))({(Cov T oo θdθd 11T11T1T1T11T )(})(){( −− ξ −− ξ − ξ − ξ −− ξ == RΣRRΣRRΣξξΣRRΣRE . (17) Вычислим ковариационную матрицу ξΣ , т.е. дисперсии и ковариации случай- ных величин )(ξ k i , ni ,...,2,1= , hk ,...,2,1= . Учитывая (3) – (5), получаем [ ] n hhEhEhE hEEE hEEE E IΣ ξξξξξξ ξξξξξξ ξξξξξξ ξξΣ ⊗=               ==ξ )}()({)}2()({)}1()({ )}()2({)}2()2({)}1()2({ )}()1({)}2()1({)}1()1({ }{ TTT TTT TTT T L MOMM L L ,(18) где n I – единичная )( nn × -матрица; n IΣ⊗ – кронекеровское произведение матриц. Сарычев А.П. «Искусственный интеллект» 2014 № 4 18 1С Из (6) – (18) следует, что для оценок коэффициентов выполняется: =         +=== ∑∑ == • ∧ h q kq h q kqk qqqk 1 o 1 )()()()( ξyCyCyCd [ ] [ ]∑∑ = − ξ −− ξ ≠ = += h l lqkl h kq q q 1 o 1T11T 1 )()( θRΣRRΣR [ ] [ ] )()()( 11 o 1T11T qk h q kq h l lkkl ξCθRΣRRΣR ∑∑ == − ξ −− ξ ++ )()( 1 o qk h q kq ξCθ ∑ = += , (19) где использованы свойства, которые следуют из равенства IHH =× −1 :     ≠ = =×∑ = − .,0 ;,1 ][][ 1 1 qkесли qkеслиh l lqkl HH (20) Системный критерий регулярности МГУА Ранее предполагалось, что подмножества регрессоров, участвующих в форми- ровании каждой из выходных переменных, заданы. Далее будем предполагать, что они неизвестны, и их требуется определить, т.е. рассмотрим задачу структурной идентификации. Для описания структуры системы регрессионных уравнений введем структурные матрицы, смысл которых поясним на конкретном примере. Пусть на значение выходной переменной с номером k влияют первый, второй и четвертый регрессоры в исходном заданном множестве регрессоров X , число которых 5=m . Тогда матрицу регрессоров )(kX в системе регрессионных уравнений (1) – (20) можно записать виде произведения == )()( kk SXX                   =                 ×                   )4()2()1( )4()2()1( )4()2()1( )4()2()1( 000 100 000 010 001 )5()4()3()2()1( )5()4()3()2()1( )5()4()3()2()1( )5()4()3()2()1( 222 111 22222 11111 nnn iii nnnnn iiiii xxx xxx xxx xxx xxxxx xxxxx xxxxx xxxxx MMM MMM MMMMM MMMMM ,(21) где )35( × -матрица )(kS и представляет собой структурную матрицу, отражающую влияние первого, второго и четвертого регрессоров на k -ю выходную переменную. Пусть информация о том, какие именно регрессоры определяют значения каждой выходной переменных в законе функционирования объекта (1), (2), представлена набором структурных матриц )}(,...),2(),1({ oooo hS SSS= , (22) которые могут быть различными для разных выходных переменных. С учетом введен- ных структурных матриц закон функционирования (2) можно записать hkkkkSkkkkkk ,...,2,1),()(),()()()()()()( ooooo =+=+=+= ξθRξθSXξyy , (23) где X – )( mn × -матрица регрессоров множества X ; )(ky – )1( ×n -вектор наблюдаемых значений выходной переменной )(ky . Моделирование в классе систем регрессионных уравнений... «Штучний інтелект» 2014 № 4 19 1С Далее предполагается, что множество X и матрица X заданы, а структурные матрицы )( o kS , hk ,...,2,1= , неизвестны и их требуется определить. Пусть )}(,...),2(),1({ hS SSS= – (24) набор структурных матриц, которые соответствуют текущей структуре модели – одной из структур, перебираемых по алгоритму полного перебора всех структур; pks ≤)( – число регрессоров в k -ом регрессионном уравнении, hk ,...,2,1= ; p – заданное максимально возможное число регрессоров в регрессионных уравнениях. Пусть имеются две выборки наблюдений m входных переменных и h выходных переменных: первую выборку ( A ) будем называть обучающей, а вторую (B ) – проверочной. На обучающей выборке будем оценивать параметры системы регрессионных уравнений с текущей анализируемой структурой, а на проверочной будем оценивать качество этой построенной модели. Введем для этих выборок обозначения             = ),( )2,( )1,( )( hA A A A y y y y M ,             = ×× ×× ×× );,( )2;,( )1;,( ),( ))2(())1(( ))(())1(( ))(())2(( hSA SA SA SA mnmn hmnmn hmnmn ROO ORO OOR R L MOMM L L , (25) где )()();,( kAkSA SXR = , hk ,...,2,1= ;             = ),( )2,( )1,( )( hB B B B y y y y M ,             = ×× ×× ×× );,( )2;,( )1;,( ),( ))2(())1(( ))(())1(( ))(())2(( hSB SB SB SB mnmn hmnmn hmnmn ROO ORO OOR R L MOMM L L , (26) где )()();,( kBkSB SXR = , hk ,...,2,1= . Итак, на выборке A оцениваем коэффициенты ∑ = • ∧ == h q kqk qASAASAkSA 1 ),(),()(),();,( yCyCd ),(),()( 1 o qASAk h q kq ξCθ ∑ = += , (27) где использовано свойство (19). С учетом (19) и (23) для )1)(( ×Bn -вектора остатков на выборке B имеем );,();,(),()S;,/(),();,/( kSAkSBkBkABkBkSAB ∧∧ −=−= dRyyyu , (28) где ),( kBy – )1)(( ×Bn -вектор наблюдений выходной переменной с номером k на проверочной выборке B ; )(Bn – объем проверочной выборки; );,/( kSAB ∧ y – )1)(( ×Bn -вектор выходов k -й регрессионной модели на выборке B , рассчитанный по модели, оценки коэффициентов которой получены на обучающей выборке A в (27). В соответствии с (19) и (23) для вектора остатков (28) выполняется ),(),();,(),();,/();,/( 1 qASAkSBkBkSABkSAB h q kq ξCRξδu ∑ = −+= . (29) Сарычев А.П. «Искусственный интеллект» 2014 № 4 20 1С где );,/( kSABδ – )1( ×n -вектор отклонений (так называемое смещение, обуслов- ленное выбором текущей структуры S вместо истинной o S ): ),(),();,(),();,/( o 1 o qASAkSBkBkSAB h q kq yCRyδ ∑ = −= . (30) Объединим )1)(( ×Bn -векторы остатков (29) в ))(( hBn × -матрицу: [ ]),,/(,...2),;,/(1),;,/(),/( hSABSABSABSAB uuuU = . (31) Введем матрицу ковариаций остатков (29) ),/(),/(),/( T SABSABSAB UUW = . (32) Определение 1. Случайная величина [ ]( )),/(detln 1 )( SAB h SARS W= (33) называется системным критерием регулярности МГУА для системы регрессионных уравнений [10], [11]. Определение 2. Оптимальным множеством регрессоров называется множество регрессоров, соответствующее набору структурных матриц 0S : )}({minarg ),( 0 * SARSES pmSS⊆ = , (34) где ),( * pmS – множество всевозможных наборов структурных матриц при за- данном множестве m регрессоров X и заданном максимально возможном числе регрессоров в регрессионных моделях p . Определение 3. Оптимальной по количеству и составу регрессоров называется система регрессионных уравнений, построенная на множестве регрессоров, которое соответствует набору структурных матриц 0S . Вычислим математическое ожидание матрицы ковариаций остатков (32). Для ),( qk -элемента этой матрицы выполняется [ ] == kqkq SABSABESAB )},/(),/({),/( T UUΩ [ ]{ }−+= ),(),();,/();,/( TT qBkBEqSABkSAB ξξδδ −                     − ∑ = ),(),();,(),( 1 T sASAqSBkBE h s qs ξCRξ +                       − ∑ = ),(),(),();,( T 1 qBrASAkSBE h r kr ξξCR                             + ∑∑ == ),(),();,(),(),();,( 1 T 1 sASAqSBrASAkSBE h s qs h r kr ξCRξCR . (35) Для второго слагаемого в (35) выполняется [ ]{ } kqBnqBkBE σ)(),(),( T =ξξ , (36) а третье и четвертое слагаемые равны нулю, поскольку )(Aξ и )(Bξ независимы. Моделирование в классе систем регрессионных уравнений... «Штучний інтелект» 2014 № 4 21 1С Учитывая [ ] krkr SASASASA 1T11T ),()),(),((),( − ξ −− ξ= ΣRRΣRC , (37) [ ] qsqs SASASASA 1T11T ),()),(),((),( − ξ −− ξ= ΣRRΣRC , (38) используя равенство rkkr SASA )],([)],([ TT CC = и симметричность матрицы Σ , для пятого слагаемого в (35) получаем =             ∑∑ == h s qskr h r sASAqSBkSBSArAE 1 TTT 1 ),(),();,();,()],()[,( ξCRRCξ [ ]== ∑∑ == h s qsrskr h r SAqSBkSBSA 1 TT 1 ),();,(σ);,()],([tr CRRC [ ] =    = −− ξ );,()),(),(();,(tr T11T kSBSASAqSB qk RRΣRR [ ]    = −− ξ );,()),(),(();,(tr T11T qSBSASAkSB kq RRΣRR . (39) Подставляя в (35) выражения (36) и (39), получаем += );,/();,/(),/( T qSABkSABSABkq δδΩ [ ] kqkq SBSASASBBn ),()),(),((),(trσ)( T11T RRΣRR −− ξ++ . (40) Будем предполагать, что мы находимся в условиях активного эксперимента и можем организовать схему повторных наблюдений [12], [13]: для заданных значений входных переменных проводится пара наблюдений выходных переменных, причем «первые» наблюдения каждой пары образуют выборку A , а «вторые» наблюдения – выборку B , т.е. в этой схеме выполняется: )(),(),(,)()( SSBSAnBnAn RRR ==== , (41) )();();,();,( kkSkSBkSA SXRRR === , hk ,...,2,1= . (42) Для (40) с учетом (41), (42) выполняется kq kqkq SSSSnqSABkSABSAB    ++= −− ξ )())()(()(trσ);,/();,/(),/( T11TT RRΣRRδδΩ .(43) Вычислим третье слагаемое в (43) =     −− ξ kq SSSS )())()(()(tr T11T RRΣRR =            = ξ − ξ −− ξ kq SSSkS ΣΣRRΣRR 1T11T )())()((),(tr [ ] =      = ξ − ξ −− ξ = ∑ lqkl h l SSSkS ][)())()((),(tr 1T11T 1 ΣΣRRΣRR [ ] =      = − ξ −− ξ = ∑ lqkl h l kSSSS σ),()())()((tr 1T11T 1 RΣRRΣR [ ] =    = − ξ −− ξ kqkk SSSS σ)()())()((tr 1T11T RΣRRΣR [ ] kqkmkq km σ)(trσ )( == I . (44) Сарычев А.П. «Искусственный интеллект» 2014 № 4 22 1С Для ),( qk -элемента ковариационной матрицы (43) с учетом (44) выполняется kqkq kmnqSABkSABSAB σ))(();,/();,/(),/( T ++= δδΩ . (45) В целом для ковариационной матрицы ),/( SABΩ получаем             +++ +++ +++ += ))((σ))((σ))((σ ))2((σ))2((σ))2((σ ))1((σ))1((σ))1((σ ),/(),/( 21 22221 11211 hmnhmnhmn mnmnmn mnmnmn SABSAB hhhh h h L MOMM L L ∆Ω (46) или ΣΣ∆Ω ×++= })(,...),2(),1(diag{),/(),/( hmmmnSABSAB , (47) где );,/();,/(),/(][ T qSABkSABSABkq δδ∆ = , hqk ,...,2,1, = . Для случая совпадения текущей структуры S c истинной o S получаем kqkq kmnSAB σ))((),/( oo +=Ω , (48) ΣΣΩ ×+= })(,...),2(),1(diag{),/( oooo hmmmnSAB . (49) Исследование системного критерия регулярности МГУА Установим свойства системного критерия регулярности МГУА, и с этой целью исследуем, как изменяется математическое ожидание критерия в зависимости от состава множества регрессоров. Сначала рассмотрим случай, когда набор структурных матриц S совпадает с истинным набором )( o SS = . Для математического ожидания критерия регулярности для модели с истинной структурой в схеме повторных наблюдений, используя (49), получаем =                       =       ),/(detln 1 )( oo SABE h SARSE W =         −⋅         ∏ = h k knSAB h 1 o )(),/(detln 1 Ω [ ] =        −⋅×      +++= ∏ = h k knhmnmnmn h 1 ooo )(det})(,...),2(),1({diagdetln 1 Σ [ ]       −⋅+⋅= ∏∏ == h k h k knkmn h 11 o )())((detln 1 Σ . (50) Для математического ожидания критерия регулярности модели с текущей стру- ктурой S в схеме повторных наблюдений, используя (47), получаем { } [ ]( ){ }== ),/(detln 1 )( SABE h SARSE W [ ]       −⋅×++++= ∏ = h k knhmnmnmnSAB h 1 )(})(,...),2(),1({diag),/(detln 1 Σ∆ . (51) При вычислении в (50) и (51) математического ожидания определителей матриц ),/( o SABW и ),/( SABW , имеющих распределение Уишарта, применены результаты [14, с. 236, 237]. Моделирование в классе систем регрессионных уравнений... «Штучний інтелект» 2014 № 4 23 1С Случай недостающего регрессора. Рассмотрим случай, когда в модель для переменной с номером h ошибочно не включен один регрессор, и для определен- ности будем считать, что это регрессор с номером m из множества X . Тогда для текущих и истинных структурных матриц выполняется соотношение 1,...,2,1),()( o −== hkkk SS ; [ ]sSS )()( o hh = , (52) где )( o hS – структурная ))(( o hmm× -матрица истинной модели (регрессионного уравнения) для переменной с номером h ; )(hS – структурная ))1)((( o −× hmm – матрица текущей модели; s – )1( ×m – вектор, для которого выполняется ( )T1,0...,,0,0=s . (53) Сначала вычислим математическое ожидание критерия регулярности в случае недостающего регрессора. Вычислим )( hh × – матрицу ),/( SAB∆ в (51)       ∆ = − −−×− hhh hhh SAB T 1 1)1()1( ),/( 0 0O ∆ , (54) где );,/();,/(T hSABhSABhh δδ=∆ ; );,/( hSABδ – введенное в (30) так называе- мое смещение, обусловленное выбором текущей структуры S вместо истинной o S . В схеме повторных наблюдений для объединенного вектора смещения имеем =−=−= oooooo )()()()()()()()(),/( θRCRθRyCRyδ SSSSASSBSAB oo 1T11T oo )()())()(()()( θRΣRRΣRRθR SSSSSS − ξ −− ξ−= . (55) Для матриц регрессоров, соответствующих наборам структурных матриц o S и S в (52), выполняются соотношения 1,...,2,1),,(),( o −== hkkSkS RR , (56) [ ]=== sSXSXR )()(),( oo hhhS [ ] [ ]mRsXSX ),()( hSh = , (57) где m – )1( ×n – вектор наблюдений пропущенного регрессора. Для матриц )( o SR и )(SR , с учётом (56), (57), получаем [ ] R SS δRR )()( o = , )...,,,( TTTT m00δ nnR = , (58) где R δ – )1( ×N – вектор. Учитывая (58), (55) можно записать [ ] [ ] =−= − ξ −− ξ o 1T11T o )()())()(()()(),/( θδRΣRRΣRRθδRδ RR SSSSSSSAB o )1( )( o θδMO       = −× R MN S , (59) где ])())()()(([)( 1T11T − ξ −− ξ−= ΣRRΣRRIM SSSSS N – идемпотентная матрица. Сарычев А.П. «Искусственный интеллект» 2014 № 4 24 1С Учитывая (52), (59) и соотношения                 = )( )2( )1( o o o o hθ θ θ θ M ,                 = )(θ )(θ )(θ )( )( o 2 o 1 o o o h h h h hm M θ , (60) получаем =              ==∆ −× ×− o )1(TT )1(T o T )( )( ),/(),/( o o θδMO Mδ O θδδ R MN R NM hh S S SABSAB mHm )())(θ( T2 )( o o Sh hhhm ⋅= , (61) где ×−== −− ξ − ξ ])())()()(([)()()( T11T1T SSSSSSS N RRΣRRΣIMMH ])())()()(([ 1T11T − ξ −− ξ−× ΣRRΣRRI SSSSN . (62) Итак, в (59) – (62) установлено mHmδδ )())(θ();,/();,/( T2 )( o T o ShhSABhSAB hhhmhh ⋅==∆ . (63) Введем )1( ×h – вектор T2/1 ))(,0,...,0,0( hh∆=b такой, что выполняется T ( / , ),B A S=bb ∆ и вычислим определитель под знаком логарифма в (51), применив правило      +=+ − bAbAbbA 1TT 1][det][det : [ ]=×++++= Σ∆ })(,...),2(),1({diag),/(det hmnmnmnSABc [ ]××+++= Σ})(,...),2(),1({diagdet hmnmnmn [ ]( )=×++++× − bΣb 1T })(,...),2(),1({diag1 hmnmnmn [ ] ( )2/112/11 1 )()())((1))((det hhhhhh h k hmnkmn ∆∆++×+⋅= −− = ∏ ΣΣ , (64) где 1− hhΣ – ),( hh – элемент матрицы 1− Σ . Таким образом, для ковариационной матрицы остатков в случае недостающего регрессора выполняется [ ] ( )2/112/11 1 1 )()())((1))((det)],/([det hhhhhh h k hmnkmnSAB ∆∆++×+⋅= −− = ∏ ΣΣΩ , (65) где hh∆ определено в (63). Теперь рассмотрим разность =−= )}({)}({),(∆ oo 1 SARSESARSESS [ ] ( ) [ ]             +⋅ ∆∆++×+⋅ = ∏ ∏ = −− = h k hhhhhh h k kmn hmnkmn h 1 o 2/112/11 1 ))((det )()())((1))((det ln 1 Σ ΣΣ . (66) Моделирование в классе систем регрессионных уравнений... «Штучний інтелект» 2014 № 4 25 1С Из (52) следует ,1,...,2,1),()( o −== hkkmkm и 1)()( o −= hmhm , поэтому ),(∆ o 1 SS         +      ∆∆+−+= − ))(()()()1)((ln 1 o 2/112/1 o hmnhmn h hhhhhh Σ . (67) Если 0),(∆ o 1 >SS , то структура o S лучше структуры S ; если 0),(∆ o 1 <SS , то структура S лучше структуры o S ; если 0),(∆ o 1 =SS , то структура S лучше структуры o S по дополнительному принципу простоты. Выполнение 0),(∆ o 1 ≤SS является условием так называемой редукции системы регрессионных уравнений, для которого из (67) получаем )()()(1)( o 2/112/1 o hmnhmn hhhhhh +≤∆∆+−+ − Σ или 11 )( −− ≤∆ hhhh Σ . (68) Подставляя (63) в (68), получаем условие редукции 11T2 )( o )())(θ( o −− ≤⋅ hhhhhm h ΣmHm , (69) где hhH – )( nn × – матрица является ),( hh – блоком матрицы H , введённой в (62); 1− hhΣ – ),( hh – элемент матрицы 1− Σ . Редукция модели, оптимальной по составу регрессоров, означает, что при вы- полнении соотношения между параметрами модели (69) следует исключить регрессор m из модели для h -й переменной. Редуцированная модель будет иметь меньшую ошибку прогнозирования выходных переменных на новых выборках наблюдений по сравне- нию с моделью с истинной структурой. Из (69) следует, что возможность редукции модели может быть обусловлена пятью причинами: а) малостью нормы коэффициента )(θ )( o o hhm ; б) малостью нормы вектора наблюдений регрессора m ; в) малым объёмом выборок наблюдений n ; г) высокой степенью линейной зависимости регрессора m с другими регрессорами в матрице )(),( hhS SXR = ; д) большим значением величины 11 )( −− hhΣ . Случай избыточного регрессора. Рассмотрим случай, когда в текущую струк- туру включен излишний регрессор. Предположим для простоты, что этот регрессор является последним регрессором в исходном множестве входных переменных: он включен в модель для переменной с номером h , хотя не участвует в формировании ее значения. Тогда между текущими и истинными структурными матрицами выпол- няется соотношение 1,...,2,1),()( o −== hkkk SS ; ])([)( o sSS hh = , (70) где )( o hS – ))(( o hmp × -матрица истинной структуры регрессионного уравнения для переменной с номером h ; )(hS – ))1)((( o +× hmp – матрица текущей структуры; s – )1( ×p – вектор, для которого выполняется ( )T1,0,...,0,0=s . (71) Сарычев А.П. «Искусственный интеллект» 2014 № 4 26 1С Сначала вычислим математическое ожидание критерия регулярности в рас- сматриваемом случае избыточного регрессора. Различие (70), (71) в структурных матрицах )( o hS и )(hS приводит к тому, что для матриц регрессоров в условиях схемы повторных наблюдений выполняется: 1,...,2,1),,(),( o −== hkkSkS RR , === ])([)(),( o sSXSXR hhhS (72) ]),([])([ oo rRsXSX hSh == , (73) где r – )1( ×n -вектор наблюдений избыточного регрессора. Для матриц )(SR и )( o SR , с учётом (72)–(73), получаем ])([)( o R SS δRR = , )...,,,( TTTT r00δ nnR = , (74) где R δ – )1( ×N -вектор. Вычислим математическое ожидание критерия регулярности в случае избыточ- ного регрессора. В этом случае )( hh × -матрица ),/( SAB∆ в (51) – так называемое смещение, обусловленное выбором ошибочной структуры S вместо истинной структуры o S , является нулевой матрицей. Доказательство этого утверждения может быть проведено аналогично (54) – (63). Для объединенного вектора смещения ),/( SABδ для случая избыточного регрессора выполняется =−=−= oooooo ),(),(),(),()(),(),()(),/( θRCRθRyCRyδ SASASBSBASASBBSAB =                         × ×−= − ξ − − ξ oo 1 T o T 1 o 1 T o T ooo ),( )( ),(])(),([ )( ),( ])(),([),( θRΣ δ R δRΣ δ R δRθR SA A SA ASA A SA BSBSB R R R R ,)()()()( )()(),( )()(),(),(),( oo 1T1 oo 1T1 oo 1T11 o T1 o oo 1T11 o T1 ooooo NRRRR RR RR SfBSfB SfSSB SfSSBSBSB 0θRΣδδθRΣδδ θRΣδδΣRBR θRΣδδΣRBRθRθR =×⋅⋅−⋅⋅+ +⋅⋅+ +⋅⋅−−= − ξ −− ξ − − ξ −− ξ − − ξ −− ξ − (75) где RRRRRR SSSSSSf δMΣδδΣRRΣRRΣδδΣδ )()())()(()()( o 1T1 o T1 o 1 o T o 1T1T o − ξ − ξ −− ξ − ξ − ξ =−= (76) – положительная величина, поскольку матрицы 1− ξΣ и )( o SM положительно опреде- лены; R δ – )1( ×N -вектор, определённый в (74). Таким образом, для ковариационной матрицы остатков в случае избыточного регрессора выполняется [ ] [ ] ∏ = +⋅= h k kmnSAB 1 2 ))((det),/(det ΣΩ . (77) Моделирование в классе систем регрессионных уравнений... «Штучний інтелект» 2014 № 4 27 1С Теперь рассмотрим разность )}({)}({),(∆ oo 2 SARSESARSESS −= [ ] [ ]             +⋅ +⋅ = ∏ ∏ = = h k h k kmn kmn h 1 o 1 ))((det ))((det ln 1 Σ Σ . (78) Из (70) следует, что 1)()(,1,...,2,1),()( oo +=−== hmhmhkkmkm , поэтому               ++ +++ = ∏ ∏ − = − = 1 1 oo 1 1 oo o 2 ))(())(( ))(()1)(( ln 1 ),(∆ h k h k kmnhmn kmnhmn h SS 0 )( 1 1ln 1 o >           + += hmn h . (79) Из (79) следует, что в случае избыточного регрессора структура o S всегда лучше структуры S , а регрессор действительно не следует включать в модель. Проверка выполнения принципа соответствия. Покажем, что полученное условие редукции совпадает с условием редукции отдельного регрессионного урав- нения, если предположить в (4), (5) диагональный вид матрицы Σ (напомним, в этом случае оценивать коэффициенты для отдельных регрессионных уравнений можно независимо, последовательно одно за другим). Если Σ диагональная, то матрица 1− Σ также диагональная, а для диагональных блоков матрицы 1− ξΣ в этом случае выполняется: nkknkk kk IIΣ 111 )(σ]σ[),( −−− ξ == , hk ,...,2,1= . (80) Учитывая структуру матрицы 1− ξΣ в (80) и структуру матрицы )(SR в (25), (36), (41), для матрицы H из (63) получаем [ ×−= −− ξ − ξ ])())()()(([)( T11T1 SSSSS Nhh RRΣRRΣIH ] =−× − ξ −− ξ hhN SSSS ])())()()(([ 1T11T ΣRRΣRRI ),()),(),((),( T1T hShShShS n RRRRI − −= . (81) Учитывая (69) и (81), для условия редукции в случае диагональной матрицы Σ получаем [ ] hhnhm hShShShSh σ),()),(),((),()(θ T1TT 2 )( o o ≤−      − mRRRRIm , (82) где hhσ – дисперсия аддитивной составляющей для h -й выходной переменной. Выражение (82) совпадает с известным условием редукции для отдельного регрессионного уравнения (см. например, [12], [13]). Заключение По принципам метода группового учета аргументов построен и исследован в схеме повторных наблюдений критерий структурной идентификации для моделиро- вания в классе систем регрессионных уравнений. Получены условия редукции (упро- Сарычев А.П. «Искусственный интеллект» 2014 № 4 28 1С щения) системы регрессионных уравнений, оптимальной по составу регрессоров. Эти результаты обобщают результаты автора [10], [11], где при исследовании кри- терия дополнительно предполагалась ортогональность пропущенного (избыточного) регрессора истинному множеству регрессоров. Разработанный критерий является системным критерием структурной идентификации, при построении которого пред- полагается совместное оценивание коэффициентов в системе регрессионных уравне- ний. В частном случае независимого оценивания коэффициентов в разных регрес- сионных уравнениях предложенный критерий представляет собой сумму критериев регулярности отдельных регрессионных уравнений, т.е. он является обобщением системного критерия регулярности, традиционно применяемого в методе группового учёта аргументов. Литература 1. Ивахненко А. Г. Индуктивный метод самоорганизации моделей сложных систем /А.Г. Ивахненко. – К. : Наукова думка, 1982. – 296 с. 2. Self-organizing methods in modelling: GMDH type algorithms / Ed. By S. J. Farlow. – New York, Basel : Marcel Decker Inc., 1984. – P. 350. 3. Ивахненко А. Г. Помехоустойчивость моделирования / А.Г. Ивахненко, В. С. Степашко. – К. : Наукова думка, 1985. – 216 с. 4. Ивахненко А. Г. Самоорганизация прогнозирующих моделей / А.Г. Ивахненко, Й.А. Мюллер. – К. : Техніка, 1985. – 223 с. 5. Ивахненко А. Г. Моделирование сложных систем по экспериментальным данным / А.Г. Ивахненко , Ю. П. Юрачковский. – М. : Радио и связь, 1987. – 120 с. 6. Madala H. R. Inductive Learning Algorithms for Complex System Modeling / H. R. Madala , A. G. Ivakhnenko. – London, Tokyo : CRC Press Inc., 1994. – 370 p. 7. Muller J.-A. Self-organizing Data Mining. Extraсting Knowledge from Data / J.-A. Muller, F. Lemke. – Hamburg : Libri, 2000. – 250 p. 8. Сарычев А. П. Идентификация состояний структурно-неопределенных систем / А. П. Сарычев. – Днепропетровск : НАН Украины и НКА Украины, Институт технической механики, 2008. – 268 с. 9. Современные методы идентификации систем : пер. с англ. / Эйкхофф П., Ванечек А., Савараги Е., Соэда Т., Наказимо Т., Акаике Х., Райбман Н., Петерка В. / Под ред. П. Эйкхоффа. – М. : Мир, 1983. – 400 с. 10. Сарычев А. П. Поиск оптимального множества регрессоров в системе регрессионных уравнений: схема повторных наблюдений / А. П. Сарычев // Міжнародний семінар з індуктивного моделювання, 11–14 липня 2005 р., Київ : збірник праць. – Київ : МННЦИТіС, 2005. – С. 270-277. 11. Сарычев А.П. Системный критерий регулярности в методе группового учета аргументов / А.П. Сарычев // Проблемы управления и информатики. – 2006. – № 6. – C. 25–37. 12. Сарычев А.П. Решение проблемы разбиения в МГУА при расчете критерия регулярности в условиях активного эксперимента / А.П. Сарычев // Автоматика. – 1989. – № 4. – С. 19-27. 13. Сарычев А.П. Определение J-оптимального множества регрессоров по повторным выборкам наблюдений / А.П. Сарычев // Автоматика. – 1993. – № 3. – С. 58-66. 14. Андерсон Т. Введение в многомерный статистический анализ : пер. с англ. / Т. Андерсон. – М. : Физматгиз. – 1963. – 500 с. References 1. Ivakhnenko A. G. Induktivnyj metod samoorganizacii modelej slozhnykh system / A.G Ivakhnenko. – K. : Naukova dumka, 1982. – 296 s. 2. Self-organizing methods in modelling: GMDH type algorithms / Ed. By S. J. Farlow. – New York, Basel : Marcel Decker Inc., 1984. – P. 350. 3. Ivakhnenko A. G. Pomekhoustojchivost’ modelirovanija / A.G Ivakhnenko, V. S. Stepashko. – K. : Naukova dumka, 1985. – 216 s. 4. Ivakhnenko A. G. Samoorganizacija prognozirujuschikh modelej / A.G Ivakhnenko, J. A. Mjuller. – K. : Tekhnika, 1985. – 223 s. Моделирование в классе систем регрессионных уравнений... «Штучний інтелект» 2014 № 4 29 1С 5. Ivakhnenko A. G. Modelirovanie slozhnykh system po eksperimental’nym dannym / A.G Ivakhnenko, Uj. P. Ujrachkovskij. – M. : Radio I svjaz’, 1987. – 120 s. 6. Madala H. R. Inductive Learning Algorithms for Complex System Modeling / H. R. Madala , A. G. Ivakhnenko. – London, Tokyo : CRC Press Inc., 1994. – 370 p. 7. Muller J.-A. Self-organizing Data Mining. Extraсting Knowledge from Data / J.-A. Muller, F. Lemke. – Hamburg : Libri, 2000. – 250 p. 8. Sarychev A. P. Identifikacija sostojanij strukturno-neopredelennykh system / A. P. Sarychev. – Dnepropetrovs’k : NAN Ukrainy I NKA Ukrainy, Institut tekhnichnoj mekhaniki, 2008. – 268 s. 9. Sovremennye metody Identifikacii sistem : per. s angl. / Eikhoff P., Vanechek A., Savaragi E., Soeda T., Nakazimo T., Akaike H., Rajbman N., Peterka V. / Pod red. P. Eikhoff. – M. : Mir, 1983. – 400 s. 10. Sarychev A. P. Poisk optimal’nogo mnozhestva regressorov v sisteme regressionnykh uravnenij: schema povtornykh nablyudenij / A. P. Sarychev // Mizhnarodnyj seminar z inductivnogo modeljuvannja, 11–14 lypnja 2005 r., Кyiiv : zbirnyk prac’. – Kyiiv : MNNCITIS, 2005. – S. 270–277. 11. Sarychev A. P. Sistemnyj kriterij reguljarnosti v metode gruppovogo ucheta argumentov / A. P. Sarychev // Problemy upravlenija i informatiki. – 2006. – № 6. – S. 25–37. 12. Sarychev A. P. Reshenie problemy razbienija v MGUA pri raschete kriterija reguljarnosti v uslovijakh aktivnogo eksperimenta / A. P. Sarychev // Avtomatika. – 1989. – № 4. – S. 19–27. 13. Sarychev A. P. Opredelenie J-optimal’nogo mnozhestva regressorov po povtornym vyborkam nabljudenij / A. P. Sarychev // Avtomatica. – 1993. – № 3. – S. 58–66. 14. Anderson T. Vvedenie v mnogomernyi statisticheskij analiz : per. s angl. / T. Andercon. – M. : Fizmatgiz. – 1963. – 500 s. RESUME A.P. Sarychev Modeling in the Class of Regression Equations Systems in Structural Uncertainty Conditions Background: The system of regression equations is traditional mathematical object in the theory and practice GMDH. In 80-th years of the last century academician O.G. Ivakhnenko often posed such tasks in connection with so-called “the objective system analysis (OSA)” and then, as a rule, as system criterion of selection of models (a parameter of quality of regression equations system) various convolutions of criteria GMDH of separate regression equations were applied. The developed criterion is system criterion of structural identification at which construction it is supposed joint estimation of coefficients of regression equations. At construction of system criterion of GMDH joint estimation of coefficients of regression equations is supposed. Materials and methods: Object of research is process of modelling in a class of systems of regression equations in conditions of uncertainty on structure of regressors. In this theoretical article we used the multivariate statistical analysis, the regression analysis, the theory of matrixes, the mathematical analysis and the group method of data handling (GMDH). Results: For modeling in a class of regression equations systems the system criterion of regularity with dividing of observation sample on training and testing subsamples is offered. It is proved, that the optimum set of regressors exists. The condition of a reduction of optimum system of regression equations is obtained. This condition depends on parameters of system regression equations and volumes of samples. Conclusion: The developed system criterion of regularity allows solving a problem of structural identification in a class of systems of regression equations and can be recommended at the decision of various scientific and practical problems. Статья поступила в редакцию 09.04.2014.
id nasplib_isofts_kiev_ua-123456789-85237
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn 1561-5359
language Russian
last_indexed 2025-12-07T17:28:22Z
publishDate 2014
publisher Інститут проблем штучного інтелекту МОН України та НАН України
record_format dspace
spelling Сарычев, А.П.
2015-07-22T19:20:19Z
2015-07-22T19:20:19Z
2014
Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости / А.П. Сарычев // Искусственный интеллект. — 2014. — № 4. — С. 14–29. — Бібліогр.: 14 назв. — рос.
1561-5359
https://nasplib.isofts.kiev.ua/handle/123456789/85237
519.25
Для моделирования в классе систем регрессионных уравнений предложен системный критерий регулярности с&#xd; разбиением выборок наблюдений на обучающие и проверочные подвыборки. Доказано существование&#xd; оптимального множества регрессоров. Выявлено условие редукции оптимальной системы регрессионных&#xd; уравнений, которое зависит от параметров системы регрессионных уравнений и объемов выборок.
Для моделювання в класі систем регресійних рівнянь запропоновано системний критерій регулярності з&#xd; розбиттям вибірок спостережень на навчальні й перевірні підвибірки. Доведено існування оптимальної мно-&#xd; жини регресірів. Виявлено умову редукції оптимальної системи регресійних рівнянь, що залежить від&#xd; параметрів системи регресійних рівнянь і обсягів вибірок.
For modeling in a class of regression equations systems the system criterion of regularity with dividing&#xd; of observation sample on training and testing subsamples is offered. It is proved, that the optimum set&#xd; of regressors exists. The condition of a reduction of optimum system of regression equations is obtained. This&#xd; condition depends on parameters of system regression equations and volumes of samples.
ru
Інститут проблем штучного інтелекту МОН України та НАН України
Искусственный интеллект
Алгоритмическое и программное обеспечение параллельных вычислительных интеллектуальных систем
Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости
Моделювання в класі систем регресійних рівнянь в умовах структурної невизначеності
Modeling in the class of regression equations systems in structural uncertainty conditions
Article
published earlier
spellingShingle Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости
Сарычев, А.П.
Алгоритмическое и программное обеспечение параллельных вычислительных интеллектуальных систем
title Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости
title_alt Моделювання в класі систем регресійних рівнянь в умовах структурної невизначеності
Modeling in the class of regression equations systems in structural uncertainty conditions
title_full Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости
title_fullStr Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости
title_full_unstemmed Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости
title_short Моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости
title_sort моделирование в классе систем регрессионных уравнений в условиях структурной неопределённости
topic Алгоритмическое и программное обеспечение параллельных вычислительных интеллектуальных систем
topic_facet Алгоритмическое и программное обеспечение параллельных вычислительных интеллектуальных систем
url https://nasplib.isofts.kiev.ua/handle/123456789/85237
work_keys_str_mv AT saryčevap modelirovanievklassesistemregressionnyhuravneniivusloviâhstrukturnoineopredelennosti
AT saryčevap modelûvannâvklasísistemregresíinihrívnânʹvumovahstrukturnoíneviznačeností
AT saryčevap modelingintheclassofregressionequationssystemsinstructuraluncertaintyconditions