Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах

Розглянуто задачу оцінювання коефіцієнтів у системі авторегресійних рівнянь, у яких множини вхідних змінних у рівняннях можуть бути різними, а випадкові адитивні складові у вихідних змінних можуть бути статистично залежні як у моделі функціонування, так і в моделі спостереження. Вважається, що задан...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Datum:2012
1. Verfasser: Сарычев, А.П.
Format: Artikel
Sprache:Russian
Veröffentlicht: Інститут кібернетики ім. В.М. Глушкова НАН України 2012
Schriftenreihe:Проблемы управления и информатики
Schlagworte:
Online Zugang:https://nasplib.isofts.kiev.ua/handle/123456789/207495
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах / А.П. Сарычев // Проблемы управления и информатики. — 2012. — № 3. — С. 14–27. — Бібліогр.: 20 назв. - рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id irk-123456789-207495
record_format dspace
spelling irk-123456789-2074952025-10-09T00:13:22Z Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах Ідентифікація параметрів систем авторегресійних рівнянь за відомими коваріаційними матрицями Identification of Parameters of Autoregressive Equation Systems with Known Covariance Matrices Сарычев, А.П. Методы идентификации и адаптивного управления Розглянуто задачу оцінювання коефіцієнтів у системі авторегресійних рівнянь, у яких множини вхідних змінних у рівняннях можуть бути різними, а випадкові адитивні складові у вихідних змінних можуть бути статистично залежні як у моделі функціонування, так і в моделі спостереження. Вважається, що задано коваріаційні матриці адитивних випадкових складових у моделях функціонування і спостереження. Запропоновано ітераційну процедуру оцінювання коефіцієнтів, яку досліджено методом статистичних випробувань. The problem of parameters estimation of autoregressive equations system is considered. It is supposed, that sets of input variables in the equations can be various, and random additive components in output variables can be statistically dependent both in model of functioning, and in model of observation. It is supposed, that covariance matrixes of additive random components in models of functioning and observation are known. Iterative procedure of parameters estimation investigated by a method of statistical tests is proposed. 2012 Article Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах / А.П. Сарычев // Проблемы управления и информатики. — 2012. — № 3. — С. 14–27. — Бібліогр.: 20 назв. - рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/207495 519.25:681.5 10.1615/JAutomatInfScien.v44.i5.20 ru Проблемы управления и информатики application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
language Russian
topic Методы идентификации и адаптивного управления
Методы идентификации и адаптивного управления
spellingShingle Методы идентификации и адаптивного управления
Методы идентификации и адаптивного управления
Сарычев, А.П.
Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах
Проблемы управления и информатики
description Розглянуто задачу оцінювання коефіцієнтів у системі авторегресійних рівнянь, у яких множини вхідних змінних у рівняннях можуть бути різними, а випадкові адитивні складові у вихідних змінних можуть бути статистично залежні як у моделі функціонування, так і в моделі спостереження. Вважається, що задано коваріаційні матриці адитивних випадкових складових у моделях функціонування і спостереження. Запропоновано ітераційну процедуру оцінювання коефіцієнтів, яку досліджено методом статистичних випробувань.
format Article
author Сарычев, А.П.
author_facet Сарычев, А.П.
author_sort Сарычев, А.П.
title Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах
title_short Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах
title_full Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах
title_fullStr Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах
title_full_unstemmed Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах
title_sort идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах
publisher Інститут кібернетики ім. В.М. Глушкова НАН України
publishDate 2012
topic_facet Методы идентификации и адаптивного управления
url https://nasplib.isofts.kiev.ua/handle/123456789/207495
citation_txt Идентификация параметров систем авторегрессионных уравнений при известных ковариационных матрицах / А.П. Сарычев // Проблемы управления и информатики. — 2012. — № 3. — С. 14–27. — Бібліогр.: 20 назв. - рос.
series Проблемы управления и информатики
work_keys_str_mv AT saryčevap identifikaciâparametrovsistemavtoregressionnyhuravnenijpriizvestnyhkovariacionnyhmatricah
AT saryčevap ídentifíkacíâparametrívsistemavtoregresíjnihrívnânʹzavídomimikovaríacíjnimimatricâmi
AT saryčevap identificationofparametersofautoregressiveequationsystemswithknowncovariancematrices
first_indexed 2025-10-09T01:08:21Z
last_indexed 2025-10-12T01:07:09Z
_version_ 1845736221624500224
fulltext © А.П. САРЫЧЕВ, 2012 14 ISSN 0572-2691 МЕТОДЫ ИДЕНТИФИКАЦИИ И АДАПТИВНОГО УПРАВЛЕНИЯ УДК 519.25:681.5 А.П. Сарычев ИДЕНТИФИКАЦИЯ ПАРАМЕТРОВ СИСТЕМ АВТОРЕГРЕССИОННЫХ УРАВНЕНИЙ ПРИ ИЗВЕСТНЫХ КОВАРИАЦИОННЫХ МАТРИЦАХ Введение Моделирование в классе систем авторегрессионных уравнений является рас- пространенным подходом в технических задачах управления и научных исследо- ваниях. Возникающая при этом задача оценивания коэффициентов в системе ав- торегрессионных уравнений имеет особенность, которая состоит в том, что ре- грессоры в моделях этого класса содержат случайную составляющую (errors-in- variables problem). В этих условиях вместо обычного метода наименьших квадра- тов (МНК) необходимо применять обобщенный МНК с ковариационной матрицей оценивания Σ специального вида (total least squares) [1–4]. Ее конструирование в конкретных условиях той или иной задачи, зависимость от неизвестных парамет- ров авторегрессионных уравнений и необходимость итерационного уточнения приводит к различным алгоритмам оценивания [1–13]. В данной работе предлага- ется итерационная процедура оценивания коэффициентов систем авторегрессион- ных уравнений одного класса, в которых множества входных переменных в уравне- ниях могут быть различными, а случайные аддитивные составляющие в выходных переменных могут быть статистически зависимыми как в модели функциониро- вания, так и в модели наблюдения. Предполагается, что ковариационные матрицы аддитивных случайных составляющих в моделях функционирования и наблюде- ния заданы. Если эти ковариационные матрицы априорно неизвестны, то ковари- ационную матрицу Σ можно оценивать итерационно по остаткам системы авто- регрессионных моделей, как это сделано в итерационной процедуре, разработан- ной в [14]. Для решения задач класса errors-in-variables problem наряду со стохастиче- ским подходом может применяться нестохастический, в котором не предполага- ется наличие определенных статистических свойств у случайных составляющих, но имеется информация о границах их изменения [15–19]. 1. Априорные предположения о динамической системе Пусть функционирование динамического объекта подчиняется закону в виде системы авторегрессионных уравнений Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 3 15 , )(ζ )(ζ )(ζ )(ζ ),(θ ),(θ ),(θ )()()( )()()( )()()( )()()( )( )( )( )( 1 1 1 0 o 2 o 1 o 1 21 21 201 110 2 1                                                                                                                  k k k k qk qk qk qxqxqx qxqxqx qxqxqx qxqxqx kx kx kx kx n i p h q pnnn piii p p n i            ,,...,2,1 hk  (1) которую в матрично-векторной форме можно записать ,,...,2,1),;1(),();1()( 1 o hkkqkqk h q     ζθZx (2) где )(k  x — ненаблюдаемый )1( n -вектор значений k-й выходной переменной объекта в дискретные моменты времени ,itt  ;,...,2,1 ni  n — общее число наблюдений за объектом; p — число предыдущих значений выходных перемен- ных, которые влияют на их текущее значение; );1( q  Z — )( pn  -матрица p предыдущих ненаблюдаемых значений q-й переменной, ,,...,2,1 hq  в обозначе- нии этой матрицы –1 означает, что в (1), (2) при формировании величины )(kx i  участвуют величины ));(,...),(),(( 21 qxqxqx piii       h — число выходных пере- менных, образующих множество X; ),( o qkθ — )1( p -вектор неизвестных детер- минированных, не зависящих от времени коэффициентов; );1( kζ — ненаблюдае- мый случайный )1( n -вектор, в обозначении которого –1 означает, что в (1), (2) при формировании величины )(kxi аддитивно участвует величина ).(ζ 1 ki В (1), (2) предполагается, что в формировании текущего значения k-й выход- ной переменной участвуют все p предыдущих значений всех h выходных пере- менных объекта. В общем случае не все переменные и не все предыдущие значе- ния переменных могут участвовать в этом формировании. Для формализации за- писи моделей в таком общем случае введем в рассмотрение структурные матрицы, смысл которых проиллюстрируем на конкретном примере. Пусть на те- кущее значение выходной переменной с номером k влияют первое, второе и чет- вертое предыдущие значения переменной с номером q из заданного максимально возможного числа влияющих предыдущих значений .5p Тогда вместо матрицы );1( q  Z в системе авторегрессионных уравнений (1), (2) следует записать произ- ведение матриц:   ),();1( qkq SZ                                                                                                                          )()()( )()()( )()()( )()()( 000 100 000 010 001 )()()()()( )()()()()( )()()()()( )()()()()( 421 421 201 310 54321 54321 32101 43210 qxqxqx qxqxqx qxqxqx qxqxqx qxqxqxqxqx qxqxqxqxqx qxqxqxqxqx qxqxqxqxqx nnn iii nnnnn iiiii     , (3) 16 ISSN 0572-2691 где )35(  -матрица ),( qkS представляет собой структурную матрицу, отражаю- щую влияние первого, второго и четвертого предыдущих значений переменной с номером q на текущее значение переменной состояния с номером k. Априорная информация о значении p и о том, какие именно предыдущие значения каждой из переменных определяют текущие значения выходных переменных в законе функ- ционирования объекта (1), (2), представляется совокупностью структурных мат- риц ,,...,2,1,),,( hqkqk S которые могут быть различными для разных выход- ных переменных. В дальнейшем будем предполагать, что эти структурные матри- цы заданы. С учетом введенных структурных матриц закон функционирования (2) для общего случая формирования выходных переменных можно записать ,,...,2,1),;1()();1(),(),();1()( 1 o hkkkkqkqkqk h q     ζxζθSZx (4) где ),( o qkθ — )1),(( qkm -вектор неизвестных детерминированных коэффициентов; ),( qkm — число столбцов в матрице );,( qkS ...),(...)2,()1,(  kkmkmkm )(),(... kmhkm  — общее число неизвестных коэффициентов в модели для вы- ходной переменной с номером k; )(kx — ненаблюдаемая составляющая )1( n - вектора значений k-й переменной. Пусть для наблюдений k-й выходной переменной объекта выполняется ,,...,2,1,,...,2,1),(ε)()( hknikkxkx iii   (5) где )(kxi — наблюдаемое значение k-й переменной, измеренное в момент време- ни ,itt  ;,...,2,1 ni  )(kxi  — ненаблюдаемое значение k-й переменной; )(ε ki — случайная ненаблюдаемая ошибка измерения k-й переменной. С учетом (5) модель наблюдения объекта в векторной форме имеет вид .,...,2,1,)()()( hkkkk   εxx (6) Введем обозначения: ,)](,...(2),(1),[ hxxxX  (7) ,)](,...(2),(1),[ hxxxX  ,)](,...(2),(1),[ h   xxxX (8) ,)];1(,...2),;1(1),;1([)1( h ζζζζ ,)](,...(2),(1),[ hεεεε  (9) с учетом которых модели функционирования и наблюдения запишем в обобщен- ном виде ,)]1([   ζXX ,][εXX   (10) где ζ (строчная греческая буква) обозначает случайную )( hn -матрицу, по- скольку прописная не будет отличаться от матрицы );1( q  Z из (4); ε — обозна- чение )( hn -матрицы случайных ошибок измерения. Пусть относительно ),;1( kζ ,...,,2,1 hk  выполняются предположения: ;,...,2,1,),()};1();1({,)};1({ ζ T hkkkkkEkE nn  Iζζ0ζ (11) ;,,...,2,1,,),()};1();1({ ζ T qkhqkqkqkE n  Iζζ (12) ,...,,2,1,,,,...,1,,0)};1(ζ);1(ζ{ 212121 hqkiiniiqkE ii  (13) где }{E — знак математического ожидания по всем возможным реализациям случайных векторов );1( kζ и );;1( qζ n0 — )1( n -вектор, состоящий из ну- Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 3 17 лей; ),(ζ kk — дисперсия случайной величины ),;1(ζ ki  ,,...,2,1 ni  ограничен- ная величина; ),(ζ qk — ковариация случайных величин );1(ζ ki  и ),;1(ζ qi  ,,...,2,1 ni  ограниченная величина; nI — единичная )( nn -матрица. Пусть относительно ),(kε ,,...,2,1 hk  выполнено: ;,...,2,1,),()}()({,)}({ ε T hkkkkkEkE nn  Iεε0ε (14) ;,,...,2,1,,),()}()({ ε T qkhqkqkqkE n  Iεε (15) ,,...,2,1,,,,...,2,1,,0)}(ε)(ε{ 212121 hqkiiniiqkE ii  (16) где }{E — знак математического ожидания по всем возможным реализациям слу- чайных векторов )(kε и );(qε ),(ε kk — дисперсия случайной ограниченной вели- чины ),(ε ki ;,...,2,1 ni  ),(σε qk — ковариация случайных величин )(ε ki и ).(ε qi Предположения (11)–(13) и (14)–(16) для моделей функционирования и наблюдения объекта можно записать в обобщенном виде (7)–(10): ,)}1({ )( hnE  Oζ ; ),(σ)2,(σ)1,(σ ),2(σ)2,2(σ)1,2(σ ),1(σ)1,1(σ)1,1(σ )}1()]1({[ ζ ζζζ ζζζ ζζζ T Σζζ n hhhh h h nE                     (17) ,}{ )( hnE Oε , ),(σ)2,(σ)1,(σ ),2(σ)2,2(σ)1,2(σ ),1(σ)1,1(σ)1,1(σ }{ ε εεε εεε εεε T Σεε n hhhh h h nE                   (18) где )( hnO — нулевая )( hn -матрица; ,ζΣ εΣ — ковариационные )( hh -мат- рицы в модели функционирования и модели наблюдения объекта соответственно, которые будем считать заданными. Также будем предполагать, что матрица в за- коне функционирования объекта )1(ζ и матрица ошибок наблюдения ε стати- стически независимы: ,)}1({ )( T hhE  Oζε (19) где )( hhO — нулевая )( hh -матрица. Пусть в результате наблюдения объекта в моменты времени ,itt  ,21 pi  ,,...,2,1,0,,2,1,,,22 npppp   получена ))2(( hpn  -матрица наблю- дений выходных переменных: .)0( )1( )( )( )( )2( )2( )2( )1( )1( )1( )( )( )( )2( )2( )2( )1( )1( )1( )( )( )( )2( )2( )2( )1( )1( )1( 2 1 2 1 2 1 0 2 1 0 2 1 0 2 1 22 21 22 21 22 21                                                                X X X hx hx hx x x x x x x hx hx hx x x x x x x hx hx hx x x x x x x nnn p p p p p p p p p p p p p p p                   (20) 18 ISSN 0572-2691 По результатам наблюдения (20) выходных переменных X объекта (1)–(19) требуется найти оценки неизвестных ),( qkm -векторов коэффициентов ),,( o qkθ .,...,2,1, hqk  2. Вывод формул для идентификации параметров системы авторегрессионных уравнений Из модели функционирования (4) и обобщенного вида (10) следует ,...,,2,1)],;,2([);1();1( hqqZqq   ζZZ (21) где );1( qZ — )( pn -матрица ненаблюдаемых значений q-й переменной объек- та, по своей структуре аналогичная матрице );1( q  Z в (1), (2): , )()()( )()()( )()()( )()()( );1( 21 21 201 110                        qxqxqx qxqxqx qxqxqx qxqxqx q pnnn piii p p       Z ;,...,2,1 hq  (22) );,2( qZζ — )( pn -матрица ненаблюдаемых случайных величин , )(ζ)(ζ)(ζ )(ζ)(ζ)(ζ )(ζ)(ζ)(ζ )(ζ)(ζ)(ζ );,2( 132 132 110 21                        qqq qqq qqq qqq qZ pnnn piii p p       ζ ,,...,2,1 hq  (23) в обозначении которой 2 означает, что в (21), (22) при формировании величины )(1 qx i  аддитивно участвует величина ).(ζ 2 qi Как следует из (17) и вида (23), относительно );,2( qZζ выполняется ,)};,2({ )( pnqZE  Oζ (24)  )};,2();,2({ 2 T 1 qZqZE ζζ ,),(σ ),(σ00 0),(σ0 00),(σ 21 21 21 21 pqqn qq qq qq n I                      (25) где pI — единичная )( pp -матрица; .,...,2,1,, 21 hqqq  Из модели наблюдения (6) следует .,...,2,1,)()()( hkkkk   εxx (26) Подставим )(k  x из (26) и );1( q  Z из (21) в (4). В результате для )(kx получим            );1(),(),()];,2([)(),(),();1()( 1 o 1 o kqkqkqZkqkqkqk h q h q ζθSζεθSZx (27) Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 3 19 и окончательно ,,...,2,1),(),(),();1()( 1 o hkkqkqkqk h q    ξθSZx (28) где )(kξ — случайный вектор, заключенный в (27) в фигурные скобки. Для математического ожидания ),(kξ учитывая (11), (14) и (24), получаем ,,...,2,1,})({ hkkE n  0ξ (29) где n0 — нулевой )1( n -вектор. Введем обозначения ;,...,2,1, ),( )2,( )1,( )(),()( o o o o hk hk k k kkk                   θ θ θ θxy  (30) ,]),();1(),();1()2,()2;1()1,()1;1([)( hkhkkkkkk SZSZSZSZR   (31) где )(kR — матрица регрессоров для k-й выходной переменной. Учитывая (30), (31), систему регрессионных моделей (28) можно выразить .,...,2,1),()()()()()( oo hkkkkkkk  ξyξθRy (32) Запишем (32) в объединенном виде. Введем обозначения: , )( )2( )1(                hy y y y  , )( )2( )1( o o o o                    hy y y y  , )( )2( )1( o o o o                  hθ θ θ θ  , )( )2( )1(                hξ ξ ξ ξ  (33) , )( )2( )1( ))2(())1(( ))(())1(( ))(())2((                     hmnmn hmnmn hmnmn ROO ORO OOR R     (34) где y — объединенный )1( N -вектор наблюдаемых зашумленных значений; o y — )1( N -вектор ненаблюдаемых значений; o θ — )1( M -вектор неизвестных коэф- фициентов; ξ — )1( N -вектор ненаблюдаемых случайных аддитивных состав- ляющих; R — объединенная )( MN -матрица регрессоров; ;hnN   )1(mM .)(...)2( hmm  С учетом (33), (34) систему h регрессионных уравнений (32) можно записать . oo ξθRξyy  (35) 20 ISSN 0572-2691 Будем искать оценку неизвестных коэффициентов o θ в виде ,yCd  , )( )2( )1(                hd d d d  ,,...,2,1, ),( )2,( )1,( )( hk hk k k k                 d d d d  (36) где матрицу C, которая зависит от R и имеет размер ),( NM  требуется определить. Будем искать такую матрицу C, при которой логарифм определителя ковари- ационной матрицы оценки коэффициентов (36) принимает минимальное значение и оценки коэффициентов несмещены [20]. Математическое ожидание и ковариационную матрицу оценки (36) вычислим по всем возможным реализациям случайных величин )(kε и ),(ζ),1(ζ 1 kk nn  ,,...,2,1 hk  при условии, что реализации случайных величин ),(ζ ki ,1 pi  ,2,...,1,0,,2  np  ,,...,2,1 hk  зафиксированы (именно они в соответствии с (4), (21) и (31), (32) определили собой матрицы регрессоров ),(kR ,,...,2,1 hk  и соответственно матрицу регрессоров R в (34)). Для условного в вышеуказанном смысле математического ожидания оценки (36) должно выполняться .}{ ~ }{ ~ )}({ ~ }{ ~ }{ ~ ooo θξCθRCξyCyCd  EEEEE (37) Справедливость (37) следует из условий ,}{ ~ , MM E 0ξCIRC  (38) где первое является требованием несмещенности оценок, а второе — требованием независимости элементов матрицы R от случайных величин )(kε и ),(ζ 1 kn ,,...,2,1 hk  с учетом (29). Пусть Σ — ковариационная матрица введенного в (33) объединенного )1( N -вектора ненаблюдаемых аддитивных случайных составляющих .ξ Тогда для ковариационной матрицы вектора оценок (36) выполняется  }))({( ~ }))({( ~ )(Cov T ooooT oo θCξyCθCξyCθdθdd EE ,}{ ~ TTT CΣCCξξC  E (39) где }{ ~ E — операция условного математического ожидания, введенная при вы- числении (37). Запишем функцию Лагранжа ])([tr])[(detln),( T ML IRCΛCΣCΛC   . (40) Тогда необходимые условия оптимальности имеют вид ,]))([tr(]))[(det(ln T NMM L           OIRCΛ C CΣC CC (41) .]))([tr( MMMM L       OIXCIRCΛ ΛΛ (42) Из (41), используя формулу вычисления производной по матрице от лога- рифма определителя и формулу вычисления производной по матрице от следа [21, с. 309, 310], cоответственно получаем .)(2 TT1T RΛΣCCΣC    (43) Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 3 21 Умножая справа (43) на T C и учитывая (42), для матрицы Λ находим .2 MIΛ  (44) Подставляя (44) в (43), получаем .)( T1T RΣCCΣC    (45) Умножая (45) справа на матрицу m1 Σ , затем на матрицу R и учитывая (42), по- лучаем .)( 1T1T RΣRCΣC      (46) Учитывая (46) в (45), имеем , T1T RΣCRΣR    (47) откуда для матрицы C, после умножения последовательно на матрицу 1 Σ справа и на матрицу 11T )(   RΣR слева, окончательно находим .)( 1T11T     ΣRRΣRC (48) Для математического ожидания и ковариационной матрицы оценки выполняется ,)}(){( ~ }{ ~ }{ ~ oo 1T11T θξθRΣRRΣRCyd     EEE (49)  }))({(Cov T oo θdθd 11T11T1T1T11T )(})(){( ~            RΣRRΣRRΣξξΣRRΣRE , (50) где }{ ~ E — операция условного математического ожидания, введенная при вы- числении (37). Вычислим теперь ковариационную матрицу .Σ Для этого необходимо определить дисперсии и ковариации случайных величин ,)(kξ .,...,2,1 hk  Вы- числим дисперсию случайной величины ),(ξ ki ,,...,2,1 hk  .,...,2,1 ni  Из предположений (11)–(19) и (24), (25) получаем  })})(ξ{)(ξ})()(ξ{)(ξ{(})(ξ{D kEkkEkEk iiiii     )(ε))(;1(ζ),(),()];,2([)(ε{( 1 o kkqkqkqZkE ii h q ii θSζ    ))};1(ζ),(),()];,2([ 1 o kqkqkqZ i h q i θSζ    kk h q h q kk qkqkqkqkqq ][),(),(),(),(),(σ][ ζ 1 2 o 21 T 1 T o 21ζ 1 ε 21 ΣθSSθΣ ,][)0(][ ζε kkkkkk ΣΣ  (51) где  iqZ )];,2([ζ — i-я строка матрицы );,2( qZζ ; обозначение )0(kk очевидно. 22 ISSN 0572-2691 Вычислим ковариацию )(ξ 1ki и ),(ξ 2ki ,,...,2,1, 21 hkk  ,21 kk  :,...,2,1 ni                   );1(ζ),(),()];,2([)(ε})()ξ(ξ{Cov 1 1 1 o 1121 kqkqkqZkEkk i h q iiii θSζ                  );1(ζ),(),()];,2([)(ε 2 1 2 o 22 kqkqkqZk i h q ii θSζ    21 21 21 ][),(),(),(),(),(σ][ ζ 1 22 o 2211 T 11 T o 21ζ 1 ε kk h q h q kk qkqkqkqkqq ΣθSSθΣ ,][)0(][ 212121 ζε kkkkkk ΣΣ  (52) где обозначение )0( 21kk очевидно. Вычислим ковариацию величин )(ξ 1 ki и ),(ξ 2 ki ,,...,2,1 hk  ,,...,2,1, 21 nii  :21 ii                   );1(ζ),(),()];,2([)(ε})()ξ(ξ{Cov 11121 1 o , kqkqkqZkEkk i h q iiii θSζ                  );1(ζ),(),()];,2([)(ε 222 1 o , kqkqkqZk i h q ii θSζ ),(),(),()(),(),(),(σ 1 2 o 2121 T 1 T o 21ζ 1 21    kk h q p h q qkqkiiqkqkqq θSISθ (53) где )( 12 iip I — )( pp -матрица, у которой все элементы равны нулю, кроме элементов одной диагонали, равных единице: если ,012  ii то это главная диагональ; если ,0 то это диагональ, расположенная выше главной диагонали на  строк; если ,0 то это диагональ, расположенная ниже главной диаго- нали на  строк. Вычислим ковариацию )(ξ 11 ki и ),(ξ 22 ki ,,...,2,1, 21 hkk  ,21 kk  21, ii ,,...,2,1 n :21 ii  })()ξ(ξ{Cov 21 21 kk ii                  );1(ζ),(),()];,2([)(ε 1 1 1 o 1,1 111 kqkqkqZkE i h q ii θSζ                  );1(ζ),(),();()];,2([)(ε 2 1 2 o 2,2 222 kqkqkqZqZk i h q ii θSζ )(),(),()(),(),(),(σ 21 21 1 22 o 222111 T 11 T o 21ζ 1    kk h q h q qkqkiiqkqkqq θSISθ . (54) Необходимо отметить, если ,)( pabs  то )( 12 iip I — нулевая матрица, и, следовательно, ковариации (53) и (54) в этом случае равны нулю. Таким образом, ),( qk -й блок ( ),...,2,1,( hqk  ковариационной матрицы Σ представляет собой )( nn -матрицу ,),(σ),(),(σ),( ε nn qkqkqkqk IΨIΣ   (55) Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 3 23 где ),( qkΨ — )( nn -матрица, которая имеет вид: , )0()1(0000 )1()0(0000 00)0()1()1(0 00)1()0()2()1( 00)1()2()0()1( 000)1()1()0( ),(                                    kqkq kqkq kqkqkq kqkqkqkq kqkqkqkq kqkqkq p pp pp p qk         Ψ (56) где величины ),(kq ,1,2,...,1,0,1...,,2,1  pppp определены в (50)–(53). Из (50)–(56) следует, что ковариационная матрица Σ является блочной, со- стоит из )( hh блоков и имеет вид ,nn IΣΨIΣΣ   (57) где nIΣ — кронекеровское произведение матриц Σ и .nI Из (50)–(54) и вида ковариационной матрицы Σ в (55)–(57) следуют такие свойства моделей (32): 1) наблюдения в моделях однородны, т.е. дисперсия случай- ных величин )(ki не зависит от i (одинакова для всех i); 2) векторные случайные величины )( 1kξ и ),( 2kξ ,,...,2,1, 21 hkk  ,21 kk  статистически зависимы; 3) существует статистическая зависимость между теми случайными величинами )(ξ 11 ki и ),(ξ 22 ki ,,...,2,1, 21 hkk  ,21 kk  ,,...,2,1, 21 nii  ,21 ii  для которых выполняется ,)()( 21 piiabsabs  причем, чем больше ),(abs тем меньше, вообще говоря, степень этой зависимости. Из анализа выявленных свойств следует: второе свойство соответствует предположению о статистической зависимости между ошибками наблюдения вы- ходных переменных объекта; предположение о возможности несовпадения струк- турных матриц );( qkS в (4) для разных k соответствует предположению о том, что выходные переменные объекта могут определяться, вообще говоря, разными множествами регрессоров. Поэтому совокупность моделей (32) необходимо рас- сматривать как систему моделей [4]. Особенностью системы моделей (32) и отличием ее от обычного класса си- стем регрессионных уравнений является третье свойство — существование стати- стической зависимости между )(ξ 11 ki и )(ξ 22 ki для таких ,21 ii  для которых выполняется .)( 21 piiabs  Именно это обстоятельство учитывается в данном методе оценивания неизвестных коэффициентов. 3. Итерационная процедура оценивания коэффициентов системы авторегрессионных уравнений В формулу (48) для матрицы C входит ненаблюдаемая матрица регрессоров ,R а в формулу (57) для матрицы Σ — матрица ,Ψ элементы которой, как следует из (51)–(56), зависят от неизвестных коэффициентов . o θ Воспользуемся этими об- стоятельствами для построения итерационной процедуры вычисления неизвест- ных коэффициентов в виде (36). 24 ISSN 0572-2691 Пусть матрица ),1;(ˆ rkR ,,...,2,1 hk  — оценка матрицы регрессоров ),(kR полученная на итерации с номером ;1r )(ˆ rd — оценка вектора коэффициентов , o θ а ),;(ˆ rkd ,,...,2,1 hk  — оценка коэффициентов )( o kθ в виде (36), полученная на итерации с номером r. Тогда для системы регрессионных моделей (32) выполняется ,,...,2,1),;();(ˆ);();(ˆ)1;(ˆ)( hkrkrkrkrkrkk  uyudRy (58) где );(ˆ rky — )1( n -вектор выходов, );( rku — )1( n -вектор остатков модели k-й переменной. Введем в рассмотрение матрицу наблюдений Y, матрицу выходов Ŷ и мат- рицу остатков [22, с. 51] U системы моделей (58): ,)](,...(2),(1),[ hyyyY  (59) ,)],(ˆ,...),(2,ˆ),(1,ˆ[)(ˆ rhrrr yyyY  (60) ,)],(,...),(2,),(1,[)( rhrrr uuuU  (61) для которых выполняется .)],(ˆ)(,...),(2,ˆ(2)),(1,ˆ(1)[)(ˆ)( rhhrrrr yyyyyyYYU  (62) Итерационная процедура вычисления неизвестных коэффициентов в виде (36) предусматривает несколько этапов. Этап І. Начальное приближение. Шаг 1. Формируем матрицы наблюдаемых предыдущих значений перемен- ных (аналогично (22)): , )()()( )()()( )()()( )()()( )0;;1( 21 21 201 110                        qxqxqx qxqxqx qxqxqx qxqxqx q pnnn piii p p       Z .,...,2,1 hq  (63) Шаг 2. Формируем матрицы наблюдаемых регрессоров (аналогично (31)):  .),()0;;1()2,()0;2;1()1,()0;1;1()0;(ˆ hkhkkk SZSZSZR   (64) Шаг 3. Формируем объединенную матрицу наблюдаемых регрессоров (ана- логично (34)): . )0;(ˆ )0;2(ˆ )0;1(ˆ )0(ˆ ))2(())1(( ))(())1(( ))(())2((                     hmnmn hmnmn hmnmn ROO ORO OOR R     (65) Шаг 4. Полагаем, что NNOΨ — нулевая )( NN  -матрица. Шаг 5. Вычисляем оценку коэффициентов: .][)]0(ˆ[))0(ˆ][)]0(ˆ([)0(ˆ 1T11T yIΣIΣRRIΣIΣRd      nnnn (66) Шаг 6. Вычисляем выходы моделей: .,...,2,1,)0;(ˆ)0;(ˆ)0;(ˆ hkkkk  dRy (67) Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 3 25 Шаг 7. Вычисляем остатки моделей: .,...,2,1),0;(ˆ)()0;( hkkkk  yyu (68) Шаг 8. Объединяем остатки в матрицу в соответствии с (61) и вычисляем це- левой функционал: ,)])0()0([det)1(()0(Φ /1T1 hn UU  (69) где )]0()0([det)1( T1 UU n — так называемая «обобщенная дисперсия» [20, 23, 24]. Этап ІІ. На итерациях *,...,2,1 rr  выполняем такие операции. Шаг 1. Формируем матрицы оценок предыдущих значений (аналогично (22)): , )1;(ˆ)1;(ˆ)1;(ˆ )1;(ˆ)1;(ˆ)1;(ˆ )1;(ˆ)1;(ˆ)1;(ˆ )1;(ˆ)1;(ˆ)1;(ˆ )1;;1(ˆ 21 21 201 110                              rqyrqyrqy rqyrqyrqy rqyrqyrqy rqyrqyrqy rq pnnn piii p p       Z .,...,2,1 hq  (70) Шаг 2. Формируем матрицы регрессоров (аналогично (31)): .]),()1;;1(ˆ)2,()1;2;1(ˆ)1,()1;1;1(ˆ[)1;(ˆ hkrhkrkrrk SZSZSZR   (71) Шаг 3. Формируем объединенную матрицу регрессоров (аналогично (34)): . )1;(ˆ )1;2(ˆ )1;1(ˆ )1(ˆ ))2(())1(( ))(())1(( ))(())2((                        rh r r r mnmn hmnmn hmnmn ROO ORO OOR R     (72) Шаг 4. Рассчитываем все блоки матрицы )1( rΨ — ),1;,( rqkΨ qk , ,,...,2,1 h — величины ),1;(  rkq ,1,2,,1,0,1...,,2,1  pppp  вычисляем по формулам (50)–(53), используя в качестве оценок ),( o qkθ прибли- жения ),1;,(ˆ rqkd полученные на итерации ;1r на итерации 1r используем оценки начального приближения )0;,(ˆ qkd в (66). Шаг 5. Вычисляем оценку коэффициентов:    11T ))1(ˆ])1([)]1(ˆ([)(ˆ rrrr nn RIΣΨIΣRd .])1([)]1(ˆ[ 1T yIΣΨIΣR    nn rr (73) Шаг 6. Вычисляем выходы моделей: .,...,2,1,);(ˆ)1;(ˆ);(ˆ hkrkrkrk  dRy (74) Шаг 7. Вычисляем остатки моделей: .,...,2,1),;(ˆ)();( hkrkkrk  yyu (75) Шаг 8. Объединяем остатки в матрицу в соответствии с (61) и вычисляем це- левой функционал: hrrnr /1T1 ))]()([det)1(()(Φ UU  . (76) 26 ISSN 0572-2691 Этап ІІІ. Итерационный процесс заканчиваем на итерации *r при выполне- нии условия ,)()1( 2 0 **2  rr (77) где 2 0 — заданная величина. 4. Результаты модельного эксперимента Разработанная итерационная процедура оценивания исследована с помощью метода статистических испытаний. В каждом испытании с помощью датчика слу- чайных чисел имитировались «наблюдения» объекта из класса (1)–(20) при сле- дующих значениях параметров системы моделей: ,3h ,3)1( m ,4)2( m ,4)3( m ,300n .9p Первые p «наблюдений» объекта в (20) — ),(kxi ,,...,22,21 pppi  ,3,2,1k (т.е. элементы матрицы )1(X в (20)) форми- ровались с помощью датчика независимых случайных чисел с математическим ожиданием, равным 100, и единичным среднеквадратическим отклонением, т.е. ),);((~)( 2 kNkxi где 1; ;40)1(  ;60)2(  .80)3(  «Наблюдения» ),(kxi ,,...,2,1 nppi  3,2,1k (т.е. элементы матриц )0(X и X в (20)) формировались в соответствии с моделью функционирования объекта:                                             )3(ζ)3( )3(ζ)3(08,0)3(97,0)2(05,0)1(05,0)3( ),2(ζ)2( )2(ζ)3(10,0)2(05,0)2(97,0)1(05,0)2( ),1(ζ)1( )1(ζ)2(05,0)1(05,0)1(97,0)1( 1 15164 1 15713 1 1491 ii iiiiii ii iiiiii ii iiiii x xxxxx x xxxxx x xxxx (78) и моделью наблюдения объекта: .)3(ε)3()3(),2(ε)2()2(),1(ε)1()1( iiiiiiiii xxxxxx   (79) В (78) и (79) реализации случайных ненаблюдаемых величин )(ζ 1 ki и слу- чайных ненаблюдаемых ошибок измерения )(ε ki формировались по известному в методе Монте-Карло способу перехода от набора независимых случайных )1( n - векторов ,3,2,1),(~ qqη с нулевым математическим ожиданием и единичной дис- персией к набору зависимых случайных )1( n -векторов ),(qη ,3,2,1q с тре- буемой ковариационной матрицей :ηΣ ,)]3(~),2(~),1(~[)]3(),2(),1([ ηηηHηηη  (80) где H — нижняя треугольная матрица в разложении матрицы .: T ηη HHΣΣ  Набор независимых случайных )1( n -векторов ,3,2,1),(~ qqη формировался с помощью датчика независимых случайных чисел с нулевым математическим ожи- данием и единичным среднеквадратическим отклонением, т.е. ),,(~)(~ 2 η nNq I0η  .0,1η  Ковариационные матрицы ζΣ и εΣ формировались следующим обра- зом: задавались корреляционные матрицы                      0,14,06,0 4,00,14,0 6,04,00,1 , 0,13,07,0 3,00,14,0 7,04,00,1 εζ KK (81) Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 3 27 и диагональные элементы ковариационных матриц ,][ 2 ζζ qqΣ ,3,2,1q где ,5,0ζ  и ,3,2,1,][ 2 εε  qqqΣ где ,5,0ε  а по ним однозначно вычисля- лись недиагональные элементы ковариационных матриц:  2121 ,, ][][ qqqq KΣ ,][][ 2211 ,, qqqq ΣΣ ).(3,2,1, 2121 qqqq  Коэффициенты в модели функцио- нирования объекта (78) считались неизвестными и их требовалось оценить по ре- зультатам «наблюдений» ),(kxi nppi ,...,22,21  )300( n , 3,2,1k . Всего было проведено тысячу испытаний в соответствии с (78)–(81). В табл. 1 представлены результаты оценивания коэффициентов по МНК и по предложенной процедуре оценивания (SAD). Оценки МНК, применяемого неза- висимо для каждого из уравнений системы, часто используются для получения начального приближения, в том числе в тех случаях, когда отсутствует априорная информация о степени статистической зависимости между аддитивными случай- ными составляющими в моделях функционирования и наблюдения. В данном эксперименте начальное приближение вычислялось по (63)–(69). Приведены ре- зультаты эксперимента (тысяча испытаний) после второй и третьей итераций. Таблица 1 Коэффициенты системы регрессионных уравнений Истинные значения Среднее МНК-оценок Среднее SAD-оценок (после 2-й итерации) (после 3-й итерации) 11d 0,97 0,8607 0,9439 0,9402 12d 0,05 0,0040 0,0374 0,0358 13d 0,05 0,0877 0,0592 0,0608 21d 0,05 0,0705 0,0534 0,0531 22d 0,97 0,8402 0,9404 0,9398 23d 0,05 0,0109 0,0382 0,0384 24d 0,10 0,1813 0,1202 0,1208 31d 0,05 0,0964 0,0735 0,0728 32d 0,05 0,0517 0,0548 0,0545 33d 0,97 0,8233 0,8882 0,8907 34d 0,08 0,2406 0,1722 0,1693 В табл. 2 представлены среднеквадратичные приближения к ненаблюдаемым на практике значениям выходов )3(),2(),1( iii xxx моделей, полученных по МНК и предложенной процедуре оценивания. Требования по качеству такого приближения актуальны в задачах управле- ния, для решения которых, как правило, строятся модели в классе систем авторе- грессионных уравнений. Качество моделей в каждом из тысячи испытаний оцени- валось среднеквадратичным отклонением модельных выходов )3(ˆ),2(ˆ),1(ˆ iii yyy в (58) от «точных» выходов )3(),2(),1( iii xxx в (78), которые в условиях метода статистических испытаний известны: ,)))(ˆ)(()1(()( 2/1 1 2МНК1 МНК     n i ii kykxnkS (82) ,)))(ˆ)(()1(()( 2/1 1 2SAD1 SAD     n i ii kykxnkS .3,2,1k (83) 28 ISSN 0572-2691 В соответствии с (32) и (51) для дисперсии величин ),()()(ξ o kykyk iii  ,3,2,1,...,2,1  kni выполняется )(][)0(][})(ξ{ ζε kDkD kkkkkki  ΣΣ , (84) и поскольку в условиях модельного эксперимента величины )(kxi в (78) извест- ны, то для дисперсии и среднеквадратичного отклонения величин )()( kxky ii  выполняется ),0(][)}()({ ε kkkkii kxkyD  Σ (85) .))0(]([))()(( 2/1 ε0 kkkkii kxkyS  Σ (86) Величины )},()({0 kxkyS ii  )(МНК kS и )(SAD kS для трех моделей в систе- ме авторегрессионных уравнений приведены в табл. 2. Эмпирические распреде- ления двух статистик: )(МНК kS и )(SAD kS в виде гистограмм по 1000 испытаний приведены для трех регрессионных уравнений на рис. 1–3, на которых гисто- граммы из закрашенных столбиков соответствуют результатам МНК-оценивания, а гистограммы из светлых столбиков — результатам оценивания по разработан- ной процедуре. Таблица 2 Номер уравнения ))()((0 kxkyS ii  )(МНК kS )(SAD kS (после 2-й итерации) (после 3-й итерации) 1 0,4865 0,4566 0,3843 0,3837 2 0,4890 0,4576 0,3869 0,3849 3 0,4881 0,4547 0,4004 0,3974 0,32 0,36 0,4 0,44 0,48 0,52 0 50 100 150 200 250 Рис. 2 В табл. 2, как и в табл. 1, приведены результаты после второй и третьей итера- ций. Выбор такого числа итераций обу- словлен тем, что в соответствии с проб- ными расчетами улучшение качества си- стемы уравнений по функционалу (76) при переходе от второй итерации к треть- ей составляют величину, меньшую, чем  01,0))3()2()1((01,0 3/12 0 DDD .0074,0)7381,07390,07365,0( 3/1  0,32 0,36 0,4 0,44 0,48 0,52 0 20 40 60 80 100 120 140 160 180 200 Рис. 1 0,32 0,36 0,4 0,44 0,48 0,52 0 20 40 60 80 100 120 140 160 180 200 Рис. 3 Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 3 29 Анализ табл. 1, 2 и рис. 1–3 подтверждает эффективность предложенной процедуры оценивания по сравнению с обычным МНК. Описанный модельный эксперимент может послужить полигоном для тестовых испытаний других мето- дов оценивания параметров в авторегрессионных уравнениях рассмотренного класса. Заключение Разработан метод параметрической идентификации в задаче моделирования объектов с многомерным выходом в классе систем авторегрессионных уравнений, в которых случайные аддитивные составляющие в выходных переменных как в законе функционирования, так и в модели наблюдения моделируемого объекта, могут быть статистически зависимыми, а множества входных переменных в урав- нениях могут быть различными. Эффективность итерационной процедуры, реали- зующей разработанный метод, подтверждена методом статистических испытаний. Отметим, что если ковариационные матрицы ζΣ и εΣ априорно неизвестны, то ковариационную матрицу Σ с учетом ее структуры можно оценивать итера- ционно по остаткам системы авторегрессионных моделей, как это сделано в ите- рационной процедуре в [14]. В качестве начального приближения в этом случае в процедуре (58)–(77) выступают оценки обычного МНК. О.П. Саричев ІДЕНТИФІКАЦІЯ ПАРАМЕТРІВ СИСТЕМ АВТОРЕГРЕСІЙНИХ РІВНЯНЬ ПРИ ВІДОМИХ КОВАРІАЦІЙНИХ МАТРИЦЯХ Розглянуто задачу оцінювання коефіцієнтів у системі авторегресійних рівнянь, у яких множини вхідних змінних у рівняннях можуть бути різними, а випадкові адитивні складові у вихідних змінних можуть бути статистично залежні як у моделі функціонування, так і в моделі спостереження. Вважається, що задано коваріаційні матриці адитивних випадкових складових у моделях функціону- вання і спостереження. Запропоновано ітераційну процедуру оцінювання кое- фіцієнтів, яку досліджено методом статистичних випробувань. A.P. Sarychev IDENTIFICATION OF SYSTEMS PARAMETERS OF AUTOREGRESSION EQUATIONS UNDER CONDITIONS OF KNOWN COVARIANCE MATRIXES The problem of parameters estimation of autoregressive equations system is consi- dered. It is supposed, that sets of input variables in the equations can be various, and random additive components in output variables can be statistically dependent both in model of functioning, and in model of observation. It is supposed, that covariance matrixes of additive random components in models of functioning and observation are known. Iterative procedure of parameters estimation investigated by a method of statistical tests is proposed. 1. Сильвестров А.Н., Чинаев П.И. Идентификация и оптимизация автоматических систем. — М. : Энергоатомиздат, 1987. — 199 с. 2. Söderström T., Stoica P. System identification. — New York; London : Prentice Hall, 1989. — 612 p. 30 ISSN 0572-2691 3. Льюнг Л. Идентификация систем. Теория для пользователя. — М. : Наука, 1991. — 432 с. 4. Greene W.H. Econometric analysis : 5th edition. — New Jersey : Prentice Hall, 2003. — 1056 p. 5. Söderström T., Soverini U, Mahata K. Perspectives on errors-in-variables estimation for dynamic systems // Signal Processing. — 2002. — 82, N 8. — P. 1139–1154. 6. Kukush A., Markovsky I., Van Huffel S. Consistent estimation in an implicit quadratic error model // Computational statistics & Data analysis. — 2004. — 47. — P. 123–147. 7. Kukush A., Markovsky I., Van Huffel S. Consistency of the structured total least squares estimator in a multivariate errors-in-variables model // Journal of Statistical Planning and Inference. — 2005. — 133. — P. 315–358. 8. Markovsky I., Van Huffel S., Pintelon R. Block-Toeplitz/Hankel structured total least squares // SIAM J. Matrix Anal. Appl. — 2005. — 26, N 4. — P. 123–147. 9. Schuermans M., Markovsky I., Wentzell P.D., Van Huffel S. On the equivalence between total least squares and maximum likelihood PCA // Analytica Chimica Acta. — 2005. — 544. — P. 254–267. 10. Markovsky I., Van Huffel S. Overview of total least squares methods // Signal Processing. — 2007. — 87. — P. 2283–2302. 11. Söderström T. Errors-in-variables methods in system identification // Automatica. — 2007. — 43 (6). — P. 939–958. 12. Hong M., Söderström T. Relations between bias-eliminating least squares, the Frish scheme and extended compensated least squares methods for identifying errors-in-variables systems // Ibid. — 2009. — 45. — P. 277–282. 13. Иванов Д.В., Кацюба О.А. Методы идентификации дискретных динамических систем с ошибками в переменных. — http://ubs.mtas.ru /bitrix/components/bitrix/forum.interface/show_ file.php?fid=2045. 14. Сарычев А.П. Идентификация систем стохастических динамических дискретных моделей с детерминированными коэффициентами // Проблемы управления и информатики. — 2005. — № 5. — C. 39–55. 15. Кунцевич В.М., Лычак М.М. Синтез оптимальных и адаптивных систем управления. Игро- вой подход. — Киев : Наук. думка, 1985. — 248 с. 16. Кунцевич В.М. Управление в условиях неопределенности: гарантированные результаты в задачах управления и идентификации. — Киев : Наук. думка, 2006. — 264 с. 17. Кунцевич В.М. О точности построения аппроксимирующих моделей при ограниченных по- мехах измерений // Автоматика и телемеханика. — 2005. — № 5. — С. 125–133. 18. Кременецкий И.А., Сальников Н.Н. Нестохастический подход к определению размерности и параметров линейных авторегрессионных моделей по результатам измерения входных и выходных переменных // Международный научно-технический журнал «Проблемы управ- ления и информатики». — 2010. — № 1. — C. 63–75. 19. Сальников Н.Н. Точность оценивания параметров линейной регрессии при погрешностях в переменных // Там же. — 2010. — № 6. — C. 19–30. 20. Бард Й. Нелинейное оценивание параметров. — М. : Статистика, 1979. — 349 с. 21. Ермаков С.М., Жиглявский А.А. Математическая теория оптимального эксперимента. — М. : Наука, 1987. — 320 с. 22. Себер Дж. Линейный регрессионный анализ. — М. : Мир, 1980. — 456 с. 23. Андерсон Т. Введение в многомерный статистический анализ. — М. : Физматгиз, 1963. — 500 с. 24. Рао С.Р. Линейные статистические методы и их применения. — М. : Наука, 1968. — 548 с. Получено 26.04.2011 После доработки 05.01.2012