Побудова багатовимірної поліноміальної регресії. Активний експеримент
A constructive method for restoration of multidimensional polynomial regression represented with extra description is considered. Distribution of noises is optional with unknown but finite dispersion. The solution to the problem is based on the possibility of an active experiment. Practical recommen...
Saved in:
| Date: | 2009 |
|---|---|
| Main Authors: | , |
| Format: | Article |
| Language: | Russian |
| Published: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2009
|
| Online Access: | https://journal.iasa.kpi.ua/article/view/108468 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | System research and information technologies |
| Download file: |  |
Institution
System research and information technologies| _version_ | 1866302044899377152 |
|---|---|
| author | Pavlov, A. A. Chekhovskiy, A. V. |
| author_facet | Pavlov, A. A. Chekhovskiy, A. V. |
| author_sort | Pavlov, A. A. |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2018-04-06T12:35:46Z |
| description | A constructive method for restoration of multidimensional polynomial regression represented with extra description is considered. Distribution of noises is optional with unknown but finite dispersion. The solution to the problem is based on the possibility of an active experiment. Practical recommendations for using the method are proposed. |
| first_indexed | 2025-07-17T10:22:45Z |
| format | Article |
| fulltext |
© А.А. Павлов, А.В. Чеховский, 2009
Системні дослідження та інформаційні технології, 2009, № 1 87
TIДC
МАТЕМАТИЧНІ МЕТОДИ, МОДЕЛІ,
ПРОБЛЕМИ І ТЕХНОЛОГІЇ ДОСЛІДЖЕННЯ
СКЛАДНИХ СИСТЕМ
УДК. 519.24
ПОСТРОЕНИЕ МНОГОМЕРНОЙ ПОЛИНОМИАЛЬНОЙ
РЕГРЕССИИ. АКТИВНЫЙ ЭКСПЕРИМЕНТ
А.А. ПАВЛОВ, А.В. ЧЕХОВСКИЙ
Рассматривается конструктивный метод восстановления многомерной поли-
номиальной регрессии, представленной избыточным описанием. Распределе-
ние помехи является произвольным с неизвестной, но конечной дисперсией.
Решение задачи основано на возможности проведения активного эксперимен-
та. Приводятся практические рекомендации по использованию метода.
ВВЕДЕНИЕ
Задача конструктивного восстановления по статистическим данным регрес-
сионной модели (детерминированной закономерности) — предмет исследо-
вания прикладного регрессионного анализа [1 – 8]. Наиболее употребляе-
мым является метод наименьших квадратов. Практические проблемы
реализации метода наименьших квадратов при построении многомерной
полиномиальной регрессии заключаются в необходимости обращения плохо
обусловленных матриц и отсутствии эффективных процедур восстановле-
ния истинной многомерной полиномиальной регрессии по ее избыточному
описанию. Предлагаемый авторами метод в целом эффективно справляется
с этими проблемами. Основы его построения сформулированы в работе [11].
ОДНОМЕРНЫЙ СЛУЧАЙ. ИССЛЕДОВАНИЕ МЕТОДА НАИМЕНЬШИХ
КВАДРАТОВ С ИСПОЛЬЗОВАНИЕМ НОРМИРОВАННЫХ
ОРТОГОНАЛЬНЫХ ПОЛИНОМОВ [9]
Постановку задачи и анализ известных результатов приведем в соответствие
с работой [9].
Модель регрессии имеет вид
ExxxY r
r ++++= θθθ …10)( , (1)
где х — детерминированная переменная, значение которой в эксперимен-
тах может задаваться произвольно; rii ,0, =θ — неизвестные коэффициен-
ты; E — случайная величина с произвольным распределением; 0=ME
А.А. Павлов, А.В. Чеховский
ISSN 1681–6048 System Research & Information Technologies, 2009, № 1 88
(М — знак математического ожидания); 2
Еδ (дисперсия) ограничена, ее
значение неизвестно либо известна верхняя оценка.
Проведено n экспериментов, результатом которых являются две вы-
борки объема n ),1,)(;,1,( niyxYnix iii === .
В соответствии с (1)
nixy i
n
j
j
iji ,1,
0
=+= ∑
=
δθ , (2)
где iδ — неизвестная реализация случайной величины E в i -м экспери-
менте. Числа iiy δ, можно считать реализациями случайных величин iY ,
ni ,1= ; i∆ , ni ,1= , где i∆ имеет распределение случайной величины E , а
iY и i∆ связаны соотношением
i
j
j
iji xY ∆+=∑θ . (3)
Оценки неизвестных коэффициентов rjj ,0, =θ находятся из миними-
зации выражения
2
1 0,0,
min ∑ ∑
= == ⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
−
n
i
r
j
j
iji
rj
xy
j
θ
θ
. (4)
Введем матричные обозначения
( )„¦nr
nn
r
yyy
xx
xxA ,...,
,...,1
,...,1
1
11 =⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
= ,
( ) ( )„¦„¦
rnYYy θθθ ,...,,,..., 01 == ,
( ) ,ˆ,...,ˆˆ
1
„¦
rθθθ =
где jθ̂ оценки jθ , rj ,0= в соответствии с (4).
Тогда [9]
( ) yAAA „¦„¦ 1ˆ −
=θ (5)
либо
( ) YAAA „¦„¦ 1ˆ −
=θ ,
если rjj ,0, =θ считать случайными величинами. Сложности, связанные с
обращением матрицы ( ) 1−
AA„¦ исчезают, если от модели (1) перейти к моде-
ли регрессии, заданной с помощью нормированных ортогональных полино-
мов [9].
( ) ( ) ( ) ( ) ,... 221100 ExwxwxwxY ++++= θθθ (6)
где rjxj ,0),( =θ — нормированные ортогональные полиномы.
( ) j
jjjjj xqxqqx +++= ...
10
θ , (7)
Построение многомерной полиномиальной регрессии. Активный эксперимент
Системні дослідження та інформаційні технології, 2009, № 1 89
( ) ( ) ( ) rlqljxxx ili
n
i
ji
n
i
j ,0,,,0,1
11
2 =≠∀== ∑∑
==
θθθ .
Дж. Форсайт [10] предложил рекуррентную формулу для нахождения
нормированных ортогональных полиномов
( ) ( ) ( ) ( )xxxxx jjjj 211 −−− −−= θβθαθθλ , (8)
( ) ( ) ( )ijij
n
i
iij
n
i
i xxxxx 21
1
2
1
1
, −−
=
−
=
∑∑ == θθβθα .
λ определяется из условия ( ) 1
1
2 =∑
=
i
n
i
j xθ .
( ) ( ) ( )( )∑
−
−−− −−=
n
i
ijijiji xxxx
1
2
211 βθαθθλ .
Для использования рекуррентной формулы (8) необходимо построить
нормированные ортогональные полиномы )(0 xθ и )(1 xθ . Очевидно, ими
являются
∑∑
==
−
+
−
−==
n
i
i
n
i
i xx
x
xx
xx
n
x
1
2
1
2
10
)()(
)(,1)( θθ ,
где .1
1
∑
=
=
n
i
ix
n
x
Применение метода наименьших квадратов к модели (6) приводит к
следующим результатам [9].
Пусть ( ) ( ) rjwwwwwww jrr ,0,ˆ,ˆ,...,ˆˆ,,..., 00 === „¦„¦ — оценки jw ,
полученые методом наименьших квадратов ( ) rjWWWW jr ,0,ˆ,ˆ,...,ˆˆ
0 ==
„¦
— случайные величины, для которых jŵ являются соответствующими
реализациями.
Тогда
( ) ( )ij
n
i
ijij
n
i
ij xYWrjxyw θθ ∑∑
==
===
11
ˆ,,0,ˆ . (9)
rjwWM jj ,0,ˆ == , ( ) ljWW lj ≠∀= ,0ˆ,ˆcov .
2ˆ
ЕjWD δ= . (10)
( )
20
2
1
2
1
ˆ
Е
r
j
n
i
i
rn
WY
M δ=
+−
− ∑∑
== . (11)
Связь моделей (1) и (6) следующая:
jjjrrrjrj qwqwqw +++= −− …11θ (12)
А.А. Павлов, А.В. Чеховский
ISSN 1681–6048 System Research & Information Technologies, 2009, № 1 90
и соответственно
rjqwqw jjjrjrj ,0,ˆ...ˆˆ =++=θ , (13)
либо
jjjrjrj qWqW ˆ...ˆˆ ++=θ , (14)
если jθ̂ считать случайной величиной.
При исследовании модели (1) либо эквивалентной ей (6) в работе [9]
предполагалось, что r — степень полинома регрессии — известна заранее.
Если это не так, то принято считать [1–9], что для произвольного распреде-
ления E нахождение истинного r является проблемой. Если E имеет нор-
мальное распределение, то нахождение r сводится к проверке статических
гипотез по критериям с известным распределением Фишера [9].
Покажем, что на самом деле проблема нахождения r имеет конструк-
тивное решение для произвольного распределения E , а также покажем, как
можно эффективно связать имеющиеся экспериментальные данные с точно-
стью оценок неизвестных коэффициентов rjj ,0, =θ .
Условие ( ) 1
1
2 =∑
=
i
n
i
j xθ с учетом (7) перепишем следующим образом:
1
2
1 0
=⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
∑ ∑
= =
n
i
j
l
l
ijl xq . (15)
Найдем дисперсию jθ̂ . Учитывая, что 0)ˆ,ˆ(cov =
≠ pl
pl WW , из (10) и (14)
получаем
∑
=
=
j
rl
ljj qD 22ˆ δθ . (16)
Так как при неограниченном возрастании числа испытаний n минимум
(4) асимптотически должен достигаться на истинных значениях коэффици-
ентов jθ , из анализа (15) и (16) следует, что при увеличении n модули зна-
чений коэффициентов rjjrlqlj ,0,,, == должны уменьшаться.
Аналитически в общем виде затруднительно связать числа nixi ,1, = ;
n ; ),0( rjj = с величиной .,0,,, rjjrlqlj == Тем не менее в случае ак-
тивного эксперимента для эффективного решения прикладных задач (задан-
ная точность, необходимое число вычислений, определение чисел nxx ,,1 … )
можно создать соответствующие статистические таблицы (табл. 1).
Таблица построена для линии регрессии, заданной полиномом пятого
порядка. В первой колонке фиксируются различные значения n (количество
значений детерминированного аргумента х ). В колонках с номером
( )5,0=jj заданы дисперсии коэффициентов jθ̂ , 5,0=j как функция 2δ
Построение многомерной полиномиальной регрессии. Активный эксперимент
Системні дослідження та інформаційні технології, 2009, № 1 91
( 2δ — это дисперсия Е либо ее верхняя оценка). Для построения таблицы
были найдены все нормированные ортогональные полиномы 5,0),( =jxjθ
(используются формулы (7), (8)). По формуле (16) определены соответст-
вующие дисперсии. Значения nixi ,1, = распределены с равным шагом по
отрезку (–50,0; 50,0).
Т а б л и ц а 1 . Фрагмент возможной ситуации
n 0 1 2 3 4 5
10 σ 2·0,400466 σ2·0,0024855 σ2·4,26·10–06 σ2·7,55·10–09 σ2·1,41·10–12 σ2·1,28·10–15
50 σ2·0,0706426 σ2·0,0004607 σ2·4,53·10–07 σ2·1,15·10–09 σ2·9,28·10–14 σ2·1,43·10–16
100 σ2·0,0351973 σ2·0,0002298 σ2·2,22·10–07 σ2·5,68·10–10 σ2·4,47·10–14 σ2·7,02·10–17
200 σ2·0,0175833 σ2·0,0001149 σ2·1,10·10–07 σ2·2,84·10–10 σ2·2,21·10–14 σ2·3,50·10–17
300 σ2·0,0117203 σ2·7,66·10–05 σ2·7,36·10–08 σ2·1,89·10–10 σ2·1,47·10–14 σ2·2,33·10–17
500 σ2·0,0070316 σ2·4,59·10–05 σ2·4,41·10–08 σ2·1,13·10–10 σ2·8,82·10–15 σ2·1,40·10–17
1000 σ2·0,0035157 σ2·2,30·10–05 σ2·2,21·10–08 σ2·5,67·10–11 σ2·4,41·10–15 σ2·6,99·10–18
5000 σ2·0,0007031 σ2·4,59·10–06 σ2·4,41·10–09 σ2·1,13·10–11 σ2·8,82·10–16 σ2·1,40·10–18
10000 σ2·0,0003516 σ2·2,30·10–06 σ2·2,21·10–09 σ2·5,67·10–12 σ2·4,41·10–16 σ2·6,99·10–19
На качественном уровне анализ табл. 1 не зависит от величины 1>а
отрезка разбиения ),( aa− и величин r – степени полинома. Изложенные
ниже выводы подтверждены экспериментально.
1. Приведенные значения дисперсий jθ̂ , 5,0=j становятся конструк-
тивными, если известна верхняя оценка 2δ дисперсии E . Порядок 2
Еδ
можно определить по реализации случайной величины [9]
( ) ( )11
0
2
1
1
+−
−
=
+−
∑∑
==
rn
WY
rn
RR
r
j
j
n
i
i„¦
, так как ( )
2
1 Еrn
RRM δ=
+−
„¦
.
Далее будет показано, что истинное значение r находят очевидным об-
разом.
2. Чем больше j , тем меньше jθ̂ при фиксированном n . Действи-
тельно, при 10=n ×=⋅=⋅= 2
2
2
1
2
0
ˆ;0024855,0ˆ;400466,0ˆ δθδθδθ DDD
152
5
6 10128ˆ2610,4 −− ⋅⋅=× δθD… , т.е. с увеличением j значение jDθ̂ уме-
ньшается на порядок.
3. По минимальному количеству испытаний можно определить истин-
ную степень полинома линии регрессии. В нашем примере при 10n = дис-
персия оценки коэффициента при 2x уже равна .1026,4 62 −⋅⋅δ Т.е. если
истинная линия регрессии прямая, то реально оценками 5432
ˆ,ˆ,ˆ,ˆ θθθθ будут
нули с точностью до соответствующих знаков после запятой (закон трех
сигм).
4. Необходимое количество испытаний n определяется заданной точ-
ностью для нахождения jθ̂ с наименьшим ( ).0=jj Если эксперименты до-
А.А. Павлов, А.В. Чеховский
ISSN 1681–6048 System Research & Information Technologies, 2009, № 1 92
рогие, то реально эффективно оценивать jθ̂ , начиная с 1j = (из анализа
табл. 1 видно, что значения дисперсий 10
ˆиˆ θθ DD одного порядка достига-
ются на числе экспериментов, отличающихся на два порядка).
Таким образом, точность оценки 0θ необходимо связывать с самой чи-
словой оценкой 0θ (чем больше по модулю это значение, тем достовернее
результат). Если оценка 0θ оказывается недостаточно точной, то получен-
ное выражение для линии регрессии необходимо использовать в тех зада-
чах, для решения которых величина 0θ не имеет значения (например, срав-
нение значений линии регрессии для различных значений ее аргумента).
В некоторых задачах массив nixi ,1, = может быть задан заранее и эк-
спериментатор не может его изменить. Тогда до проведения эксперимента
по формулам (7), (8), (16) можно найти дисперсии rjj ,0,ˆ =θ (r можно задать
избыточным) и провести предварительный анализ будущих результатов.
Пример 1.
Истинная модель имеет вид
Exxxxxxy +⋅+++++= 5432 02345)( . (17)
Регрессионная модель всегда должна задаваться избыточной. В нашем
примере исследователь знает, что регрессионная модель является полино-
мом не выше пятой степени. Случайная величина Е имеет нулевое матема-
тическое ожидание, равномерное распределение, .50=Еδ Входные значе-
ния ix равномерно распределены по отрезку (–50,0; 50,0) с шагом
n
100 .
Имитируются эксперименты с помощью реализаций случайной вели-
чины E . Исходные данные iiiiiii Exxxxyx +++++= 432 2345, , пi ,1= .
iE — реализация случайной величины E .
Для генерации случайных чисел использована часть библиотеки рас-
ширений для C++ boost. http://www.boost.org/doc/libs/1_36_0/libs/random/
index.html.
Для восстановления зависимости (17) по формуле (8) строятся шесть
нормированных ортогональных полиномов, а по (13) — оценки коэффици-
ентов в линии регрессии (16). Результаты эксперимента показаны ниже.
Одномерная регрессия, равномерное распределение ( )50=Еσ .
Исходные коэффициенты: 5 , 4 , 3 , 2 , 1 , 0 ; цифры в квадратных скоб-
ках — количество чисел в круглых скобках. Количество испытаний
10=n .
Ортогональные полиномы
[1] (0,316228).
[2] (0,0550482; 0,0110096).
[3] (–0,348155; 0,00435194; 0,000435194).
[4] (–0,12955; –0,0250104; 0,000269896; 1,79931·10–5).
[5] (0,336581; –0,0155824; –0,00148033; 1,55824·10–5; 7,79122·10–7).
[6] (0,214834; 0,0384315; –0,00134272; –8,35467·10–5; 8,95144·10–7; 3,58057·10–8).
Построение многомерной полиномиальной регрессии. Активный эксперимент
Системні дослідження та інформаційні технології, 2009, № 1 93
Оценки коэффициентов
[6] (8,21467; 4,40095; 2,99323; 1,99954; 1; 1,00514·10–7).
Дисперсии коэффициентов
[6] (1001,17; 6,21366; 0,0106413; 1,88666·10–5; 3,52078·10–9; 3,20513·10–12).
Количество испытаний 50=n .
Ортогональные полиномы
[1] (0,141421).
[2] (0,00489996; 0,00489996).
[3] (–0,158019; 0,000379853; 0,000189927).
[4] (–0,0112385; –0,0112235; 2.2513·10–5;7,50433·10–6).
[5] (0,15878; –0,00127706; –0,000637333; 1,19511·10–6; 2,98776·10–7).
[6] (0,0176422; 0,0175761; –9,91938·10–5; –3,29849·10–5; 5,97553·10–8;
1,19511·10–8).
Оценки коэффициентов
[6] (5,15354; 3,91832; 3,00231; 2,00013; 0,999999; –3,05835·10–8).
Дисперсии коэффициентов
[6] (176,607; 1,15167; 0,00113153; 2,86437·10–6; 2,32095·10–10; 3,57069·10–13).
В табл. 2 приведены оценки коэффициентов, точное значение которых
равно 5,4,3,2,1,0, соответственно, для количества испытаний n.
Т а б л и ц а 2 . Оценки коэффициентов
n 50 =θ 41 =θ 32 =θ 23 =θ 14 =θ 05 =θ
10 8,21467 4,40095 2,99323 1,99954 1 1,100510–7
50 5,15354 3,91832 3,00231 2,00013 0,999999 –3,05835·10–8
100 4,13942 3,92085 3,00063 2,00003 0,999999 1,21093·10–8
200 4,5745 3,92143 3,00406 2,00005 0,999999 –2,61741·10–9
300 5,39774 3,89625 2,99871 2,00013 1 –3,14599·10–8
500 5,23945 4,03909 3,00081 1,99996 1 11189·10–8
1000 4,8637 4,00444 2,99924 2 1 –3,30327·10–9
5000 5,20518 4,01987 2,99942 1,99997 1 5823·10–9
10000 4,95045 3,98802 3,0003 2,00002 1 –8,36543·10–9
Для количества испытаний 50≥п погрешность оценки коэффициен-
тов не превышает (табл. 2) для 4
3210 103,1;002,0;08,0;15,0 −⋅−−−− θθθθ ;
6
4 10−−θ ; 7
5 10−−θ .
Таким образом, в результате моделирования достаточного количества
испытаний можно создать статистические таблицы, каждая из которых со-
ставлена для фиксированных концов отрезка принадлежности аргумента х
и содержит для ряда статистически обоснованных вероятностей значения
погрешностей нахождения коэффициентов rjj ,0, =θ (зависящих от 2
Еδ
или ее верхней оценки 2δ ) для различного количества испытаний. Такие
таблицы позволят заранее определить минимально необходимое число ис-
А.А. Павлов, А.В. Чеховский
ISSN 1681–6048 System Research & Information Technologies, 2009, № 1 94
пытаний, для которых оценки коэффициентов jθ (кроме, возможно, 0θ )
находятся с приемлемой для практики точностью.
Примечание. Очевидно, чем больше длина интервала изменений аргу-
мента x , тем меньше минимально необходимое число испытаний.
МНОГОМЕРНЫЙ СЛУЧАЙ
Возможность для одномерного случая практически гарантировано находить
степень полинома линии регрессии и вычислять с допустимой вероятностью
с заданной погрешностью коэффициенты этого полинома позволяют пред-
ложить достаточно эффективную процедуру восстановления многомерной
полиномиальной линии регрессии (при условии реализации активного экс-
перимента).
Пусть многомерная модель задается в виде
( )
( ) ( )( )
( ) ( ) ( ) ,2
2
1
1
1 11
1
1
,,... ,,...,,...
,,
,, Exxxbxy t
t
t tt
t
t
j
i
j
i
j
i
ii iijj
jj
ii += ∑ ∑
Κ∈∀ Κ∈∀
……
… (18)
где ( )„¦nxxх ,,1 …= — детерминированный вектор входных переменных;
iх — i -я компонента вектора ;х t
t
jj
iib ,,
,,
1
1
…
… — неизвестные коэффициенты;
lj — натуральные числа; ll ij , — натуральные индексы из множества
{ }п,,1… ; Е — случайная величина с нулевым математическим ожиданием
и ограниченной неизвестной дисперсией 2
Еδ (как и в одномерном случае
может быть известна верхняя оценка 2
Еδ ).
Модель (18) является избыточной (возможно, некоторые из коэффици-
ентов t
t
jj
iib ,,
,,
1
1
…
… равны нулю). Для удобства линию регрессии модели (18)
представим иначе.
( ) ( )( )
( ) ( ) ( )∑ ∑ ∑
= Κ∈∀ Κ∈∀
n
l
j
i
j
i
j
i
ii iijj
jj
ii
t
t
lt tlt
t
t
xxxb
1 ,,... ,,...,,...
,,
,, .2
2
1
1
1 11
1
1
……
… (19)
Составляющие
( ) ( )( )
( ) ( ) ( ) t
t
t tt
t
t
j
i
j
i
j
i
ii iijj
jj
ii xxxb ……
…
2
2
1
1
11 111
1
1
,,... ,,...,,...
,,
,,∑ ∑
Κ∈∀ Κ∈∀
(20)
содержат все слагаемые из (18), в каждое из которых входит компонента .1х
Составляющие
( ) ( )( )
( ) ( ) ( ) nlxxxb t
t
lt tlt
t
t
j
i
j
i
j
i
ii iijj
jj
ii ,2,2
2
1
1
1 11
1
1
,,... ,,...,,...
,,
,, =∑ ∑
Κ∈∀ Κ∈∀
……
… (21)
содержат все слагаемые из (18), в каждое из которых входит компонента lx ,
за исключением тех составляющих, которые вошли в (20) и (21) для
( ) ( ) ( ) .1,1,,,...,,...,,,... 111 −=Κ∈∀Κ∈∀ lmtijjii tmtmt
Рассмотрим составляющую (20).
Построение многомерной полиномиальной регрессии. Активный эксперимент
Системні дослідження та інформаційні технології, 2009, № 1 95
Обозначим 1
1 ,1, njΜ j = количество слагаемых, каждое из которых со-
держит 1х в j -й степени.
1
11 ,1,axm njΜ j
j
==Μ , 1n — максимальная степень полинома от пере-
менной 1х .
Фиксируем 1Μ наборов значений компонент .,1,,, 1
2 Msхх s
n
s =… На
числа 1,1,,2, Μsniх s
i == накладывается единственное условие — опреде-
ленные ниже квадратные матрицы должны быть невырожденными.
Реализуем 1Μ экспериментов, в каждом из которых ( s -м 1,1 Ms = )
переменные nхх ,,2 … принимают фиксированные значения ),2(5 niхi = , а
1x изменяется, как при построении одномерной полиномиальной регрессии.
При фиксированных значениях переменных nхх ,,2 … в s -м эксперименте
),1( 1Ms = многомерная линия регрессии превращается в полином от пере-
менной 1х степени 1п .
Для каждого s -го эксперимента ),1( 1Ms = находим (16) значения ди-
сперсий s
jDθ̂ , 1,1 пj = и эти числа ранжируем по возрастанию их значений
при фиксированном j . Получим 1п проранжированных последовательнос-
тей оценок коэффициентов
11 ,, M
s
j
s
j θθ … ),1( 1пj = .
Эти результаты позволяют сформировать 1п систем линейных уравне-
ний, решениями которых являются значения всех коэффициентов t
t
jj
iib …
…
1
1
в
выражении (20).
Действительно, в каждом из s экспериментов неизвестные коэффици-
енты s
jθ ),1( 1пj = одномерной полиномиальной регрессии степени 1п от
переменной 1х определяются следующим образом: необходимо из всех чле-
нов выражения (содержащих переменную 1х в степени j ) вынести jх1 . По-
лученное выражение для s
jθ содержит только 1
jМ неизвестных коэффицие-
нтов вида t
t
jj
iib …
…
1
1
, так как в каждом s -м эксперименте при изменении
значений переменной 1х переменные пixi ,2, = принимают одно и то же
фиксированное значение пix s
i ,2, = . Таким образом, при построении системы
линейных уравнений для нахождения 1
1М коэффициентов вида t
t
jj
iib …
…
1
1
надо
использовать 1
1М чисел
1
11
11
ˆ,,ˆ M
s
s θθ … (они имеют наименьшую дисперсию).
Для определения верхних статистических оценок точности нахождения
1
1М коэффициента вида t
t
jj
iib …
…
1
1
полученную систему линейных уравнений
условно запишем так:
А.А. Павлов, А.В. Чеховский
ISSN 1681–6048 System Research & Information Technologies, 2009, № 1 96
⎟
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎜
⎝
⎛
=
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎝
⎛
1
1
1
1
1
1
11
ˆ
ˆ
M
s
s
M
x
x
A
θ
θ
, (22)
где 1
1,1, Мixi = — переменные (соответствующие 1
1М переменным вида
t
t
jj
iib …
…
1
1
).
Оценки 1
11 ,1,ˆ Мlls =θ с заданной статистически значимой вероятно-
стью р оценивают lS
1θ с погрешностью, по модулю не превышающей
чисел 1
11 ,1, МllS =∆ . Тогда с вероятностью р максимальная величина по-
грешности нахождения точных значений 1
1М соответствующих коэффици-
ентов t
t
jj
iib …
…
1
1
имеет вид
( )( )
⎪⎭
⎪
⎬
⎫
⎪⎩
⎪
⎨
⎧
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
∆∆∑ ∑+ −−−
=
ll s
jl
l
s
jl
Мj
aa 1
1
1
1
,1
,maxmax
1
1
, (23)
где ( ) ls
jl
l
a 1
1∆−+∑ берется по всем 1
1,1 Мl = , для которых ;01 ≥−
jla
( ) ls
jl
l
a 1
1∆−−∑ берется по всем 1
1,1 Мl = , для которых 11 ;0 −− < jljl aa — jl -й
элемент матрицы 1−А .
Как указывалось выше, предполагается
1
1,1,,2, Msnixs
i == выбраны
так, что матрица 1−A существует.
Аналогично строятся системы линейных уравнений (правыми частями
которых являются столбцы 1,2,)ˆ,,ˆ(
1
1 nllM
s
l
s
l =„¦θθ … ) для нахождения ос-
тальных коэффициентов t
t
jj
iib …
…
1
1
из выражения (20). Аналогично строятся все
оценки вида (23).
Процедуры нахождения всех неизвестных коэффициентов t
t
jj
iib …
…
1
1
из вы-
ражений (21) для 1,2 nl = полностью повторяют процедуру, изложенную
для выражения (20).
Оценка константы в выражении (18) может быть получена как
среднее арифметическое по всем проведенным испытаниям разностей
( ),)(ˆ 0θ−− ii xyy где iy — значение выходной переменной модели, когда на
вход подается векторное значение ix , а ( ) 0ˆ θ−ixy — значение выражения
(19) для iх , из которого исключен коэффициент 0θ , и вместо t
t
jj
iib …
…
1
1
под-
ставлены их оценки.
Если верхняя оценка 2
Еδ неизвестна, то ее можно эффективно оценить
как среднее арифметическое оценок 2
Еδ (11) по всем одномерным регрессиям.
Построение многомерной полиномиальной регрессии. Активный эксперимент
Системні дослідження та інформаційні технології, 2009, № 1 97
ОБОБЩЕНИЯ
1. Очевидно, что полученные результаты применимы для случая, когда
выражение (18) вместо переменных nxx ,,1 … содержит переменные
mzz ,,1 … , m n< , где mjxfz jjj ,1),( == , а компонентами векторов jx
являются компоненты вектора x , и множества компонент векторов ,jx
mj ,1= не пересекаются; jf — непрерывные функции, ограниченные при
ограниченных значениях своих аргументов.
2. Задача построения многомерной регрессии очевидным образом
обобщается на случай, когда при построении одномерных регрессий на
модель действуют разные случайные величины lЕ ( l номер одномерной
регрессии), .,0 2 ∞<==
lЕll DЕМЕ δ В общем виде распределения случай-
ных величин lЕ (при фиксированном l ) могут не совпадать между собой.
Анализ формул (9), (10), (16) показывает, что при построении одномерных
регрессий в экспериментах на регрессионную модель аддитивно могут воз-
действовать независимые случайные величины lЕ с различными распреде-
лениями, имеющие нулевые математические ожидания и одинаковые дис-
персии для фиксированного l . Для разных l дисперсий 2
lЕδ могут быть
различными.
Пример 2 (многомерная регрессия).
Исходная модель линии регрессии задается в виде избыточного поли-
нома
+++++++++= 2
32
2
3131
2
121321 456789101112 xxxxxxxxxxxxy
Exxxxxxx +⋅+⋅+⋅+ 3212
2
1
2
2
3
1 000 . (24)
Обозначим 11210 ,,,, аааа … коэффициенты линии регрессии, которые
считаются неизвестными. E — случайная величина, имеющая нормальное
распределение .50,0 == ЕМE δ
В этом примере { } ( ) ( ) { };;1,2;2,3;1,12,1;11;;3,2,1;3,1;2,1;1 111 === KKK
( ) { };;1,13,11 =K ( ) { }.1,1,13,2,1 =K Аналогично определяются все lK ,
( )tl iiK ,,1 … , 3,2=l .
Для переменной 1x последовательно фиксируются следующие
значения переменных ;36811,9,39877,3:, 3232 == хxxx 9,975162 =x ;
137846,03 =x ; 8,77249 ;2,87215 32 =−= xx ; 158521,0;9,44462 32 == xx ;
5,95574 ;553504, 32 =−= xx .
Для каждого набора значений переменных 32 , xx восстанавливается
одномерная регрессия от переменной 1x , коэффициенты которой позволяют
составить такие системы:
• из пяти равенств для нахождения коэффициентов 1 4 6 7 11, , , ,а а а а а
(коэффициенты в (24) при 1x в первой степени);
• из двух равенств для нахождения коэффициентов 105 , аа (коэффи-
циенты в (24) при 1x во второй степени);
А.А. Павлов, А.В. Чеховский
ISSN 1681–6048 System Research & Information Technologies, 2009, № 1 98
Т
аб
ли
ц
а
3.
О
це
нк
и
ко
эф
фи
ци
ен
то
в
И
сх
од
ны
е
ко
эф
фи
ци
ен
ты
12
11
10
9
8
7
6
5
4
0
0
0
Ко
ли
че
-
ст
во
ис
пы
та
-
ни
й,
n
О
це
нк
и
ко
эф
фи
ци
ен
то
в
10
40
,9
92
1
14
,8
95
7
7,
66
17
1
9,
51
35
8
8,
33
97
9
6,
98
05
3
6,
29
18
7
4,
91
56
8
4,
02
34
9,
49
76
·1
0– 7
– 0
,0
03
63
28
– 0
,0
03
63
28
50
12
,2
54
3
10
,9
67
8
10
,0
23
7
8,
99
36
9
8,
00
56
8
7,
00
01
2
6,
00
29
2
5,
00
01
3
3,
99
84
7
– 1
,1
07
44
·1
0– 7
– 1
,7
39
76
·1
0– 5
–
0,
00
05
46
87
7
60
12
,6
49
7
11
,0
07
4
10
,0
01
2
8,
99
71
1
7,
99
92
5
6,
99
92
7
6,
00
03
6
4,
99
98
1
4,
00
00
2
– 6
,0
77
45
·1
0– 9
–
0,
00
01
95
54
8
– 9
,7
00
67
·1
0– 5
70
12
,3
90
4
11
,0
11
9
10
,0
11
8,
99
02
6
7,
99
91
5
6,
99
99
6
5,
99
95
6
4,
99
94
7
3,
99
98
5
– 2
,5
31
99
·1
0– 7
– 5
,0
90
79
·1
0– 5
0,
00
01
56
46
4
80
16
,0
30
1
10
,9
74
9,
49
17
4
9,
01
36
2
7,
98
28
1
7,
00
02
3
6,
00
58
4
4,
99
96
5
4,
00
99
1,
62
54
3·
10
– 6
0,
00
01
04
57
0,
00
24
89
05
90
12
,4
51
10
,8
90
6
10
,0
07
2
8,
84
52
2
7,
98
47
7,
00
00
9
5,
98
83
6
5,
00
14
7
3,
99
98
2
– 2
,4
47
12
·1
0– 7
9,
15
58
2·
10
– 6
– 0
,0
02
80
86
1
10
0
12
,0
32
2
10
,9
89
9,
97
15
3
9,
00
06
8
8,
00
13
8
7,
00
07
4
6,
00
05
5
5,
00
04
4,
00
00
3
– 4
,1
45
21
·1
0– 8
0,
00
01
20
74
4
0,
00
01
33
71
4
11
0
12
,5
81
4
11
,0
14
8
9,
96
27
2
9,
02
95
5
7,
99
79
5
7,
00
00
2
5,
99
78
8
4,
99
98
6
4,
00
06
9
– 2
,1
92
75
·1
0– 8
6,
60
41
7·
10
– 6
0,
00
03
88
34
7
12
0
12
,0
32
9
10
,9
90
7
10
,0
02
5
8,
99
54
6
8,
00
00
7
6,
99
99
5
5,
99
91
8
5,
00
03
7
3,
99
99
6
2,
15
86
3·
10
– 8
– 2
,6
33
62
·1
0– 7
9,
69
27
6·
10
– 5
13
0
11
,1
96
1
10
,9
94
8
9,
99
60
5
8,
97
46
8
7,
99
93
4
7,
00
00
9
5,
99
64
6
4,
99
94
9
4,
00
17
6
1,
42
09
8·
10
– 7
6,
51
21
9·
10
– 6
0,
00
02
55
12
14
0
10
,3
12
8
10
,9
49
7
10
,0
35
7
8,
99
63
3
8,
00
3
6,
99
98
7
6,
00
39
3
5,
00
31
3,
99
97
2,
22
28
3·
10
– 7
1,
15
00
9·
10
– 5
– 0
,0
03
12
12
6
15
0
11
,9
32
9
11
,0
04
9
10
,0
13
8,
99
54
4
8,
00
02
7
7,
00
01
4
6,
00
04
3
4,
99
99
8
3,
99
98
3
– 1
,0
47
91
·1
0– 5
4,
08
50
2·
10
– 5
2,
48
24
4·
10
– 5
16
0
10
,3
25
9
11
,0
21
1
9,
99
88
3
9,
12
78
6
8,
00
48
3
6,
99
92
3
5,
98
76
3
5,
00
13
9
4,
00
04
8
1,
24
21
7·
10
– 7
–
0,
00
01
29
89
6
– 0
,0
01
37
24
4
17
0
17
,7
60
1
10
,9
91
7
10
,1
20
5
9,
00
72
3
7,
99
70
4
6,
99
98
5
6,
00
63
6
5,
00
07
9
3,
99
44
5
– 3
,9
63
17
·1
0– 7
– 8
,8
44
27
·1
0– 6
–
0,
00
02
30
36
2
18
0
12
,1
72
2
11
,0
06
6
9,
99
33
7
8,
99
58
9
8,
00
03
8
6,
99
98
5
6,
00
09
7
4,
99
97
5
4,
00
01
9
– 3
,1
34
37
·1
0– 7
– 3
,3
83
22
·1
0– 5
–
6,
88
00
5·
10
– 5
19
0
11
,6
58
10
,9
90
4
10
,0
25
2
9,
01
68
3
8,
00
07
1
7,
00
00
2
5,
99
72
3
4,
99
97
9
3,
99
82
9
– 2
,6
89
3·
10
– 8
– 1
,7
05
5·
10
– 5
1,
57
85
7·
10
– 5
20
0
12
,5
45
10
,8
97
9,
94
77
8,
56
48
8
7,
98
01
7
7,
00
05
4
5,
98
62
7
4,
99
46
6
4,
02
60
2
0,
00
01
17
63
7
– 0
,0
00
98
17
39
0,
01
13
09
8
21
0
4,
81
08
4
10
,9
76
3
9,
75
83
4
7,
87
87
2
8,
01
34
7
6,
99
99
8
5,
97
05
2
4,
98
95
4
4,
00
27
8
– 2
,0
04
35
·1
0– 7
– 2
,1
42
16
·1
0– 6
0,
01
72
14
22
0
13
,0
73
1
10
,9
93
7
10
,0
86
3
9,
03
77
4
8,
00
98
6,
99
99
2
6,
00
14
7
5,
00
03
3,
99
58
5
– 1
,0
13
19
·1
0– 7
– 1
,6
55
13
·1
0– 6
0,
00
13
36
61
23
0
12
,9
13
3
10
,9
99
7
10
,0
01
9
9,
03
14
1
7,
99
92
3
6,
99
99
6
5,
99
99
6
4,
99
89
2
4,
00
00
2
– 6
,8
80
59
·1
0– 7
9,
57
04
1·
10
– 6
0,
00
04
62
84
5
24
0
15
,9
51
11
,0
00
6
10
,0
06
1
9,
00
79
7,
99
84
4
7,
00
01
7
5,
99
80
9
4,
99
99
4
3,
99
54
7
1,
64
93
7·
10
– 7
– 2
,3
70
61
·1
0– 5
0,
00
03
64
64
5
25
0
11
,9
92
7
11
,0
09
2
9,
99
13
9,
00
23
5
8,
00
14
3
7,
00
00
3
6,
00
08
3
4,
99
95
6
4,
00
02
2
– 5
,3
78
52
·1
0– 8
– 1
,2
27
01
·1
0– 6
–
0,
00
04
01
56
4
Построение многомерной полиномиальной регрессии. Активный эксперимент
Системні дослідження та інформаційні технології, 2009, № 1 99
• из одного равенства для нахождения 9а (коэффициент в (24) при 1x
в третьей степени).
Для переменной 2x фиксируются значения переменных 31, xx :
1,639871 =x ; 8,681123 =x ; 218807,1 −=x ; 25502,33 −=x . Восстанавливают-
ся две одномерные регрессии от переменной 2x . Составляется система из
двух равенств для коэффициентов 82 , аа (коэффициенты в (24) при 2x в
первой степени). Находятся 2а и 8а . Для фиксированных переменных
90306,41 =x ; 175851,02 =x строится одномерная регрессия от перемен-
ной 3x . Коэффициентом при 3x в первой степени является 3а . Последним
находится коэффициент 0а .
В табл. 3 приведены оценки точных коэффициентов многомерной рег-
рессии, полученные для разного количества экспериментов ( n ) для каждой
одномерной регрессии.
ВЫВОДЫ
Приведен конструктивный метод восстановления многомерной полиноми-
альной регрессии, представленной избыточным описанием. Показано, что
при использовании нормированных ортогональных полиномов Форсайта эту
задачу можно свести к последовательности задач восстановления одно-
мерных регрессий и решению систем линейных уравнений с постоянными
коэффициентами. На основе анализа проведенных вычислительных экспе-
риментов приведены конкретные практические рекомендации по использо-
ванию предложенного метода.
ЛИТЕРАТУРА
1. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при
поиске оптимальных условий. — 2-е изд., перераб. и доп. — М.: Наука,
1976. — 280 с.
2. Айвазян С.А. Многомерный статистический анализ // Математическая эн-
циклопедия / Под. ред. И.М. Виноградова. — М.: Статистика,1982. —
Т. З. — С. 732–738.
3. Андерсон Т. Введение в многомерный статистический анализ / Пер. с англ.
Ю.Ф. Кичатова. Под ред. Б.В. Гнеденко. — М.: Физматгиз, 1963. — 500 с.
4. Ершов А.А. Стабильные методы оценки параметров: Обзор // Автоматика и те-
лемеханика. — 1978. — № 8. — С. 66–100.
5. Колмогоров А.Н. К обоснованию метода наименьших квадратов // Успехи ма-
тематических наук. — 1946. — Т. 1. — Вып. 1. — С. 57–70.
6. Форсайт Дж., Малькольм М., Моулер К. Машинные методы математических
вычислений / Пер. с англ. Х.Д. Икрамова. — М.: Мир, 1980. — 280 с.
7. Радченко С.Г. Устойчивые методы оценивания статистических моделей. —
Киев: ПП «Санспарель», 2005. — 504 с.
8. Дрейпер Норманн Р. , Смит Гарри. Прикладной регрессионный анализ: 3-е
изд. / Пер. с англ. — М.: Изд. дом «Вильямс», 2007. — 912 с.
9. Худсон Д. Статистика для физиков. — М.: Мир, 1970. — 186 с.
10. Forsythe G. // Sos.Ind. Appl. Math. — 1957. — № 5. — С. 74.
11. Павлов А.А., Чеховский А.В. Сведение задачи построения многомерной рег-
рессии к последовательности одномерных задач // Вісн. НТУУ «КПІ».
Інформатика, управління та обчислювальна техніка. — 2008. — № 48. —
С. 18–20.
Поступила 03.06.2008
|
| id | journaliasakpiua-article-108468 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Russian |
| last_indexed | 2025-07-17T10:22:45Z |
| publishDate | 2009 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/a5/6b9defa16566abd1a3e1edaf7fa3a3a5.pdf |
| spelling | journaliasakpiua-article-1084682018-04-06T12:35:46Z Multidimensional polynomial regression construction. Active experiment Построение многомерной полиномиальной регрессии. Активный эксперимент Побудова багатовимірної поліноміальної регресії. Активний експеримент Pavlov, A. A. Chekhovskiy, A. V. A constructive method for restoration of multidimensional polynomial regression represented with extra description is considered. Distribution of noises is optional with unknown but finite dispersion. The solution to the problem is based on the possibility of an active experiment. Practical recommendations for using the method are proposed. Рассматривается конструктивный метод восстановления многомерной полиномиальной регрессии, представленной избыточным описанием. Распределение помехи является произвольным с неизвестной, но конечной дисперсией. Решение задачи основано на возможности проведения активного эксперимента. Приводятся практические рекомендации по использованию метода. Розглядається конструктивний метод відновлення багатовимірної поліноміальної регресії, представленої надлишковим описом. Розподіл збурення є довільним з невідомою, але скінченною дисперсією. Розв’язання задачі засновано на можливості проведення активного експерименту. Приводяться практичні рекомендації з використання методу. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2009-03-19 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/108468 System research and information technologies; No. 1 (2009); 87-99 Системные исследования и информационные технологии; № 1 (2009); 87-99 Системні дослідження та інформаційні технології; № 1 (2009); 87-99 2308-8893 1681-6048 ru https://journal.iasa.kpi.ua/article/view/108468/103446 Copyright (c) 2021 System research and information technologies |
| spellingShingle | Pavlov, A. A. Chekhovskiy, A. V. Побудова багатовимірної поліноміальної регресії. Активний експеримент |
| title | Побудова багатовимірної поліноміальної регресії. Активний експеримент |
| title_alt | Multidimensional polynomial regression construction. Active experiment Построение многомерной полиномиальной регрессии. Активный эксперимент |
| title_full | Побудова багатовимірної поліноміальної регресії. Активний експеримент |
| title_fullStr | Побудова багатовимірної поліноміальної регресії. Активний експеримент |
| title_full_unstemmed | Побудова багатовимірної поліноміальної регресії. Активний експеримент |
| title_short | Побудова багатовимірної поліноміальної регресії. Активний експеримент |
| title_sort | побудова багатовимірної поліноміальної регресії. активний експеримент |
| url | https://journal.iasa.kpi.ua/article/view/108468 |
| work_keys_str_mv | AT pavlovaa multidimensionalpolynomialregressionconstructionactiveexperiment AT chekhovskiyav multidimensionalpolynomialregressionconstructionactiveexperiment AT pavlovaa postroeniemnogomernojpolinomialʹnojregressiiaktivnyjéksperiment AT chekhovskiyav postroeniemnogomernojpolinomialʹnojregressiiaktivnyjéksperiment AT pavlovaa pobudovabagatovimírnoípolínomíalʹnoíregresííaktivnijeksperiment AT chekhovskiyav pobudovabagatovimírnoípolínomíalʹnoíregresííaktivnijeksperiment |