Концепция ортогональности во множественном регрессионном анализе
Показано, что получение регрессионных моделей связано с решением обратных и некорректно поставленных задач и требует разработки и использования специальных методов их решения на основе концепции ортогональности. Изложен метод устойчивого оценивания моделей на основе концепции ортогональности эффекто...
Gespeichert in:
| Veröffentlicht in: | Математичні машини і системи |
|---|---|
| Datum: | 2011 |
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Russisch |
| Veröffentlicht: |
Інститут проблем математичних машин і систем НАН України
2011
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/83521 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Концепция ортогональности во множественном регрессионном анализе / С.Г. Радченко // Мат. машини і системи. — 2011. — № 2. — С. 125-130. — Бібліогр.: 9 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860163038710071296 |
|---|---|
| author | Радченко, С.Г. |
| author_facet | Радченко, С.Г. |
| citation_txt | Концепция ортогональности во множественном регрессионном анализе / С.Г. Радченко // Мат. машини і системи. — 2011. — № 2. — С. 125-130. — Бібліогр.: 9 назв. — рос. |
| collection | DSpace DC |
| container_title | Математичні машини і системи |
| description | Показано, что получение регрессионных моделей связано с решением обратных и некорректно поставленных задач и требует разработки и использования специальных методов их решения на основе концепции ортогональности. Изложен метод устойчивого оценивания моделей на основе концепции ортогональности эффектов и приведены алгоритм и программное средство решения задач.
Показано, що одержання регресійних моделей пов'язано з рішенням обернених і некоректних задач і потребує розробки й використання спеціальних методів їх рішення на основі концепції ортогональності. Викладено метод стійкого оцінювання моделей на основі концепції ортогональності ефектів і приведено алгоритм та програмний засіб розв'язання задач.
The paper deals with setting experimental research from general system positions. The requirements to stable (robust) plans of experiments, stable structures of multifactor statistical models and stability of the model coefficients have been formulated for the first time. Examples of a successful use of the developed method of correct solution of multifactor regression problems are presented.
|
| first_indexed | 2025-12-07T17:54:56Z |
| format | Article |
| fulltext |
© Радченко С.Г., 2011 125
ISSN 1028-9763. Математичні машини і системи, 2011, № 2
УДК 519.242.5:519.233.5
С.Г. РАДЧЕНКО
КОНЦЕПЦИЯ ОРТОГОНАЛЬНОСТИ ВО МНОЖЕСТВЕННОМ
РЕГРЕССИОННОМ АНАЛИЗЕ
Анотація. Показано, що одержання регресійних моделей пов’язано з рішенням обернених і некоре-
ктних задач і потребує розробки й використання спеціальних методів їх рішення на основі концеп-
ції ортогональності. Викладено метод стійкого оцінювання моделей на основі концепції ортого-
нальності ефектів і приведено алгоритм та програмний засіб розв’язання задач.
Ключові слова: регресійний аналіз, концепція ортогональності, планування експерименту, некоре-
ктно поставлені задачі.
Аннотация. Показано, что получение регрессионных моделей связано с решением обратных и не-
корректно поставленных задач и требует разработки и использования специальных методов их
решения на основе концепции ортогональности. Изложен метод устойчивого оценивания моделей
на основе концепции ортогональности эффектов и приведены алгоритм и программное средство
решения задач.
Ключевые слова: регрессионный анализ, концепция ортогональности, планирование эксперимен-
та, некорректно поставленные задачи.
Abstract. The paper deals with setting experimental research from general system positions. The require-
ments to stable (robust) plans of experiments, stable structures of multifactor statistical models and stabil-
ity of the model coefficients have been formulated for the first time. Examples of a successful use of the
developed method of correct solution of multifactor regression problems are presented.
Keywords: experimental investigation method, robust experiment design, stable structure, model coeffi-
cients, correct solution, regression problems.
1. Введение
Постановка проблемы
При создании и совершенствовании наукоемких изделий, высоких технологий широко ис-
пользуются многофакторные статистические линейные по параметрам и, в общем случае,
нелинейные по факторам модели. Сложность и новизна технических и технологических
систем такова, что для получения моделей применяется экспериментально-статистический
подход. Получаемые исходные данные являются случайными величинами и представляют
результат суммарного влияния управляемых факторов, которые входят в модель, неуправ-
ляемых и неконтролируемых факторов.
Решаемая задача относится к классу обратных задач: определение коэффициентов B
в уравнении Y=XB+E по измеренному результату Y и условиям наблюдения X; E – значе-
ние случайной ошибки ε. Определение коэффициентов B проводится с использованием
метода наименьших квадратов. Рассматриваемые обратные задачи в большинстве случаев
являются некорректно поставленными задачами. Их решение требует специально разрабо-
танных методов.
Анализ публикаций по теме исследований
О. Коши впервые обратил внимание на необходимость использования в методе наимень-
ших квадратов идеи ортогональности.
Р. Фишер заложил основы дисперсионного анализа, теории планирования экспери-
мента. Идея ортогональности была реализована в планах k2 , pk−2 и комбинаторных пла-
нах экспериментов: латинских, греко-латинских квадратов и других планах. Указанные
планы использовались в прикладных исследованиях, в частности, агробиологических.
126 ISSN 1028-9763. Математичні машини і системи, 2011, № 2
В 50-х годах прошлого века были разработаны ортогональные центральные компо-
зиционные планы 2-го порядка.
В планировании эксперимента было предложено эффекты факторов выражать в ви-
де ортогональных контрастов, которые эквивалентны системе ортогональных полиномов
Чебышева.
Группа авторов учебного пособия [1, с. 9] отмечает, что «…задача аппроксимации
эмпирических зависимостей как на компьютере, так и без него, начиная с ее постановки,
во многих отношениях строго не решается, остается неопределенной и неоднозначной».
Классическая теория планирования эксперимента считает, что структура статисти-
ческой модели задана, после чего строится план эксперимента, соответствующий опреде-
ленным критериям. В большинстве случаев структура статистической модели исследова-
телю не известна. В работе [2, с. 22, 175–176] отмечается, что «не существует стандартных
приемов и методов, которые образовывали бы строгую теоретическую базу для решения
этой важнейшей задачи» – «задачи правильного определения структуры модели».
В других публикациях по статистическому моделированию высказываются анало-
гичные суждения.
Необходимо программно и алгоритмически реализовать «процедуры, помогающие
осуществить выбор общего параметрического вида математической модели в задачах рег-
рессии или классификации; различные подходы к получению устойчивых (в определенном
смысле) статистических выводов» [3, с. 101].
Практика решения прикладных реальных задач показала, что форма факторного
пространства может не соответствовать традиционной – планирование на кубе, сфере,
симплексе. В этих задачах факторы коррелированы друг с другом. Необходимо использо-
вать методы устойчивого оценивания статистических моделей в условиях исходной муль-
тиколлинеарности факторов.
Цель статьи
Разработка концепции использования ортогонального планируемого эксперимента и орто-
гональной структуры статистической модели при условии, что структура модели исследо-
вателю не известна. Модель должна соответствовать критериям адекватности, статистиче-
ской эффективности, устойчивости, семантичности информационной. По одному и тому
же плану эксперимента должно быть возможным устойчивое получение различных стати-
стических моделей различных критериев качества систем.
2. Основные подходы ортогонального представления статистических моделей
В основу концепции положено свойство плана полного факторного эксперимента,
заключающееся в том, что все эффекты ортогональны друг к другу. Это вытекает из
теоремы Бродского В.З. [4, с. 26–29]. Расширенная матрица X главных эффектов и
взаимодействий содержит столбец фиктивного фактора 10 ≡x , столбцы всех главных
эффектов и всех возможных взаимодействий главных эффектов. Если эффекты факторов и
взаимодействий факторов выразить в виде системы ортогональных нормированных
контрастов, т.е.
0
1
)( =∑
=
N
u
p
iux , ∑
=
N
u
p
iux
1
)( 0)( =× q
jux ,
Nx
N
u
p
iu =∑
=
2
1
)( ][ , ×∑
=
N
u
p
iux
1
)([ Nx q
ju =2)( ] ,
то матрица дисперсий-ковариаций примет вид
(XTX)-1 ( ) ( )N/12 =εσ E ( )εσ2 ,
ISSN 1028-9763. Математичні машини і системи, 2011, № 2 127
где )( p
iux – значение p -го ортогонального контраста i -го фактора для u -й строки матрицы
планирования, Nu ≤≤1 , 11 −≤≤ isp ;
)(q
jux – значение q -го ортогонального контраста j -го фактора для u -й строки матрицы
планирования, 11 −≤≤ jsq , kji ≤<≤1 ;
X – матрица эффектов полного факторного эксперимента;
2σ (ε) – теоретическое значение дисперсии воспроизводимости результатов опытов;
N – число опытов в плане эксперимента;
E – единичная матрица.
По теореме Хоттелинга [5, с. 62–63] выполнение требования ортогональности всех
эффектов приводит к минимизации дисперсий коэффициентов статистической модели и
получению совместно эффективных оценок.
Автором предложено формализованную структуру многофакторной статистической
модели задавать выражением:
Π
=
− →∏ Nxxx
k
i
s
iii
i
1
)1()2()1( ) +...+ + +(1 , (1)
где 1 – значение фиктивного фактора 10 ≡x ;
...,, , )1()2()1( −is
iii xxx – ортогональные контрасты факторов
iX ;
is – число различных уровней фактора
iX ;
k – общее число факторов, ki ≤≤1 ;
(1), (2), …, ( )1−is – порядок контрастов фактора
iX ;
ΠN – число структурных элементов полного факторного эксперимента, равное числу
опытов эксперимента.
Условия получения моделей при полном факторном эксперименте наилучшие из
всех возможных: все эффекты ортонормированы, а число опытов равно числу определяе-
мых эффектов. Получаемая модель будет адекватна в точках аппроксимации поверхности
отклика. Статистическая эффективность также будет наилучшей: модель соответствует
критериям D-, A-, E, G-, Q-оптимальности. Число обусловленности cond(XTX) 1= , т.е. наи-
лучшее значение.
Однако использование полных факторных экспериментов не всегда возможно из-за
значительного числа проводимых экспериментов. Обычно доступное число факторов 3…4.
Необходимо применять дробные факторные эксперименты, статистические свойства кото-
рых близки к свойствам полного факторного эксперимента. Такими планами являются
многофакторные регулярные планы и планы на основе ЛПτ равномерно распределенных
последовательностей [6, с. 146–169].
В многофакторных регулярных планах все главные эффекты ортогональны друг к
другу. Если число необходимых экспериментов NД выбирать с учетом эмпирической фор-
мулы:
NД ( )∑
=
−≈
k
i
is
1
1251 )...,( ,
где
is – число уровней i -го фактора; ki ≤≤1 ;
k – общее число факторов,
то некоторые из взаимодействий факторов будут ортогональны к главным эффектам или
коррелированы с ними сравнительно слабо:
128 ISSN 1028-9763. Математичні машини і системи, 2011, № 2
)((| p
iuij xr , ( )'( p
iux 4,0...3,0|)))( ≤× q
jux ,
где ijr – коэффициент парной корреляции между эффектами; 11 ' −≤<≤ ispp ;
11 −≤≤ jsq .
При использовании дробных факторных экспериментов в регрессионную модель
вводятся эффекты (главные и взаимодействия), которые ортогональны или слабо
коррелированы со всеми ранее введенными и статистически значимые. Выбор
структурных составляющих статистической модели производится из множества
структурных элементов модели полного факторного эксперимента (1). Указанное
множество элементов необходимо и достаточно для адекватной аппроксимации
результатов экспериментов. При выборе структурных составляющих статистической
модели используются разработанный алгоритм RASTA3 [6, с. 179–182] и другие
алгоритмы.
Для дробных факторных экспериментов число опытов NД всегда меньше числа
структурных элементов ΠN для полного факторного элемента. Условие ортогональности
эффектов или слабой коррелированности их между собой позволяет избежать их
смешивания и получить раздельные оценки.
Структура эффектов многофакторной статистической модели необходима и
достаточна для получения моделей, линейных по параметрам и, в общем случае,
нелинейных по факторам. Исключение некоторых эффектов из модели может привести к
неадекватности модели. Включение структурных эффектов, не соответствующих модели
полного факторного эксперимента, нарушает ортогональность эффектов и ухудшает
критерии получаемой модели.
Получение статистических моделей, их проверки по различным критериям
осуществляются с использованием программного средства «Планирование, регрессия и
анализ моделей» (ПС ПРИАМ) [6, с. 45–47]. Возможна визуализация полученных
результатов в виде различных графиков, диаграмм.
Для оценивания устойчивости многофакторных статистических моделей
целесообразно использовать меру обусловленности по Нейману-Голдстейну:
P (XTX)
minmax / λλ=
и меру обусловленности матрицы XTX
cond(XTX)=|| XTX ||× ||(XTX)-1||,
где X – расширенная матрица эффектов уравнения регрессии, имеющая N строк и 'k
столбцов, т.е. эффектов;
( )⋅λ – собственные числа информационной матрицы Фишера;
⋅ – обозначение нормы матрицы.
При ортогональности эффектов и их нормировке P будет следующим:
|XTX-λ E|=
λ
λ
0
0
−
−
N
N
O ( ) =λ−=
'kN 0,
N
k
=λ==λ=λ '...21
, N=λ=λ minmax
,
P (XTX) == NN / 1.
ISSN 1028-9763. Математичні машини і системи, 2011, № 2 129
При определении cond(XTX) предполагается, что матрица XTX не вырождена.
Будем использовать следующую норму:
||A||1 ∑
=
=
m
i
ija
1
max ,
что означает выбор по всем столбцам j максимальной суммы абсолютных значений эле-
ментов по строкам i ( m – число строк матрицы A).
Для произвольной нормы матрицы ||A|| выполняется следующее равенство:
||αA||=|α| ||A||,
где A – любая матрица и α – любое число.
Если все эффекты в расширенной матрице X ортогональны друг к другу и нормиро-
ваны, то
XTX N
N
N
==
0
0
O
1
1
0
0
O ,
(XTX)-1
N
N
1
1
0
0
O=
1
1
1
0
0
ON= .
Расширенная матрица X имеет размер ( )'kN × , где N – число строк (опытов), 'k –
число столбцов (эффектов), введенных в модель.
Для матрицы XTX размером ( )'' kk × каждая по столбцам '1 kj ≤≤ сумма
Na
k
i
ij =∑
=
'
1
. Для матрицы (XTX)-1 размером ( )'' kk × каждая по столбцам '1 kj ≤≤ сумма
Na
k
i
ij
1
'
1
=∑
=
.
Число обусловленности (XTX)1 будет
cond(XTX) 1)/1( =×= NN .
Из анализа приведенных мер обусловленности следует, что ортогональность или
близость к ней и нормировка эффектов является необходимым и достаточным условием
наилучшей устойчивости статистических моделей.
Предложенная концепция ортогональности во множественном регрессионном
анализе создает информационную систему «план эксперимента – структура модели»,
компоненты которой согласованы между собой.
Новое развитие концепция ортогональности эффектов при построении
регрессионных моделей нашла в условиях проведения планируемого эксперимента в
областях, не соответствующих стандартным (куб, сфера, симплекс), при начальной
мультиколлинеарности факторов. При этом коэффициент парной корреляции эффектов
может достигать значений 0,7…0,9 и более [7], что не позволяет найти традиционными
методами устойчивое решение построения модели, модель многократно пересчитывают,
добиваясь большей точности, структура модели неустойчива. Некорректно поставленную
задачу позволяют устойчиво решать разработанные методы топологического отображения
хорошо обусловленного факторного пространства (прообраза), в котором строят план
j
130 ISSN 1028-9763. Математичні машини і системи, 2011, № 2
эксперимента с ортогональными эффектами, в плохо обусловленное факторное
пространство (образа), заданное условиями эксперимента, в котором эффекты
коррелированы [6, с. 183–300; 8]. Область прообраза факторного пространства строится по
данным области образа. Области прообраза и образа являются топологически
эквивалентными. Решаемая в прообразе задача является корректно поставленной,
полученная в нем модель устойчива и соответствует всем критериям качества для
статистических моделей [9]. Хорошие свойства оценок коэффициентов регрессионных
статистических моделей в области прообраза и их единственность сохраняются при
топологическом отображении и в области образа.
3. Выводы и перспективы дальнейших исследований
1. Разработанная концепция ортогональности во множественном регрессионном анализе
позволяет создать наилучшие начальные условия для получения статистических моделей и
решать корректно поставленные задачи в условиях, когда структура модели
исследователю не известна.
2. Приведен общий вид структуры многофакторной статистической модели, позволяющий
получить адекватные, семантические (в информационном смысле), устойчивые модели,
структуры которых заранее исследователю не известны.
3. В случаях, когда форма факторного пространства не соответствует стандартной, (куб,
сфера, симплекс) для корректного решения задачи необходимо использовать
топологический метод устойчивого оценивания и его модификации. В области образа
устанавливается ортогональная система собственных кодированных координат.
4. Концепция ортогональности в регрессионном анализе была использована при решении
более ста прикладных системных задач по техническим, технологическим, измерительным
и другим системам и подтвердила высокую эффективность.
Дальнейшее развитие концепции ортогональности в регрессионном анализе
проводится с использованием инвариантно-группового подхода в теории планирования
эксперимента и отображения прообраза факторного пространства в образ [9].
СПИСОК ЛИТЕРАТУРЫ
1. Компьютерный анализ и интерпретация эмпирических зависимостей: учебник / [С.В. Поршнев,
Е.В. Овечкина, М.В. Мащенко и др.]. – М.: ООО «Бином-Пресс», 2009. – 336 с.
2. Айвазян С.А. Прикладная статистика: Исследования зависимостей: справ. изд. / Айвазян С.А.,
Енюков И.С., Мешалкин Л.Д.; под. ред. С.А. Айвазяна. – М.: Финансы и статистика, 1985. – 487 с.
3. Айвазян С.А. Программное обеспечение персональных ЭВМ по статистическому анализу дан-
ных: проблемы, тенденции, перспективы отечественных разработок / С.А. Айвазян // Компьютеры
и экономика: экономические проблемы компьютеризации общества. – М., 1991. – С. 91 – 107.
4. Бродский В.З. Введение в факторное планирование эксперимента / Бродский В.З. – М.: Наука,
1976. – 224 с.
5. Себер Дж. Линейный регрессионный анализ / Себер Дж.; пер. с англ. В.П. Носко; под ред.
М.Б. Малютова. – М.: Мир, 1980. – 456 с.
6. Радченко С.Г. Устойчивые методы оценивания статистических моделей / Радченко С.Г. – К.: ПП
«Санспарель», 2005. – 504 с.
7. Лапач С.М. Проблеми визначення структури рівняння регресії в множинному регресійному ана-
лізі / С.М. Лапач, С.Г. Радченко // Наукові вісті Нац. техн. ун-ту України “Київ. політехн. ін-т”. –
2007. – № 1 (51). – С. 150 – 155.
8. Радченко С.Г. Планирование эксперимента в нестандартных областях факторного пространства /
С.Г. Радченко // Вестник Херсонского нац. техн. ун-та. – 2007. – № 2(28). – С. 281 – 285.
9. Лаборатория экспериментально-статистических методов исследований [Электронный ресурс]. –
Режим доступа: http://www.n-t.org/sp/lesmi.
Стаття надійшла до редакції 23.12.2010
|
| id | nasplib_isofts_kiev_ua-123456789-83521 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1028-9763 |
| language | Russian |
| last_indexed | 2025-12-07T17:54:56Z |
| publishDate | 2011 |
| publisher | Інститут проблем математичних машин і систем НАН України |
| record_format | dspace |
| spelling | Радченко, С.Г. 2015-06-20T08:44:34Z 2015-06-20T08:44:34Z 2011 Концепция ортогональности во множественном регрессионном анализе / С.Г. Радченко // Мат. машини і системи. — 2011. — № 2. — С. 125-130. — Бібліогр.: 9 назв. — рос. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/83521 519.242.5:519.233.5 Показано, что получение регрессионных моделей связано с решением обратных и некорректно поставленных задач и требует разработки и использования специальных методов их решения на основе концепции ортогональности. Изложен метод устойчивого оценивания моделей на основе концепции ортогональности эффектов и приведены алгоритм и программное средство решения задач. Показано, що одержання регресійних моделей пов'язано з рішенням обернених і некоректних задач і потребує розробки й використання спеціальних методів їх рішення на основі концепції ортогональності. Викладено метод стійкого оцінювання моделей на основі концепції ортогональності ефектів і приведено алгоритм та програмний засіб розв'язання задач. The paper deals with setting experimental research from general system positions. The requirements to stable (robust) plans of experiments, stable structures of multifactor statistical models and stability of the model coefficients have been formulated for the first time. Examples of a successful use of the developed method of correct solution of multifactor regression problems are presented. ru Інститут проблем математичних машин і систем НАН України Математичні машини і системи Моделювання і управління великими системами Концепция ортогональности во множественном регрессионном анализе Концепція ортогональності в множинному регресійному аналізі Formalization of the establishment of multifactor experimental research Article published earlier |
| spellingShingle | Концепция ортогональности во множественном регрессионном анализе Радченко, С.Г. Моделювання і управління великими системами |
| title | Концепция ортогональности во множественном регрессионном анализе |
| title_alt | Концепція ортогональності в множинному регресійному аналізі Formalization of the establishment of multifactor experimental research |
| title_full | Концепция ортогональности во множественном регрессионном анализе |
| title_fullStr | Концепция ортогональности во множественном регрессионном анализе |
| title_full_unstemmed | Концепция ортогональности во множественном регрессионном анализе |
| title_short | Концепция ортогональности во множественном регрессионном анализе |
| title_sort | концепция ортогональности во множественном регрессионном анализе |
| topic | Моделювання і управління великими системами |
| topic_facet | Моделювання і управління великими системами |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/83521 |
| work_keys_str_mv | AT radčenkosg koncepciâortogonalʹnostivomnožestvennomregressionnomanalize AT radčenkosg koncepcíâortogonalʹnostívmnožinnomuregresíinomuanalízí AT radčenkosg formalizationoftheestablishmentofmultifactorexperimentalresearch |