Процедура селекции ридж-регрессионных моделей
Исследована эффективность процедуры селекции регрессионных моделей в случае неопределённости структуры модели, аппроксимируемой ридж-регрессией. Досліджена ефективність процедури селекції регресійних моделей в разі невизначеності структури моделі, що апроксимується рідж-регресією. Efficiency of proc...
Збережено в:
| Опубліковано в: : | Індуктивне моделювання складних систем |
|---|---|
| Дата: | 2012 |
| Автор: | |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2012
|
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/45969 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Процедура селекции ридж-регрессионных моделей / М.В. Потанина // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2012. — Вип. 4. — С. 168-176. — Бібліогр.: 5 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860117993843851264 |
|---|---|
| author | Потанина, М.В. |
| author_facet | Потанина, М.В. |
| citation_txt | Процедура селекции ридж-регрессионных моделей / М.В. Потанина // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2012. — Вип. 4. — С. 168-176. — Бібліогр.: 5 назв. — рос. |
| collection | DSpace DC |
| container_title | Індуктивне моделювання складних систем |
| description | Исследована эффективность процедуры селекции регрессионных моделей в случае неопределённости структуры модели, аппроксимируемой ридж-регрессией.
Досліджена ефективність процедури селекції регресійних моделей в разі невизначеності структури моделі, що апроксимується рідж-регресією.
Efficiency of procedure of selection of regressive models is investigational in the case of vagueness of model structure, by the approximated ridge-regression.
|
| first_indexed | 2025-12-07T17:37:23Z |
| format | Article |
| fulltext |
Процедура селекции ридж-регрессионных моделей
Індуктивне моделювання складних систем, випуск 4, 2012 168
УДК 519.711.3
ПРОЦЕДУРА СЕЛЕКЦИИ РИДЖ-РЕГРЕССИОННЫХ МОДЕЛЕЙ
М.В. Потанина
Севастопольский национальный технический университет
Serg_potanin@mail.ru
Досліджена ефективність процедури селекції регресійних моделей в разі невизначеності
структури моделі, що апроксимується рідж-регресією
Ключові слова: селекція регресійних моделей, рідж-регресія, процедура «бутстреп»
Efficiency of procedure of selection of regressive models is investigational in the case of vagueness
of model structure, by the approximated ridge-regression
Keywords: selection of regressive models, ridge-regression, procedure of «bootstrap»
Исследована эффективность процедуры селекции регрессионных моделей в случае
неопределённости структуры модели, аппроксимируемой ридж-регрессией
Ключевые слова: селекция регрессионных моделей, ридж-регрессия, процедура «бутстреп»
1. Постановка проблемы и ее связь с научными заданиями
Обычно идентификация сложных объектов управления осуществляется при
помощи настраиваемой модели определенной структуры, параметры которой
могут изменяться.
Пусть объект исследования описывается выходной переменной (функцией
отклика) y и вектором независимых входных переменных [ ]k
T xxxx ..., ,, 21= , где k
– число входных переменных. Предположим также, что существует
функциональная зависимость:
εη += )(xy , (1)
где )(xη - функция, вид который неизвестен, ε - случайная ошибка,
относительно которой, как правило, предполагается, что она имеет нулевое
среднее, дисперсию 2σ и нормальный закон распределения.
Пусть также имеется априорная информация о возможных значениях
переменных вида bxa ≤≤ )(η и Wx∈ , где W – множество возможных значений
вектора х (область планирования).
Будем рассматривать случай, когда на классе моделей задана структура,
позволяющая ввести частичный порядок.
При таком порядке классы моделей как бы вложены один в другой:
qSSS ⊂⊂⊂ ...21 , jS - модель j класса, q - максимальный порядок модели. Так,
для линейных по параметрам моделей можно задать структуру в зависимости
Потанина М.В.
Індуктивне моделювання складних систем, випуск 4, 2012 169
от количества членов модели. В этом случае каждый класс jS может быть задан
следующей моделью:
( ) ( ) j
T
jjj xfx ααη
rrrrr
=, ( )qj ,...,2,1= , (2)
где xr - вектор входных переменных, −= )](),.......()([)( 21 xfxfxfxf nj
T
j
rrrrr
, вектор
известных функций от вектора xr , −jn число параметров модели j ,
−= ][ 21 jn
T
j ,...,α,ααα
r вектор неизвестных параметров. Задача состоит в том, чтобы
выбрать модель )(xjη на основе экспериментальных данных.
Пусть t - номер «наилучшей» модели, т.е. все старшие коэффициенты
mj αα > равны нулю. Пусть tη - модель из класса t, который или включает в себя
«наилучшую» модель )(xη или наиболее близок к ней. Тогда все модели из
классов 1,....,2,1 −t будут иметь значимое смещение относительно модели )(xη ,
а модели для классов qtt ,...,2,1 ++ будут для данного объема выборки n
переопределены.
Пусть имеются следующие экспериментальные данные: матрица X -
значения вектора xr в n опытах и вектор столбец Y - измеренные значения
функции отклика в n опытах. Кроме того, известна следующая дополнительная
информация: пределы изменения входных переменных ],[ baxi ⊆ , пределы
значения функции отклика cyEc +≤≤− }{ , максимальная дисперсия ошибки
измерений 2σ и закон распределения ошибки.
Рассмотрим ситуацию, когда имеет место сильная мультиколлинеарность
экспериментальных данных. Она типична для случая обработки данных заранее
не спланированного эксперимента и имеет весьма отрицательные последствия
для оценивания регрессионных коэффициентов. Пусть матрица Х имеет полный
ранг, но информационная матрица ХТХ является плохо обусловленной,
вследствие сильной коррелированности независимых переменных. Вектор-
столбцы матрицы Х при мультиколлинеарности становятся почти линейно
зависимы, определитель |ХТХ| стремится к нулю. Так как обращение
информационной матрицы связано с делением на ее определитель, который при
сильной мультиколлинеарности будет очень малым числом, незначительные
ошибки в вычислениях могут вызвать существенные различия в оцениваемых
коэффициентах методом наименьших квадратов (МНК). Поэтому
прогнозирующие свойства регрессионных уравнений ухудшаются, то есть
возрастает дисперсия прогноза среднего значения переменной. Плохая
обусловленность матрицы ХТХ приводит к неустойчивости получаемых оценок,
искажению их «физического» смысла.
Процедура селекции ридж-регрессионных моделей
Індуктивне моделювання складних систем, випуск 4, 2012 170
2. Анализ последних исследований и публикаций
Для решения проблемы мультиколлинеарности можно перейти к
смещенным оценкам, позволяющим устранить недостатки МНК-оценок в этой
ситуации. К таким оценкам относятся «гребневые» или ридж-оценки [1,3]. Они
являются более устойчивыми, чем оценки метода наименьших квадратов
(МНК) и имеют меньшее значение среднеквадратической ошибки прогноза.
Процедура регуляризации была обоснована в целом ряде работ А.Н.
Тихонова и В.Я. Арсенина. Независимо от этих работ появились результаты
Херла и Кеннарда [1], а также еще целый ряд исследований в данной области.
Запишем регрессионную модель класса jS в виде:
εα
rr
+= jjFY , (3)
где Fj – матрица значений функций от входных переменных в n опытах, εr -
вектор-столбец случайных ошибок.
Оценки МНК в этом случае имеют вид:
( ) YFFFα T
jj
T
jMÍÊj
1
)(ˆ
−
= , (4)
где )](),...(),([ 21 njjj
T
j xfxfxfF = - матрица значений вектора функций jf в n
экспериментальных точках для j-ой модели. Предполагается, что матрица jF
имеет полный ранг. Модель максимального размера с номером q будем считать
истинной моделью.
Для стабилизации оценок МНК при решении системы нормальных
уравнений в методе ридж-регрессия вместо матрицы j
T
j FF предлагается
использовать матрицу ][ jj
T
j rIFF + , где r – малое положительное число,
добавленное к диагональным элементам матрицы j
T
j FF , так называемый
коэффициент регуляризации, а Ij - единичная матрица размера jn [1]. Такие
оценки могут быть записаны в виде:
YFrIFF T
jjj
T
jРИДЖj
1
)( )(ˆ −+=α . (5)
При смещенном оценивании параметров центральной проблемой является
выбор параметра регуляризации. Главная трудность заключается в том, что
смещение коэффициентов и квадратическая ошибка прогноза зависят от
неизвестных истинных значений параметров.
Задача состоит в том, как выбрать «наилучшую» модель на основе
экспериментальных данных.
Потанина М.В.
Індуктивне моделювання складних систем, випуск 4, 2012 171
В настоящее время предложен целый ряд критериев выбора регрессионной
модели. Часть из них прямо учитывает сложность класса моделей путем
введения специальных коэффициентов для величины среднеквадратического
отклонения. Другие критерии используют принцип регуляризации или
устойчивости оценок параметров модели при изменении объема или состава
выборки.
Для линейных по параметрам классов моделей большинство квадратических
критериев выбора модели объекта по эмпирическим данным можно
представить в форме [2]:
jj
T
j YLYjCr γβ +=)( , (j=1,2,….q), (6)
где Cr – рассматриваемый критерий, ],.....,,[ n21 yyyY T = – вектор значений
функции отклика в n опытах, Lj – матрица канонической формы критерия для
модели класса Sj , jβ и jγ - константы. Обычно выбирается та модель, для
которой значение критерия минимально.
Для селекции моделей, аппроксимируемых ридж-регрессией, в работе
предлагается использовать критерий Ср Маллоуза. Этот критерий является
достаточно распространенным, несложным для расчетов и регулируемым [3].
Для критерия Ср Маллоуза критерий (5) имеет вид:
nCC jp −= 2ˆ/σ , (7)
где 2σ̂γ jjj kRSSC += .
Здесь 2σ̂ - оценка дисперсии ошибки случайной составляющей 2σ ,
полученная для модели наиболее высокого порядка, jn - число неизвестных
параметров в j-ой модели, γ - регулируемый коэффициент, который обычно
принимается равным двум. Для классического критерия Ср Маллоуза:
T
jj
T
jjnj FFFFIL 1)( −−= , ,1=jβ 2σ̂γγ jj k= , nI - единичная матрица размером nn× .
Выбор модели из класса jS , qj ,..,2,1= будет происходить случайным
образом. Пусть iP - вероятность выбора модели i, тогда целью выбора метода
селекции модели может случить максимизация величины tP для минимальной
истинной модели.
3. Выделение неразрешенной части общей проблемы. Формулировка
цели статьи
Из анализа публикаций по данной тематике видно, что большинство
исследователей подчеркивают важность устранения проблемы
мультиколлинеарности и селекции полученных прогнозирующих моделей. Но,
Процедура селекции ридж-регрессионных моделей
Індуктивне моделювання складних систем, випуск 4, 2012 172
несмотря на достаточную освещенность отдельных вопросов, связанных со
смещенным оцениваем регрессионных коэффициентов, до сих пор имеется
множество нерешенных вопросов, связанных с выбором прогнозирующей
модели в подобной ситуации. Возникает проблема: когда при селекции лучше
использовать МНК-оценки, а когда ридж-регрессию? Как выбирать
оптимальный параметр регуляризации? С помощью какого критерия оценить
само качество селекции? Какова будет вероятность выбора прогнозирующей
модели правильной структуры?
Таким образом, целью данной работы является выбор метода селекции
моделей в случае сильной коррелированности наблюдений.
4. Изложение основного материала исследований с полным
обоснованием полученных научных результатов
Предлагается использовать следующую процедуру выбора модели.
На первом этапе определяется класс вложенных моделей.
Для каждой j-ой модели из вложенного класса находится оптимальный
параметр регуляризации r. Так как этот параметр зависит от истинных значений
коэффициентов уравнения регрессии, то оптимальное значение параметра
регуляризации находится с помощью итерационной процедуры, которая
состоит в следующем:
На основании априорной информации определяются границы возможных
значений параметров модели.
Определяется предварительные оценки коэффициентов уравнения регрессии
обычным методом наименьших квадратов (3).
Оценка дисперсии случайной составляющей определяется из модели q
максимального размера:
εα += qqFY . (8)
Находятся оптимальные параметры регуляризации для ридж-регрессии
каждого класса моделей.
Находятся коэффициенты с помощью ридж-регрессии для каждой j-ой
модели в соответствие с параметром регуляризации.
В работе [4,5] доказано, что для ридж–регрессии возможно применение
критерия Ср Маллоуза. При этом происходит модификация данного критерия
селекции за счет изменения матрицы канонической формы критерия для
модели класса Sj. . Она примет вид:
T
jnOPTj
T
jjnj FIrFFFIРИДЖL 1)()( −+−= (9)
Для исследования поведения критерия селекции Ср Маллоуза в условиях
ограниченной выборки была использована «бутстреп» процедура. Сущность
Потанина М.В.
Індуктивне моделювання складних систем, випуск 4, 2012 173
«бутстреп» процедуры заключается в генерации методом Монте-Карло на
ЭВМ псевдоэкспериментальных данных с параметрами модели, вычисленными
по реальным экспериментальным данным. По полученным псевдовыборкам
оценивается распределение дисперсий и остаточных сумм квадратов (RSSj) для
класса моделей.
Критерий Ср Маллоуза является случайной величиной, поэтому необходимо
знать параметры распределения индекса j – номера выбранной модели. Закон
распределения случайной переменной j зависит от параметров истинной
модели, выбранного критерия, дисперсии ошибки измерений и матрицы
экспериментальных данных X.
Определим следующую индикаторную функцию:
1, если выбрана модель из класса Sj;
0 во всех остальных случаях.
Очевидно, что функция )(Yv j будет также случайной
величиной. Отношение частоты выбора модели из класса Sj к общему
числу проведенных выборов модели даст оценку математического ожидания
величины )(Yv j или вероятности выбора модели из класса Sj для данного
критерия Ср Маллоуза.
В данной работе целью моделирования является идентификация
«наилучшей» модели, поэтому эффективность процедуры селекции
предлагается оценивать по )}({ YE tν - вероятности выбора «наилучшей» модели.
Существует два подхода к исследованию эффективности процедуры
селекции регрессионных моделей. Первый заключается в том, что
предполагается 12 =σ и исследуется поведение функции потерь в зависимости
от значения вектора tα и коэффициентов, позволяющих модифицировать
критерий. При втором подходе выбираются «характерные» значения вектора tα
и исследуется поведение функции потерь в зависимости от значения 2σ . Так
как в работе рассматривается класс объектов, для которого имеется априорная
информация о пределах изменения вектора параметров qα
r , то более
эффективно исследовать поведение критерия селекции в зависимости от
фиксированного вектора параметров при различных значениях дисперсии
ошибки 2σ , пересчитывая, если необходимо, пределы изменения параметров.
Задавался следующий «класс» вложенных моделей Si:
Модель 1 (недоопределенная): 11101 εα ++= xay ;
Модель 2 (истинная, «наилучшая»): 2221102 εαα +++= xxay ;
Модель 3 (переопределенная): 333221103 εααα ++++= xxxay ,
где iε - нормально распределенный вектор с нулевым математическим
ожиданием и единичной дисперсией. Pi – вероятность выбора модели i.
Проведем моделирование. Экспериментальные данные ограничены и задаются
в самой программе моделирования, написанной на языке m-файлов
MATLAB6р1. Пусть 1== ii ba для всех i, с = 1, 12 =σ , тогда можно вычислить
=)(Yjν
Процедура селекции ридж-регрессионных моделей
Індуктивне моделювання складних систем, випуск 4, 2012 174
пределы изменения вектора параметров qα
r . В данном примере пределы
области допустимых значений параметров будут 10 ≤≤ iα .
Использовались следующие матрицы экспериментальных данных Хi:
Вариант 1 – сильная корреляция.
=TVARX )1(
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
−−−
−−−−−−
−−−−−−
118.01118.01118.01
8.018.018.018.018.018.00
111111111111
111111111111
Матрица коэффициентов корреляции для Варианта 1:
=)1(VARKK
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
171.053.0
71.010
53.001
.
Вариант 2 – слабая корреляция.
=TVARX )2(
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
−−−−
−−−−
−−−−−−
111111111111
15.010101015.010
111111111111
111111111111
Матрица коэффициентов корреляции для Варианта 2:
=)2(VARKK
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
−
−
14.00
4.0134.0
034.01
.
Коэффициенты модели 110 ==αα , 2α , 3α изменялись от 0 до 1 с шагом 0, 1.
Функция отклика Y задавалась по модели, случайная составляющая
генерировалась с использованием датчика случайных чисел. Коэффициент
регуляризации r менялся от 0 до 1 с шагом 0.1 в цикле. Будем считать, что для
разработанной автором методики [4,5], оптимальным считается такое значение
параметра регуляризации, когда вероятность выбора «истинной» модели
наибольшая.
Для имитационного моделирования использовалась «бутстреп» процедура.
Сравнивались следующие два метода:
Метод 1 - Селекции регрессионных моделей с помощью классического
критерия Ср Маллоуза. Оценки параметров получены с помощью метода МНК.
Обозначим на рисунке (МНК);
Метод 2 - Модифицированный метод селекции моделей Ср Маллоуза.
Оценки параметров получены с помощью ридж-регрессии. Обозначим на
рисунке (РИДЖ).
Очевидно, что значение коэффициента 1a не влияет на оценки, полученные
с помощью МНК, но влияет на оценки, полученные с помощью ридж-
регрессии. Значение параметра 2a влияет на смещение оценок, а значение
параметра 3a = 0 для Модели 2.
Результаты имитационного эксперимента представлены на рисунке 1.
Потанина М.В.
Індуктивне моделювання складних систем, випуск 4, 2012 175
Рис. 1. Вероятность выбора «истинной» модели с помощью методов 1 и 2
для вариантов с сильной и слабой корреляцией (при r=1)
Было произведено исследование зависимости вероятности выбора
«наилучшей» модели от параметра регуляризации r. Результаты эксперимента
представлены на рисунке 2.
Рис. 2. Зависимость вероятности выбора «наилучшей» модели от параметра
регуляризации для вариантов с разной корреляцией (при 8.02 =α )
5. Выводы из данного исследования и перспективы последующих
разработок в данном направлении
Результаты имитационного эксперимента показывают, что при сильной
мультиколлинеарности исходных данных практически всегда лучшим
Процедура селекции ридж-регрессионных моделей
Індуктивне моделювання складних систем, випуск 4, 2012 176
методом оценивания оказывается модифицированный метод селекции
моделей Ср Маллоуза (РИДЖ). Вероятность выбора «наилучшей» модели с
помощью ридж-регрессии будет значительно больше, чем при применении
МНК.
При отсутствии мультиколлинеарности результаты, полученные с
использованием модифицированного метода селекции моделей Ср Маллоуза
и классического метода селекции моделей Ср Маллоуза, практически
совпадают и составляют примерно 99 %. Это доказывает, что разработанную
методику можно использовать для матриц экспериментальных данных с
различной корреляцией. Также можно сделать вывод, что качество модели
зависит от параметров.
В случае сильной мультиколлинеарности результаты эксперимента
подтверждают существование оптимального параметра регуляризации, при
котором вероятность выбора «наилучшей» модели оптимальна. При отсутствии
корреляции результаты 1 и 2 Метода практически совпадают. Таким образом,
доказано, что вероятность выбора «наилучшей» модели зависит от
регрессионных коэффициентов и параметра регуляризации.
Предметом дальнейших исследований предполагается произвести
сравнительный анализ эффективности методов селекции моделей для других
видов регуляризованных оценок, в частности, для сжимающих оценок
Джеймса–Стейна. А также рассмотреть задачу оптимизации нахождения
координат точки оптимального параметра регуляризации для ридж-регрессии.
Литература
1. Hoerl A. Ridge regression: biased estimation for no orthogonal problems / A.
Hoerl., R. Kennard. // Technometrics. — Vol. 12. — 1970. — P. 55 —67.
2. Herzberg A. M., Tsukanov A.V. The design of experiments for model selection
with the Jackknife criterion// Utilitus Mathematica. — 1985. — Vol. 28. — P.
243-253.
3. Айвазян С.А. Прикладная статистика: Исследование зависимостей: Справ.
Изд./ С.А Айвазян., И.С Енюков., Л.Д Мешалкин.; под ред. С.А. Айвазяна—
М.: Финансы и статистика, 1985. — 487 с.
4. Потанина М.В. Построение модели оценки рентабельности
автотранспортного средства методом смещенного оценивания параметров
регрессионных уравнений / М.В. Потанина // Вестник СевНТУ. Экономика и
финансы: сб. науч. тр., Севастополь, 2008. — Вып. 92. — С. 166 — 171.
5. Потанина М.В. Оценка качества идентификации сложного объекта
управления в условиях мультиколлинеарности / М.В. Потанина // Вестник
СевНТУ. Сер. Автоматизация процессов управления: сб. науч. тр. –
Севастополь, 2009. — Вып. 95. —— С. 135 ——140.
|
| id | nasplib_isofts_kiev_ua-123456789-45969 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | XXXX-0044 |
| language | Russian |
| last_indexed | 2025-12-07T17:37:23Z |
| publishDate | 2012 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| record_format | dspace |
| spelling | Потанина, М.В. 2013-06-21T09:12:00Z 2013-06-21T09:12:00Z 2012 Процедура селекции ридж-регрессионных моделей / М.В. Потанина // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2012. — Вип. 4. — С. 168-176. — Бібліогр.: 5 назв. — рос. XXXX-0044 https://nasplib.isofts.kiev.ua/handle/123456789/45969 519.711.3 Исследована эффективность процедуры селекции регрессионных моделей в случае неопределённости структуры модели, аппроксимируемой ридж-регрессией. Досліджена ефективність процедури селекції регресійних моделей в разі невизначеності структури моделі, що апроксимується рідж-регресією. Efficiency of procedure of selection of regressive models is investigational in the case of vagueness of model structure, by the approximated ridge-regression. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Індуктивне моделювання складних систем Процедура селекции ридж-регрессионных моделей Article published earlier |
| spellingShingle | Процедура селекции ридж-регрессионных моделей Потанина, М.В. |
| title | Процедура селекции ридж-регрессионных моделей |
| title_full | Процедура селекции ридж-регрессионных моделей |
| title_fullStr | Процедура селекции ридж-регрессионных моделей |
| title_full_unstemmed | Процедура селекции ридж-регрессионных моделей |
| title_short | Процедура селекции ридж-регрессионных моделей |
| title_sort | процедура селекции ридж-регрессионных моделей |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/45969 |
| work_keys_str_mv | AT potaninamv proceduraselekciiridžregressionnyhmodelei |