Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання

Вивчено селективні властивості критерію незміщеності помилок та його взаємозв’язок з відомими критеріями МГУА, а також з класичним критерієм незміщеності розв’язків. Теоретично доведено, що критерій незміщеності помилок є адекватним зовнішнім критерієм МГУА. Чисельно досліджено поведінку мінімуму ць...

Повний опис

Збережено в:

Бібліографічні деталі
Дата:	2012
Автори:	Савченко, Е.А., Степашко, В.С.
Формат:	Стаття
Мова:	Russian
Опубліковано:	Інститут кібернетики ім. В.М. Глушкова НАН України 2012
Назва видання:	Проблемы управления и информатики
Теми:	Математическое моделирование и исследование сложных управляемых систем
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/207484
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання / Е.А. Савченко, В.С. Степашко // Проблемы управления и информатики. — 2012. — № 2. — С. 39–50. — Библиогр.: 9 назв. - рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-207484
record_format	dspace
spelling	irk-123456789-2074842025-10-09T00:25:05Z Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання Аналітичне та чисельне дослідження селективних властивостей критерію незміщеності помилок в задачах індуктивного моделювання Analytical and Numerical Investigation of Selective Properties of the Error Unbiasedness Criterion in the Inductive Modeling Tasks Савченко, Е.А. Степашко, В.С. Математическое моделирование и исследование сложных управляемых систем Вивчено селективні властивості критерію незміщеності помилок та його взаємозв’язок з відомими критеріями МГУА, а також з класичним критерієм незміщеності розв’язків. Теоретично доведено, що критерій незміщеності помилок є адекватним зовнішнім критерієм МГУА. Чисельно досліджено поведінку мінімуму цього критерію при різних рівнях шуму в даних і показано, що він має властивість перешкодостійкості. Selective properties of the error unbiasedness criterion and its relationship with known GMDH criteria, including the classical decision unbiasedness criterion, are studied. It is proved theoretically that the error unbiasedness criterion is an adequate external GMDH criterion. The behavior of this criterion minimum at different levels of noise in data is numerically investigated, and its noise-immunity property is demonstrated. 2012 Article Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання / Е.А. Савченко, В.С. Степашко // Проблемы управления и информатики. — 2012. — № 2. — С. 39–50. — Библиогр.: 9 назв. - рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/207484 681.513 10.1615/JAutomatInfScien.v44.i4.10 ru Проблемы управления и информатики application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Russian
topic	Математическое моделирование и исследование сложных управляемых систем Математическое моделирование и исследование сложных управляемых систем
spellingShingle	Математическое моделирование и исследование сложных управляемых систем Математическое моделирование и исследование сложных управляемых систем Савченко, Е.А. Степашко, В.С. Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання Проблемы управления и информатики
description	Вивчено селективні властивості критерію незміщеності помилок та його взаємозв’язок з відомими критеріями МГУА, а також з класичним критерієм незміщеності розв’язків. Теоретично доведено, що критерій незміщеності помилок є адекватним зовнішнім критерієм МГУА. Чисельно досліджено поведінку мінімуму цього критерію при різних рівнях шуму в даних і показано, що він має властивість перешкодостійкості.
format	Article
author	Савченко, Е.А. Степашко, В.С.
author_facet	Савченко, Е.А. Степашко, В.С.
author_sort	Савченко, Е.А.
title	Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання
title_short	Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання
title_full	Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання
title_fullStr	Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання
title_full_unstemmed	Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання
title_sort	аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання
publisher	Інститут кібернетики ім. В.М. Глушкова НАН України
publishDate	2012
topic_facet	Математическое моделирование и исследование сложных управляемых систем
url	https://nasplib.isofts.kiev.ua/handle/123456789/207484
citation_txt	Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання / Е.А. Савченко, В.С. Степашко // Проблемы управления и информатики. — 2012. — № 2. — С. 39–50. — Библиогр.: 9 назв. - рос.
series	Проблемы управления и информатики
work_keys_str_mv	AT savčenkoea analitičeskoeičislennoeissledovanieselektivnyhsvojstvkriteriânesmeŝennostiošibokvzadačahinduktivnogomodelûvannâ AT stepaškovs analitičeskoeičislennoeissledovanieselektivnyhsvojstvkriteriânesmeŝennostiošibokvzadačahinduktivnogomodelûvannâ AT savčenkoea analítičnetačiselʹnedoslídžennâselektivnihvlastivostejkriteríûnezmíŝenostípomilokvzadačahínduktivnogomodelûvannâ AT stepaškovs analítičnetačiselʹnedoslídžennâselektivnihvlastivostejkriteríûnezmíŝenostípomilokvzadačahínduktivnogomodelûvannâ AT savčenkoea analyticalandnumericalinvestigationofselectivepropertiesoftheerrorunbiasednesscriterionintheinductivemodelingtasks AT stepaškovs analyticalandnumericalinvestigationofselectivepropertiesoftheerrorunbiasednesscriterionintheinductivemodelingtasks
first_indexed	2025-10-09T01:07:38Z
last_indexed	2025-10-12T01:06:20Z
_version_	1845736170025123840
fulltext	© Е.А. САВЧЕНКО, В.С. СТЕПАШКО, 2012 Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 2 39 УДК 681.513 Е.А. Савченко, В.С. Степашко АНАЛИТИЧЕСКОЕ И ЧИСЛЕННОЕ ИССЛЕДОВАНИЕ СЕЛЕКТИВНЫХ СВОЙСТВ КРИТЕРИЯ НЕСМЕЩЕННОСТИ ОШИБОК В ЗАДАЧАХ ИНДУКТИВНОГО МОДЕЛИРОВАНИЯ Введение В реальных задачах индуктивного построения моделей по эксперименталь- ным данным с применением комбинаторного алгоритма МГУА [1] при един- ственном внешнем критерии селекции, как правило, возникает проблема неодно- значного выбора оптимальной модели. Для преодоления этой проблемы часто ис- пользуют двухкритериальный выбор модели, в простейшем случае сводящийся к расчету комбинированного критерия. Однако его применение имеет ряд недо- статков: значения составляющих критериев должны быть вычислены одновре- менно для всех перебираемых моделей, что существенно увеличивает время сче- та; необходимо задавать весовые коэффициенты частных критериев и др. Чтобы избежать этих недостатков, разработан так называемый метод доопре- деления выбора модели (в дальнейшем просто метод доопределения) [2, 3], кото- рый состоит в последовательном применении двух критериев. Сначала рассчиты- ваются значения критерия регулярности, характеризующего точность модели, и выбирается некоторое подмножество различных моделей, имеющих близкие наименьшие значения этого критерия. Затем для полученного подмножества наиболее точных моделей вычисляются значения критерия несмещенности, ми- нимум которого определяет оптимальную модель. Эффективность этого метода продемонстрирована на тестовых примерах и в реальных задачах [4, 5]. Второй критерий в такой последовательности должен иметь высокую чув- ствительность при переходе от одной сложности модели к другой. В [3, 4] пред- ложен новый критерий группы согласованности — критерий несмещенности ошибок, который более чувствителен, чем известный в теории МГУА критерий несмещенности решений [1], что подтверждено численными примерами [4]. В результате численных исследований [5, 6] установлены некоторые доста- точные условия работоспособности критерия несмещенности ошибок. Кроме то- го, в [5] исследована связь этого критерия с известным критерием несмещенности решений. В данной работе выполняется комплексное аналитическое и численное ис- следование основных свойств критерия несмещенности решений и доказывается, что он обладает всеми основными свойствами внешнего критерия и является адекватным критерием МГУА. Постановка задачи Пусть задана выборка данных наблюдений ],[ yXW  ),1(dim  mnW где },1;,1,{ mjnixX ij  — матрица измерений m входных (независимых) переменных (регрессоров) в n точках, причем ,rank mX  а T 1 )...( nyyy  — вы- ходной (зависимый) вектор. 40 ISSN 0572-2691 В соответствии с принципами самоорганизации моделей [1] рабочая выборка W разделяется на две непересекающиеся подвыборки: A и B, где A — обучающая, B — проверочная, :BAW  .)(        BB AA yX yX yXW (1) Задача поиска оптимальной по структуре и параметрам модели [7] сводится к формированию по данным выборки W некоторого множества моделей различной структуры V вида )ˆ,( vv Xfy  и поиску оптимальной модели по минимуму за- данного критерия CR: )),ˆ,(,(CRminarg v Vv Xfyv    где ),,,(minargˆ v R v XyQ vs   vs — сложность (число оцениваемых параметров) модели v. Если в результате поиска оптимальной модели с применением критерия ре- гулярности вместо единственной модели будет получено некоторое подмноже- ство лучших моделей U с близкими значениями критерия, что часто происходит в реальных задачах моделирования, то для выбора оптимальной модели рекоменду- ется дополнительно рассчитать значение критерия несмещенности для моделей, принадлежащих этому подмножеству U [3]. Минимум второго критерия и опре- деляет оптимальную модель: )).ˆ,(,(CBminarg u Uu Xfyu    1. Основные разновидности критериев МГУА В теории МГУА известно много внешних критериев, применяемых для вы- бора оптимальной модели [7]. «Внешним» называется критерий, вычисленный с учетом новой (внешней) информации, которая не использовалась при оценива- нии параметров модели. Кроме внешних критериев, в МГУА используются и внутренние, рассчитываемые на тех же данных, на которых получены коэффици- енты модели. К ним относится остаточная сумма квадратов (Residual Sum of Squares — RSS), т.е. квадрат нормы ошибки модели. Внешние критерии разделяют на две основные группы: критерии точности и согласованности [7]. Первые выражают ошибку проверяемой модели на различ- ных частях выборки, вторые — меру близости оценок, полученных на разных ча- стях выборки. К критериям точности относят, например, критерии регулярности ABAR и стабильности AS. Критерий регулярности )(AR sAB рассчитывается по формуле: ,ˆ)(ˆ)(AR 22 \| AsBsBABBAB Xysyys  (2) где )(ˆ sy AB — оценка выхода модели сложности s на подвыборке B, коэффици- енты которой вычислены на A, AAsAsAsAs yXXX T1T )(ˆ  — МНК-оценки коэф- фициентов модели на подвыборке A. В дальнейшем сложность s будем указывать только при необходимости. Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 2 41 Критерий регулярности, вычисленный на той же выборке, где получена мо- дель, т.е. при ,BA  соответствует остаточной сумме квадратов RSS: .ˆˆRSSAR TTTT AAAAAAAAAAAA Xyyyyyyy  Критерий стабильности определяется как сумма квадратов ошибок на всей выборке W модели, коэффициенты которой получены на A и B соответственно: .ˆˆARARAS 22 BWWAWWBWAW XyXy  (3) К критериям группы согласованности относится, прежде всего, классический критерий несмещенности решений [1]: .ˆˆ),(CBCB 2 BA yyBA  (4) Идея формирования критериев группы согласованности состоит в том, чтобы свойства наилучшей модели минимально отличались при оценке параметров как на обучающей, так и на проверочной подвыборках. Критерий несмещенности решений (4) может быть записан также в матрич- ной форме: ).ˆˆ()ˆˆ(CB TT BAWWBA XX  (5) Формулы для иных разновидностей критериев МГУА как этих двух, так и других групп можно найти в [1, 7]. 2. Критерий несмещенности ошибок и его связь с известными критериями МГУА В [2–4] предложен новый критерий несмещенности ошибок: ,)(AR)(AR)(BS sss BWAW  (6) где )(AR sAW и )(AR sBW — суммарные ошибки на всей выборке W модели одной и той же структуры s с параметрами, оцененными на выборках A и B соот- ветственно: 2ˆ)(AR AsWsWAW Xys  и .ˆ)(AR 2 BsWsWBW Xys  (7) Если сравнить формулы (5)–(7), то видно, что при BA  ˆˆ оба критерия: CB и BS, строго равны нулю [4], т.е. эти критерии имеют одинаковые свойства: вы- ражают требование близости коэффициентов на A и B и соответственно являются критериями группы согласованности. Ниже в формулах индекс сложности моделей s для простоты будем опускать. Суммарные ошибки, рассчитанные на выборке W для модели с коэффициен- тами, вычисленными на подвыборках A и B соответственно, могут быть записаны как суммы внешних и внутренних критериев [7]: BBABW RSSARAR  и .RSSARAR AABAW  (8) Чтобы описать взаимосвязь критерия несмещенности ошибок с известными кри- териями МГУА, воспользуемся формулой, которая приведена в [7] и связывает кри- терий стабильности AS (2) и критерий несмещенности решений CB (3): ).RSSRSS(2CBAS BA  (9) 42 ISSN 0572-2691 С учетом (3), (5), (8) и (9) можно записать:  BAABBABBAAAB ARARRSSRSS)RSSAR(RSSARBS  BABBABAABBBA AR2RSS2ASAR2ARARRSS2RSSRSS .)RSSAR(2CBAR2RSS2RSS2RSS2AS ABABAAAB  (10) Поскольку в (4) выборки A и B используются симметрично, аналогичный ре- зультат будет получен, если выборки поменять местами: .)RSSAR(2CBBS BAB  Несложно показать также связь критерия BS с критерием стабильности AS (3):  )RSSRSSRSSAR(2CBBS BABBA .AR2ASAR2)RSSRSS(2CB BWBWBA  Из выражения (10) следует, что значение критерия несмещенности оши- бок BS всегда меньше значения стандартного критерия несмещенности реше- ний CB ввиду выполнения неравенства: .RSSAR ABA  (11) Это можно доказать, записав оценку вектора параметров ,ˆ B которая в слу- чае наличия шума в данных отличается от оценки A̂ на некоторую величи- ну :b ,ˆˆ bAB  (12) где b — произвольный ненулевой вектор той же размерности, что и ,ˆ A ;ˆ B  — некоторый множитель (скаляр). Выразим критерий регулярности BAAR через вектор B̂ (12):  222 ˆˆˆAR bXXyXyyy AAAABAABAABA .)ˆ(2ˆ TT2T2 bXXbbXXyXy AAAAAAAAA  (13) Величина 2ˆRSS AAAAA Xy  является ошибкой полученной моде- ли, которую можно записать через оператор проектирования AD [7]:   AAAAAAAAA yXXXXyXy T1T )(ˆ ,))(( T1T AAAAAAAA yDyXXXXI   (14) где ,)( T1T AAAAA XXXXP  ;AAA PID  матрица AP является оператором проектирования на линейное подпространство, натянутое на столбцы матри- цы ,AX AD — оператор проектирования на ортогональное дополнение к этому подпространству. Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 2 43 Рассмотрим отдельно второй член в (13). Покажем, что он равен нулю, учи- тывая (14):  bXDybXbXXy AAAAAAAA TTT)ˆ( .0)())(( TT1TT   bXXybXXXXXXy AAAAAAAAAA (15) Таким образом, критерий регулярности можем записать так: .RSSˆAR TT2TT22 bXXbbXXbXy AAAAAAAABA  (16) Поскольку слагаемое bXXb AA TT2 строго положительно (по основному предположению матрица AA XX T всегда имеет полный ранг), из (16) следует, что значение критерия регулярности BAAR для любых ненулевых  и b всегда не меньше, чем .RSSA Равенство ABA RSSAR  возможно только в случае 0 или ,AB XX  т.е. неравенство (11) выполняется всегда. Полученный аналитически результат относительно того, что значение крите- рия несмещенности ошибок BS всегда меньше значения критерия несмещенно- сти решений CB, подтверждается численными примерами. Выполнена серия экс- периментов, в которых сравнивались критерии несмещенности решений и оши- бок, один из таких примеров описан в [6]. Он показал, что минимумы критерия несмещенности решений и ошибок совпадают, поэтому для доопределения выбо- ра модели может использоваться один из этих критериев. Однако критерий не- смещенности ошибок по сравнению с критерием несмещенности решений более чувствителен к изменению сложности модели. Например, в [6] получено, что для моделей сложности 2s и 3s значение критерия BS различается в 4,3 раза, тогда как CB — только в 1,05 раза. Это свидетельствует о предпочтительности применения критерия несмещенности ошибок BS по сравнению с критерием не- смещенности решений CB. 3. Аналитическое исследование селекционных свойств критерия несмещенности ошибок Для того чтобы исследовать эффективность какого-либо критерия, необхо- димо [8]:  найти его математическое ожидание;  установить существование минимума критерия на множестве всех структур;  показать помехоустойчивость критерия при увеличении уровня шума;  установить его оптимальность или адекватность. Как и в [8], в этом исследовании применяем следующие исходные предполо- жения. П1. Вектор n измерений выходной переменной связан с m независимыми входами линейной регрессионной зависимостью: ,0   yXy где  y — точный сигнал, 0 — вектор m неизвестных истинных параметров, ;0 mR  — вектор значений случайной величины (шум). П2. Случайный вектор  имеет свойства: ,0E n ,E 2T nI где E — оператор математического ожидания по всем возможным реализациям век- тора , 2 — конечная неизвестная дисперсия, nI — единичная nn -матрица. 44 ISSN 0572-2691 П3. Матрица входных переменных (регрессоров) Х детерминирована: XX E и имеет полный ранг: .rank mX  Сначала найдем математическое ожидание критерия несмещенности ошибок. Учитывая выражения (6) и (8), запишем критерий BS в следующем виде: .RSSRSSARARARARBS BABAABBWAW  (17) Для вычисления математического ожидания BS с учетом (8) найдем сначала его для остаточной суммы квадратов ,RSSA а затем — для критерия регулярно- сти .AR BA Выполним необходимые операции для нахождения математического ожида- ния :RSSA  )(E)](RSS[E)(RSS 2 AAsAsAsAAAA PXyss  ),)((E))()((E 22 AAsAsAsAAAsAAsAsA DXyPXy   (18) где ,AsnAs PID A  ),ˆ(E AsAs  причем AsD — идемпотентная матрица: .T AsAsAs DDD  Учитывая (18), а также то, что AsAAsA DD tr)(E 2T  и ,tr snD AAs  по- лучаем:  )(E])[(E2)(RSS TTT2 AAsAsAAAsAsAsAAsAsAA DDDXyXys  ),()(RSS)( 222 snssnXy A b AAAsAsA   (19) где )(RSS sb A — структурная составляющая остаточной суммы квадратов ARSS . Теперь определим математическое ожидание критерия регулярности. Учиты- вая, что вектор измерений B y может быть записан через сумму векторов точного сигнала и шума ,BBB yy   а оценка коэффициентов ,)(ˆ T1T AAsAsAsA yXXX  математическое ожидание критерия регулярности можно записать так:  )ˆ(E)](AB[E)(AR 2 ABBABAB Xyss ).)((E 2T1T AAsAsAsBsBB yXXXXy   (20) Обозначив T1T )( AsAsAsBsBAs XXXXP  и учитывая, что ,AAA yy   запи- шем: ,)()( T1T ABAsAsBsAAAsAsAsBsABAs PXyXXXXyP    (21) где .)()ˆ( T1T AAsAsAsAsAs yXXXE  Тогда получим:  22 ))()((E)(AR AsBsBABAsBAsBsBAB XyPXys  )].()[(E)]()(2[E TT ABAsBABAsBABAsBAsBsB PPPXy   (22) Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 2 45 Рассмотрим отдельно два последних члена формулы (22). Ввиду исходного предположения ,0)(E  из которого следует, что и ,0)(E A ,0)(E B мате- матическое ожидание первого из этих двух членов равно нулю: .0)]()[(E T  ABAsBAsBsB PXy  (23) Учитывая исходные предположения и тот факт, что A и B — некоррелирован- ные векторы, получаем, что 0E T  BA и, следовательно, ,0)(E TT  BBAsAP .0)(E TT  ABAsBP Ввиду известной формулы VV tr)(E 2T  распишем послед- ний член в (22):  ))()((E T ABAsBABAsB PP ].[tr)(E T22TTT BAsBAsBABAsBAsABB PPnPP  (24) С учетом свойства следа произведения матриц )(tr)(tr BAAB  в (24) можно записать   ))()((tr)(tr T1TT1TT AsAsAsBsBsAsAsAsBAsBAs XXXXXXXXPP ).)((tr T1T BsBsAsAs XXXX  (25) Таким образом, математическое ожидание критерия регулярности принимает вид  )(AR)(AR)(AR sss v AB b ABAB )),)((tr( T1T22 BsBsAsAsBAsBsB XXXXnXy   (26) где 2 )(AR AsBsB b AB Xys   — структурная составляющая критерия, харак- теризующая степень отклонения (упрощения) структуры модели сложности s от истинной; )])[(tr()(AR T1T2 BsBsAsAsB v AB XXXXns  — шумовая составля- ющая, характеризующая потери от наличия шума в данных, уровень которого пропорционален дисперсии .2 Учитывая полученные формулы (20) и (26), вычислим математическое ожи- дание критерия несмещенности ошибок:  )RSSRSSARAR(E)BS(EBS ABABBA  )(RSS)(RSS)(AR)(AR \|\| 22 \| ssnnss b BB b AABA b BA b AB   )()())((tr))((tr 22T1T2T1T2 snsnXXXXXXXX BABsBsAsAsAsAsBsBs   ))((tr)(RSS)(RSS)(AR)(AR T1T2 AsAsBsBs b A b B b BA b AB XXXXssss   )(AR)(AR))((tr T1T2 ssXXXX b BA b ABBsBsAsAs ,)(BS)(BS)(AR)(AR)(RSS)(RSS ssssss vbv A v B b A b B  (27) где ),(RSS sb A )(RSS sb B — структурные составляющие остаточных сумм квадра- тов, а )(BS sb и )(BS sv — соответственно структурная и шумовая составляющие критерия несмещенности ошибок [9]: ),(RSS)(RSS)(AR)(AR)(BS sssss b A b B b BA b AB b  (28) ].)()[(tr)(BS T1TT1T2 AsAsBsBsBsBsAsAs v XXXXXXXXs   (29) 46 ISSN 0572-2691 Теперь исследуем свойства критерия несмещенности решений подробнее. Из теории МГУА известно [8], что для того чтобы критерий был адекватным крите- рием селекции, он должен иметь минимум на множестве всех структур: .,1 ms  Поскольку в критерий входят структурная и шумовая составляющие, то для про- верки наличия минимума необходимо определить, являются ли структурная со- ставляющая убывающей функцией сложности s, а шумовая — возрастающей, или найти условия, при которых это будет выполняться. Сначала рассмотрим отдельно структурную составляющую )(BS sb (28). Покажем, что составляющие ),(RSS sb B ),(RSS sb A ),(AR sb AB )(AR sb BA для ис- тинной структуры модели, которая включает все релевантные регрессоры, равны нулю. Допустим для простоты, что все регрессоры релевантные (ис- тинные). Для истинной структуры сложности m точные сигналы будут иметь вид ,0 Xy  0 AAmAmA XXy  и ,0 BBmBmB XXy  поскольку ,)( 0 T1T   AAmAmAmAm yXXX  .0Bm Тогда структурная составляющая ARSS при ms  равна 0: .0)(RSS 2 0 2  AmAAmAmA b A XyXym  (30) Аналогично получим, что .0)(RSS mb B Структурная составляющая крите- рия регулярности ABAR при этом также равна 0: ,0)(AR 2 0 2  BmBAmBmB b AB XyXym  (31) и точно так же .0)(AR mb BA Поскольку для какого-либо ms  суммарная структурная составляющая ,0)(BS sb причем значение )1(BSb максимально, а ,0)(BS mb то можно сде- лать вывод, что )(BS sb — в общем случае немонотонно убывающая функция дискретного аргумента s. Следовательно, для того чтобы критерий BS имел минимум на интервале значений ,s нужно доказать, что шумовая составляющая )(BS sv является возрас- тающей функцией аргумента s. Для определения характера изменения этой со- ставляющей критерия несмещенности ошибок необходимо найти след матрицы в (29) и исследовать свойства следующего выражения: ][tr)(BS 112 AsBsBsAs v HHHHs   (32) как функции дискретного аргумента s, где введены такие обозначения: ,T AsAsAs XXH  ,)( 1T1   AsAsAs XXH ,T BsBsBs XXH  .)( 1T1   BsBsBs XXH Без ограничения общности рассмотрим случай, когда ,BsAs HH  тогда знак модуля можно опустить. Из выражения (32) очевидно, что достаточным условием возрастания шумо- вой составляющей будет неравенство AsBsBsAs HHHH 11   (33) для всех s. Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 2 47 Поскольку из самой формулы нельзя сказать, как будет вести себя составля- ющая )(BS sv как функция s в общем случае, рассмотрим следующие частные случаи: 1) план повторного эксперимента: ;BA XX  2) линейно зависимый (-пропорциональный) план: ,BA XX  где ;0 3) квадратично зависимый 2( -пропорциональный) план: ,T2T AsAsBsBs XXXX  ;02  4) ортогональный план эксперимента, когда AA XX T и BB XX T — диагональ- ные матрицы. Рассмотрим эти случаи подробнее. 1. Схема повторного эксперимента, когда в каждой точке плана экспери- мента, соответствующей строке матрицы Х, выполнено два наблюдения, одно из которых отнесено в подвыборку A, другое — в подвыборку B. Таким образом, матрицы плана AX и BX имеют равное число строк k. Рассмотрим выборку размерностью mn и запишем исходные векторы после проведения двух экспе- риментов: а) для первого эксперимента: ;1101   yXy A б) для второго эксперимента: .2202   yXy B Здесь 1 и 2 — случайные векторы шума для первого и второго экспериментов. Поскольку случайные реализации вектора шума различны: ,21  выходные векторы тоже разные: .21 yy  Общее число точек в выборке ,2knnn BA  т.е. .2/nknn BA  Выборка Х состоит из двух подвыборок размерности :][ mk  ,][        B A X X mnX (34) причем здесь .BA XX  Теперь очевидно, что в этом случае шумовая составля- ющая 0)(BS sv для всех s, поскольку не выполняется (33). Следовательно, в схеме повторного эксперимента критерии несмещенности (согласованности) не- применимы. 2. Матрицы плана являются -пропорциональными [9]. В этом случае подвы- борка В, заданная Bn точками, получена пропорциональным преобразованием значений подвыборки А, заданной BA nn  точками, с коэффициентом линейной пропорции :0 .AB XX  (35) Формула (34) для повторного эксперимента — частный случай (35) при .1 Тогда для шумовой составляющей получим:   ])()[(tr)(BS T1TT1T2 AsAsBsBsBsBsAsAs v XXXXXXXXs     ])( 1 )[(tr T1TT1T2 AsAsAsAsAsAsAsAs XXXXXXXX . 111 tr 2 2 22 ssII ss                           48 ISSN 0572-2691 Таким образом, составляющая )(BS sv будет монотонно возрастающей функцией аргумента s только при .1 3. Матрицы плана 2 -пропорциональные [9]: .T2T AsAsBsBs XXXX  (36) Этот случай аналогичен предыдущему, поскольку имеем:              sIIs ss v 2 22 2 22 1 ) 1 (tr)(BS , )1)(1(1 2 22 2 2 4 2 ss                       (37) и шумовая составляющая будет монотонно возрастать также при .1 4. Ортогональный план эксперимента. Столбцы матрицы AX и матрицы BX взаимно ортогональные. При этом информационные матрицы AA XX T и BB XX T диагональные: ),1,(diag TT sjxxXX AjAjAsAs  и ).,1,(diag TT sjxxXX BjBjBsBs  Тогда шумовая составляющая критерия смещения решений принимает вид   ])()[(trBS T1TT1T2 AsAsBsBsBsBsAsAs v XXXXXXXX . T T T T 1 2            jBjB jAjA jAjA jBjB s j xx xx xx xx (38) Учитывая знак модуля, из выражения (38) видно, что шумовая составляющая критерия несмещенности ошибок будет строго монотонно возрастающей функци- ей аргумента s только тогда, когда ,TT jAjAjBjB xxxx  т.е. матрицы AX и BX бу- дут отличаться одна от другой. Учитывая этот результат, в общем случае произвольных матриц плана AX и ,BX можно сказать, что условием монотонного возрастания шумовой состав- ляющей критерия является неравенство собственных чисел информационных матриц AA XX T и :T BB XX .AjBj  Очевидно, что в большинстве реальных за- дач, являющихся задачами с пассивным экспериментом, это условие выполняется, т.е. критерий несмещенности ошибок — адекватный внешний критерий МГУА. 4. Численное исследование помехоустойчивости критерия несмещенности ошибок Для численного исследования помехоустойчивости критерия несмещенности ошибок с применением датчика равномерно распределенных случайных чисел сгенерированы значения матрицы Х выборки данных и для заданной зависимости вычислены выходные векторы с добавлением случайного шума. Проведено 13 экспериментов с различным уровнем шума. В каждом из экспериментов гене- рировалось 1000 выборок данных с различными реализациями вектора шума и ре- зультаты моделирования усреднялись. Международный научно-технический журнал «Проблемы управления и информатики», 2012, № 2 49 В экспериментах уровень случайного шума изменялся с помощью увеличе- ния дисперсии от 0 % до 120 % с шагом 10 %. Выборка данных содержала семь аргументов и 30 точек наблюдений, но в истинную зависимость выходной пере- менной от этих аргументов входило только пять: .2345 54321 xxxxxy  (39) По комбинаторному алгоритму с применением внешнего критерия несме- щенности ошибок получены лучшие модели для каждого уровня шума. В резуль- тате каждого эксперимента по минимуму критерия BS отобрана лучшая модель. На рисунке показана зависимость критерия (в %) от сложности модели для задан- ного уровня шума. 0 100 200 300 400 500 600 700 800 900 1 2 3 4 5 6 7 s BS 50 40 30 20 10 0 Для дисперсии шума более 50 % общий характер зависимости не изменяется: кривая имеет минимум, причем при дисперсии шума 120 % этот минимум полу- чен для модели сложности .1s На рисунке кружочками выделены минимальные значения критерия для каж- дого уровня шума. Как показывает рисунок, истинная модель )5( 0 s может быть получена только при дисперсии шума менее 20 %. При увеличении уровня шума модель упрощается: сначала выбирается мо- дель, содержащая четыре члена, потом два и, наконец, только один. Для каждой дисперсии шума выбирается модель, минимизирующая значение внешнего критерия: ).(BSminarg ,1 ss ms   (40) «Переключение» со сложности 50  ss на 4s происходит при дис- персии шума 20 %, со сложности 4s на 2s — при дисперсии 30 % . При последующем повышении дисперсии шума от 100 % до 120 % будет выбрана мо- дель сложности .1s Заметим, что модель сложности 3s не может быть в этой задаче оптимальной ни для какого уровня шума при данном порядке вклю- чения регрессоров в модель, что видно из рисунка. Заключение Аналитическое исследование показало, что критерий несмещенности ошибок является адекватным критерием МГУА, поскольку имеет минимум на множестве всех структур. Теоретически исследована работоспособность данного критерия. Необходимое условие наличия его минимума — различие информационных мат- риц AA XX T и .T BB XX Из проведенного численного исследования можно сделать вывод, что крите- рий несмещенности ошибок обладает основным свойством эффективного внеш- него критерия — помехоустойчивостью. 50 ISSN 0572-2691 Є.А. Савченко, В.С. Степашко АНАЛІТИЧНЕ ТА ЧИСЕЛЬНЕ ДОСЛІДЖЕННЯ СЕЛЕКТИВНИХ ВЛАСТИВОСТЕЙ КРИТЕРІЮ НЕЗМІЩЕНОСТІ ПОМИЛОК В ЗАДАЧАХ ІНДУКТИВНОГО МОДЕЛЮВАННЯ Вивчено селективні властивості критерію незміщеності помилок та його взає- мозв’язок з відомими критеріями МГУА, а також з класичним критерієм не- зміщеності розв’язків. Теоретично доведено, що критерій незміщеності поми- лок є адекватним зовнішнім критерієм МГУА. Чисельно досліджено поведінку мінімуму цього критерію при різних рівнях шуму в даних і показано, що він має властивість перешкодостійкості. E.A. Savchenko, V.S. Stepashko ANALYTICAL AND NUMERICAL INVESTIGATION OF SELECTIVE PROPERTIES OF THE ERROR UNBIASEDNESS CRITERION IN THE INDUCTIVE MODELING TASKS Selective properties of the error unbiasedness criterion and its relationship with known GMDH criteria including the classical decision unbiasedness criterion are studied. It is proved theoretically that the error unbiasedness criterion is an adequate external GMDH criterion. The behavior of this criterion minimum at different levels of noise in data is numerically investigated and its noise-immunity property is demonstrated. 1. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. — Киев : Наук. дум- ка, 1985. — 215 с. 2. Івахненко О.Г., Савченко Е.А., Івахненко Г.О. Алгоритм МГУА для вибору оптимальної моделі за зовнішнім критерієм помилки з додатковим визначенням за зміщенням моделі та його використання в комітетах і нейромережах // Праці Міжнар. конф. з індуктивного мо- делювання: в 4-х т. (МКІМ-2002). — Т. 1, Ч. 1. — Львів : Державний НДІ інформаційної інфраструктури, 2002. — С. 47–56. 3. Ivakhnenko A.G., Ivakhnenko G.A., Savchenko E.A. GMDH algorithm for optimal model choice by the external error criterion with the extension of definition by model bias and its applications to the committees and neural networks // Pattern Recognition and Image Analysis, — 2002. — 12, N 4. — P. 347–353. 4. Ивахненко А.Г., Савченко Е.А. Исследование эффективности метода доопределения выбора модели в задачах моделирования с применением алгоритмов МГУА // Проблемы управле- ния и информатики. — 2008. — № 2. — C. 65–75. 5. Савченко Е.А., Степашко В.С. Анализ селективных свойств критериев МГУА при их по- следовательном применении // Моделювання та керування станом еколого-економічних систем регіону. Збірник праць. — К. : МННЦ ІТС, 2008. — С. 199–210. 6. Савченко Е.А., Степашко В.С., Сьоміна Л.П. Чисельне дослідження селективних властиво- стей критерію незміщеності помилок // Матеріали Міжнар. наук. конф. «Інтелектуальні си- стеми прийняття рішень та проблеми обчислювального інтелекту», Євпаторія, 18-22 травня 2009. — 2009. — 2. — С. 426–430. 7. Степашко В.С. Алгоритмы МГУА как основа автоматизации процесса моделирования по экспериментальным данным // Автоматика. — 1988. — № 4. — С. 44–55. 8. Степашко В.С. Метод критических дисперсий как аналитический аппарат теории индуктив- ного моделирования // Проблемы управления и информатики. — 2008. — № 2. — С. 8–26. 9. Степашко В.С. Структурная идентификация прогнозирующих моделей в условиях плани- руемого эксперимента // Автоматика. — 1992. — № 1. — С. 26–35. Получено 01.09.2011

Аналитическое и численное исследование селективных свойств критерия несмещенности ошибок в задачах индуктивного моделювання

Репозитарії

Схожі ресурси