Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей

Розглянуто задачу багатокритеріальної нейромережевої ідентифікації нелінійного об’єкта на основі еволюціонуючої радіально-базисної мережі, вибір структури якої та її адаптація здійснюються за допомогою генетичного алгоритму. Для усунення негаусівських завад використовуються робастні фітнес-функції,...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2013
Hauptverfasser:	Руденко, О.Г., Бессонов, А.А.
Format:	Artikel
Sprache:	Russian
Veröffentlicht:	Інститут кібернетики ім. В.М. Глушкова НАН України 2013
Schriftenreihe:	Проблемы управления и информатики
Schlagworte:	Методы идентификации и адаптивного управления
Online Zugang:	https://nasplib.isofts.kiev.ua/handle/123456789/207641
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:	Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2013. — № 5. — С. 22-32. — Бібліогр.: 27 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-207641
record_format	dspace
spelling	irk-123456789-2076412025-10-12T00:05:43Z Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей Робастна багатокритеріальна ідентифікація нелінійних об’єктів на основі еволюціонуючих радіально-базисних мереж Robust multiobjective identification of nonlinear objects based on evolving radial basis networks Руденко, О.Г. Бессонов, А.А. Методы идентификации и адаптивного управления Розглянуто задачу багатокритеріальної нейромережевої ідентифікації нелінійного об’єкта на основі еволюціонуючої радіально-базисної мережі, вибір структури якої та її адаптація здійснюються за допомогою генетичного алгоритму. Для усунення негаусівських завад використовуються робастні фітнес-функції, а для вибору оптимальної моделі з фронту Парето — робастні інформаційні критерії. Наведено результати імітаційного моделювання, які підтверджують ефективність підходу, що розвивається. The problem of multiobjective neural network-based identification of nonlinear objects by evolving radial basis network is considered. Networks’s structure selection and adaptation is performed using a genetic algorithm. Robust fitness functions are used to eliminate non-Gaussian noise. Robust information criteria are utilized for selection of the optimal model from the Pareto front. The simulation results confirm the effectiveness of the proposed approach. 2013 Article Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2013. — № 5. — С. 22-32. — Бібліогр.: 27 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/207641 519.71 10.1615/JAutomatInfScien.v45.i9.10 ru Проблемы управления и информатики application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Russian
topic	Методы идентификации и адаптивного управления Методы идентификации и адаптивного управления
spellingShingle	Методы идентификации и адаптивного управления Методы идентификации и адаптивного управления Руденко, О.Г. Бессонов, А.А. Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей Проблемы управления и информатики
description	Розглянуто задачу багатокритеріальної нейромережевої ідентифікації нелінійного об’єкта на основі еволюціонуючої радіально-базисної мережі, вибір структури якої та її адаптація здійснюються за допомогою генетичного алгоритму. Для усунення негаусівських завад використовуються робастні фітнес-функції, а для вибору оптимальної моделі з фронту Парето — робастні інформаційні критерії. Наведено результати імітаційного моделювання, які підтверджують ефективність підходу, що розвивається.
format	Article
author	Руденко, О.Г. Бессонов, А.А.
author_facet	Руденко, О.Г. Бессонов, А.А.
author_sort	Руденко, О.Г.
title	Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей
title_short	Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей
title_full	Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей
title_fullStr	Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей
title_full_unstemmed	Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей
title_sort	робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей
publisher	Інститут кібернетики ім. В.М. Глушкова НАН України
publishDate	2013
topic_facet	Методы идентификации и адаптивного управления
url	https://nasplib.isofts.kiev.ua/handle/123456789/207641
citation_txt	Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2013. — № 5. — С. 22-32. — Бібліогр.: 27 назв. — рос.
series	Проблемы управления и информатики
work_keys_str_mv	AT rudenkoog robastnaâmnogokriterialʹnaâidentifikaciânelinejnyhobʺektovnaosnoveévolûcioniruûŝihradialʹnobazisnyhsetej AT bessonovaa robastnaâmnogokriterialʹnaâidentifikaciânelinejnyhobʺektovnaosnoveévolûcioniruûŝihradialʹnobazisnyhsetej AT rudenkoog robastnabagatokriteríalʹnaídentifíkacíânelíníjnihobêktívnaosnovíevolûcíonuûčihradíalʹnobazisnihmerež AT bessonovaa robastnabagatokriteríalʹnaídentifíkacíânelíníjnihobêktívnaosnovíevolûcíonuûčihradíalʹnobazisnihmerež AT rudenkoog robustmultiobjectiveidentificationofnonlinearobjectsbasedonevolvingradialbasisnetworks AT bessonovaa robustmultiobjectiveidentificationofnonlinearobjectsbasedonevolvingradialbasisnetworks
first_indexed	2025-10-12T01:13:00Z
last_indexed	2025-10-13T01:11:45Z
_version_	1845827108492804096
fulltext	© О.Г. РУДЕНКО, А.А. БЕССОНОВ, 2013 22 ISSN 0572-2691 МЕТОДЫ ИДЕНТИФИКАЦИИ И АДАПТИВНОГО УПРАВЛЕНИЯ УДК 519.71 О.Г. Руденко, А.А. Бессонов РОБАСТНАЯ МНОГОКРИТЕРИАЛЬНАЯ ИДЕНТИФИКАЦИЯ НЕЛИНЕЙНЫХ ОБЪЕКТОВ НА ОСНОВЕ ЭВОЛЮЦИОНИРУЮЩИХ РАДИАЛЬНО-БАЗИСНЫХ СЕТЕЙ Введение. Задача идентификации нелинейного нестационарного динамиче- ского объекта, описываемого моделью ),()),(()( kkkfky  x (1) где T)](...,),1(),(...,),1([)( mkukulkykyk x — N1-вектор обобщенного входного сигнала (N l m); ),(iy )(iu — выходной и входной сигналы объекта в момент времени i соответственно; l и m — порядки запаздывания по выходно- му и входному каналам соответственно; )(f — неизвестная нелинейная функ- ция; )(k — помеха, состоящая в получении оценки функции )(f по измерени- ям входных и выходных переменных. Трудности, связанные с идентификацией нелинейных динамических объек- тов классическими методами, привели к появлению и развитию альтернативного, нейросетевого подхода к решению этой задачи. При нейросетевом подходе задача идентификации заключается в обучении сети, состоящем в определении вектора ее параметров  (весов, параметров акти- вационных и базисных функций и т.д.), обеспечивающего минимум функционала )),,(( 1 )( 1 θie k eF k i    (2) являющегося решением системы уравнений ,0 ),( )),(( )( 1         j k ij ie ie eF θ θ (3) где )),(( θie — некоторая функция потерь, зависящая от вида закона распределе- ния помехи ; );(ˆ)()( iyiyie  )(ˆ iy — выходной сигнал модели;  )),(( θie ),( )),(( θ θ ie ie    — функция влияния. При использовании искусственной нейронной сети (ИНС), как и при тради- ционном подходе, также возникают задачи структурной и параметрической опти- мизации, соответствующие выбору оптимальной топологии сети и ее обучению (настройке параметров). Если задача определения структуры является дискретной оптимизационной (комбинаторной), то поиск оптимальных параметров осуществля- ется в непрерывном пространстве с помощью классических методов оптимизации. Международный научно-технический журнал «Проблемы управления и информатики», 2013, № 5 23 Традиционные методы определения структуры сети заключаются либо в по- следовательном ее усложнении путем ввода новых нейронов и новых связей меж- ду ними, либо в последовательном ее упрощении, начиная с некоторой достаточ- но сложной топологии. Для обучения (оценивания параметров) сети применяются, как правило, ме- тоды, требующие вычисления градиента используемого функционала )),(( θie и обладающие в связи с этим рядом существенных недостатков (зависимость по- лучаемого решения от формы минимизируемой функции и требование ее диффе- ренцируемости, застревание в локальных экстремумах и т.д.). Попытки устранить недостатки традиционных методов синтеза и функцио- нирования ИНС привели к появлению нового класса сетей — эволюционирую- щих ИНС (ЭИНС), в которых помимо обучения используется другая фундамен- тальная форма адаптации — эволюция, что позволяет изменять структуру сети, ее параметры и алгоритмы обучения без внешнего вмешательства. Основным преимуществом использования эволюционных алгоритмов (ЭА) для оптимизации ИНС является то, что структура и параметры сети могут быть закодированы в геноме и определяться параллельно. Кроме того, в отличие от большинства алгоритмов оптимизации, предназначенных для потактового реше- ния задачи, ЭА оперируют с множеством решений — популяцией, что позволяет достичь глобального экстремума, не застревая в локальных. Среди ЭА, являющихся стохастическими и включающих эволюционное про- граммирование, эволюционные стратегии, генетические алгоритмы, генетическое программирование, в частности программирование с экспрессией генов, одними из наиболее распространенных являются генетические алгоритмы (ГА) [1]. Так как получаемая математическая модель, с одной стороны, должна быть достаточно простой и удобной для использования в задачах прогнозирования, управления и т.д., а с другой — наиболее полно отражать свойства исследуемого объекта, ее качество определяется некоторым набором критериев, т.е. задача идентификации является многокритериальной. Задача многокритериальной оптимизации. Задача многокритериальной оптимизации (МО), которую часто называют мультикритериальной или вектор- ной оптимизацией, заключается в нахождении такого вектора решений, удовлет- воряющего определенным ограничениям, который давал бы приемлемые значе- ния для всех целевых функций [2]. Следовательно, существует множество целе- вых функций (вектор целей), которые оптимизируются (минимизируются или максимизируются) одновременно. Так как цели зачастую вступают в противоре- чие одна с другой таким образом, что улучшение одной из них приводит к ухуд- шению другой, не существует единого оптимального решения, наилучшего по от- ношению ко всем целевым функциям. Вместо этого есть множество оптимальных решений задачи многоцелевой оптимизации, известное как Парето-оптимальные решения, или фронт Парето [3]. Понятие фронта Парето в области значений целе- вых функций в задаче МО означает набор таких решений, которые, являясь недо- минирующими по отношению один к другому, в то же время доминируют над всеми остальными решениями в пространстве поиска. Таким образом, невозмож- но найти единое решение, которое превосходило бы все другие по отношению ко всем целям, т.е. переход между решениями, принадлежащими фронту Парето, не может привести к улучшению всех целей одновременно. Математически дан- ную задачу можно сформулировать следующим образом. Требуется найти такой вектор ,]...,,,[ T** 2 * 1 * nxxxx который оптимизировал бы вектор целевых функций T 21 )](...,),(),([)( xxxx kfffF  (4) 24 ISSN 0572-2691 при наличии m ограничений в виде неравенств ,0)( xig ,,1 mi  (5) и p ограничений в виде равенств ,0)( xjh ,,1 pj  (6) где n* x — вектор решений, kF )(x — вектор целевых функций, каждая из которых должна быть оптимизирована (обычно полагают, что все целевые функции должны быть минимизированы). При многокритериальной минимизации на основе подхода Парето используется, как отмечалось выше, понятие домини- рования. Вектор k nuuu  T 21 ]...,,,[u доминирует над вектором k nvvv  T 21 ]...,,,[v (обозначается )vu  тогда и только тогда, когда },...,,2,1{ ki  ii vu .:}...,,2,1{ jj vukj  Другими словами, существует как минимум одна ком- понента вектора ),( juu которая меньше, чем ,jv в то время как остальные ком- поненты вектора u меньше либо равны соответствующим компонентам вектора v. Точка x ( — некоторая область пространства ,n удовлетворяющая условиям (5), (6), является Парето-оптимальной по отношению ко всем x то- гда и только тогда, когда ),()( xx FF  т.е. решение x Парето-оптимально, ес- ли не может быть найдено никакое другое решение, которое доминировало бы над x с учетом определения доминирования по Парето. Для данной задачи МО множеством Парето  называется набор векторов ,x для которого не существует такого вектора ,x для которого выпол- нялось бы условие )()( xx  FF  .x Для данной задачи МО фронтом Парето PF называется такой набор векто- ров значений целевых функций ,)( kF x который получен с помощью векто- ров из множества Парето, т.е. .}:))(...,),(),(()({PF 21 *  xxxxx kfffF Для нахождения фронта Парето в задачах МО широко используются ГА, так как их свойства подходят для таких типов задач. Это обусловлено главным обра- зом их параллельным или популяционным подходом к поиску решений, что поз- воляет устранить большинство трудностей и недостатков классических методов решения задач МО. В настоящее время наиболее часто применяются следующие методы при- ближенного построения множества Парето на основе ГА:  VEGA (Vector Evaluated Genetic Algorithm) [4];  FFGA (Fonseca and Fleming’s Multiobjective Genetic Algorithm) [5];  NPGA (Niched Pareto Genetic Algorithm) [6];  SPEA (Strength Pareto Evolutionary Algorithm) [7];  NSGA-II (Non-dominated Sorting Genetic Algorithm-II) [8]. В общем виде алгоритм поиска фронта Парето с помощью ЭА может быть записан следующим образом. 1. Сгенерировать начальную обучающую выборку, состоящую из векторов входных переменных x . Вычислить векторы значений целевых функций )(xF для всех x. 2. На основе обучающей выборки x и соответствующих значений )(xF построить модели всех целевых функций ).(...,),(),( 21 xxx kfff Международный научно-технический журнал «Проблемы управления и информатики», 2013, № 5 25 3. На основе полученных моделей )(...,),(),( 21 xxx kfff  с помощью выбран- ного алгоритма определить Парето-оптимальное множество PF решений зада- чи (1)–(3). 4. В точках полученного множества решений PF вычислить точные значе- ния функций ).(...,),(),( 21 xxx kfff Если критерий останова (получена требуемая точность моделей и построен фронт Парето либо осуществлено максимально до- пустимое число итераций) не выполняется, то все полученные значения добавля- ются в обучающую выборку и осуществляется возврат к шагу 2, на котором уточ- няются модели целевых функций. Робастная эволюционирующая радиально-базисная сеть (ЭРБС). Ради- ально-базисная сеть (РБС) осуществляет аппроксимацию функции )(xf некото- рой системой нелинейных базисных функций (БФ), что позволяет представить искомую нелинейную модель в виде ),,)(()(ˆ 1 0 iiii N i μkwaky    ,x (7) где 0a — смещение нейрона выходного слоя; iw — вес связи i-го нейрона скры- того слоя с нейроном выходного слоя; N — число нейронов в скрытом слое; i — БФ i-го нейрона; μі, σі — центры и радиусы i-й БФ соответственно. Выбор БФ играет важную роль при построении РБС, так как существенно влияет на сложность вычислений, а для упрощения обычно предполагается, что активационные функции нейронов одинаковы и выбраны экспертом. В РБС в ка- честве БФ могут использоваться, например, следующие функции: ,exp)( 2 2            i i i x x (8) , )( exp )( 1)( 2 2 2 2                       i i i i i xx x (9) ,exp)(            i i i x x (10) , )( exp )(2 )( 2 2               i i i i i xx x (11) где  — евклидова норма. Обучение сети заключается в определении вектора .))(),(),(,),(),(),(),(()( T 1110 kkkwkkkwkak N T NN T   В настоящее время разработано и хорошо изучено достаточно большое коли- чество алгоритмов настройки параметров сети, однако вопросы выбора ее опти- мальной структуры остаются открытыми. Обычно сначала задается некоторая первоначальная структура ИНС для ко- торой путем обучения (минимизация функционала (2)) определяются параметры сети. Ошибки в выборе модели могут привести к недо- или переобучению сети. А вследствие того, что параметры структуры сети во избежание эффекта переобу- чения должны ограничивать решающие правила, их настройку нельзя осущест- влять на основе минимизации ошибки обучения. 26 ISSN 0572-2691 Определение структуры сети с использованием ГА, приводящих к ЭРБС, ос- новывается на следующем [9]. В ГА каждая особь кодируется в виде строки (хромосомы) },...,,,{ 21 Ljjjj hhhH  которая состоит из L генов, где ][ maxmin wwhij  — значение i-го гена j-й хромо- сомы min(w — минимальное, и maxw — максимальное допустимые значения со- ответственно). Следует отметить, что длина хромосомы зависит от размерности идентифицируемого объекта и максимально допустимого количества нейронов. Каждая хромосома состоит из генов, в которых хранится информация о соответ- ствующих параметрах сети. В начале хромосомы идут гены, содержащие информацию о параметрах помехи и являющиеся активными лишь в случае идентификации зашум- ленных объектов. Следующий ген кодирует информацию о смещении нейрона выход- ного слоя сети (b5 для МП и w0 для РБС). Затем идут блоки генов, кодирующие пара- метры соответствующих нейронов скрытого слоя. Первый ген каждого такого бло- ка (1/0) определяет, присутствует ли соответствующий нейрон в структуре сети, т.е. участвует он или нет в вычислении выходной реакции сети на поступивший входной сигнал. Длина хромосомы постоянна, а популяция, состоящая из некоторого количе- ства особей, подвергается процессу эволюции с использованием операций скрещива- ния и мутаций. Алгоритм ГА для решения задачи МО содержит следующие шаги. 1. Создание начальной популяции.  Инициализация хромосомы каждой особи.  Оценивание начальной популяции. 2. Этап эволюции — построение нового поколения.  Отбор (селекция) кандидатов на скрещивание с помощью решения задачи МО.  Скрещивание, т.е. порождение каждой парой отобранных кандидатов но- вых индивидов.  Мутация.  Оценивание новой популяции. 3. Выбор единственного из полученного набора оптимальных решений (фронта Парето) с помощью некоторого информационного критерия. Следует отметить, что задача отбора особей (селекция) становится достаточ- но сложной при наличии помех измерений. При идентификации параметров не- линейных систем с помощью ГА в них традиционно используется в качестве фит- нес-функции квадратичный функционал )).,(( θie При наличии выбросов в обучающей выборке применение данной функции приспособленности приводит к тому, что решения, даваемые как алгоритмами обучения, использующими вычисления производных, так и ЭА, являются неудо- влетворительными [10]. В связи с этим в ряде работ [11, 12] предлагается осу- ществлять отбор особей на основе нескольких критериев, что позволяет получить такой их набор, который, с одной стороны, устойчив к помехам измерений, а с другой, имеет оптимальную структуру. Для получения такого набора в каче- стве оператора селекции в ЭА целесообразно применение алгоритмов МО. На этапе оценки популяции с помощью алгоритмов МО и с использованием в них в качестве целей различных функций приспособленности (фитнес-функций) возможна фильтрация зашумленных сигналов, что обеспечивает робастность по- лучаемых оценок. Следует отметить, что фитнес-функция служит двум основным целям: во- первых, оценивает, насколько нейросетевая модель соответствует реальной си- стеме, и, во-вторых, она должна быть способна устранить влияние незначитель- ных (или зашумленных) измерений на систему идентификации, так как в против- ном случае получение адекватной модели нелинейного объекта будет весьма про- блематичным. Международный научно-технический журнал «Проблемы управления и информатики», 2013, № 5 27 Если информация о помехе недоступна или помеха засорена негауссовским шумом, использование квадратичной фитнес-функции вследствие ее неробастно- сти не представляется возможным. Однако существует большое количество таких функций, обеспечивающих получение робастных оценок при наличии помех, рас- пределения которых отличны от нормального (см., например, [13–16]). Наиболее распространенными среди них являются комбинированные фитнесс-функции, по- строенные на основе предложенных Хьюбером [17] и Хемпелем [13] функциона- лов, состоящих из квадратичного, обеспечивающего оптимальность оценок для гауссовского распределения, и модульного, позволяющего получить более робаст- ную к распределениям с тяжелыми «хвостами» (выбросами) оценку. Данные фит- несс-функции имеют соответственно вид          ;, 2 ;, 2)( 2 2 ec c ec ce e eF (12)                              ., 2 )( 2 ;, )( 2 )( 2 ;, 2 ;0, 2 )( 2 2 2 2 ed b dc b dec dc de b b dc b ceb b eb be e eF (13) Эффективность применения функционалов (12), (13) зависит от того, насколько удачно выбраны входящие в них константы: a, b, c и d, определяющие степень помехоустойчивости. В указанных работах приведены рекомендации по выбору этих параметров. С другой стороны, данные параметры можно добавить в хромосому как дополнительные гены и настраивать их с помощью ГА. Кроме функций (12), (13), достаточно эффективными являются, например, следующие [15]: ;)( 22 2 ec e eF   (14) .arctg)(   eeF (15) Классические робастные методы, минимизирующие неквадратичные функ- ционалы, ориентированы на симметричность засорения, когда выбросы одинако- во часто появляются как в области отрицательных, так и в области положитель- ных значений. Указанные методы позволяют эффективно бороться с помехами, описывае- мыми моделью Тьюки–Хьюбера [17] ),()()1()( 0 xqxpxp  (16) где )(0 xp — плотность соответствующего основного распределения );,0( 2 1N )(xq — плотность засоряющего (произвольного) распределения ),,0( 2 2N ;2 2 2 1  ]1,0[ — параметр, характеризующий степень засорения основного распределения. В более общей ситуации произвольного вида засорения, например, когда гауссовское засоряющее распределение имеет ненулевое математическое ожида- ние или когда засоряющее распределение несимметрично, оценки, даваемые эти- ми методами, будут смещенными. Необходимость учета асимметрии распределе- 28 ISSN 0572-2691 ний обусловливает целесообразность выбора асимметричных функционалов, базой для которых обычно служат соответствующие традиционные симметричные функционалы робастного М-обучения [18]. Наличие информации о виде асиммет- ричного распределения данных и помех является основой для выбора параметров функционалов, оказывая значительное влияние на их вид. Выбор модели. Выбор оптимального решения из фронта Парето — наиболее важный этап всей процедуры идентификации нелинейного объекта с помощью ЭРБС. Так как фронт Парето обычно представляет широкий набор возможных оп- тимальных решений, окончательный выбор модели должен быть достаточно точ- ным и робастным. В последнее время в литературе по статистическому выбору модели значи- тельное внимание уделяется принципу минимальной длины описания (МДО), (Minimum Description Length — MDL), являющемуся весьма эффективным подхо- дом при выборе модели и решении других проблем статистической обработки информации, а также обобщающему методы максимального правдоподобия и ин- формационные критерии. Ключевым компонентом в принципе МДО является стохастическая сложность, введенная и использованная в работах [19–22], оцени- вающая, насколько хорошо вероятностная модель соответствует статистическим закономерностям данных. Из этих работ следует, что стохастическая сложность наблюдаемых данных по отношению к соответствующему классу параметриче- ских моделей может быть выражена следующим образом: ),ˆ(log)(log 2 1 )(log)( 4/1 1     KISC i N i θθθ (17) где T 2 log )( θθ θ   I — информационная матрица ;NN  θ̂ — М-оценка вектора , полученная минимизацией (12); K — количество математических моделей. Таким образом, штрафуя излишнюю сложность модели, МДО обосновывает идею максимизации регуляризованного правдоподобия, т.е. позволяет обосновать корректность регуляризации правдоподобия. Область применения МДО шире, чем у статистических методов обучения, т.е. МДО можно применять и там, где вводить вероятности некорректно или бес- смысленно. Однако зачастую прямая максимизация логарифма функции макси- мального правдоподобия и вычисление информации Фишера не представляются возможными. При выборе модели рациональным является использование информации, по- лученной при построении самого фронта Парето (ошибка обучения, сложность модели, параметры модели), поэтому наиболее целесообразным подходом пред- ставляется использование некоторого информационного критерия. Информационные критерии строятся, исходя из представления ,)(2  NLIC где L — логарифм функции правдоподобия, взятый с противоположным знаком,  — число независимо определяемых параметров. Вид функции )(N опреде- ляет конкретный критерий: крите- рий Акаике (AIC) с ;2)(  N критерий Шварца–Риссанена (BIC) с ;ln)( NN  критерий Хеннана–Куинна (HQ) с  )(N ;lnln2 N KIC с .3)(  N График соотношения между сложно- стью модели (количеством параметров) и ее ошибкой (прогноз ошибки) для обще- го информационного критерия показан на рис. 1. Как видно из рисунка, информаци- Оптимальная модель Ошибка модели Функция штрафа за сложность модели И н ф о р м ац и о н н ы й к р и те р и й 0 5 10 15 Размер модели (количество параметров) Рис. 1 Международный научно-технический журнал «Проблемы управления и информатики», 2013, № 5 29 онные критерии используются для нахождения модели, которая наилучшим образом балансирует ошибку модели и ее сложности, чтобы предотвратить чрезмерное недо- или переобучение. Следует отметить, что абсолютные значения критериев смысла не имеют — они указывают только на относительный порядок сравниваемых моделей. Считается, что минимум информационного критерия соответствует лучшей (опти- мальной) сложности модели, и чем меньше значение, тем лучше модель. Другая важная причина использования информационных критериев — ограни- чение ненужного увеличения размера модели (ее вырождение). Критерий МДО более общий, чем популярные информационные критерии AIC [23] и байесовский или BIC [24]. В большинстве случаев BIC сводится к мак- симизации функции правдоподобия, поскольку, как правило, число параметров моделей совпадает с числом рассматриваемых моделей. Кроме того, критерий AIC никогда не выбирает модель с меньшим числом параметров, чем BIC. Робастные варианты AIC и BIC, предложенные в [25–27], укладываются в схему ,)),((2 1 N K i ieICR    (18) где для AICR ),(tr2 1QJN  , )),(( T 2            ie MJ , T              MQ }{M — символ математического ожидания; для BICR .log 2 1 KNN  Моделирование. Эксперимент 1. Решалась задача многокритериальной идентификации нелинейного стационарного объекта ),1(2,0)1(2,0 ))1(4)1(43( )1(8)1(16 sin725,0)( 22             kyku kyku kyku ky (19) где u(k) — входной сигнал, представляющий собой стационарную случайную по- следовательность с равномерным законом распределения в интервале [– 1, 1], ге- нерируемую датчиком случайных чисел. Поверхность, описываемая уравнением (19), представлена на рис. 2, а. Для решения данной задачи использовалась популяция, состоящая из 150 особей (сетей). Максимально возможное количество нейронов в каждой сети бы- ло ограничено 15. Таким образом, каждая хромосома состояла из 106 генов. В ка- честве базисных использовались функции (8), (9). Первые 100 шагов селекции особей для скрещивания производились лишь на основе значения фитнес-функции вида ,)(ˆ)( 1 )( * 1 jjjj K j ji xyxy K xf    (20) где K2500 — размер выборки. Такое предварительное обучение обусловлено тем, что на начальном этапе эволюции популяции не имеет смысла применять алгоритмы МО, так как ошибки всех моделей независимо от числа параметров достаточно большие. После 100 шагов предварительного обучения для отбора особей помимо зна- чения фитнес-функции дополнительно использовался критерий, характеризую- щий сложность модели. Применялось два подхода: при первом в качестве такого параметра использовалось количество активных нейронов сети, а при втором — примененный в работе [11] критерий оценки сложности РБФ сети, имеющий вид . 1     N j j j i w f (21) 30 ISSN 0572-2691 На этапе селекции для обоих случаев строился фронт Парето, из которого за- тем выбирались особи для скрещивания и получения нового поколения. Результирующие фронты Парето и восстановленные поверхности некоторы- ми входящими в него сетями после 1000 эпох обучения представлены на рис. 3, 4. Квадратиком обозначена особь, для которой AIC минимальные. x1 x2 y(k) 1 0 0 0 1 – 1 – 1 – 1 1 x1 x2 y(k) 40 0 0 – 0,6 1 – 20 – 1 – 1 1 20 – 40 0 0,6 а б Рис. 2 1 0 0 0 1 – 1 – 1 – 1 1 – 0,6 0,6 1 0 0 0 1 – 1 – 1 – 1 1 – 0,6 0,6 0 5 10 25 15 20 35 30 5 10 1 0 0 0 1 – 1 – 1 – 1 1 – 0,6 0,6 Рис. 3 1 0 0 0 1 – 1,5 – 1 – 1 1 – 0,6 0,6 1 0 0 0 1 – 1,5 – 1 – 1 1 – 0,6 0,6 2 4 6 8 10 3,6 4 4,4 4,8 5,2 1 0 0 0 1 – 1,5 – 1 – 1 1 – 0,6 0,6 Рис. 4 Эксперимент 2. Проводилась многокритериальная идентификация сильно- зашумленного нелинейного стационарного объекта (19) при наличии помехи ),(k описываемой моделью (16) ),()()1()( 21 kqkqk  где ;1,0 ),(1 kq )(2 kq — нормально распределенные помехи с математически- ми ожиданиями 021 mm и дисперсиями ;6,01  122  соответственно. Зашумленная таким образом поверхность (19) приведена на рис. 2, б. Международный научно-технический журнал «Проблемы управления и информатики», 2013, № 5 31 В данном эксперименте наличие помех обусловило необходимость модифи- кации фитнес-функции в соответствии с (14), (15) следующим образом: ,)(ˆ)(arctg 1 )( * 1 jjjj M j ji xyxy M xf    (22) . ))(ˆ)((1 ))(ˆ)((1 )( 2* 2* 1 jjjj jjjj M j ji xyxy xyxy M xf      (23) Все остальные параметры эксперимента аналогичны эксперименту 1. Получен- ный фронт Парето при использовании фитнес-функции (22) обозначен на рис. 5 тре- угольниками, а для функции (23) — кружками. В первом случае особь, выбранная из фронта Парето с помощью AIC и обведенная квадратом на рисунке, содержала 6 нейронов (2 с БФ вида (8) и 4 с БФ (9)), а во втором — 7 (3 с БФ вида (8) и 4 с БФ (9)). 1 0 0 0 1 – 1,5 – 1 – 1 1 – 0,6 0,6 1 0 0 0 1 – 1,5 – 1 – 1 1 – 0,6 0,6 15 25 35 45 50 0 2 4 6 8 1 0 0 0 1 – 1 – 1 – 1 1 – 0,6 0,6 10 Рис. 5 Заключение. Эффективность использования эволюционного подхода для решения задачи многокритериальной нейросетевой идентификации нелинейных объектов при наличии негауссовских помех, т.е. получение Парето-оптимального решения, существенно возрастает при применении робастных фитнес-функций. Из результатов моделирования следует, что вид используемой робастной фитнес- функции несущественно влияет на точность идентификации зашумленного объ- екта, достаточно лишь выбирать такую фитнес-функцию, первая производная ко- торой стремится к нулю при возрастании модуля ошибки идентификации. Для выбора оптимального решения из получаемого фронта Парето следует использовать какой-либо робастный информационный критерий. О.Г. Руденко, О.О. Бессонов РОБАСТНА БАГАТОКРИТЕРІАЛЬНА ІДЕНТИФІКАЦІЯ НЕЛІНІЙНИХ ОБ’ЄКТІВ НА ОСНОВІ ЕВОЛЮЦІОНУЮЧИХ РАДІАЛЬНО-БАЗИСНИХ МЕРЕЖ Розглянуто задачу багатокритеріальної нейромережевої ідентифікації неліній- ного об’єкта на основі еволюціонуючої радіально-базисної мережі, вибір струк- тури якої та її адаптація здійснюються за допомогою генетичного алгоритму. Для усунення негаусівських завад використовуються робастні фітнес-функції, а для вибору оптимальної моделі з фронту Парето — робастні інформаційні критерії. Наведено результати імітаційного моделювання, які підтверджують ефективність підходу, що розвивається. 32 ISSN 0572-2691 O.G. Rudenko, A.A. Bezsonov ROBUST MULTIOBJECTIVE IDENTIFICATION OF NONLINEAR OBJECTS BASED ON EVOLVING RADIAL BASIS NETWORKS The problem of multiobjective neural network-based identification of nonlinear ob- jects by evolving radial basis network is considered. Networks’s structure selection and adaptation is performed using a genetic algorithm. Robust fitness functions are used to eliminate non-Gaussian noise. Robust information criteria are utilized for se- lection of the optimal model from the Pareto front. The simulation results confirm the effectiveness of the proposed approach. 1. Holland J. Adaptation in natural and artificial systems. — 2nd ed. — Cambridge : MIT Press. — 1992. — 228 p. 2. Coello Coello C.A., Christiansen A.D. Multiobjective optimization of trusses using genetic algo- rithms // Computers & Structures. — 2000. — 75. — P. 647–660. 3. Zitzler E., Thiele L. Multiobjective evolutionary algorithms: a comparative case study and the strength Pareto approach // IEEE Trans. on Evolutionary Computation. — 1999. — 3, N 4. — P. 257–271. 4. Schaffer J.D. Multiple objective optimization with vector evaluated genetic algorithms // Proceed- ings of the 1st International Conference on Genetic Algorithms. — 1985. — P. 93–100. 5. Fonseca C.M., Fleming, P.J. Genetic algorithm for multiobjective optimization, formulation, dis- cussion and generalization // Genetic Algorithms: Proceeding of the Fifth International Conferen- ce. CA .— 1993. — P. 416-423. 6. Horn J.N., Nafpliotis A.L., Goldberg D.E. A niched Pareto genetic algorithm for multiobjective optimiza- tion // Proceedings of the First IEEE Conference on Evolutionary Computation, IEEE World Congress on Computational Intelligence, IEEE Service Center, Piscataway, NJ, USA, 1994. — P. 82–87. 7. Zitzler, E., Thiele L. An evolutionary algorithm for multiobjective optimization: The strength Pareto ap- proach // Technical Report 43, Computer Engineering and Networks Laboratory (TIK), Swiss Federal Institute of Technology (ETH) Zurich, Gloriastrasse 35, CH-8092 Zurich, Switzerland, 1998. 8. Deb K., Pratap A., Agarwal S., Meyarivan T. A fast elitist multiobjective genetic algorithm: NSGA-II // IEEE Transactions on Evolutionary Computation. — 2002. — 6, N 2. — P. 182–197. 9. Руденко О.Г., Бессонов А.А. Идентификация нелинейных нестационарных объектов с по- мощью эволюционирующей радиально-базисной сети // Международный научно-техни- ческий журнал «Проблемы управления и информатики» — 2012. — № 4. — С. 5–14. 10. Jin Y., Branke J. Evolutionary optimization in uncertain environments — A survey // IEEE Tr. Evolutionary Computation. — 2005. — 5, N 3. — P. 303–317. 11. Eickhoff R., Rückert U. Pareto-optimal noise and approximation properties of RBF networks // Proceedings of ICANN. — 2006. — 1. — P. 993–1002. 12. Qasem S.N., Shamsuddin S.M., Zain A.M. Multi-objective hybrid evolutionary algorithm for radial basis function neural network design // Knowledge-Based Systems. — 2012. — 27. — P. 475–497. 13. Hampel F.R. The influence curve and its role in robust estimation // J. Amer. Statist. Assoc. — 1974. — 69. — P. 383–393. 14. Hampel F.R., Ronchetti E.M., Rousseeuw P.J., Stahel W.A. Robust statistics. The approach based on influence functions. — N.Y. : John Wiley and Sons, 1986. — 526 p. 15. Руденко О.Г., Бессонов А.А. Робастное обучение вейвлет-нейросетей // Международный научно- технический журнал «Проблемы управления и информатики». — 2010. — № 5. — С. 66–79. 16. Rudenko O., Bezsonov O. Function approximation using robust radial basis function networks // J. of Intelligent Learning Systems and Applications. — 2011. — 3. — P. 17–25. 17. Хьюбер П. Робастность в статистике. — М. : Мир, 1984. — 304 с. 18. Руденко О.Г., Бессонов А.А. М-обучение радиально-базисных сетей с использованием асимметричных функций влияния// Международный научно-технический журнал «Проб- лемы управления и информатики». — 2012. — № 1. — С. 79–93. 19. Rissanen J. A universal prior for integers and estimation by minimum description length // Ann. Statist. — 1983. — 11. — P. 416–431. 20. Rissanen J. Order estimation by accumulated prediction errors // Essay in Time Series and Allied Processes (Gani J. and Priestley H.B., eds) // J. Appl. Probab. — 1989. — 23 A. — P. 55–61. 21. Qian G., Künsch H.R. On model selection in robust linear regression // Research Report 80, ETH Zentrum, Zurich, 1996. — 33 p. 22. Qian G. Computing minimum description length for robust linear regression model selection // Pacific Symposium of Biocomputing, 1999: Big Island of Hawaii, USA. — 1999. — 4. — P. 314–325. 23. Akaike H.A. A new look at statistical model identification // IEEE Trans. on Automatic Control. — 1974. — 19. — P. 716–723. 24. Schwarz G. Estimating the dimension of model // Ann. Statist. — 1978. — 6. — P. 461–464. 25. Ronchetti E. Robustness aspects of model choice // Statistica Sinica. — 1997. — 7. — P. 327–338. 26. Ronchetti E. Robust model selection in regression // Statist. Probab. Lett. — 1985. — 3. — P. 21–23. 27. Machado J.A.F. Robust model selection and M-estimation // Econometrics Theory. — 1993. — 9. — P. 478-493. Получено 15.03.2013 Статья представлена к публикации акад. НАН Украины А.В. Палагиным.

Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей

Institution

Ähnliche Einträge