Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора
В статье предложен метод адаптивного синтеза радиально-базисных нейронных сетей для решения задач прогнозирования и идентификации. В предложенном методе использован алгоритм клонального отбора и внешние критерии. В статті запропоновано метод адаптивного синтезу радіально-базисних нейронних мереж для...
Збережено в:
| Опубліковано в: : | Індуктивне моделювання складних систем |
|---|---|
| Дата: | 2012 |
| Автор: | |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2012
|
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/45964 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора / В.И. Литвиненко // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2012. — Вип. 4. — С. 114-127. — Бібліогр.: 20 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859809329662656512 |
|---|---|
| author | Литвиненко, В.И. |
| author_facet | Литвиненко, В.И. |
| citation_txt | Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора / В.И. Литвиненко // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2012. — Вип. 4. — С. 114-127. — Бібліогр.: 20 назв. — рос. |
| collection | DSpace DC |
| container_title | Індуктивне моделювання складних систем |
| description | В статье предложен метод адаптивного синтеза радиально-базисных нейронных сетей для решения задач прогнозирования и идентификации. В предложенном методе использован алгоритм клонального отбора и внешние критерии.
В статті запропоновано метод адаптивного синтезу радіально-базисних нейронних мереж для розв'язання задач прогнозування та ідентифікації. В запропонованому методі використовується алгоритм клонального добору і зовнішні критерії.
In this paper, a method for the synthesis of adaptive radial basis neural networks for solving the problems of forecasting and identification is suggested. In the method we use the algorithm of clonal selection and external criteria.
|
| first_indexed | 2025-12-07T15:18:08Z |
| format | Article |
| fulltext |
Метод индуктивного синтеза
Індуктивне моделювання складних систем, випуск 4, 2012 114
УДК 621.8
МЕТОД ИНДУКТИВНОГО СИНТЕЗА РБФ НЕЙРОННЫХ СЕТЕЙ С
ПОМОЩЬЮ АЛГОРИТМА КЛОНАЛЬНОГО ОТБОРА
В.И. Литвиненко
Херсонский национальный технический университет,
73008, Херсон, Бориславське шоссе, 24,
immun56@gmail.com
В статті запропоновано метод адаптивного синтезу радіально-базисних
нейронних мереж для розв'язання задач прогнозування та ідентифікації. В
запропонованому методі використовується алгоритм клонального добору і
зовнішні критерії.
Ключові слова: індуктивне моделювання, алгоритм клонального добору,
радіально-базисні мережі, МГУА, зовнішні критерії
In this paper, a method for the synthesis of adaptive radial basis neural networks for
solving the problems of forecasting and identification is suggested. In the method we
use the algorithm of clonal selection and external criteria.
Keywords: inductive modeling, clonal selection algorithm, radial basis networks,
GMDH, external criteria.
В статье предложен метод адаптивного синтеза радиально-базисных нейронных
сетей для решения задач прогнозирования и идентификации. В предложенном
методе использован алгоритм клонального отбора и внешние критерии.
Ключевые слова: индуктивное моделирование, алгоритм клонального отбора,
радиально-базисные сети, МГУА, внешние критерии.
Введение
В последнее время большое внимание было направлено на разработку
гибридных методов системного моделирования. Данный интерес обусловлен
тем, что применение однородных методов, т.е. методов соответствующих
одной научной парадигме, для решения сложных проблем, далеко не всегда
приводит к успеху. В гибридной архитектуре, объединяющей несколько
парадигм, неэффективность одного подхода может компенсировать
преимуществом другого. Комбинируя различные подходы, можно обойти
недостатки, присущие каждому из них в отдельности. Интеграция и
гибридизация различных методов и информационных технологий позволяет
решать сложные задачи, которые невозможно решить на основе каких-либо
отдельных методов. При этом в случае интеграции разнородных
информационных технологий следует ожидать синергетических эффектов
более высокого порядка, чем при объединении различных моделей в рамках
одной технологии.
Литвиненко В.И.
Індуктивне моделювання складних систем, випуск 4, 2012 115
1. Гибридизация как метод повышение адаптивных способностей
вычислительных систем
Существующие методологии и алгоритмы моделирования нелинейных
системам сталкиваются с проблемами высокой размерности задач,
требованиями высокой точности и обобщающей способности полученных
моделей. Эти проблемы моделирования могут быть решены с помощью
индуктивных переборных и итерационных методов, которые основанные на
принципах селекции, эволюции и адаптации и носят название методов
эвристической самоорганизации [1]. К ним можно отнести также разного рода
эволюционные алгоритмы, индуктивные методы моделирования, нейронные
сети, генетические, роевые и иммунные алгоритмы.
На практике, однако, довольно трудно создать адекватную модель
сложного объекта при использовании только одного метода индуктивного
моделирования. Обычно необходимо объединять современные методы и
технологии эвристической самоорганизации, выполнять рециркуляцию,
применять методы многоуровневого моделирования и т.п. [2-4]. С целью
повышения точности и расширения горизонтов применения многими
специалистами были исследованы некоторые аспекты МГУА и предложены и
разработаны на их основе гибридные алгоритмы. Сейчас активно развивают
МГУА-подобные системы на основе многорядного алгоритма такие
отечественные и зарубежные ученые, как В.С. Степашко и Е.В. Бодянский
(Украина), П. Кордик (Чехия), Т. Кондо (Япония) и другие.
В [5] предложен метод построения архитектуры однонаправленной
нейронной сети с одновременной идентификацией весовых коэффициентов.
Предложенный алгоритм базируется на сочетании метода группового учета
аргументов и генетического алгоритма. В [6] предложен метод применения
генетического алгоритма для синтеза индуктивных моделей на основе метода
группового учета аргументов. В [7] описан разработанный авторами алгоритм,
сочетающий в себе многорядные и комбинаторные схемы самоорганизации
моделей. Авторы показали, что данный подход позволяет предотвратить
потерю существенных аргументов.
В [8] предложено в качестве функционалов для отбора использовать
внешние критерии МГУА при синтезе нейронных сетей, причем для разных
генетических операций с помощью различных функционалов. Генетические
алгоритмы также были совмещены с многорядным выбором по МГУА. Авторы
использовали данную методологию для синтеза нейронных сетей с различной
архитектурой: радиально-базисные сети, нейронные сети с обратными связями,
генетический алгоритм на основе внешних критериев для определения
структуры сети Хопфилда и сети Хемминга, определение структуры сети Коско
с применением многорядного алгоритма, выращивание сети Джордана по
алгоритму самоорганизации моделей, решение задачи моделирования
неизвестного объект при формировании сети Элмана с применением внешних
критериев МГУА.
Метод индуктивного синтеза
Індуктивне моделювання складних систем, випуск 4, 2012 116
В [9] предложен гибридный нейросетевой алгоритм, в котором нейронная
сеть состоит из двух частей – полиномиальной и радиально-базисной, причем
эти части обучаются независимо. В [10] описана методология построения на
основе МГУА гибридных самоорганизующихся нейросетей эволюционного
типа под названием GAME (Group of adaptive model evolution – эволюция групп
адаптивных моделей), разработанная в Чешском техническом университете в
Праге П. Кордиком. Описаны способы комбинирования и гибридизация
нишеподобных эволюционных алгоритмов и биологически инспирированных
алгоритмов оптимизации (генетического алгоритма, оптимизации роевых
частиц, муравьиных колоний и т.д.) для улучшения работы нейронной сети.
В [11] предложен модифицированный многослойный итерационный
алгоритм МГУА, в котором использованы операторы генетического алгоритма
с отбором и клонированием лучших нейронов. В [12] разработан новый метод
построения полиномиальной нейронной сети для решения задач
идентификации сложных динамических систем, базирующийся на сочетании
МГУА, оптимизации роевых частиц и генетического программирования. В [13]
предложены две архитектуры гибридных МГУА-нейронных сетей
вычислительного интеллекта: первая основана на Q-нейронах с оптимальным
алгоритмом обучения, вторая является МГУА-вэйвлет-нейронной сетью на
основе составного вэйвлона с алгоритмом обучения всех его параметров.
Алгоритм обладает как следящими, так и фильтрующими свойствами и
позволяет обрабатывать нестационарные временные ряды в реальном времени.
В реальных задачах моделирования большой размерности в условиях
неопределенности возникают проблемы потери информативных аргументов и
переусложнения модели. Для решения этих проблем в [14] был предложены
гибридные иммунные алгоритмы на основе клонального отбора, иммунной сети
и алгоритм программирования экспрессии генов, использующие для отбора
внешние критерии МГУА.
Существование большого количества вычислительных парадигм приводит
к идее о возможном объединении подходов с целью создания гибридов,
сочетающих в себе лучшие стороны различных парадигм. Появление
искусственных иммунных систем обусловило появление дальнейших
разработок в направлении их гибридизации с другими вычислительными
системами – например, с искусственными нейронными сетями,
эволюционными алгоритмами, нечеткими системами и т.п. [15]. Идея
гибридизации основывается на том факте, что большинство парадигм содержат
элементы, предварительное определение которых требуется для решения
каждой конкретной задачи. Особое место занимает проблема адаптивной
настройки параметров, таких как, например, вероятности применения
эволюционных операторов и т.д. Данные задачи по сути можно отнести к
классу комбинаторных, от успешного решения которых зависит эффективность
вычислительной системы в целом, и именно повышение эффективности
является целью объединения подходов.
Литвиненко В.И.
Індуктивне моделювання складних систем, випуск 4, 2012 117
2. Проблема адаптивного синтеза радиально-базисных нейронных сетей
В настоящее время ведутся активные исследования в области создания
гибридных интеллектуальных технологий и средств для выполнения
аналитических задач поддержки принятия решений. Гибридизация
интеллектуальных технологий при решении этих задач на основе принципа
«мягких вычислений» (Soft Computing) позволяет взаимно дополнять друг
друга, и, с одной стороны, компенсировать ограничения и недостатки,
присущие каждой из технологий в отдельности, а с другой – обеспечить
терпимость к частичной истинности используемых данных для достижения
интерпретируемости, гибкости и низкой стоимости решений [16].
Анализ исследований, проводимых в области гибридизации на основе
МГУА, показал, что исследователи ограничиваются использованием
полиномиальных нейронных сетей на основе генетических алгоритмов,
методов оптимизации частиц (PSO). Лишь в [8] авторы затронули более
широкий спектр архитектур нейронных сетей, используя для их синтеза
одновременно внешние критерии МГУА и генетические алгоритмы.
Проведённый нами анализ позволил на примере искусственных иммунных
систем выработать подход к систематизации гибридных моделей в
аналитических задачах [15,17] . В этих работах нам удалось, во-первых
предложить подход к представлению и упорядочить многообразие
существующих гибридных моделей на основе иммунных систем и, во-вторых,
рассмотреть конструктивные механизмы для создания и синтеза новых моделей
в аналитических задачах поддержки принятия решений. В данной работе мы
ставим цель разработать метод адаптивного синтеза радиально-базисных
нейронных сетей с помощью алгоритма клонального отбора в комбинации с
внешними критериями.
Формально задачу разработки гибридных систем можно представить как
ΚΑΜΣ= ,,,AIS ,
(1)
где Σ - множество способов изображения компонентов; Μ - множество
механизмов оценки; Α - множество процедур адаптации; Κ - множество
критериев оценки качества гибридной модели.
2.1. РБФ нейронные сети
Наиболее известными среди нейросетей, реализующих принцип
локальной аппроксимации, являются радиально-базисные нейронные сети, или
RBFN (от Radial Basis Function Network), в которых скрытые нейроны
реализуют функции, радиально изменяющиеся вокруг выбранного центра и
принимающие ненулевые значения только в окрестности этого центра. Блок-
диаграмма РБФ-сети представлена на рис. 1.
Метод индуктивного синтеза
Індуктивне моделювання складних систем, випуск 4, 2012 118
Рис. 1. Архитектура РБФ-сети
Радиально-базисные нейронные сети имеют достаточно простую
архитектуру и обладают высокой скоростью обучения.
РБФ-сеть состоит из входного, единственного скрытого (радиально-
базисного) и линейного (выходного) слоев. Входной слой состоит из сенсоров,
соединяющих сеть с внешней средой. Нейроны скрытого слоя действуют по
принципу центрирования на элементах обучающей выборки, где центры
представлены весовой матрицей ( rW ). В блоке (dist) происходит вычисление
Евклидового расстояния между входным вектором (X) и соответствующим
центром. Вокруг каждого центра существует область, называемая радиусом
(чувствительностью) сети, который корректируется при помощи вектора
коэффициентов сглаживания: ( )mσσ ...,,1 . Функция преобразования (обычно
Гауссова 2
2
2
)(
)( σ
−
−
=
cx
exf ), изменяющаяся в интервале от 0 до 1, определяет
выход скрытого слоя, который содержит обычные линейные или сигмоидные
нейроны, определяющие выход сети путем настройки весов ( lW ).
Поведение РБФ-сети во многом зависит от количества и положения
радиальных базисных функций скрытого слоя. Действительно, для любого
вещественного n-мерного входного вектора ( )nxxxx ...,,, 21= , где nXx ℜ⊂∈ ,
выход сети будет определяться следующим образом:
( )( )∑
=
σ=
m
k
k
r
kk
l
iki wxdistfwy
1
,, , (2)
где ll
ik Ww ∈ , pi ,1= - веса линейного слоя; rr
k Ww ∈ - центры радиально-
базисных функций. Если в качестве базисной используется функция Гаусса, то
Литвиненко В.И.
Індуктивне моделювання складних систем, випуск 4, 2012 119
2
2
2
),()(
k
r
k
k
wxdistxf
σ
−= , mk ,1= . (3)
2.2. Иммунный алгоритм клонального отбора
Алгоритм клонального отбора часто применяется для решения задач
оптимизации и распознавания образов, напоминающие параллельный алгоритм
с восхождением к вершине и генетический алгоритм без оператора
кроссинговера. В случае решения задачи оптимизации цель состоит в
нахождении оптимальных значений (минимумов или максимумов) некоторого
критерия 1 2( , , ..., ), , 1,l iy f x x x x X i l= ∈ = , где X – допустимое множество задачи. В
общем случае рассматриваются задачи многокритериальной оптимизации:
1 2( , , ..., ) ( )ny y y y min max= → , (4)
где 1 2( , , ..., ), 1,j j ly f x x x j n= = , n – количество критериев задачи. В зависимости
от условий задачи возможно отыскание глобального или локальных оптимумов.
В задачах оптимизации обобщенная форма антител представляет собой
вектор аргументов 1 2( , , ..., )lAb x x x= , а в качестве антигенов используются
сами критерии jy , выраженные в виде функций: 1 2( , , ..., )lAg f x x x= .
Значения аффинности jg вычисляются на основании значений критериев jy ,
отображенных во множество неотрицательных чисел, т.е.:
: , :f X F +→ℜ ℜ→ℜ . (5)
Таким образом, имеет место некоторая функция аффинности
( )1 2( , , ..., )ng F f x x x= , которая определяет степень соответствия индивидуумов
друг другу. В таких задачах мы не можем оперировать понятием расстояния,
так как оптимальные значения критериев нам заранее не известны, и,
следовательно, не известна максимально возможная степень соответствия
индивидуумов. Поэтому управление динамикой ИИС производится за счет
относительных значений аффинности или ранга индивидуумов совокупности.
Формально алгоритм клональной селекции можно представить в виде
( , , , , , , , , , , , , , , , )l k
AbCLONALG P G l k m f I AG AB S C M n dδ τ= , (6)
где lP – пространство поиска; kG – представление пространства; l – длина
вектора атрибутов (размерность пространства поиска); k – длина рецептора
антитела; Abm – размер популяции антител; δ - функция экспрессии; f –
функция аффинности; I – функция инициализации начальной популяции; τ -
условие завершения работы алгоритма; AG – подмножество антигенов; AB –
популяция антител; S – оператор селекции; C – оператор клонирования; M –
оператор мутации; n – число лучших антител, отбираемых для клонирования; d
– количество худших антител, подлежащих замене новыми.
Метод индуктивного синтеза
Індуктивне моделювання складних систем, випуск 4, 2012 120
Функция kl GP →:δ задает преобразование вариантов решений из lP в их
внутренние пространства ( kG ) в виде индивидуумов популяции (функция
экспрессии). Предполагается, что для каждого решения lPp∈ существует одно
и только одно его представления kGp ∈)(δ . Используя обобщенное
представление, можно ввести функцию аффинности +ℜ→× ll PPf : , и задача
состоит в ее максимизации. Принимая начальный размер популяции антител
( Abm ),можно ввести функцию инициализации в виде: ( )k
Ab
k GABmGI →×: .
Введем стохастический оператор Q преобразования на множестве kG ,
использующий множество QK для генерирования управляющих параметров,
определяющих способ преобразования на текущем шаге работы алгоритма.
Функциональный оператор Q может быть выражен так: k
Q
k GKGQ →×: .
Оптимальным решением k
opt GAb ∈ относительно оператора Q и антигена
kGAGAGAg ⊂∈ , называется индивидуум, аффинность которого может быть
увеличена при дальнейшем воздействии оператора преобразования Q , т.е.
( ) ( )AgAbfAgkAbQfKk optoptG ,),,(: ≤∈∀ .
Условие завершения (τ ) выполняется тогда, когда популяция антител
полностью распознает популяцию антигенов, то есть при условии
opt
k AbAbGAbAGAg =∈∃∈∀ |: . Оператор селекции S формирует
подмножество SG индивидуумов, чья аффинность является лучшей в данном
поколении. Таким образом, S вместе с управляющим множеством SG задает
функцию { }1,0: →× S
k KGS . В результате селекции образуется множество
{ } nGkAbSGAbG SS
k
S ==∈= ,1),(| . Оператор клонирования C увеличивает
представительство элементов множества SG в популяции и вместе с
управляющим множеством CK может быть записан так: k
M
k GKGM →×: .
Оператор мутации M с управляющей множеством имеет вид
( )k
d
k GABdGR →×: . Метадинамика системы выражена в виде функции
замещения худших антител популяции: ( )k
d
k GABdGR →×: .
Модель процесса преобразования состояний популяции антител с
помощью клональной процедуры можно представить в виде
последовательности операторов:
( ) ( ) ( )
( ) ( ) ,1+⎯⎯⎯⎯ →⎯⎯⎯⎯⎯⎯⎯⎯ →⎯
⎯⎯⎯⎯ →⎯⎯⎯⎯⎯⎯ →⎯⎯⎯⎯⎯ →⎯
t
dЗамещение
S
SселекцияПовторная
M
ММутация
C
СиеКлонирован
S
SСелекция
t
ABG
GGGAB
где t – номер поколения AB – популяция антител (детекторов); SG –
подмножество отобранных наилучших антител; CG – подмножество клонов;
MG – подмножество клонов после мутации.
Литвиненко В.И.
Індуктивне моделювання складних систем, випуск 4, 2012 121
2.3. Метод группового учёта аргументов
МГУА относится к методам самоорганизации моделей и представляет
собой семейство индуктивных алгоритмов для математического моделирования
мультипараметрических данных [19]. Метод дает возможность синтеза
математической модели исследуемого объекта по экспериментальным данным
путем рационального перебора многих вариантов с помощью ЭВМ [1-4].
Принцип самоорганизации состоит в том, что оптимальная модель должна
соответствовать минимуму предварительно выбранного внешнего критерия или
«ансамбля» критериев. Также основу метода составляют: а) принцип внешнего
дополнения: внешние критерии, основанные на новой информации, позволяют
получить истинную модель, скрытую в зашумленных данных; б) принцип
неокончательных решений: всякая сложная однорядная процедура может быть
заменена многорядной при условии сохранения достаточной «свободы выбора»
нескольких лучших решений от каждого предыдущего ряда.
Основываясь на этих двух принципах, МГУА позволяет синтезировать
единую модель оптимальной сложности по минимуму внешнего критерия
выбора. Главная особенность МГУА – индуктивный характер выбора модели
или системы моделей по указанным внешним критериям и последовательности
их применения. Многокритериальность, или применение некоторого
комбинированного критерия, обеспечивают регуляризацию, то есть
однозначность выбора. Алгоритмы МГУА отличаются друг от друга критерием
селекции, количеством промежуточных моделей и их сложностью. В то же
время классический метод МГУА обладает рядом недостатков:
- возможно явление вырожденности матрицы нормальных уравнений
Гаусса, что требует применения специальных методов регуляризации;
- метод дает точечную модель прогноза, а в ряде случаев желательно иметь
доверительный интервал, который характеризует точность прогноза.
2.4. Структуры и процессы для разработки гибридных моделей
Результаты сравнительного исследования достоинств и недостатков
каждой из этих технологий подробно рассмотрены в [15, 20] и коротко
представлены в Табл. 1. Из них следует, что методы на основе технологий
нейронных сетей (НС), генетических алгоритмов и иммунных сетей хорошо
решают задачи, связанные с обработкой неполных, неточных и недостоверных
данных. Нейронные сети обладают способностью обобщать разрозненные
сведения, поступающие из разных источников, обучаться и прогнозировать
возможное решение. Алгоритмы клонального отбора во многих случаях
позволяют найти наилучшее решение из множества возможных и обладают
высокими адаптационными свойствами. В свою очередь, алгоритмы МГУА
обладают высокой точностью прогноза, находят модели оптимальной
сложности, адекватные уровню шума в данных, гарантируют нахождение
наиболее точной или несмещенной модели.
Метод индуктивного синтеза
Індуктивне моделювання складних систем, випуск 4, 2012 122
Табл. 1
Результаты сравнительного анализа вычислительных парадигм [15,20]
Достоинства Недостатки и ограничения
Нейронные
сети (НС)
1. Высокая точность прогноза.
2. Адаптация к решаемой задаче.
3. Решение нестандартных задач.
4. Вместо программирования - обучение.
5. Извлечение знаний из данных
(реализация логики открытия).
6. Быстрая корректировка прогноза при
получении новых данных.
7. Высокая эффективность на
параллельных ЭВМ.
1. Отсутствие объяснительной
компоненты.
2. Большое время обучения.
3. Трудность формирования
топологии сети.
4. Коннекционистский подход к
формализации НС.
5. Необходимость большой
обучающей выборки.
6. Эвристичность обучения.
Искусственные
иммунные
системы
(Алгоритм
клонального
отбора)
1. Рассмотрение многих альтернативных
решений среди всех возможных.
2. Используют вероятностные модели
решения оптимизационных задач.
3 Использование количественной и
качественной информации.
4. Можно работать с нелинейностями.
5. Высокие адаптационные свойства.
6. Можно работать без комплементарной
компоненты выборки при обучении
системы для задач классификации.
7. Механизмы поддержки разнообразия
векторов решений в популяции для
локального и глобального поиска.
8. Возможность очистки и сжатия данных
при выявлении зависимостей.
9. Возможность получения робастных
решений за короткое время
1. Не гарантируют получения
оптимального решения ввиду
случайности генерации решений.
2. Высокая зависимость
производительности алгоритмов от
способов реализации иммунных
операторов и стратегий поиска
решений.
3. Трудность фиксирования
семантики получаемых решений и
отсутствие возможности
объяснения полученных
результатов.
4. Большое количество параметров
настройки.
5. Эвристичность параметров
алгоритмов обучения различных
типов ИИС.
Метод
группового
учета
аргументов
(МГУА)
1. Высокая точность прогноза при низкой
стоимости модели.
2. Устранение субъективных факторов при
построении модели.
4. Небольшой объем необходимой
эмпирической информации.
5. Возможность корректировки прогноза
при получении новых фактов.
6. Находится оптимальная сложность
модели, адекватная уровню шума.
7. Структура модели и ее параметры
находятся автоматически.
8. Нахождение наиболее точной или
несмещенной модели.
9. Возможность построения сложных
нелинейных зависимостей.
10. Автоматически выявляются
взаимосвязи в данных и выбираются
информативные входные переменные.
1. Отсутствие объяснительной
функции.
2. Не развивает интуицию
пользователя.
3. Невозможность построения
модели для случайного и
псевдослучайного поведения
объектов.
4.Эвристичность некоторых
процедур самоорганизации.
5. Возможна вырожденность
нормальных матриц, что требует
применения регуляризации.
6. Прогноз без доверительного
интервала, характеризующего
точность прогноза.
7. Повышение вычислительных
затрат при росте размерности
пространства признаков.
Литвиненко В.И.
Індуктивне моделювання складних систем, випуск 4, 2012 123
2.5. Синтез радиально-базисной нейронной сети
Согласно рис. 1, настраиваемыми параметрами являются: число нейронов
скрытого слоя (m); центры РБФ ( r
kw ); коэффициенты сглаживания ( kσ ); типы
базисных функций скрытого слоя; веса выходного слоя ( l
ikw ); тип
активационной функции выходного слоя; параметры активационной функции
выходного слоя (a). Структура индивидуума ИИС представлена на рис. 2.
f1 f2 … fm rw11 r
nw1
r
mnwr
mw 1… … … σmσ1 … lw1
l
mw … a
Рис. 2. Структура индивидуума (антитела) ИИС, кодирующего РБФ-сеть
Алгоритм клонального отбора имеет такие же особенности реализации,
как и алгоритм синтеза и обучения РБФ-сетей. В качестве целевой функции и
функции аффинности выбрана среднеквадратическая ошибка сети на
обучающих данных. Так как в данном случае решается задача минимизации
ошибки аппроксимации, то минимальное значение аффинности антитела будет
соответствовать максимально возможному значению ошибки. Типы базисных
функций и активационной функции линейного слоя задаются в качестве
параметров ИИС, основные из них представлены соответственно в Табл. 2 и 3.
Табл. 2
Типы используемых РБФ-функций
Тип РБФ функции Вид функции
1 Гауссова функция
( ) ( )
⎭
⎬
⎫
⎩
⎨
⎧ −
−=
2
2
2
exp
σ
cxxf
2 Мультиквадратическая функция
( ) ( ) 2
1
2
2
2
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
+
−
= acxxf
σ
3 Обратно-мультиквадратическая
( ) ( ) 2
1
2
2
2 −
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
+
−
= acxxf
σ
4 Функция Коши ( ) ( ) 11 −+= xxf
5 Сплайн-функция ( ) ( )xxxf log2=
Табл. 3
Функции активации, используемые в выходном слое
Логистическая функция
активации
Линейная функция
активации
Ступенчатая функция активации
( ) KZe
Zf −+
=
1
1
log ( )
constK
KzZf
=
= , ( )
⎩
⎨
⎧
<
≥
=
α
α
Zпри
Zпри
Zf
0
1
Метод индуктивного синтеза
Індуктивне моделювання складних систем, випуск 4, 2012 124
С учетом специфики радиально-базисных сетей, концептуальная схема
использования иммунных систем для синтеза и обучения радиально-базисных
сетей представлена на рис. 3.
Рис.3. Гибридный синтез РБФ нейронных сетей алгоритмом клонального
отбора с учетом внешних критериев
Литвиненко В.И.
Індуктивне моделювання складних систем, випуск 4, 2012 125
В разработанной программе мы реализовали подход, при котором
обучение и тестирование происходит при наличии трех выборок: обучающей,
проверочной (верификационной) и тестовой.
В качестве внешнего критерия в нашем алгоритме был использован
критерий регулярности. В данной реализации начальная выборка N делится на
обучающую подвыборку AN , на которой оцениваются параметры модели, и
проверочную подвыборку BN , на которой осуществляется выбор подходящей
модели. Критерий регулярности определяет среднеквадратичное отклонение
модели на проверочной последовательности:
( )
( )
min2
2
2 →
−
=Δ
∑
∑
∈
∈
B
B
Nt
t
Nt
t
M
t
y
yy
B
(7)
Принцип самоорганизации с использованием внешнего критерия состоит в
следующем. Пока система тренируется на обучающей выборке, ее ошибка
постепенно стремится к нулю. При этом ошибка системы на проверочной
выборке проходит через некоторое минимальное значение, в то время как
минимум ошибки на обучающей выборке отсутствует (рис. 4).
Количество
поколений
RMSE
Обучающая
выборка
Проверочная
выборка
Min
Рис. 4. Применение внешнего критерия при синтезе РБФ сети
Для реализации данного критерия в программу добавлено два новых
параметра: размер проверочной выборки и параметр исследования на
проверочной выборке только лучшего индивидуума текущего поколения, и как
альтернативный вариант исследуется вся популяция.
При использования внешнего критерия в конце каждого поколения в
зависимости от состояния параметра в случае использования только лучшего
индивидуума происходит испытание либо лучшего индивидуума, либо всей
популяции на проверочной выборке.
Метод индуктивного синтеза
Індуктивне моделювання складних систем, випуск 4, 2012 126
Ошибка этого испытания сравнивается с ошибкой предыдущего испытания
и если она оказывается меньше, то сохраняется структура того индивидуума,
который дал уменьшение ошибки. В конце работы алгоритма имеется
сохраненный индивидуум, оптимальный по двум выборкам.
Выводы. Разработан гибридный индуктивный метод структурно-
параметрического синтеза радиально-базисных нейронных сетей с помощью
алгоритма клонального отбора. Для получения адаптивных и устойчивых
моделей нейронных сетей использованы внешние критерии. Разработанный
метод предназначен для решения задач прогнозирования и идентификации.
ЛИТЕРАТУРА
1. Ивахненко А.Г. Долгосрочное прогнозирование и управление сложными
системами. — К.: «Техніка», 1975. – 311 c.
2. Ивахненко А.Г. Индуктивный метод самоорганизации моделей сложных
систем. — К.: «Наук. думка», 1982. – 296 c.
3. Ивахненко А.Г., Степашко В.С. Помехоустойчивость моделирования. —
К.: «Наук. думка», 1985. – 218 с.
4. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по
экспериментальным данным. — М.: «Радио и связь», 1987. – 120 c.
5. Е.Ф. Васечкина, В.Д. Ярин Формирование структуры полиномиальной
нейронной сети с помощью генетического алгоритма // Радіоелектроніка.
Інформатика. Управління. – №1. – 2003. – C.59 – 65.
6. Колос П.О. Генетичний алгоритм в методах синтезу індуктивних
моделей об’єктів довкілля / Науковий вісник Чернівецького університету.
2009. Випуск 446. Комп’ютерні системи та компоненти. – С.76 – 83.
7. Степашко В.С., Булгакова О.С., Зосімов В.В. Гібридні алгоритми
самоорганізації моделей для прогнозування складних процесів // Індуктивне
моделювання складних систем. Збірник праць, випуск 2. – Київ: МННЦ ІТС,
2010. – С. 236 – 246.
8. А.Н. Васильев, Д.А.Тархов Нейросетевое моделирование: Принципы.
Алгоритмы. Приложения. Санкт-Петербург: Издательство Политехнического
университета. 2009. – 527 с.
9. Усков А. А., Котельников С. А., Е. Грубник Е. М., Лаврушин В. М.
Гибридные нейросетевые методы моделирования сложных объектов:
Монография. – Смоленск: Смоленский филиал АНО ВПО ЦС РФ "Российский
университет кооперации", 2011. – 132 с.
10. Kordík P. GAME - Hybrid Self-Organizing Modeling System based on
GMDH. Springer-Verlag, Berlin, Heidelberg, Czech Technical University in Prague,
FEE, Dep. of Comp. Sci. and Computers, 2009.
Литвиненко В.И.
Індуктивне моделювання складних систем, випуск 4, 2012 127
11. Jirina M., Jirina M. Genetic Selection and Cloning in GMDH MIA Method
International Workshop on Inductive Modelling Proceedings [“IWIM 2007”],
(Prague, September 23-26, 2007), Prague: CTU. – P. 165-171.
12. Mark S. Voss, Xin Feng A new methodology for emergent system
identification using particle swarm optimization (PSO) and the group method of data
handling (GMDH)// in GECCO 2002: Proceedings of the Genetic and Evolutionary
Computation Conference, Morgan Kaufmann Publishers. – P. 1227—1232.
13. Bodyanskiy Ye., Pliss I., Vynokurova O. Hybrid GMDH-neural network of
computational intelligence // Proc. 3rd International Workshop on Inductive
Modelling, Poland, Krynica – 2009. – CD. – 8 p.
14. Литвиненко В.И. Искусственные иммунные системы как средство
индуктивного построения оптимальных моделей сложных объектов.//
Проблемы управления и информатики. – 2008. – №3. – С.30–42.
15. Литвиненко В.И. Гибридные искусственные иммунные системы и
мягкие вычисления (обзор) // Індуктивне моделювання складних систем – Зб.
наук. праць: Міжнародний науково-навчальний центр інформаційних
технологій та систем НАНУ. – Київ: МННЦ ІТС, 2009. - С. 125-131.
16. Борисов В.В. Гибридизация интеллектуальных технологий для
аналитических задач поддержки принятия решений // Нейрокомпьютеры:
разработка, применение, №8, 2011. – С.4-9.
17. Аверкин А.Н., Прокопчина С.В. Мягкие вычисления и измерения //
Интеллектуальные системы (МГУ), Т.2, вып. 1-4, 1997. - С.93 – 114.
18. Бідюк П. І. , Литвиненко, А.О.Фефелов Формалізація методів побудови
штучних імунних систем // Наукові вісті Національного технічного
університету України «Київський політехнічний інститут». – 2007. – № 1. – С.
29–41.
19. Мітюшкін Ю. І., Мокін Б. І., Ротштейн О. П. Soft Computing:
ідентифікація закономірностей нечіткими базами знань. Монографія. - Вінниця:
УНІВЕРСУМ-Вінниця, 2002. – 145с.
20. Комарцова Л.Г. Методы и модели в системах поддержки принятия
решений на начальном этапе проектирования распределенных вычислительных
систем // Конференция, посвященная 90-летию со дня рождения Алексея
Андреевича Ляпунова, Россия, Новосибирск, Академгородок, 8 - 11 октября
2001 года.
|
| id | nasplib_isofts_kiev_ua-123456789-45964 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | XXXX-0044 |
| language | Russian |
| last_indexed | 2025-12-07T15:18:08Z |
| publishDate | 2012 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| record_format | dspace |
| spelling | Литвиненко, В.И. 2013-06-21T08:53:17Z 2013-06-21T08:53:17Z 2012 Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора / В.И. Литвиненко // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2012. — Вип. 4. — С. 114-127. — Бібліогр.: 20 назв. — рос. XXXX-0044 https://nasplib.isofts.kiev.ua/handle/123456789/45964 621.8 В статье предложен метод адаптивного синтеза радиально-базисных нейронных сетей для решения задач прогнозирования и идентификации. В предложенном методе использован алгоритм клонального отбора и внешние критерии. В статті запропоновано метод адаптивного синтезу радіально-базисних нейронних мереж для розв'язання задач прогнозування та ідентифікації. В запропонованому методі використовується алгоритм клонального добору і зовнішні критерії. In this paper, a method for the synthesis of adaptive radial basis neural networks for solving the problems of forecasting and identification is suggested. In the method we use the algorithm of clonal selection and external criteria. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Індуктивне моделювання складних систем Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора Article published earlier |
| spellingShingle | Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора Литвиненко, В.И. |
| title | Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора |
| title_full | Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора |
| title_fullStr | Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора |
| title_full_unstemmed | Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора |
| title_short | Метод индуктивного синтеза РБФ нейронных сетей с помощью алгоритма клонального отбора |
| title_sort | метод индуктивного синтеза рбф нейронных сетей с помощью алгоритма клонального отбора |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/45964 |
| work_keys_str_mv | AT litvinenkovi metodinduktivnogosintezarbfneironnyhseteispomoŝʹûalgoritmaklonalʹnogootbora |