Коэволюционирующие нейронные сети прямого распространения

Запропоновано еволюційний алгоритм визначення архітектури нейронних мереж прямого розповсюдження та їх навчання, заснований на коеволюційних моделях кооперації і конкуренції з використанням алгоритмів кластеризації для розбиття основної задачі синтезу нейронної мережі на підзавдання, які вирішуються...

Повний опис

Збережено в:

Бібліографічні деталі
Дата:	2016
Автори:	Руденко, О.Г., Бессонов, А.А.
Формат:	Стаття
Мова:	Russian
Опубліковано:	Інститут кібернетики ім. В.М. Глушкова НАН України 2016
Назва видання:	Проблемы управления и информатики
Теми:	Методы обработки информации
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/208257
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Коэволюционирующие нейронные сети прямого распространения / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2016. — № 5. — С. 63-74. — Бібліогр.: 26 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	nasplib_isofts_kiev_ua-123456789-208257
record_format	dspace
spelling	nasplib_isofts_kiev_ua-123456789-2082572025-10-24T00:00:57Z Коэволюционирующие нейронные сети прямого распространения Нейронні мережі прямого розповсюдження, що коеволюціонують Coevolving feedforward neural networks Руденко, О.Г. Бессонов, А.А. Методы обработки информации Запропоновано еволюційний алгоритм визначення архітектури нейронних мереж прямого розповсюдження та їх навчання, заснований на коеволюційних моделях кооперації і конкуренції з використанням алгоритмів кластеризації для розбиття основної задачі синтезу нейронної мережі на підзавдання, які вирішуються в окремих субпопуляціях. Запропонований алгоритм реалізує середовище, що сприяє співробітництву та конкуренції популяцій, в яких кожна особина являє собою нейронну мережу прямого розповсюдження, а вся сукупність популяцій несе відповідальність за остаточне вирішення поставленого завдан ня. Результати імітаційного моделювання підтверджують ефективність запропонованого методу синтезу нейронних мереж прямого розповсюдження. An evolutionary algorithm of determining the architecture of feedforward neural networks and performing their training is proposed, based on the co-evolutionary models of cooperation and competition with using of clustering algorithms for partitioning the main problem of neural network synthesis into sub-tasks to be undertaken in certain sub-populations. The proposed algorithm implements an environment that is conducive to cooperation and competition of populations in which every individual is a feedforward neural network, and the totality of the populations is responsible for the final solution of the problem. The simulation results confirm the effectiveness of the proposed method of feedforward neural networks synthesis. 2016 Article Коэволюционирующие нейронные сети прямого распространения / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2016. — № 5. — С. 63-74. — Бібліогр.: 26 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/208257 519.71 10.1615/JAutomatInfScien.v48.i9.30 ru Проблемы управления и информатики application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Russian
topic	Методы обработки информации Методы обработки информации
spellingShingle	Методы обработки информации Методы обработки информации Руденко, О.Г. Бессонов, А.А. Коэволюционирующие нейронные сети прямого распространения Проблемы управления и информатики
description	Запропоновано еволюційний алгоритм визначення архітектури нейронних мереж прямого розповсюдження та їх навчання, заснований на коеволюційних моделях кооперації і конкуренції з використанням алгоритмів кластеризації для розбиття основної задачі синтезу нейронної мережі на підзавдання, які вирішуються в окремих субпопуляціях. Запропонований алгоритм реалізує середовище, що сприяє співробітництву та конкуренції популяцій, в яких кожна особина являє собою нейронну мережу прямого розповсюдження, а вся сукупність популяцій несе відповідальність за остаточне вирішення поставленого завдан ня. Результати імітаційного моделювання підтверджують ефективність запропонованого методу синтезу нейронних мереж прямого розповсюдження.
format	Article
author	Руденко, О.Г. Бессонов, А.А.
author_facet	Руденко, О.Г. Бессонов, А.А.
author_sort	Руденко, О.Г.
title	Коэволюционирующие нейронные сети прямого распространения
title_short	Коэволюционирующие нейронные сети прямого распространения
title_full	Коэволюционирующие нейронные сети прямого распространения
title_fullStr	Коэволюционирующие нейронные сети прямого распространения
title_full_unstemmed	Коэволюционирующие нейронные сети прямого распространения
title_sort	коэволюционирующие нейронные сети прямого распространения
publisher	Інститут кібернетики ім. В.М. Глушкова НАН України
publishDate	2016
topic_facet	Методы обработки информации
url	https://nasplib.isofts.kiev.ua/handle/123456789/208257
citation_txt	Коэволюционирующие нейронные сети прямого распространения / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2016. — № 5. — С. 63-74. — Бібліогр.: 26 назв. — рос.
series	Проблемы управления и информатики
work_keys_str_mv	AT rudenkoog koévolûcioniruûŝienejronnyesetiprâmogorasprostraneniâ AT bessonovaa koévolûcioniruûŝienejronnyesetiprâmogorasprostraneniâ AT rudenkoog nejronnímerežíprâmogorozpovsûdžennâŝokoevolûcíonuûtʹ AT bessonovaa nejronnímerežíprâmogorozpovsûdžennâŝokoevolûcíonuûtʹ AT rudenkoog coevolvingfeedforwardneuralnetworks AT bessonovaa coevolvingfeedforwardneuralnetworks
first_indexed	2025-11-24T10:41:14Z
last_indexed	2025-11-24T10:41:14Z
_version_	1849668009365340160
fulltext	© О.Г. РУДЕНКО, А.А. БЕССОНОВ, 2016 Международный научно-технический журнал «Проблемы управления и информатики», 2016, № 5 63 МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ УДК 519.71 О.Г. Руденко, А.А. Бессонов КОЭВОЛЮЦИОНИРУЮЩИЕ НЕЙРОННЫЕ СЕТИ ПРЯМОГО РАСПРОСТРАНЕНИЯ Введение В последнее время искусственные нейронные сети (ИНС) получили доста- точно широкое распространение при решении задач идентификации, прогнозиро- вания, управления, распознавания (речи, образов), классификации, сжатия и ко- дирования информации и т.д. Среди ИНС в первую очередь следует отметить такие сети прямого распро- странения, как многослойный персептрон (МП) и радиально-базисные сети (РБС), использующие соответственно аппроксимации нелинейного оператора )(f вида ,]]]...]))([( [)[()[()(ˆ T 1 112T11T q qqqqq bbkxWffWfWfkf    (1) ),(),,(Ф)(ˆ T 0 1 0 kWwcxwwkf N i iiii    (2) где iW — вектор весовых параметров нейронов i-го слоя сети; ][if — активаци- онная функция (АФ) i-го слоя; )(kx — вектор входных сигналов; bi — смещение i-го нейрона; )(k — вектор выбранных базисных функций (БФ); iic , — цент- ры и радиусы БФ соответственно; k — дискретное время. Использование ИНС требует решения двух проблем. Первая — определе- ние оптимальной архитектуры сети и оптимальных значений ее параметров. Она несколько упрощается в случае использования РБС (2), так как данный тип сетей содержит лишь один скрытый слой, и задача определения структуры сводится к нахождению его оптимального количества нейронов. При этом количество нейро- нов данного слоя не может превышать число различных входных векторов обуча- ющей выборки. В случае же использования МП (1) необходимо определять как ко- личество скрытых слоев, так и число нейронов каждого слоя. Обычно решение за- дачи определения структуры ИНС осуществляется с помощью какого-либо информационного критерия (например, Акаике или Шварца), позволяющего найти некий компромисс между сложностью сети и точностью решений поставленной за- дачи [1, 2]. Вторая проблема — нахождение оптимальных значений параметров сетей, также решается по-разному для МП и РБС. Для МП обычно используется алго- ритм обратного распространения ошибки, реализующий сложные в вычислитель- ном отношении градиентные алгоритмы, а в РБС для настройки весовых парамет- ров, центров и дисперсий (радиусов) применяются как градиентные алгоритмы, так и относительно простые алгоритмы кластеризации [3], которые обычно не 64 ISSN 0572-2691 дают возможности определить оптимальное количество нейронов скрытого слоя, а позволяют найти лишь некоторое локально-оптимальное решение. Обе проблемы эффективно решаются с помощью эволюционных алгорит- мов (ЭА) [4, 5], позволяющих, кроме того, оптимизировать объем обучающей вы- борки, что обеспечивает уменьшение размерности решаемой задачи путем выбора оптимальных подмножеств данных, используемых для обучения сети. Следует отметить, что в последнее время указанные задачи все чаще стре- мятся решать одновременно с помощью коэволюционирующих адаптивных си- стем, т.е. систем, состоящих из разнообразных эволюционирующих групп особей, которые действуют совместно для выполнения сложных вычислений или выра- ботки совместного эффективного поведения. Подобные системы широко распро- странены в природе, в социальных системах (экономических и политических) и в искусственных адаптивных системах (нейронных, иммунных и др.). Отличительные особенности коэволюционирующих систем заключаются в следующем: во-первых, популяции могут иметь разный размер; во-вторых, эво- люция в разных популяциях может проходить на основе различных алгоритмов; в-третьих, альтернативные решения из разных популяций могут использоваться для решения задач, отличающихся физической размерностью [6]. Взаимодействие между различными популяциями может приводить к двум основным формам коэволюционирующих систем: — системы, в которых реализуется кооперативное поведение (каждое дей- ствие сформулировано на базе консенсуса особей на основе сотрудничества); — системы, в которых реализуется конкурентное поведение (каждое действие формулируется одной особью, выбранной по конкурсу для решения текущей задачи). В области искусственных адаптивных систем представлены оба типа поведе- ния. Типичные ИНС характеризуются, как правило, кооперативным поведением благодаря суммированию в выходном слое сигналов, поступающих со скрытых слоев нейронов. В самоорганизующихся ИНС (например, в сети Кохонена) реализу- ется конкурентное поведение с помощью механизма разрешения конфликтов, обес- печивающего выбор лишь одного победителя в любой ситуации (winner takes all). Важно отметить, что оба типа систем (на основе сотрудничества и конкурен- ции) могут нуждаться в коэволюции. Даже в конкурентной системе нескольким элементам может потребоваться совместное существование и взаимная коэволю- ция для формирования полного набора действий. Необходимо, тем не менее, от- метить, что структуры, возникающие в кооперативных системах, могут суще- ственно отличаться от тех, которые развиваются в конкурентных системах [7]. Кооперативная коэволюция [8] предполагает разбиение основной задачи на несколько меньших подзадач, для решения которых использует стандартную эво- люционную оптимизацию в целях постепенного решения основной проблемы. При этом подзадачи рассматриваются как особи или модули и представляются в виде субпопуляций. Каждая субпопуляция эволюционирует отдельно и их со- трудничество осуществляется только при оценке фитнеса для соответствующих особей в каждой субпопуляции. Одной из основных причин использования кооперативной коэволюции в ИНС является то, что она обеспечивает более разнообразные решения по сравне- нию с другими ЭА, основанными на одной популяции [9]. При этом, однако, воз- никает серьезная проблема разложения задачи на подзадачи, обусловленная необ- ходимостью объединения в группы взаимодействующих компонент в целях ми- нимизации взаимодействия между субпопуляциями [10]. В ИНС разложение задачи на подзадачи осуществляются на уровне синапсов [11] и на уровне нейро- нов [10]. При разложении на уровне нейронов число субкомпонент равно общему Международный научно-технический журнал «Проблемы управления и информатики», 2016, № 5 65 числу скрытых и выходных нейронов [12]. Субкомпоненты при таком подходе об- разуют субпопуляции. Пригодность каждой особи для конкретной популяции оце- нивается совместно с недоминирующими особями из других субпопуляций [13]. Эти методы разложения задачи показали свои сильные и слабые стороны при реше- нии различных типов задач с помощью нейронных сетевых архитектур. В данной статье предлагается эволюционный алгоритм определения архитек- туры нейронных сетей прямого распространения и их обучения, основанный на стратегиях кооперации и конкуренции. Алгоритм обучения реализует среду, спо- собствующую сотрудничеству и конкуренции популяций, в которых каждая особь представляет собой ИНС прямого распространения, а вся совокупность популя- ций несет ответственность за окончательное решение поставленной задачи. Многокритериальный метод обучения ИНС на основе кооперативной коэволюции Большое количество многокритериальных задач оптимизации (оптимизация функций больших масштабов, обучение глубоких нейронных сетей, обучение ре- куррентных нейронных сетей) привело к появлению множества их оптимальных решений, известных как Парето-оптимальные [14–16]. Среди решений, лежащих в Парето-оптимальном фронте, называемых недоминирующими, ни одно не являет- ся лучше остальных с учетом всех целевых функций [17]. Любое недоминирую- щее решение в рамках Парето-оптимального набора можно улучшить по какой- либо целевой компоненте лишь путем ухудшения, по крайней мере, одной из остальных его целевых составляющих [18]. Рассмотрим более подробно многокритериальный коэволюционный метод обучения нейронных сетей на основе кооперации. При таком подходе каждая нейронная сеть обучается с учетом нескольких целей (например, точность и сложность сети). Решения, приемлемые для обеих целей, переносятся и сохраня- ются. При кооперативной коэволюции лучшие особи используются как предста- вители своей субпопуляции, а особи, оставшиеся внутри субпопуляции, ранжи- руются в соответствии со значением их фитнес-функций. Кооперативная оценка особи в субпопуляции осуществляется путем объеди- нения данной особи со случайными недоминирующими особями в остальных субпопуляциях. Затем особь оценивается для каждой заданной цели. После оце- нивания всех особей в пределах субпопуляций оценивается вся субпопуляция и определяются ее недоминирующие особи (по аналогии с NSGA-II [12]). Во время первой итерации, когда недоминирующие особи неизвестны, особи оцениваются путем объединения со случайными особями из других субпопуляций. Цикл за- вершается, когда все субпопуляции эволюционировали. После этого происходит их переоценка в целях проведения оценки новых особей, возникших в процессе эволюции. Следует отметить, что для МП и РБС подходы к разбиению сети на субпопу- ляции несколько отличаются. Детально процесс разбиения глобальной задачи многокритериального обучения МП на подзадачи, решаемые в отдельных субпо- пуляциях и оценки их пригодности, поясняется на рис. 1, на котором представлен общий вид всех субпопуляций в рамках коэволюции на основе кооперации [19]. В начале работы алгоритма каждая особь в субпопуляции стремится миними- зировать каждую из целей фитнес-функции. Для оценки пригодности особи она объединяется со случайными недоминирующими особями из остальных субпопу- ляций. Затем все особи объединяются для формирования общего решения. Вы- бранные особи из субпопуляций объединяются, формируя общую хромосому (ге- нотип) и отображаются в нейронную сеть (фенотип). Затем полученная ИНС оце- нивается с учетом различных целей. После этого значение фитнес-функции полученной результирующей сети участвует в вычислении фитнес-функций тех 66 ISSN 0572-2691 особей (представителей субпопуляций), которые принимали участие в формиро- вании данной сети. Затем весь процесс начинается снова для следующей особи. Популяция 1 Популяция 2 Популяция N Фитнес 1 Фитнес M Фитнес 1 Фитнес M Фитнес 1 Фитнес M Фитнес 1 Представитель субпопуляции Генотип Фенотип Слой 1 Слой 2 Слой L Слой 1 x1 xM y1 yk x1 xM y1 yk МП РБС i-й нейрон i-й нейрон Фитнес M 5b 1,iw ib 0/1 i 2,iw 1,5w 2,5w 1,1w 1b 0/1 1 2,1w 0w 0/1 BF iw i i Рис. 1 Следует отметить, что для всех типов сетей во всех субпопуляциях исполь- зуются общие эволюционные процедуры (инициализация популяции, оценка по- пуляции, селекция, скрещивание, мутации), а различия заключаются лишь в спо- собе кодирования структуры и параметров той или иной ИНС в виде хромосомы (см. рис. 1) [20–22]. Схема работы такого эволюционного алгоритма настройки ИНС приведена на рис. 2. Международный научно-технический журнал «Проблемы управления и информатики», 2016, № 5 67 Начало g  0 Инициализация популяции Оценка популяции Критерий останова? Критерий останова? Селекция Скрещивание Мутации g  g  1 Да Да Нет Нет Использование структуры и весовых параметров лучшей особи Вычисление выходного сигнала Вычисление ошибки идентификации Конец Настройка весовых параметров с помощью градиентного алгоритма Рис. 2 Многокритериальный метод обучения ИНС на основе конкурентной коэволюции Рассмотрим алгоритм обучения ИНС на основе конкурентной коэволюции [23]. В нем можно выделить следующие основные шаги. 1. Инициализация. Создается N популяций, состоящих из m особей (ИНС) каждая. Каждая популяция },...,,{ 21 mi HHHP  инициализируется случайным образом. При этом каждая особь в популяции получает свое уникальное описание, закодированное в хромосоме },...,,,{ 21 Ljjjj hhhH  которая состоит из L генов, где ][ maxminwwhij  — значение i-го гена j-й хромосомы min(w — минимальное, и maxw — максимальное допустимые значения соответственно). Следует отме- тить, что длина хромосомы зависит от размерности аппроксимируемой функции и максимально допустимого количества нейронов. 2. Первый шаг эволюции. Все N популяций обучаются на полном наборе входных сигналов. 3. Ранжирование. Все N⋅m особей ранжируются (от 0 до N⋅m −1) в зависи- мости от их фитнеса Fi, i = 0,…, N m −1, вычисленного во время обучения. Ран- жирование популяций выполняется на основе фитнеса первых M особей после индивидуального ранжирования при M ≥ m. M будет отличаться от m только тог- да, когда Fm=Fm −1, в этом случае при ранжировании необходимо учесть все осо- би, имеющие одинаковый фитнес Fm−1=Fm =…= FM −1. 4. Присвоение коэффициентов доверия. Каждой из M особей присваивает- ся коэффициент, вычисляемый следующим образом: ,/)( MlM i e  i = 0,…, m −1. Если k особей имеют одинаковый фитнес Fj, Fj+1,…, Fj +k−1 с 0 ≤ j, j + k − 1 ≤ M − 1, им будет присвоен одинаковый коэффициент доверия: . 1 1 0 /)(              k l MlMe k Каждой из N популяций присваивается коэффициент доверия, эквивалентный сумме коэффициентов доверия, присвоенных ее особям. Следует отметить, что 68 ISSN 0572-2691 если популяция не имеет своих представителей среди M лучших особей, ей при- сваивается коэффициент доверия, равный 0. 5. Проверка критерия исключения популяции. Если ранг популяции не изменялся в течение предыдущих D эпох, то популяция исключается на шесть шагов, в противном случае осуществляется переход к шагу 2. Для ускорения про- цесса обучения D уменьшается на 1 каждые P итераций (параметры D и P задают- ся на этапе инициализации алгоритма). Возможен также подход, при котором че- рез каждые D шагов исключается популяция с наименьшим рейтингом независи- мо от того, менялся он на последних итерациях или нет. 6. Исключение популяции. Если выполняется критерий исключения попу- ляции, то геномы особей исключаемой популяции распределяются между остав- шимися N −1 популяциями. После уменьшения N на единицу алгоритм продолжа- ет работу с шага 2, если N > 1, до тех пор, пока не останется лишь одна популя- ция, состоящая из N⋅m особей. Оставшаяся популяция обучается до выполнения условия останова. Особенности решения задачи многокритериального обучения при использовании РБС При многокритериальном обучении сети РБС происходит два основных про- цесса, аналогичных обучению МП: нейроны (БФ) внутри субпопуляций конкури- руют за право принимать участие в формировании результирующей нейронной сети, и отобранные нейроны осуществляют стратегию сотрудничества при гене- рации конечного решения. Для оценки роли каждого нейрона (БФ) в кооперативно-конкурентной среде требуется некоторый механизм их оценки. Для этого в работе [1] предлагается определить следующие три параметра: вклад — ai, ошибку — ei и перекрытие — oi. Вклад ai для i-й РБС i (i = 1... m) определяется с учетом ее веса wi и количе- ства образцов обучающей выборки, находящихся внутри ее рецептивного поля, определяемого радиусом σi. РБС с небольшим значением веса и небольшим коли- чеством входных сигналов внутри этого рецептивного поля будет соответственно вносить несущественный вклад в общий результат сети:        случае, противном в)/( ; если, qw qw a ii ii i где q — среднее значение всех σi минус их стандартное отклонение. Измерение параметра ошибки ei каждой БФ (нейрона) основано на подсчете всех ошибок при обработке обучающих пар внутри ее рецептивного поля: . )( 1 2* N yy e N j jj i     Здесь * jy и jy — соответственно желаемое и реальное значения выходного сигнала сети; N — количество обучающих пар внутри рецептивного поля i-й БФ (нейрона). Степень перекрытия i-й БФ i остальными БФ характеризуется парамет- ром oi, вычисляемым следующим образом: Международный научно-технический журнал «Проблемы управления и информатики», 2016, № 5 69 ; 1    M j iji oo                  случае, противном в0 ; если,1 iji i ji ij d do где ijo определяет степень перекрытия i-й БФ i с j-й .j На рис. 3 показан пример перекрывающихся (а) и неперекрывающихся (б) БФ (крестиками обозначены поступающие на сеть входные сигналы). Следует от- метить, что стремление минимизировать степень перекрытия БФ может, с одной стороны, приводить к повышению точности работы сети, но с другой — к увели- чению количества нейронов скрытого слоя. 1 0 – 1 0 1 1 0 – 1 1 0 – 1 0 1 1 0 – 1 а б Рис. 3 Многокритериальное обучение ИНС с использованием алгоритмов кластеризации Существует также несколько иной подход к многокритериальному обучению ИНС. Он основан на разбиении пространства входных сигналов на кластеры на ос- нове некоторого алгоритма кластеризации и многокритериальном обучении суб- популяций ИНС в каждом полученном кластере. Особи-победители в каждой субпопуляции избираются для формирования конечного решения. Т. Кохонен предложил ряд алгоритмов решения задачи кластеризации, наиболее эффективный из них — оптимальный алгоритм векторного квантования OLVQ [24, 25]. Применение данного алгоритма позволяет разбить множество векторов х размерности N 1 на конечное число классов M, M < N, каждому из которых при- сваивается свой код (назначается опорный представитель) ).,1( Мiwi  Множество всех iw образует кодовое множество (кодовую книгу) классификатора. Векторное квантование осуществляется по методу «ближайшего соседа», причем под «ближайшим» понимается вектор, удовлетворяющий различным тре- бованиям. Если в качестве такового выбирается вектор, находящийся от данного на минимальном евклидовом расстоянии, имеем классификатор, называемый в литературе Voronoi-классификатор [26]. При предъявлении подлежащего распознаванию входного образа jx выдается представитель iw того класса, к которому относится .jx Границы между клас- сами образуют медиатриссы между опорными преставителями. Моделирование Эксперимент 1. Решалась задача аппроксимации нелинейной функции «Сомбреро» , )(001,01 5,0sin 5,0),( 22 222 yx yx yxf    (3) 70 ISSN 0572-2691 где x, y — входные переменные, которые представляли собой стационарную случайную последовательность с равномерным законом распределения в ин- тервале [– 5, 5], генерируемую датчиком случайных чисел. При решении данной задачи использовалась следующая стратегия коопера- тивно-конкурирующей коэволюции. Было создано 20 популяций, каждая из кото- рых содержала по 10 особей (РБС), максимально допустимое количество нейро- нов в каждой сети было ограничено 25. Все популяции решали задачу аппрокси- мации в полном объеме без взаимодействия между собой, конкурируя лишь за вычислительные ресурсы и ресурсы памяти. Первые 100 эпох популяции эволю- ционировали без внешнего вмешательства, затем в каждой из 25-ти эпох происхо- дило удаление худшей популяции с наибольшим значением фитнес-функции. Освободившиеся ресурсы перераспределялись между оставшимися популяциями (увеличивалась их численность и количество мутировавших потомков). Кроме то- го, лучшая особь из удаляемой популяции клонировалась во все оставшиеся по- пуляции для поддержания их разнообразия и устранения риска потери полезной информации, полученной в результате эволюции удаляемой популяции. Начиная с 575-й эпохи эволюционировала лишь одна популяция, состоящая из 55 особей, которая получила полный доступ ко всем имеющимся у алгоритма ресурсам. Пос- ле достижения критерия останова (1000 эпох обучения) из хромосомы (генотип) лучшей особи оставшейся популяции была образована РБС (фенотип), которая и получила право решать задачу аппроксимации функции (3). Данная сеть содержа- ла 19 нейронов (7 с гауссовской БФ и 12 с БФ «мексиканская шляпа»). На рис. 4, а показана поверхность, описываемая уравнением (3), а на рис. 4, б — поверхность, восстановленная с помощью эволюционной РБС. На рис. 5 приведены графики изменения значения фитнесс-функций наилучших особей каждой из популяций. 5 0 – 5 0 5 1,5 0 – 5 5 0 – 5 0 5 1,5 0 – 5 а б Рис. 4 1 0 5 10 500 1000 Рис. 5 Эксперимент 2. В данном эксперименте задача аппроксимации функции (3) решалась с помощью иной кооперативно-конкурентной стратегии, заключающей- ся в параллельной эволюции множества популяций, решающих различные подза- дачи идентификации. Для этого пространство входных сигналов разбивалось на кластеры с помощью дополнительной популяции, отвечающей за настройку цент- Международный научно-технический журнал «Проблемы управления и информатики», 2016, № 5 71 ров кластеров с помощью ЭА. Было задано 25 кластеров, начальные значения центров которых задавались двумя способами: случайным распределением и рав- номерным. Задачу аппроксимации в каждом кластере решала отдельная популя- ция РБС. После 500 эпох обучения конечное решение было сформировано с по- мощью особей-победителей в каждом кластере. Результаты аппроксимации функ- ции (3) с различным подходом к выбору начальных значений центров кластеров представлены на рис. 6, 7. На рис. 6 показаны графики изменения фитнес-функ- ций сетей-победителей в каждой популяции для случайного и равномерного зада- ния начальных значений центров кластеров соответственно. На рис. 7, а, б приве- дены восстановленные поверхности, а на рис. 7, в, г — результирующее разбиение пространства входных сигналов на кластеры. Как видно из результатов экспери- ментов, для данного случая начальное равномерное распределение пространства входных сигналов на кластеры дает лучшие результаты, однако в общем случае рекомендуется все же использовать случайное разбиение, так как зачастую вид аппроксимируемой функции неизвестен. 0 0 5 15 500 1000 10 0 0 250 500 1 2 а б Рис. 6 5 0 – 5 0 5 1,5 – 0,5 – 5 5 0 – 5 1,5 – 0,5 – 5 5 0 а б 5 0 – 5 5 0 – 5 5 0 – 5 5 0 – 5 в г Рис. 7 Эксперимент 3. В данном эксперименте проводилась аппроксимация функ- ции Катковника при :]5,2;5,2[yx, .))5,3(cos)5(cos8,0)(cos)5,1(cos8,06,1)((5,0),( 22 yxyxyxyxF  (4) 72 ISSN 0572-2691 Все параметры эксперимента идентичны эксперименту 2. Отличие заключа- ется в том, что в качестве ИНС вместо РБС использовался МП c двумя скрытыми слоями, содержащими не более 20 нейронов с сигмоидальными функциями акти- вации каждый. Результаты аппроксимации функции (4) приведены на рис. 8. 0 – 2,5 0 2,5 12 – 2 2,5 – 2,5 0 – 2,5 0 2,5 12 – 2 2,5 – 2,5 а б 2,5 0 – 2,5 2,5 0 – 2,5 2,5 0 – 2,5 2,5 0 – 2,5 в г Рис. 8 Заключение Как свидетельствуют результаты исследования, применение коэволюционно- го подхода в сетях прямого распространения — достаточно эффективный ин- струмент, позволяющий, во-первых, решать более сложные задачи, во-вторых, получать более простые структуры ИНС за счет уменьшения количества нейро- нов, в-третьих, значительно повышать робастность получаемой при этом сети по сравнению с решениями, основанными на одиночной ИНС. При использовании же векторного квантования для разбиения основной за- дачи на подзадачи открытым остается вопрос о выборе количества кластеров и начальных значений их центров. Наличие информации об аппроксимируемой функции позволяет несколько упростить решение этой задачи. О.Г. Руденко, О.О. Безсонов НЕЙРОННІ МЕРЕЖІ ПРЯМОГО РОЗПОВСЮДЖЕННЯ, ЩО КОЕВОЛЮЦІОНУЮТЬ Запропоновано еволюційний алгоритм визначення архітектури нейронних ме- реж прямого розповсюдження та їх навчання, заснований на коеволюційних моделях кооперації і конкуренції з використанням алгоритмів кластеризації для розбиття основної задачі синтезу нейронної мережі на підзавдання, які вирі- шуються в окремих субпопуляціях. Запропонований алгоритм реалізує середо- вище, що сприяє співробітництву та конкуренції популяцій, в яких кожна осо- бина являє собою нейронну мережу прямого розповсюдження, а вся сукупність популяцій несе відповідальність за остаточне вирішення поставленого завдан- Международный научно-технический журнал «Проблемы управления и информатики», 2016, № 5 73 ня. Результати імітаційного моделювання підтверджують ефективність запро- понованого методу синтезу нейронних мереж прямого розповсюдження. O.G. Rudenko, A.A. Bezsonov COEVOLVING FEEDFORWARD NEURAL NETWORKS An evolutionary algorithm of determining the architecture of feedforward neural networks and performing their training is proposed, based on the co-evolutionary models of cooperation and competition with using of clustering algorithms for parti- tioning the main problem of neural network synthesis into sub-tasks to be undertaken in certain sub-populations. The proposed algorithm implements an environment that is conducive to cooperation and competition of populations in which every individual is a feedforward neural network, and the totality of the populations is responsible for the final solution of the problem. The simulation results confirm the effectiveness of the proposed method of feedforward neural networks synthesis. 1. Perez-Godoy M.D., Rivera A.J., Berlanga F.J., Del Jesus M.J. CO2RBFN: an evolutionary coop- erative–competitive RBFN design algorithm for classification problems // Soft Computing. — 2010. — N 14. — P. 953–971. 2. Chen S, Billings S.A., Cowan C.F.N., Grant P.W. Practical identification of normax models using radial basis functions // Int. J. Control. — 1990. — I, N 52(6). — P. 1327–1350. 3. Pedrycz W. Conditional fuzzy clustering in the design of radial basis function neural networks // IEEE Trans. on Neural Networks. — 1998. — N 9(4). — P. 601–612. 4. Yao X. A review of evolutionary artificial neural networks // Int. J. Intell. Syst. — 1993. — N 8(4). — P. 539–567. 5. Yao X. Evolving artificial neural networks // Proc. of the IEEE. — 1999. — 87, N 9. — P. 1423–1447. 6. Зинченко Л.А., Сорокин С.Н. Коэволюция в методах вычислительного интеллекта // Двена- дцатая национальная конференция по искусственному интеллекту с международным уча- стием КИИ-2010 (20–24 сентября 2010 г., г. Тверь, Россия): Труды конференции. — М. : Физматлит, 2010. — 4. — С. 97–104. 7. Smith R.E., Brown Cribbs III H. Cooperative versus competitive system elements in coevolution- ary systems // Proc. of the Fourth International Conference on Simulation of Adaptive Behavior, North Falmouth, MA (USA). — Cambridge, MA : MIT Press. — 1996. — P. 9–13. 8. Chand S., Chandra R. Cooperative coevolution of feedforward neural networks for financial time series problem // Int. Joint Conf. on Neural Networks (IJCNN), Beijing, China. — 2014. — P. 202–209. 9. Potter M.A., De Jong K.A. Cooperative coevolution: An architecture for evolving coadapted sub- components // Evol. Comput. — 2000. — 8, N 1. — P. 1–29. 10. Chandra R., Frean M., Zhang M. On the issue of separability for problem decomposition in coop- erative neuro-evolution // Neurocomputing. — 2012. — 87. — P. 33–40. 11. Gomez F., Schmidhuber J., Miikkulainen R. Accelerated neural evolution through cooperatively coevolved synapses // J. Mach. Learn. Res. — 2008. — 9. — P. 937–965. 12. Chandra R., Frean M., Zhang M. An encoding scheme for cooperative coevolutionary feedfor- ward neural networks // AI 2010: Advances in Artificial Intelligence, ser. Lecture Notes in Com- puter Science. — Berlin, Heidelberg : Springer, 2010. — 6464. — P. 253–262. 13. Potter M.A., De Jong K.A. A cooperative coevolutionary approach to function optimization // PPSN III: Proc. of the Int. Conf. on Evolutionary Computation. The Third Conf. on Parallel Prob- lem Solving from Nature. London, UK : Springer-Verlag, 1994. — P. 249–257. 14. Deb K., Pratap A., Agarwal S., Meyarivan T. A fast and elitist multiobjective genetic algorithm: Nsga-II // IEEE Trans. on Evolutionary Computation. — 2002. — 6. — P. 182–197. 15. Руденко О.Г., Бессонов А.А. Многокритериальная оптимизация эволюционирующих сетей прямого распространения // Международный научно-технический журнал «Проблемы управления и информатики». — 2014. — № 6. — С. 29–41. 16. Руденко О.Г., Бессонов А.А. Робастная многокритериальная идентификация нелинейных объектов на основе эволюционирующих радиально-базисных сетей // Там же. — 2013. — № 5. — С. 22–32. 74 ISSN 0572-2691 17. Dorronsoro B., Danoy G., Nebro A., Bouvry B. Achieving superlinear performance in parallel multi-objective evolutionary algorithms by means of cooperative coevolution // Computers and Operations Research. — 2013. — 40. — P. 1552–1563. 18. Goh C.K., Tan K.C., Liu D.S., Chiam S.C. A competitive and cooperative co-evolutionary ap- proach to multi-objective particle swarm optimization algorithm design // European J. of Opera- tional Research. — 2010. — 202. — P. 42–54. 19. Tulai A.F., Oppacher F. Combining competitive and cooperative coevolution for training cascade neural networks // Proc. of the Genetic and Evolutionary Computation Conf. — New York, 2002. — P. 618–625. 20. Руденко О.Г., Бессонов А.А. Робастная нейроэволюционная идентификация нелинейных не- стационарных объектов // Кибернетика и системный анализ. — 2014. — № 1. — С. 11–20. 21. Руденко О.Г., Бессонов А.А. Идентификация нелинейных нестационарных объектов с по- мощью эволюционирующей радиально-базисной сети // Международный научно-техни- ческий журнал «Проблемы управления и информатики». — 2012. — № 4. — С. 5–14. 22. Руденко О.Г., Бессонов А.А., Руденко С.О. Робастная идентификация нелинейных объектов с помощью эволюционирующей радиально-базисной сети // Кибернетика и системный анализ. — 2013. — № 2. — C. 15–26. 23. Chand S., Chandra R. Multi-objective cooperative coevolution of neural networks for time series pre- diction // Int. Joint Conf. on Neural Networks (IJCNN), Beijing, China. — 2014. — P. 190–197. 24. Kohonen T. Associative memory: A system theoretic approach. — Berlin : Springer, 1977. — 178 p. 25. Kohonen T., Kangas J., Laaksonen J., Torkkola K. LVQ-PAK: The learning vector quantization program package. — Helsinki Univ. Techn., Finland, Tech. Rep. TR A30. — 1996. — 28 p. 26. Хайкин С. Нейронные сети: полный курс / Пер. с англ. — М. : Вильямс, 2006. — 1104 с. Получено 25.01.2016

Коэволюционирующие нейронные сети прямого распространения

Репозитарії

Схожі ресурси