Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей

Предложен агентно-ориентированный подход адаптации формирования структуры и обучения нейросети к обучающей выборке. Для адаптации структур нейронных сетей используется генетический алгоритм с вещественным кодированием хромосом. Обучение нейросетей выполняется гибридным генетическим алгоритмом с г...

Full description

Saved in:

Bibliographic Details
Date:	2008
Main Authors:	Олейник, Д.В., Шинкаренко, В.И.
Format:	Article
Language:	Russian
Published:	Інститут проблем штучного інтелекту МОН України та НАН України 2008
Subjects:	Обучающие и экспертные системы
Online Access:	https://nasplib.isofts.kiev.ua/handle/123456789/7550
Tags:	Add Tag No Tags, Be the first to tag this record!
Journal Title:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:	Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей / Д.В. Олейник, В.И. Шинкаренко // Штучний інтелект. — 2008. — № 4. — С. 463-470. — Бібліогр.: 14 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1859613132795674624
author	Олейник, Д.В. Шинкаренко, В.И.
author_facet	Олейник, Д.В. Шинкаренко, В.И.
citation_txt	Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей / Д.В. Олейник, В.И. Шинкаренко // Штучний інтелект. — 2008. — № 4. — С. 463-470. — Бібліогр.: 14 назв. — рос.
collection	DSpace DC
description	Предложен агентно-ориентированный подход адаптации формирования структуры и обучения нейросети к обучающей выборке. Для адаптации структур нейронных сетей используется генетический алгоритм с вещественным кодированием хромосом. Обучение нейросетей выполняется гибридным генетическим алгоритмом с градиентным дообучением лидера. Для подбора параметров обучения используются интеллектуальные агенты, система знаний которых построена по принципу «начальник – подчиненный». Построение знаний осуществляется методом кластеризации. Организация вычислительного процесса позволяет выполнять распределённые вычисления в гетерогенных локальных сетях. Запропонований агентно-орієнтований підхід адаптації формування структури та навчання нейромережі до навчальної вибірки. Для адаптації структур нейронних мереж використовується генетичний алгоритм з кодуванням хромосом в дійсних числах. Навчання нейромереж відбувається гібридним генетичним алгоритмом з градієнтним донавчанням лідера. Для підбору параметрів навчання використовуються інтелектуальні агенти, система знань яких побудована по принципу «начальник – підлеглий». Побудова знань відбувається методом кластеризації. Организація обчислювального процесу дозволяє виконувати розподіленні обчислення в гетерогенних локальних мережах. The agent-oriented method for adaptation of forming and learning of neuronet to learning selection is suggested. Genetic algorithm with real genetic coding is used for adaptation of neuronet structure. Neuronets learning is performing by means of hybrid genetic algorithm with gradient leader relearning. The intellectual agents are used for obtaining of learning parameters. Their knowledge system is based on “chief-inferior”. Knowledge building is performed by means of clusterization. Organization of calculating process allows to perform distributed calculations in heterogeneous local area networks.
first_indexed	2025-11-28T15:24:11Z
format	Article
fulltext	«Штучний інтелект» 4’2008 463 5-О УДК 004.89:004.48 Д.В. Олейник, В.И. Шинкаренко Днепропетровский национальный университет железнодорожного транспорта имени академика В. Лазаряна, г. Днепропетровск, Украина Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей Предложен агентно-ориентированный подход адаптации формирования структуры и обучения нейросети к обучающей выборке. Для адаптации структур нейронных сетей используется генетический алгоритм с вещественным кодированием хромосом. Обучение нейросетей выполняется гибридным генетическим алгоритмом с градиентным дообучением лидера. Для подбора параметров обучения используются интеллектуальные агенты, система знаний которых построена по принципу «начальник – подчиненный». Построение знаний осуществляется методом кластеризации. Организация вычислительного процесса позволяет выполнять распределённые вычисления в гетерогенных локальных сетях. Введение Аппарат нейронных сетей (НС) позволяет решать широкий круг задач класси- фикации и регрессии [1-3], при этом ключевыми факторами, влияющими на скорость и точность нахождения решения (временную и функциональную эффективность [4], [5]), выступают удачно подобранная структура НС и алгоритм обучения. Таким образом, выбор метода решения задачи диктуется самой задачей. Так, например, при решении регрессионных задач характер воспроизводимой НС функции, которая задаётся обуча- ющей выборкой (ОВ), будет диктовать выбор структуры НС и алгоритма её обучения, потому как нет гарантии, что НС с произвольно выбранными структурой и алгоритмом обучения, смогут воспроизвести функцию с достаточной точностью. Данная работа является продолжением исследования возможности моделирования рабочей нагрузки СУБД [6]. Именно поэтому в работе рассматриваются прямоточные многослойные НС с сигмовидной активационной функцией, как наиболее приспособлен- ные для решения задач экстраполяции [1]. До сих пор в теории построения нейронных сетей нет окончательно сформулированных правил выбора структуры НС и применения определённого алгоритма обучения. Очевидно, что функциональная эффективность пары <структура НС>+<алгоритм обучения> зависит от параметров её составляющих. Таким образом, для эффективного решения задач нейросетевого моделирования необходимо адаптировать параметры пары <структура НС>+<алгоритм обучения> к особенностям обучающей выборки. Альтернативой традиционным градиентным алгоритмам обучения НС в настоящее время является использование эволюционных вычислений и, в частности, генети- ческого алгоритма (ГА) [7-10]. В [11] показана эффективность гибридного генети- ческого алгоритма (ГГА) с градиентным обучением лидера. Применение агентных технологий [12] позволяет распределять частные вычисли- тельные процессы в локальной сети, вменив в обязанности агентов распределение вычислений, сами вычисления и контроль над ними. Тем самым значительно ускоряется общий вычислительный процесс. В данной работе рассматривается мультиагентная эволюционная среда адаптации структуры НС и гибридного генетического обучающего алгоритма к заданной ОВ. Олейник Д.В., Шинкаренко В.И. «Искусственный интеллект» 4’2008 464 5-О Постановка задачи Имеется некоторая обучающая выборка. Необходимо подобрать структуру НС и параметры алгоритма обучения такие, чтобы обученная НС имела неизбыточную структуру, воспроизводила ОВ с точностью не менее заданной, причём процесс обучения найденной НС должен занимать минимально возможное время. Таким образом, необходимо организовать вычислительный процесс, обеспечиваю- щий адаптацию структуры многослойной НС прямого распространения и ГГА к заданной обучающей выборке по критерию. Основные особенности адаптации обучения нейросетей Для решения поставленной задачи разработан программный комплекс, решающий три основные задачи:  адаптация структуры НС;  адаптация параметров обучающего алгоритма;  обучение НС заданной структуры. Для адаптации параметров структуры НС и обучающего алгоритма используется генетический алгоритм параметрической адаптации (ГАПА). Структура НС представ- ляется в виде вектора, элементами которого является количество нейронов в слое. Такое представление обусловлено тем, что в фокусе исследования находятся однотипные пря- моточные многослойные нейросети. Строится начальная популяция, в состав которой входят различные структуры: избыточные, минимальные, случайные. Каждой структуре из текущей популяции сопоставляются параметры обучающего алгоритма. Исходя из результатов обучения, для каждой пары <структура НС>+<параметры обучающего алго- ритма> рассчитывается эвристический критерий адаптации. Применяется компромиссная оптимизация. Критерий качества адаптации учитывает как качество нейросети (погреш- ность обучения и размер), так и качество процесса обучения (время обучения и коли- чество итераций алгоритма обучения):       NNNN NNNNNNNN EEесли EEеслиTIWE E max2,1 max2,1,04,03,02,0 , где NNEmax – допустимая погрешность НС; NNE – погрешность оцениваемой НС; NNE – нормированная погрешность оцениваемой НС; NNW – нормированная мощность сети (количество нейронов); I – нормированное количество итераций алгоритма обучения НС; T – нормированное время обучения НС. Факты о достигнутом критерии адаптации при определённом наборе параметров алгоритма обучения откладываются в хранилище с целью последующего извлечения знаний. Эволюционный процесс продолжается задан- ное число итераций. Опыт показывает, что во многих случаях достаточно 70 итераций для вырождения популяции до одного вида структуры. Обучение НС заданной структуры производится гибридным генетическим алго- ритмом с градиентным обучением лидера (ГГАО). Перед применением ГГАО для обуче- ния НС необходимо задать взаимнооднозначное соответствие между НС и хромосомой. Для этого используется метод вещественного генетического кодирования (RGA – real genetic coding), при котором отдельными генами хромосом являются вещественные числа. В результате такого кодирования НС преобразуется в хромосому, представляю- щую собой вектор весовых коэффициентов. Набор из N таких хромосом составляет Мультиагентная адаптация гибридного генетического алгоритма для обучения… «Штучний інтелект» 4’2008 465 5-О начальную популяцию. Данная популяция подвергается стандартным эволюционным операциям (адаптированным к RGA): селекции, скрещиванию и мутации. После очеред- ной итерации эволюционной составляющей ГГАО лучшие НС в популяции дополни- тельно дообучаются методом обратного распространения ошибки. Процесс продолжается до тех пор, пока лидер популяции не достигнет заданной точности или не будет выпол- нено максимально возможное число итераций. Параметрическая адаптация алгоритма обучения При использовании ГГАО адаптации подлежат параметры как самого генети- ческого алгоритма, так и вспомогательного градиентного метода, применяемого для до- обучения лидеров. Параметры генетического алгоритма можно разбить на четыре группы: параметры мутации, скрещивания, формирования нового поколения, инициализации и обработки популяции. Для мутации выделено два параметра: вероятность мутации хромосомы в попу- ляции и вероятность мутации определённого гена в хромосоме. Скрещивание параметризуется вероятностью участия хромосомы в скрещивании, а также количеством точек разрыва (одноточечный, двухточечный, многоточечный кроссовер). Для формирования нового поколения выделено несколько параметров. Во-первых, – это степень элитизма, которая характеризуется количеством лучших особей, переходя- щих в новое поколение без изменений и вытесняющих собой худшие особи. Во-вторых, – это функция изменения размера популяции при переходе от старого поколения к новому, то есть в начале эволюционного процесса популяция может намеренно увеличиваться с целью расширения области поиска, а с течением времени – уменьшаться для локализации решения. В-третьих, – это метод отбора хромосом в новое поколение: турнирный, про- порциональный, рулеточный, отбор усечением. Параметры инициализации популяции – это начальный размер популяции и способ формирования начальной популяции (случайное заполнение хромосом, до- бавление шума к найденному решению, эвристическое заполнение). Параметры обработки популяции – это максимальное количество итераций ГА и максимальное количество итераций без смены лидера (для реинициализации). Для градиентной составляющей ГГАО (в работе использовался метод обрат- ного распространения ошибки) выделено три параметра. Во-первых, величина шага, на который будут изменяться весовые коэффициенты сети, во-вторых – количество лидеров, обучаемых градиентным методом, в-третьих – количество проходов гра- диентного метода при обучении лидера. Первоначально перечисленные выше параметры формируются случайным образом. Наборы параметров и значений критерия адаптации, достигнутые при этих параметрах, компонуются в кортежи фактов. Адаптация параметров алгоритма обучения происходит на этапе извлечения знаний из накопленных фактов. Мультиагентная среда адаптации Работы в сфере так называемых агентных технологий рассматривают как отдельно взятые интеллектуальные программные агенты (ИПА), так и мультиагентные системы, и вообще говоря, новый агентно-ориентированный подход к программированию, как раз- Олейник Д.В., Шинкаренко В.И. «Искусственный интеллект» 4’2008 466 5-О витие объектно-ориентированного программирования. Не существует строгого опреде- ления ИПА: различные источники приписывают ИПА разные свойства [5], однако все они сходятся в том, что ИПА – это некий программный объект (в терминах ООП), обладающий знаниями, целью и способностью к взаимодействию как с пользователем- человеком, так и с другими агентами. Мультиагентная система – это среда функцио- нирования и взаимодействия разнородных агентов, деятельность которых подчинена достижению некоторой общей цели, причём эта цель может быть неочевидна для каждого отдельно взятого агента. В данной работе для решения поставленной задачи была реализована мульти- агентная среда адаптации (МСА). В этой среде взаимодействуют девять типов агентов (табл. 1), в результате чего находится единое решение задачи. Таблица 1 – Агенты МСА Формирование базы знаний агентов Интеллектуальная составляющая системы формирования структуры и обучения нейросети заключается в извлечении, накоплении и использовании знаний агентами. Система знаний агентов построена по принципу «начальник – подчиненный». Начальник знает общие задачи и цели и владеет общими знаниями, подчиненные – решают узкие, конкретные задачи и обладают ограниченными знаниями. Принятие решений является Агент Ответственность Цель Знания А1 Агент, формирующий структуры НС (NNarchitector) Подобрать эффективную струк- туру НС и параметры её обуче- ния для конкретной задачи Качество обучения НС определённой структуры при различных сочетаниях параметров обучения А2 Агент, обучающий НС заданной структуры (aTeachNN) Обучить НС определённой структуры алгоритмом обучения с заданными параметрами Применение гибридного генетического алгоритма для обучения НС А3 Агент, распределяющий НС на обучение (dispatchAgent) Распределить на обучение задан- ный набор пар <структура НС, параметры обучения> откуда получать задания на обучение, кому и как их раздавать А4 Агент, подбирающий параметры ГА (aControlGA) Подобрать эффективные параметры обучения ГА для заданной обучающей выборки Качество обучения при различных параметрах ГА А5 Агент, подбирающий параметры градиент- ного метода (aControlGradient) Подобрать эффективные параметры обучения градиентным методом для заданной обучающей выборки Качество обучения при различных параметрах градиентного метода А6 Агент, ответственный за параметры мутации (aMutation) Подобрать эффективные параметры мутации при обучении ГА Качество обучения при различных параметрах мутации А7 Агент, ответственный за параметры скрещивания (aCrossover) Подобрать эффективные параметры скрещивания при обучении ГА Качество обучения при различных параметрах кроссовера А8 Агент, ответственный за параметры обработки популяции (aPopulation) Подобрать эффективные параметры формирования популяции при обучении ГА Качество обучения при различных параметрах формирования популяции А9 Агент, ответственный за параметры формирова- ния нового поколения (aNewGeneration) Подобрать эффективные пара- метры формирования нового поколения при обучении ГА Качество обучения при различных параметрах формирования нового поколения Мультиагентная адаптация гибридного генетического алгоритма для обучения… «Штучний інтелект» 4’2008 467 5-О некоторым компромиссом между начальником и подчиненными. В предлагаемой модели один из агентов ( 4A ) обладает общими знаниями, другие ( 96 AA  ) – частными. Агент 5A работает по традиционной технологии, обладает всеми знаниями, необходимыми для выполнения своей ответственности. Покажем, каким образом формируются знания агентов, затем – как используются. Перед агентами 96 AA  стоит задача определить значения некоторого набора пара- метров }{ iP , при которых функция цели S будет близка к оптимальной, и сообщить их агенту 4A . При этом каждый агент отвечает за свой набор параметров. Агент 4A , исполь- зуя поступившие предложения и собственные знания, должен принять решение, какие параметры в дальнейшем использовать. Так как значения параметров «подчиненных» могут отличаться от соответствующих значений «начальника» для обоснованного при- нятия решений значения параметров снабжаются атрибутом «степень уверенности в используемых знаниях» или «уровень доверия», обозначим его  . Показатель  соответ- ствует каждому набору параметров }{ iP . Первоначально агенты начинают работать в условиях отсутствия знаний, и некоторое время занимаются только сбором информации. При этом 0 . Агент экспериментирует – случайным образом определяет значения параметров ijP (i-го параметра в j-м опыте). В результате эксперимента агент получает значения пара- метров ijP и значения критерия качества полученного результата, в нашем случае компро- миссного критерия jK . Агент 96 AA  накапливает таблицу фактов в виде множества кортежей параметров и соответствующего критерия качества )},,,,{(}{ 21 jmj KPPPfF  . При наличии достаточного объема накопленной информации агент периодически начинает извлекать и постоянно использовать знания (через каждые 50 фактов). Первоначально все параметры нормализуются. Полученное множество F разбива- ется на несколько частей iF ( 10N ), соответствующих определенным уровням качества: ))min()(max(/))min()(max()1(\| jjjjjij KKiKNKKiFf  . Каждое множество iF кластеризуется методом максиминного расстояния [14]. Ищется множество центров кластеров I . Находятся два максимально удаленных друг от друга кортежа в m -мерном Евклидовом пространстве. Они принимаются за центры двух начальных кластеров. Далее последовательно ищутся точки: )),,((min(max),((min\| jiIfFfkiIfsk ffffFf isji    где if – точка с координатами ),,,( 21 mPPP  – нормированными значениями параметров. Если   ),((min kiIf ff i   Iff ji ji ff , ),( 6 1  , то точка kf принимается за новый центр кластера. Таким образом, формируется множество центров кластеров, остальные точки разносятся к кластерам по критерию минимума расстояния. Для дальнейших расчетов выбирается точка с jKmin из лучшего кластера (по среднему jK для точек кластера) из множества 1F . Если области кластеров первого уровня и кластеров уровней 2 … N не пересекаются, то можно утверждать, что области кластеров первого уровня и являются областями, соответствующими наилучшим параметрам. При этом уровень доверия к полученным данным максимальный, ввиду отсутствия противоречий. Если же указанные области пересекаются, то уровень доверия, конечно же, ниже. Олейник Д.В., Шинкаренко В.И. «Искусственный интеллект» 4’2008 468 5-О Представим ситуацию, когда области наилучшего и наихудшего кластеров совпадают, наилучшие и наихудшие параметры перемежаются. Естественно уровень доверия к таким данным как к наилучшим очень небольшой. Из приведенных соображений уровень доверия к параметрам вычисляется как:    Ff j Ff j jj ba / , где        случае противном в,0 )),((min),(если),1(1,01 , jsFfIfjk j ffffi a iss  ,      случае противном в,0 0если,1 j j a b . Численный эксперимент С помощью МСА был проведён следующий вычислительный эксперимент. В качестве обучающих выборок были выбраны такие функции:  ]1,0[],1,0[ где , xor ),(  yxyxyxf ;  ;1.0 ,9.2 ,3 ,3 2.0 ,1.0 где ,)sin(),(   yxyxyxf  .1.0 ,9.2 ,3 ,3 2.0 ,1.0 где ,),(   yxyxxyxf Обучение каждой функции происходило при четырёх различных начальных условиях: без знаний о параметрах алгоритма обучения и со знаниями о параметрах алгоритма обучения, построенных на фактах, полученных при обучении трём выше- указанным функциям. Допустимая погрешность при обучении НС определялась как среднеквадратичное отклонение и задавалось равным 005,0max NNE . Максималь- ное количество итераций ГАПА устанавливалось равным 70. Результаты проведён- ного эксперимента представлены в табл. 2. Таблица 2 – Результаты адаптации обучения нейросети Так как в критерий качества адаптации заложена мощность нейросети, задаваемая количеством нейронов, то в процессе итераций ГАПА среднее в популяции количество нейронов в сети уменьшается. На рис. 1 показана регрессия среднего количества слоёв нейросетей на количестве итераций ГАПА, из которого видно, что с использованием знаний структура НС упрощается быстрее. Со знаниями Функция Показатель Без знаний XOR SIN(X)Y XXY Погрешность 0,0043 0,0017 0,0047 0,0045 Размер сети 2:8:1 2:2:1 2:2:1 2:7:1 Обучение (итер. ГГАО / мсек) 8 / 31 166 / 4469 58 / 203 57 / 313 XOR Итерации ГАПА 69 4 7 14 Погрешность 0,0031 0,0048 0,0037 0,0049 Размер сети 2:3:1 2:4:1 2:2:1 2:4:1 Обучение (итер. ГГАО / мсек) 4 / 16 142/ 1641 604 / 10109 545 / 6078 SIN(X)Y Итерации ГАПА 69 40 9 16 Погрешность 0,0074 0,0043 0,0056 0,0049 Размер сети 2:8:1 2:1:1 2:3:1 2:3:1 Обучение (итер. ГГАО / мсек) 3013 / 125563 1124 / 41437 527 / 7435 331 / 1953 XXY Итерации ГАПА 39 33 4 15 Мультиагентная адаптация гибридного генетического алгоритма для обучения… «Штучний інтелект» 4’2008 469 5-О Количество итераций ГАПА С ре дн ее ч ис ло с ло ёв в п оп ул яц ии 0 1 2 3 4 5 6 0 10 20 30 40 50 60 Количество итераций ГАПА f(x,y)=x xor y, без использования знаний f(x,y)=x xor y, с использованием знаний Рисунок 1 – Зависимость среднего количества слоёв от итераций ГАПА Заключение Разработан и апробирован программный комплекс формирования структуры и обучения прямоточных многослойных нейросетей. Разработанная методика обуче- ния нейросетей обладает высоким уровнем интеллектуализации и позволяет не только формировать нейросеть, но и переоидически её перестраивать. Одним из недостат- ков нейросетей является то, что их поведение адекватно моделируемым объектами процесссам в области обучения, которую к тому же сложно как-то определить и опи- сать. Предлагаемые возможности дообучения позволяют повышать адекватность нейросети в условиях изменяющихся моделируемых процессов. Особенность программного комплекса заключается в организации вычислитель- ного процесса на основе агентной технологии. Агенты могут рассылаться по локальной сети и выполнять поставленные им задачи по обучению нейросети. Вычисления могут выполняться в гетерогенной локальной сети и с максимальным использованием вычисли- тельных ресурсов многоядерных процессоров. Показана целесообразность адаптации алгоритма обучения. При переобучении нейросети (если она была обучена близким функциям) процесс обучения ускоряется и в результате достигаются лучшие структуры нейросети. Литература 1. Нейронные сети. STATISTICA Neural Networks : Пер. с англ. – М.: Горячая линия –Телеком, 2000. – 182 с. 2. Заенцев И.В. Нейронные сети: основные модели. – Воронеж: Воронежский государственный универ- ситет, 1999. – 76 с. 3. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. – М.: Горячая линия – Телеком, 2006 . – 452 с. 4. Шинкаренко В.И. Функциональная эффективность нечетко специфицированных алгоритмов // Проб- лемы программирования. – 2006. – № 1. – С. 24-33. 5. Шинкаренко В.И. Сравнительный анализ временной эффективности функционально эквивалентных алгоритмов // Проблемы программирования. – 2001. – № 3-4. – С. 31-39. Олейник Д.В., Шинкаренко В.И. «Искусственный интеллект» 4’2008 470 5-О 6. Шинкаренко В.И., Олейник Д.В. Нейросетевое моделирование рабочей нагрузки СУБД // Искусствен- ный интеллект. – 2007. – № 4. – С. 657-664. 7. Гладков Л.А., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. – М.: Физматлит, 2006. – 320 с. 8. Емельянов В.В., Курейчик В.М., Курейчик В.В. Теория и практика эволюционного моделирования. – М.:ФИЗМАТЛИТ, 2005. – 432 с. 9. Цой Ю.Р., Спицын В.Г. Использование генетического алгоритма для настройки весов и структуры искусственной нейронной сети // Молодежь и современные информационные технологии. Сборник трудов II Всероссийской научно-практической конференции студентов. – Томск: Изд-во ТПУ. – 2004. – С. 221-223. 10. Цой Ю.Р., Спицын В.Г. Генетический алгоритм настройки искусственной нейронной сети // Те- зисы докладов конференции конкурса студентов, аспирантов и молодых ученых «Технологии Microsoft в информатике и программировании». – Новосибирск: НГУ. – 2004. – С. 131-133. 11. Паклин Н.Б., Сенилов М.А., Тененев В.А. Интеллектуальные модели на основе гибридного генетического алгоритма с градиентным обучением лидера // Искусственный интеллект. – 2004. – № 4. – С. 159-168. 12. Плескач В.Л., Рогушина Ю.В. Агентні технології: Монографія. – К.: Київ. нац. торг.-екон. ун-т, 2005. – 338 с. 13. Атанасова Т. Агентная технология: концепции, модели, приложения. – Варна, 2000. – 155 с. 14. Ту Дж., Гонсалес Р. Принципы распознавания образов. – 1978. – 411 с. Олійник Д.В., Шинкаренко В.І. Мультіагентна адаптація гібридного генетичного алгоритму для навчання нейромереж Запропонований агентно-орієнтований підхід адаптації формування структури та навчання нейромережі до навчальної вибірки. Для адаптації структур нейронних мереж використовується генетичний алгоритм з кодуванням хромосом в дійсних числах. Навчання нейромереж відбувається гібридним генетичним алгоритмом з градієнтним донавчанням лідера. Для підбору параметрів навчання використовуються інтелектуальні агенти, система знань яких побудована по принципу «начальник – підлеглий». Побудова знань відбувається методом кластеризації. Организація обчислювального процесу дозволяє виконувати розподіленні обчислення в гетерогенних локальних мережах. D.V. Oleynik, V.I. Shinkarenko Multiagent Adaptation of Hybrid Genetic Algorithm for Neuronets Learning The agent-oriented method for adaptation of forming and learning of neuronet to learning selection is suggested. Genetic algorithm with real genetic coding is used for adaptation of neuronet structure. Neuronets learning is performing by means of hybrid genetic algorithm with gradient leader relearning. The intellectual agents are used for obtaining of learning parameters. Their knowledge system is based on “chief-inferior”. Knowledge building is performed by means of clusterization. Organization of calculating process allows to perform distributed calculations in heterogeneous local area networks. Статья поступила в редакцию 18.07.2008
id	nasplib_isofts_kiev_ua-123456789-7550
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	1561-5359
language	Russian
last_indexed	2025-11-28T15:24:11Z
publishDate	2008
publisher	Інститут проблем штучного інтелекту МОН України та НАН України
record_format	dspace
spelling	Олейник, Д.В. Шинкаренко, В.И. 2010-04-02T10:24:45Z 2010-04-02T10:24:45Z 2008 Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей / Д.В. Олейник, В.И. Шинкаренко // Штучний інтелект. — 2008. — № 4. — С. 463-470. — Бібліогр.: 14 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/7550 004.89:004.48 Предложен агентно-ориентированный подход адаптации формирования структуры и обучения нейросети к обучающей выборке. Для адаптации структур нейронных сетей используется генетический алгоритм с вещественным кодированием хромосом. Обучение нейросетей выполняется гибридным генетическим алгоритмом с градиентным дообучением лидера. Для подбора параметров обучения используются интеллектуальные агенты, система знаний которых построена по принципу «начальник – подчиненный». Построение знаний осуществляется методом кластеризации. Организация вычислительного процесса позволяет выполнять распределённые вычисления в гетерогенных локальных сетях. Запропонований агентно-орієнтований підхід адаптації формування структури та навчання нейромережі до навчальної вибірки. Для адаптації структур нейронних мереж використовується генетичний алгоритм з кодуванням хромосом в дійсних числах. Навчання нейромереж відбувається гібридним генетичним алгоритмом з градієнтним донавчанням лідера. Для підбору параметрів навчання використовуються інтелектуальні агенти, система знань яких побудована по принципу «начальник – підлеглий». Побудова знань відбувається методом кластеризації. Организація обчислювального процесу дозволяє виконувати розподіленні обчислення в гетерогенних локальних мережах. The agent-oriented method for adaptation of forming and learning of neuronet to learning selection is suggested. Genetic algorithm with real genetic coding is used for adaptation of neuronet structure. Neuronets learning is performing by means of hybrid genetic algorithm with gradient leader relearning. The intellectual agents are used for obtaining of learning parameters. Their knowledge system is based on “chief-inferior”. Knowledge building is performed by means of clusterization. Organization of calculating process allows to perform distributed calculations in heterogeneous local area networks. ru Інститут проблем штучного інтелекту МОН України та НАН України Обучающие и экспертные системы Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей Мультіагентна адаптація гібридного генетичного алгоритму для навчання нейромереж Multiagent Adaptation of Hybrid Genetic Algorithm for Neuronets Learning Article published earlier
spellingShingle	Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей Олейник, Д.В. Шинкаренко, В.И. Обучающие и экспертные системы
title	Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей
title_alt	Мультіагентна адаптація гібридного генетичного алгоритму для навчання нейромереж Multiagent Adaptation of Hybrid Genetic Algorithm for Neuronets Learning
title_full	Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей
title_fullStr	Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей
title_full_unstemmed	Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей
title_short	Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей
title_sort	мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей
topic	Обучающие и экспертные системы
topic_facet	Обучающие и экспертные системы
url	https://nasplib.isofts.kiev.ua/handle/123456789/7550
work_keys_str_mv	AT oleinikdv mulʹtiagentnaâadaptaciâgibridnogogenetičeskogoalgoritmadlâobučeniâneirosetei AT šinkarenkovi mulʹtiagentnaâadaptaciâgibridnogogenetičeskogoalgoritmadlâobučeniâneirosetei AT oleinikdv mulʹtíagentnaadaptacíâgíbridnogogenetičnogoalgoritmudlânavčannâneiromerež AT šinkarenkovi mulʹtíagentnaadaptacíâgíbridnogogenetičnogoalgoritmudlânavčannâneiromerež AT oleinikdv multiagentadaptationofhybridgeneticalgorithmforneuronetslearning AT šinkarenkovi multiagentadaptationofhybridgeneticalgorithmforneuronetslearning

Мультиагентная адаптация гибридного генетического алгоритма для обучения нейросетей

Institution

Similar Items