Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц
Разработан метод обучения радиально-базисной нейронной сети на основании алгоритма роя частиц. Данный метод позволяет уменьшить нагрузку на вычислительную систему, которая производит обучение, что позволяет ускорить его....
Збережено в:
| Опубліковано в: : | Кибернетика и вычислительная техника |
|---|---|
| Дата: | 2012 |
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України
2012
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/45745 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц / В.М. Синеглазов, Е.И. Чумаченко, О.Ю. Левицкий // Кибернетика и вычисл. техника. — 2012. — Вип. 167. — С. 25-32. — Бібліогр.: 17 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859842733010583552 |
|---|---|
| author | Синеглазов, В.М. Чумаченко, Е.И. Левицкий, О.Ю. |
| author_facet | Синеглазов, В.М. Чумаченко, Е.И. Левицкий, О.Ю. |
| citation_txt | Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц / В.М. Синеглазов, Е.И. Чумаченко, О.Ю. Левицкий // Кибернетика и вычисл. техника. — 2012. — Вип. 167. — С. 25-32. — Бібліогр.: 17 назв. — рос. |
| collection | DSpace DC |
| container_title | Кибернетика и вычислительная техника |
| description | Разработан метод обучения радиально-базисной нейронной сети на основании алгоритма роя частиц. Данный метод позволяет уменьшить нагрузку на вычислительную систему, которая производит обучение, что позволяет ускорить его.
|
| first_indexed | 2025-12-07T15:37:16Z |
| format | Article |
| fulltext |
25
УДК 004.032.26
В.М. Синеглазов, Е.И. Чумаченко, О.Ю. Левицкий
АЛГОРИТМ ОБУЧЕНИЯ РАДИАЛЬНО-БАЗИСНЫХ
СЕТЕЙ НА БАЗЕ АЛГОРИТМА РОЯ ЧАСТИЦ
Разработан метод обучения радиально-базисной нейронной сети на
основании алгоритма роя частиц. Данный метод позволяет уменьшить нагрузку на
вычислительную систему, которая производит обучение, что позволяет ускорить его.
Введение
Эффективность функционирования человеческих организмов,
технических объектов напрямую зависит от точного и своевременного
диагностирования их состояния (заболеваний, ошибок, неполадок и т.п.).
Особое значение она приобретает в медицине, что связано с необходимостью
оперативного распознавания вида болезни и назначения своевременного
лечения. В связи с многообразием различных признаков и наличием
большого количества близких по форме проявления, но различных по
существу аномалий, решение данной задачи требует использования
элементов искусственного интеллекта, таких как нейронные сети.
Для функционирования нейронной сети требуется ее предварительное
обучение. Обучение радиально-базисной сети классическим градиентным
методом обладает рядом недостатков, таких как:
• медленная сходимость градиентного метода с постоянным
шагом обучения;
• сложность выбора подходящей скорости обучения a (так как
маленькая скорость обучения приводит к скатыванию в
локальный минимум, а большая скорость обучения может
привести к пропуску глобального минимума и сделать процесс
обучения расходящимся);
• невозможность определения точек локального и глобального
минимума, так как градиентный метод их не различает.
Таким образом, целью данного исследования является повышение
эффективности работы алгоритмов обучения радиально-базисных сетей при
решении задач диагностики.
Задача диагностики по своей сути относится к задачам классификации,
математическую постановку которой можно представить в следующем виде.
1. Постановка задачи классификации. Пусть Х — множество описаний
объектов, Y — множество номеров (или наименований) классов. Существует
неизвестная целевая зависимость — отображение y*: X → Y, значения
которой известны только на объектах конечной обучающей выборки:
)},(),...,,{( 11 mm
m yxyxX = . (1)
Требуется построить алгоритм способный классифицировать
произвольный объект х ∈ Х к множеству Y [1]. Рассмотрим методы решения
данной задачи.
2. Обзор методов решения задачи классификации. Решению задачи
классификации посвящено достаточно большое количество работ [2–7],
основными методами решения которой являются следующие:
В.М. Синеглазов, Е.И. Чумаченко, О.Ю. Левицкий, 2012
ISSN 0452-9910. Кибернетика и вычисл. техника. 2012. Вып. 167
26
— байесовская (наивная) классификация [2],
— классификация методом опорных векторов [3, 4],
— при помощи метода ближайшего соседа [5],
— с помощью деревьев решений [6],
— при помощи искусственных нейронных сетей [7].
Основным недостатком большинства перечисленных выше подходов
является сложность или невозможность решения задачи классификации в
случае близости по своим признакам элементов, подлежащих классификации,
а также наличие непустых пересечений множеств признаков объектов,
принадлежащих разным классам. Нейронные сети [8, 9] обладают
обучаемостью, что позволяет преодолеть эти недостатки, поэтому наиболее
предпочтительным подходом для решения поставленной задачи является
использование искусственных нейронных сетей (ИНС). ИНС определяется
такими характеристиками, как топология (вид сети), структура сети
(количество скрытых слоев, входов, выходов).
В работах авторов [10] была обоснована целесообразность
использования радиально-базисных ИНС для решения задачи диагностики.
Эффективность работы сети для решения задачи диагностики
определяется качеством решения задачи структурно-параметрического
синтеза, сложность решения которой во многом зависит от типов входных
переменных в ИНС, которые могут быть: числовыми, бинарными,
лингвистическими, нечетко заданными, изображениями (массивы данных).
Указанные особенности определяют подходы для решения задачи
структурно-параметрического синтеза.
В работах авторов [10, 11] было показано, что входные данные в виде
изображений могут быть сведены к числовым входным данным за счет
использования алгоритмов обработки изображения и выделения
существенных признаков.
Функционирование сети предполагает предварительную настройку в
результате решения задачи параметрического (структруно-параметрического)
синтеза. Эффективность решения этой задачи зависит от алгоритмов
обучения, результатом работы которых является вид функции активации
(функция, вычисляющая выходной сигнал искусственного нейрона),
величину порогов (значение функции активации, при котором нейрон
принимает ненулевое и нетормозящее значение) и весовые коэффициенты
(числовой коэффициент, отражающий значимость входных связей при
попадании в сумматор). Решению задачи структурно-параметрического
синтеза посвящено достаточно большое количество работ, например [8, 11].
Качество процесса обучения во многом определяется длиной обучающей
выборки и скоростью сходимости процесса настройки (обучения).
Рассмотрим процесс обучения радиально-базисной ИНС, структура которой
представлена на рис. 1. Поскольку в сетях с радиально-базисной функцией,
нейроны реализуют функции, радиально изменяющиеся вокруг выбранного
центра и принимающие ненулевые значения только в окрестности этого
центра, введем такое понятие, как координаты центра нейрона.
На рис. 1 приняты следующие обозначения: x1, x2, ..., xp — входные
сигналы; p — количество нейронов в первом (входящем) слое; φ1, φ2, ..., φp —
многомерные функции активации, которые можно представить в виде
;)()( icxx −=ϕ ic — координаты центра i-го нейрона; di — значение
27
функции отображения i-го нейрона; ωi — весовой коэффициент связи i-го
нейрона; y — выходной сигнал радиально-базисной ИНС.
Рис. 1. Структура радиально-базисной сети
3. Постановка задачи обучения. Зависимость между входными и
выходными данными радиально-базисной сети может быть определена
системой уравнений
,
d
d
d
pppppp
p
p
=
ω
ω
ω
ϕϕϕ
ϕϕϕ
ϕϕϕ
MM
L
MMM
L
L
2
1
2
1
21
22221
11211
(2)
где φij ( p,i 1∈ , pj ,1∈ ), — значение функции активации для i-го нейрона
на входе j; ωi ( pi ,1∈ )— значение весового коэффициента для i-го нейрона;
di — значение функции отображения i-го нейрона; p — количество нейронов
на скрытом слое.
Функцией отображения называется такая функция, значение которой
равно произведению значения функции активации нейрона на
соответствующий ей весовой коэффициент.
Требуется определить вид функций активации φij и весовые
коэффициенты на выходе скрытого слоя ωi ( pi ,1∈ ) на основании
минимизации критерия качества определяемого в виде
2))((
2
1
pppp ,OdE ωϕ−= , (3)
где Ep — значение критерия для p-й обучающей пары (пара состоит из
значения функции активации φp и соответствующего ей значения на выходе,
полученном из обучающей выборки dp); O(φp, ωp) — значение функции
отображения, полученное в результате работы сети.
…
x1
x2
xp
φ1
φ2
φ3
φp
… …
1 с1
с2
с3
сp
ω0
d2
d3
dp
y
ω1
ω2
ω3
ωp
d1
28
Задача обучения — так настроить веса ωi, чтобы они для любой
обучающей пары (φp, dp) давали минимальное значение критерия Ep.
Выходной сигнал радиально-базисной ИНС вычисляется как взвешенная
сумма сигналов элементов
∑∞
= ϕω= 1 )(p ipiy . (4)
В радиально-базисной сети функция активации каждого элемента
определяется функцией Гаусса
)
2
)(
(exp 2
1
2
i
n
j ijj
i
cx
σ
−
−=ϕ
∑ = , (5)
где σi – ширина функции Гаусса i-го нейрона; ci1, ci2, ..., cin – координаты
центра i-го нейрона.
В итоге обучение сводится:
— к подбору центров ci и параметров σi;
— подбору весов ωi нейронов скрытого слоя.
В результате критерий (3) принимает форму
2
2
1
2
))
2
)(
((
2
1
i
n
j ijj
ppp
cx
expdE
σ
−
−ω−=
∑ =
. (6)
4. Синтез алгоритма обучения. Поскольку ωi можно определить на
основании решения уравнения типа (2), то главной проблемой обучения
остается выбор ci и σi.
Для решения данной задачи предлагается использовать алгоритм роя
частиц [12]. В классическом виде этот алгоритм используется для
оптимизации непрерывных нелинейных функций. Алгоритм роя частиц
широко применяется в задачах машинного обучения, параметрической и
структурной оптимизации (форм, размеров и топологий) в области
проектирования, в областях биохимии и биомеханики [12]. Модель роя
частиц основана на управлении расстояниями между частицами. Текущее
состояние частицы характеризуется координатами в пространстве решений
(т.е. связанным с ними решением), а также вектором скорости перемещения.
Оба этих параметра выбираются случайным образом на этапе начального
присвоения значений. Кроме того, каждая частица хранит координаты
лучшего из найденных ею положений, а также координаты лучшего из
пройденных всеми частицами положений — этим имитируется мгновенный
обмен информацией между частицами. На каждом шаге алгоритма
направление и длина вектора скорости каждой из частиц изменяются в
соответствии со сведениями о найденных оптимумах
+−+ν=+ν ))()(Rnd()()1( best
1 txtPatt iiii
,txtGa ii ))()(Rnd( best
2 −+
(7)
29
где v — вектор скорости частицы (vi — его i-я компонента); a1, a2 —
постоянные ускорения с положительными значениями; Pbest — лучшая
найденная частицей точка; Gbest — лучшая точка из пройденных всеми (всем
роем) частицами системы; x — текущее положение частицы; Rnd —
случайное число от 0 до 1 включительно.
После вычисления направления вектора v, частица перемещается в точку
x(t+1) = x(t) + v(t+1). (8)
В случае необходимости обновляются значения лучших точек для
каждой частицы и для всех частиц в целом. После этого цикл повторяется.
В данной работе предлагается использовать модифицированный
алгоритм роя частиц, который называется каноническим. Его преимущество
перед классическим алгоритмом в том, что он позволяет избавиться от
необходимости угадывать подходящие значения регулируемых параметров
алгоритма (направление и значение ускорения), контролируя сходимость
частиц [13]:
( +−+νλ=+ν ))()((Rnd)()1( best
1 txtPatt iiii )))()((Rnd best
2 txtGa ii −+ ,
(9)
где λ — коэффициент сжатия.
,
42
2
2 aaa
k
−−−
=λ
(10)
где a = a1 + a2 > 4; k — фактор ограничения для контроля скорости.
Применительно к радиально-базисной ИНС формула (9) принимает вид
( +−+νλ=+ν ))()((Rnd)()1( best
1 tctPatt iiii
)))()((Rnd best
2 tctGa ii −+ ,
(11)
где ci — координаты центра i-го нейрона.
Введем такие понятия, как «критерий качества центров», «корректировка
ускорения», «лучшая позиция для каждого центра нейрона».
Критерий качества центров. Пусть Rij — евклидово расстояние между
центрами i-го и j-го нейрона. Тогда изменение расстояния между центрами
нейронов
)),1()(()( −−=∆ tRtRt ijijij (12)
где t — номер итерации.
Критерием качества будет максимальное изменение ∆ij(12), которое
определяется как
)).1()((max)(
..1
max −−=∆
=
tRtRt ijij
pj
i (13)
30
Рис. 2. Определение начальных значений частиц случайным образом
Рис. 3. Положение частиц после 20 итераций
31
Тогда центр считается приемлемым, если изменение )(max ti∆ меньше
предела ε, которое определяется экспериментально. В итоге получим
критерий качества центров
.tRtR ijij
p..j
ε<−−
=
))1()((max
1
(14)
Корректировка ускорения a1. Ускорение прямо пропорционально зависит
от максимального )(max ti∆ по всем нейронам. Т.е.
)).1()((max)(
..1
..1
max −−=∆
=
=
tRtRt ijij
pi
pj
ij (15)
Корректировка ускорения a2. Ускорение прямо пропорционально зависит
от )(max ti∆ .
Лучшей позицией для каждого центра нейрона Pbest будут те координаты,
в ε окрестности которых координаты центров оказываются чаще всего.
Общей лучшей позицией Gbest будут те координаты, в ε окрестности
которых любой нейрон оказывается чаще всего.
В результате алгоритм отыскания лучших центров нейронов будет
выглядеть следующим образом:
1. Определение начальных значений центров нейронов случайным
образом.
2. Оценка центров по критерию качества (14).
3. Определение начальных значений ускорений a1, a2.
4. Корректировка ускорений в соответствии с формулами (15) и (13).
5. Вычисление следующего положения центров сi помощью формулы
(11).
6. Сохранение лучшей позиции для каждой частицы Pbest и общей
лучшей позиции Gbest.
7. Оценка центров по критерию качества (14) и возврат к шагу 4.
8. Определение σ по формуле
.
p
Rij
p..j
i 2
max
1==σ (16)
9. Определение весовых коэфициентов с помощью формулы (6).
5. Пример. Приведем пример нахождения минимального значения
критерия качества. График критерия качества — это поверхность в
трехмерном пространстве. На рис. 2 и 3 бóльшие значения обозначены более
светлым оттенком, а меньшие более темным. Частицы из роя обозначены
небольшими точками. Большой точкой обозначено лучшее минимальное
значение на каждой итерации.
Выводы. В результате проведенной работы для решения задачи
обучения радиально-базисных сетей был разработан метод на основании
алгоритма роя частиц. Данный метод позволяет уменьшить нагрузку на
вычислительную систему, которая производит обучение, что позволяет
32
ускорить его. Также данный метод значительно ускоряет сходимость
алгоритма обучения сети и, так как является одним из методов глобальной
оптимизации, позволяет избежать скатывания в локальные минимумы.
1. Воронцов К.В. Комбинаторная теория надежности обучения по прецендентам: Дис. …
док. физ.-мат. наук — Москва: Вычислительный центр РАН, 2010. — 271с.
2. Субботин С.В., Большаков Д.Ю. Применение байесовского классификатора для
распознавания классов целей // Журнал радиоэлектроники РАН. — № 4. — 2006. —
C. 1684–1719.
3. Воронцов К.В. Лекции по статистическим (байесовским) алгоритмам классификации.
— http:/machinelearning.ru/wiki/.index.php.
4. Воронцов К.В. Лекции по методу опорных векторов —
http:/machinelearning.ru/wiki/.index.php.
5. Воронцов К.В., Лекции по метрическим алгоритмам классификации —
http:/machinelearning.ru/wiki/.index.php.
6. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика,
Москва: Гарячая линия — Телеком, 2-е изд., 2002. — 377 с.
7. Демиденко Е.З. Оптимизация и регрессия. — Москва: Наука, 1989. — 296 с.
8. Чумаченко Е.И., Левицкий О.Ю. Разработка алгоритмов обработки изображений для
задач диагностики // Електроніка та системи управління. — Киев, 2011. — С. 57–66.
9. Бодянский Е.В., Руденко О.Г. Искусственные нейронные сети: архитектуры, обучение,
применения. — Харьков.: Телетех, 2004. — 167 с.
10. Mendes R., Kennedy J., Neves J. The fully informed particle swarm: Simpler, maybe better //
IEEE Transactions on Evolutionary Computation, 2004. № 8 (3). — P. 204–210.
11. Optimal Brain Damage / LeCun Y., Denker J. S., Solla S. et al. // Advances in Neural
Information Processing Systems 2, Denver, CO, 1990 — 9 p.
12. LeCun Y., Bengio Y. Convolutional Networks for Images, Speech, and Time–Series, in Arbib
// The Handbook of Brain Theory and Neural Networks, MIT Press, 1995. — 14 p.
13. LeCun Y., Bottou L., Orr G., Muller K. Efficient BackProp // Neural Networks: Tricks of the
trade. — Springer, 1998 — 44 p.
14. Marc'Aurelio R., Poultney C., Chopra S., LeCun Y. Efficient Learning of Sparse
Representations with an Energy-Based Model // Advances in Neural Information Processing
Systems, MIT Press, 2006. — 8 p.
15. Levenberg, K. A Method for the Solution of Certain Problems in Last Squares. Quart. —
Appl. Math. 1944. — Vol. 2. — P. 164–168.
16. Kennedy J., Eberhart R. C. Particle swarm optimization // Proceedings of IEEE International
Conference on Neural Networks, 1995. — Vol. 4. — P. 1942–1948.
17. Clerc M., Kennedy J. The particle swarm – explosion, stability, and convergence in a
multidimensional complex space // IEEE Transactions on Evolutionary Computation, 2002.
— № 6 (1). — P. 58–73.
Национальный авиационный университет, Киев
Национальный технический университет
Украины “Киевский политехнический институт“ Получено 03.04.2012
|
| id | nasplib_isofts_kiev_ua-123456789-45745 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0452-9910 |
| language | Russian |
| last_indexed | 2025-12-07T15:37:16Z |
| publishDate | 2012 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України |
| record_format | dspace |
| spelling | Синеглазов, В.М. Чумаченко, Е.И. Левицкий, О.Ю. 2013-06-18T09:35:02Z 2013-06-18T09:35:02Z 2012 Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц / В.М. Синеглазов, Е.И. Чумаченко, О.Ю. Левицкий // Кибернетика и вычисл. техника. — 2012. — Вип. 167. — С. 25-32. — Бібліогр.: 17 назв. — рос. 0452-9910 https://nasplib.isofts.kiev.ua/handle/123456789/45745 004.032.26 Разработан метод обучения радиально-базисной нейронной сети на основании алгоритма роя частиц. Данный метод позволяет уменьшить нагрузку на вычислительную систему, которая производит обучение, что позволяет ускорить его. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України Кибернетика и вычислительная техника Эргатические системы управления Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц Article published earlier |
| spellingShingle | Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц Синеглазов, В.М. Чумаченко, Е.И. Левицкий, О.Ю. Эргатические системы управления |
| title | Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц |
| title_full | Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц |
| title_fullStr | Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц |
| title_full_unstemmed | Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц |
| title_short | Алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц |
| title_sort | алгоритм обучения радиально-базисных сетей на базе алгоритма роя частиц |
| topic | Эргатические системы управления |
| topic_facet | Эргатические системы управления |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/45745 |
| work_keys_str_mv | AT sineglazovvm algoritmobučeniâradialʹnobazisnyhseteinabazealgoritmaroâčastic AT čumačenkoei algoritmobučeniâradialʹnobazisnyhseteinabazealgoritmaroâčastic AT levickiioû algoritmobučeniâradialʹnobazisnyhseteinabazealgoritmaroâčastic |