Робастное обучение вейвлет-нейросетей
Розглянуто робастний підхід до навчання вейвлет-нейронних мереж нульового та першого порядків. Досліджено алгоритми навчання Гауса–Ньютона, що використовують другу похідну функції втрат або вагову функцію. Наведено результати моделювання, що підтверджують ефективність запропонованих алгоритмів. An a...
Збережено в:
| Опубліковано в: : | Проблемы управления и информатики |
|---|---|
| Дата: | 2010 |
| Автори: | , |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2010
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/210834 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Робастное обучение вейвлет-нейросетей / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2010. — № 5. — С. 66-79. — Бібліогр.: 19 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859898399390695424 |
|---|---|
| author | Руденко, О.Г. Бессонов, А.А. |
| author_facet | Руденко, О.Г. Бессонов, А.А. |
| citation_txt | Робастное обучение вейвлет-нейросетей / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2010. — № 5. — С. 66-79. — Бібліогр.: 19 назв. — рос. |
| collection | DSpace DC |
| container_title | Проблемы управления и информатики |
| description | Розглянуто робастний підхід до навчання вейвлет-нейронних мереж нульового та першого порядків. Досліджено алгоритми навчання Гауса–Ньютона, що використовують другу похідну функції втрат або вагову функцію. Наведено результати моделювання, що підтверджують ефективність запропонованих алгоритмів.
An approach to training of the wavelet neural networks is considered. The Gauss–Newton algorithms that use the second derivative of a lost function or a weighted function are proposed and investigated. The simulation results that confirm efficiency of the proposed algorithms are presented.
|
| first_indexed | 2026-03-17T08:48:54Z |
| format | Article |
| fulltext |
© О.Г. РУДЕНКО, А.А. БЕССОНОВ, 2010
66 ISSN 0572-2691
МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ
УДК 519.71
О.Г. Руденко, А.А. Бессонов
РОБАСТНОЕ ОБУЧЕНИЕ ВЕЙВЛЕТ-НЕЙРОСЕТЕЙ
Введение. В основе многих задач обработки информации (обработка и фильт-
рация сложных сигналов, идентификация нелинейных динамических объектов
и управление ими, прогнозирование временнх последовательностей и т.д.) ле-
жит задача аппроксимации функций
,)()( xx fy (1)
где x — вектор ;1M )( f — неизвестная нелинейная функция; — помеха
с нулевым математическим ожиданием.
Хорошие аппроксимирующие свойства искусственных нейронных сетей (ИНС),
изученные в работах [1–3], обеспечили широкое применение нейросетевого подхо-
да при решении указанных задач. Доказательство возможности аппроксимации со
сколь угодно малой ошибкой любой непрерывной функции сетью, составленной из
нейронов с сигмоидальными активационными функциями, послужило основанием
того, что первоначально наиболее широкое распространение получили сети прямо-
го распространения (многослойный персептрон (МП)) с сигмоидальными актива-
ционными функциями. В этом случае задача аппроксимации сводится к опреде-
лению параметров сети путем ее обучения.
Впоследствии как альтернатива МП были предложены радиально-базисные
сети (РБС), которые также являются универсальными аппроксиматорами, но при
этом обладают более простой по сравнению с МП структурой и отличаются высо-
кой скоростью обучения. РБС осуществляют аппроксимацию функции )(xf не-
которой системой базисных функций (БФ) — нелинейных функций ),( tx, зави-
сящих от расстояния (радиального) ,tx r где t — вектор центров БФ,
.)()(ˆ
0
N
i
iiwf txx , (2)
Здесь iw — веса, определяемые в процессе обучения сети; ;1)( tx, N — ко-
личество нейронов.
Новые возможности повышения эффективности решения задачи аппрокси-
мации возникли с появлением вейвлет-нейронных сетей (ВНС), которые также
осуществляют аппроксимацию вида (2), используя при этом в качестве БФ
вейвлеты. Вейвлеты представляют собой локализованные функции, конструируе-
мые из материнского вейвлета )(x путем операции сдвига по времени it и из-
менения временнóго масштаба id
.)(
i
i
i
d
tx
x
Благодаря уникальным свойствам вейвлетов (ортогональности, нормируемо-
сти, локальности и полноты вейвлет-базиса) вейвлет-преобразования стали мощ-
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 67
ным инструментом анализа сложных нелинейных зависимостей, резко изменяю-
щихся функций и т.д. А возможность легкого обобщения вейвлет-преобразования
на множества любых размерностей делает их весьма эффективными при анализе
многомерных объектов [4].
Использование ВНС как специализированных ИНС прямого распространения
для решения различных задач, начатое, по-видимому, с работы [5] и развитое
в [6–10], в настоящее время получило весьма широкое распространение.
Предложенная и наиболее исследованная в [7] ВНС представляет собой частный
случай МП и обучается, как и МП, с помощью алгоритма обратного распространения
ошибки, минимизирующего квадратичный функционал от ошибки аппроксимации
)(ˆ)()( kfkyke на основе предъявления обучающих пар )),(),(( kykx .,2,1 k
Получаемое при этом асимптотически оптимальное с минимальной дисперсией
в классе несмещенных оценок МНК-решение основано на предположении, что
помеха некоррелирована и имеет нормальный закон распределения. Однако
данное предположение, как правило, неверно в реальных условиях, так как апри-
орная информация о распределении обычно недоступна или помеха засорена
негауссовским шумом, из-за чего некоторые измерения удалены на относительно
большое расстояние от основного объема данных и образуют так называемые
«хвосты». Неустойчивость оценки МНК при наличии таких помех послужила ос-
нованием для развития альтернативного, робастного оценивания в статистике,
цель которого — исключение влияния больших ошибок.
Среди основных типов робастных оценок, M-, L-, и R-оценок, являющихся со-
ответственно оценками максимального правдоподобия, линейными комбинациями
порядковых статистик и оценками, получаемыми в ранговых критериях, в задачах
обучения наиболее часто используется предложенная Хьюбером М-оценка [8].
Цель данной работы — получение и исследование робастных алгоритмов
обучения, основанных на М-оценивании и работоспособных при помехах, имею-
щих распределения, отличные от нормального.
Структура сети. Сеть образуется нейронами, в которых БФ являются
вейвлетами. Так как выбор материнского вейвлета определяет свойства вейвлет-
преобразования, в качестве материнских вейвлетов часто используются произ-
водные гауссовской функции, которая имеет наилучшую локализацию в частот-
ной и временнóй областях. При повышении порядка производной область опреде-
ления вейвлета несколько увеличивается, при этом вследствие подавления низко-
частотных компонент появляется возможность анализировать высокочастотные
структуры сигналов. Однако одним из наиболее широко используемых является
вейвлет «мексиканская шляпа» (МНАТ), вычисляемый по второй производной
гауссовской функции и имеющий вид
.)1()( 2/2 2xexx
Ниже используется обобщенная функция МНАТ, которая является М-мерной
БФ i-го нейрона, и имеет вид
)()(1T 1T
))()(1(),,()( txtx
txtxtxx
R
i eRR , (3)
где NkMjirR k
ij ,1,,1,],[1 (M — размерность входного сигнала, N — коли-
чество нейронов) — масштабирующая матрица (использование матрицы 1R поз-
воляет изменить не только ориентацию вейвлета, но в ряде случаев и его форму, как
видно из рис. 1:
10
011R (а);
15,0
5,011R (б);
05,013,0
13,03,01R (в);
0005,0013,0
013,00003,01R (г)).
68 ISSN 0572-2691
0,2
0,2
0,0
0,6
0,4
1,0
0,8
1,2
3
2
1
0 1 2 3
x2 x1 3
2
1
0
1
2
3
0,2
0,2
0,0
0,6
0,4
1,0
0,8
1,2
3
2
1
0 1 2 3
x2 x1 3
2
1
0
1
2
3
а б
1
1
0
3
2
5
4
6
3
2
1
0 1 2 3
x2 x1 3
2
1
0
1
2
3
0,7
0,9
1,1
1,3
1,5
3
2
1
0 1 2 3
x2 x1 3
2
1
0
1
2
3
в г
Рис. 1
Аппроксимация нелинейности )( f ВНС ),,( Ri tx приводит к вейвлет-ней-
росетевым моделям нулевого
)(),,()(ˆ T
1
xctx
N
i
ii Rckf (4)
и первого
)()()(ˆ T
xxc Vkf (5)
порядков. Здесь c и V — подлежащие определению )1( N -вектор и )( MN -
матрица весовых коэффициентов соответственно.
Отметим, что задача определения количества нейронов в сети N, т.е. структу-
ры сети, является важной и весьма сложной. Для ее решения могут использовать-
ся, например, кросс-валидация, статистическая проверка гипотез, а также широко
распространенные информационные критерии (IC), укладывающиеся в схему
,)())ˆ((ln2IC KNFL N x (6)
где )(L — функция правдоподобия; N̂ — оценка максимального правдоподо-
бия вектора параметров ; K — длина обучающей выборки, и отличающиеся ви-
дом функции ).(NF Так, 2)( NF соответствует критерию Акаике (AIC — Aka-
ike Information Criterion), 3)( NF — критерию Кульбака (KIC — Кullback
Information Criterion), NNF ln)( — критерию Шварца–Риссанена (BIC —
Bayesian Information Criterion), )(ln2)( NnlNF — критерию Хеннана–Куинна
(HQ или LIIC — Law of Iterated Information Criterion).
При робастном обучении сети целесообразным представляется использова-
ние какого-либо робастного критерия оценки качества, например робастной мо-
дификации критерия Акаике [11].
Наиболее простой способ изменения структуры сети — ее постепенное
усложнение путем добавления новых нейронов, проводимое каждый раз, когда
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 69
при предъявлении очередного i-го входного сигнала сети возникает ошибка аппрок-
симации ,)(ˆ)()( ififie превышающая допустимую. В этом случае, если в l-й
момент времени сеть содержала n нейронов, а предъявление вектора x(l) привело
к появлению ошибки ,)( adm ele то в сеть вводится новый (n+1)-й, нейрон, ве-
личина сдвига БФ 1nt которого принимается равной ),(1 ln xt вес — ),(1 lecn
а начальные элементы масштабирующей таблицы — ,)()(
11
1 IllR mn
tx где
)(lmt — величина сдвига БФ ближайшего к x(l) m-го нейрона для l-го входного сиг-
нала ВНС, I — единичная матрица .MM Таким образом, условием введения но-
вого нейрона является выполнение неравенств [12, 13]
,)( le (7)
,)()( ll mtx (8)
где и β — априорно устанавливаемые предельно допустимые значения ошибки
реакции сети и отклонения обобщенного сигнала x(l) от ближайшего к данному
входу центра.
Обучение сети. Обучение ВНС состоит в определении ее параметров и мо-
жет сводиться либо к выбору смещения и масштабирующих коэффициентов, удо-
влетворяющих определенным условиям, при которых семейство }{ i образует
ортогональный базис, и вычислению только весов вейвлетов, либо к определению
всех параметров сети путем ее обучения с учителем.
При обучении с учителем критерий оценивания (обучения) может быть пред-
ставлен следующим образом:
k
i
iekeF
1
)),(()]([ (9)
где ))(( ie — некоторая функция потерь.
Задача обучения заключается в поиске оценки ,̂ определяемой как решение
экстремальной задачи на минимум
min)( F (10)
или как решение системы уравнений
,0
)(
))((
)(
1
k
i jj
ie
ie
eF
(11)
где
)(
))((
))((
ie
ie
ie
— функция влияния.
Если ввести весовую функцию ,/)()( eee то система уравнений (11) мо-
жет быть записана следующим образом:
,0
)(
)())((
1
k
i j
ie
ieie (12)
а минимизация функционала (9) будет эквивалентна минимизации взвешенного
квадратичного функционала
.)(min
1
2
k
l
ll ee (13)
70 ISSN 0572-2691
При выборе )(
2
1
))(( 2 ieie функция влияния ),())(( ieie т.е. растет ли-
нейно с увеличением ),(ie что и объясняет неустойчивость оценки МНК к выбро-
сам и к помехам, распределения которых имеют большие хвосты.
М-оценка также представляет собой оценку ,̂ определяемую как решение
экстремальной задачи (10) или как решение системы уравнений (11), однако
функция потерь )( ie выбирается отличной от квадратичной. Исследование раз-
личных классов распределений помех позволило получить для этих классов
наименее благоприятные, т.е. минимизирующие фишеровскую информацию, рас-
пределения, использование которых, в свою очередь, определяет вид функции по-
терь и обеспечивает получение робастных оценок, устойчивых практически для
любых распределений помех [14–19].
В настоящее время существует достаточно много таких функций ).(e
В табл. 1 приведено несколько типичных видов функционалов и их производных,
используемых в робастном оценивании.
Введя вектор настраиваемых параметров сети ,,,,,,[)( 1
1,1
11
1
10 rttcck M
T
,1,11
1
, ],,,,,,,,, N
MM
NN
M
NN
MM rrttcr , запишем градиентный алгоритм обучения
,)]([)]([)1(ˆ)(ˆ 1 keFkQkk
(14)
где 1))(( kQ — матрица усиления.
Поскольку
k
l
i
i
k
l
i lfle
lf
lekF
11
),(ˆ)]([
)(ˆ
)]([)( (15)
,
)(ˆ
)]([
)(ˆ)(ˆ
)]([
)(
)(
1
2
1
2
2
k
l jiji
k
lji
ijij
lf
le
lflf
le
kF
HkF (16)
то, используя обычные для метода Гаусса–Ньютона предположения, при которых вто-
рая сумма в (16) будет близка к нулю, т.е. считая )(ˆ)(ˆ)]([)( T
1
2 lflflekF
k
l
и выбирая ),()( 2 kFkQ имеем
).()]([)1(ˆ)(ˆ 12 kFkFkk
(17)
Воспользовавшись блочным представлением матрицы )(ˆ)(ˆ)]([ T
1
lflfle
k
l
и леммой об обращении матриц, получаем более удобную в вычислительном от-
ношении форму алгоритма (17):
,
)(ˆ)1()(ˆ))((1
))(()(ˆ)1(
)1(ˆ)(ˆ
T kfkPkfke
kekfkP
kk
(18)
)),((
)(ˆ)1()(ˆ))((1
)1()(ˆ)(ˆ)1(
)1()(
T
T
ke
kfkPkfke
kPkfkfkP
kPkP
(19)
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 71
где для сети нулевого порядка (4)
,
)(ˆ
,,
)(ˆ
,
)(ˆ
,
)(ˆ
,
)(ˆ
,
)(ˆ
)(ˆ
1
,1
1
2,1
1
1,1
110
Mr
kf
r
kf
r
kf
t
kf
c
kf
c
kf
kf
;
)(ˆ
,,
)(ˆ
,
)(ˆ
,
)(ˆ
,
)(ˆ
,
1
,
1
1,1
1
,
N
MM
NNN
MM r
kf
r
kf
t
kf
c
kf
r
kf
;1
)(ˆ
0
c
kf
);,,(
)(ˆ
iii
i
Rt
c
kf
x
;)2(
)(ˆ 1
A
i
i
i
eA
t
A
c
t
kf
,)2(
)(ˆ 1
A
ij
m
iij
m
eA
r
A
c
r
kf
где ).()( 1T
txtx RA
Начальное значение матрицы )0(P выбирается как и в рекуррентном МНК
(РМНК), т.е. ,)0( IP где ,1 а начальная размерность единичной матрицы
I задается ,SS где )1(1 2 MMS — количество настраиваемых пара-
метров сети, содержащей 1 нейрон. Так как после введения в сеть нового, n-го
нейрона размерность )(kP увеличивается, то значения элементов матрицы )(kP
сбрасываются и инициализируются заново, при этом S становится равным
),1(1 2 MMnS где n — текущее количество нейронов в сети.
В случае использования сетей первого порядка (5) вектор весовых парамет-
ров )(ˆ k следует дополнить элементами матрицы весовых коэффициентов ,ijv
а вектор градиентов — соответствующими частными производными
ijv
kf )(ˆ
),()( xji kx .,1;,1 MjNi
Наиболее простые соотношения соответствуют оценке РМНК, так как в этом
случае )())(( keke и .1))(( ke
Следует отметить, что вторые производные некоторых функционалов при
определенных значениях аргументов могут быть отрицательными (табл. 1), т.е.
,0))(( ke что приводит к неустойчивой работе алгоритмов обучения. Если же
вместо )( в этих алгоритмах воспользоваться весовой функцией ),( то такая
проблема исчезает.
В этом случае алгоритм обучения принимает вид
,
)(ˆ)1()(ˆ))((1
))(()(ˆ)1(
)1(ˆ)(ˆ
T kfkPkfke
kekfkP
kk
(20)
)),((
)(ˆ)1()(ˆ))((1
)1()(ˆ)(ˆ)1(
)1()(
T
T
ke
kfkPkfke
kPkfkfkP
kPkP
(21)
где )0(P выбирается аналогично алгоритму (18), (19).
72 ISSN 0572-2691
Таблица 1
Функционал Первая производная
1 2
)()]([ keke ))((sign)()]([
1
kekeke
= 1,5
= 1,0
= 0,5
= 0,1
= 1,5
= 1,0
= 0,5
= 0,1
cke
c
kec
cke
ke
ke
)(,
2
)(
;)(,
2
)(
)]([
2
2
ckekec
ckeke
ke
)()),((sign
;)(),(
)]([
))((coshln)]([ keke ))((tanh)]([ keke
c
ke
c
ke
cke
)(
1ln
)(
)]([ 2
1
)(
1)()]([
c
ke
keke
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 73
Продолжение табл. 1
Вторая производная Весовая функция
3 4
2
)()1()]([
keke 11
)())((sign)()]([
kekekeke
= 1,5
= 1,0
= 0,5
= 0,1
= 1,5
= 1,0
= 0,5
= 0,1
cke
cke
ke
)(,0
;)(,1
)]([
cke
ke
c
cke
ke
)(,
)(
;)(,1
)]([
))((tanh1)]([ 2 keke 1))())(((tanh)]([ kekeke
2
)(
1)]([
c
ke
ke
1
)(
1)]([
c
ke
ke
74 ISSN 0572-2691
Продолжение табл. 1
1 2
)(arctg)]([ keke
2
1
)(1
)())((sign
)]([
ke
keke
ke
= 1,5
= 1,0
= 0,5
= 0,1
=2,0
= 1,5
= 1,0
= 0,5
= 0,1
=2,0
cke
cke
c
ke
ke
)(,2
;)(,
)(
cos1
)]([
cke
cke
c
ke
cke
)(,0
;)(,
)(
sin
)]([
)(1
)(
)]([
2
2
ke
ke
ke
22 ))(1(
)(2
)]([
ke
ke
ke
)1(5,0)]([
2)/)((2 ckeecke
2)/)(()()]([ ckeekeke
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 75
Окончание табл. 1
3 4
22
232
))(1(
)()1()()1(
)]([
ke
keke
ke
))(1)((
)())((sign
)]([
2
1
keke
keke
ke
= 1,5
= 1,0
= 0,5
= 0,1
=2,0
= 1,5
= 1,0
= 0,5
= 0,1
=2,0
cke
cke
c
ke
cke
)(,0
;)(,
)(
cos
)]([
2
cke
cke
c
ke
kceke
)(,0
;)(,
)(
sin
)()]([
32
2
))(1(
)(62
)]([
ke
ke
ke
22 ))(1(
2
)]([
ke
ke
2)/)((
2 )(
1)]([ ckee
c
ke
ke
2)/)(()]([ ckeeke
76 ISSN 0572-2691
Имитационное моделирование. Проводилось сравнение робастных свойств
различных функций потерь из табл. 1 на примере аппроксимации зашумленной
функции, описываемой уравнением
),(2,02,0
)443(
816
sin725,0)( 212
2
2
1
21 kxx
xx
xx
ky
(22)
где ]1,0( — параметр, влияющий на вид функции; T
21 ],[ xxx — входной
сигнал, компоненты которого представляли собой стационарные случайные по-
следовательности с равномерным
законом распределения в интер-
вале [1, 1], генерируемые дат-
чиком случайных чисел; )(k
)()()1( 21 kqkq — засо-
ренная помеха, гистограмма кото-
рой приведена на рис. 2 )(( 1 kq ,
)(2 kq — нормально распреде-
ленные помехи с 6,0 и 3
соответственно, ).1,0
На рис. 3 показана функция
(22) при задании 0,1 (а) и
4,0 (б). Усложнение формы функции привело к увеличению количества нейро-
нов, необходимого для ее аппроксимации с заданной точностью (0,01), с 15 до 45.
0,2
0,2
0,0
0,6
0,4
1,0
0,8
1,2
1
0
0,5
x2
x1
y (k)
0,5
1
1
0,5
0
0,5
1
1
0,5
0
0,5
1
0,2
0,2
0,0
0,6
0,4
1,0
0,8
1,2
1
0
0,5
x2
x1
y (k)
0,5
1
1
0,5
0
0,5
1
0,5
0
0,5
а б
Рис. 3
При исследовании данной функции использовалось 10 тыс. обучающих пар.
Результаты аппроксимации функции (22) с применением различных функций по-
терь и для различных значений параметра сведены в табл. 2. Здесь приведены
значения критерия, полученные с помощью формулы
k
ie
k
k
i 1
2 )(
lg)( (23)
на последнем шаге обучения сети.
Следует отметить, что при использовании функционалов, содержащих пара-
метр с, возникает задача определения оптимального значения этого параметра.
В табл. 3 в качестве примера приведены значения критерия (23), полученные при
исследовании функционала )1(5,0)]([
2)/)((2 ckeecke в задаче восстановле-
ния функции (22) при нормально распределенной )0( и засоренной )1,0(
0
1000
2000
3000
4000
5000
6000
6 4 2 0 2 4 6
Рис. 2
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 77
помехе ).(k Гистограммы соответствующих помех приведены на рис. 4 ,0(
5,1c (а); ,1,0 2c (б)). Оптимальные значения параметра с отмечены в
таблице жирным шрифтом. Очевидно, эти значения зависят от статистических
свойств помехи.
Таблица 2
Функционал
Результаты аппроксимации функции (22)
с использованием различных функций потерь
при различных значениях
1 (15 нейронов) 0,4 (45 нейронов)
)()]([ 2 keke 3,2952 5,3842
)()]([ keke 3,2493 5,0533
))((coshln)]([ keke 2,7138 5,6946
2
)(arctg)]([ keke 2,2879 5,3962
))(1(/)()]([ 22 kekeke 2,7280 5,8101
)1(
2
)]([
2)/)((
2
ckee
c
ke 2,0316 5,5143
cke
cke
c
ke
ke
)(,2
,)(,
)(
cos1
)]([
2,5558 5,9284
Таблица 3
Помеха
)(k
Значения критерия (23) при исследовании функционала [e(k)]
при различных значениях с
c 0,1 c 0,5 c 1 c 1,25 c 1,5 c 1,75 c 2,0 c 2,5 c 10
0 17,9829 5,5476 3,4494 2,6813 2,4181 2,6445 3,0487 3,1832 3,4237
1,0 25,7062 24,5732 13,5567 9,5867 7,0266 4,7387 3,8757 5,1148 7,3669
0
0,2
0,4
0,6
0,8
1,0
(e)
5 4 3 0 1 2
1,2
1,4
2 1 3 4 5
0
0,5
1,0
1,5
2,0
2,5
(e)
15 10 5 0 5 10 15
0
500
1000
1500
2000
2500
5 4 3 0 1 2
3000
2 1 3 4 5
0
500
1000
1500
2000
2500
15 10 5 0 5 10
3000
15
а б
Рис. 4
78 ISSN 0572-2691
Результаты сравнительного анализа аппроксимирующих свойств ВНС нуле-
вого и первого порядка приведены в табл. 4. Как видно из результатов сравнения,
сети первого порядка обладают лучшими аппроксимирующими свойствами, од-
нако процедура их обучения более ресурсоемкая, так как требуется вычисление
дополнительных частных производных и хранение дополнительной матрицы ве-
совых параметров V.
Таблица 4
Функционал
Значение для ВНС разного порядка
Нулевой порядок Первый порядок
)()]([ 2 keke 3,4618 3,2067
)()]([ keke 3,2494 3,0594
))((coshln)]([ keke 3,0111 2,4446
2
)(arctg)]([ keke 2,7639 2,6136
))(1(/)()]([ 22 kekeke 2,6926 2,3373
)1(
2
)]([
2)/)((
2
ckee
c
ke 2,6941 2,6807
Заключение. Применение ВНС в сочетании с робастными алгоритмами
Гаусса–Ньютона, используемыми для их обучения, обеспечивают качественное
решение задачи аппроксимации сложных нелинейных функций при наличии по-
мех, имеющих распределения, отличные от нормального. Использование априор-
ной информации о статистических свойствах помех позволяет получить опти-
мальные алгоритмы обучения ВНС, при отсутствии такой информации в алгорит-
мах обучения целесообразно использовать оценки статистических характеристик
помех, либо, что значительно проще, весовую функцию ).(e В ряде случаев по-
высить качество решения задачи аппроксимации можно путем перехода от ВНС
нулевого к ВНС первого порядка.
О.Г. Руденко, О.О. Безсонов
РОБАСТНЕ НАВЧАННЯ
ВЕЙВЛЕТ-НЕЙРОМЕРЕЖ
Розглянуто робастний підхід до навчання вейвлет-нейронних мереж нульово-
го та першого порядків. Досліджено алгоритми навчання Гауса–Ньютона, що
використовують другу похідну функції втрат або вагову функцію. Наведено
результати моделювання, що підтверджують ефективність запропонованих
алгоритмів.
O.G. Rudenko, А.А. Bezsonov
ROBUST TRAINING OF WAVELET
NEURAL NETWORKS
An approach to training of the wavelet neural networks is considered. The Gauss–
Newton algorithms that use the second derivative of a lost function or a weighted
function are proposed and investigated. The simulation results that confirm efficiency
of the proposed algorithms are presented.
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 79
1. Cybenko G. Approximation by superposition of a sigmoidal function // Math. of Controls, Signals
& Systems. — 1989. — 2. — P. 303–314.
2. Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approxima-
tors // Neural Networks. — 1989. — 2. — P. 359–366.
3. Poggio T., Giorosi F. Networks for approximation and learning // Proc. IEEE. — 1990. — 78,
N 9. — P. 1481–1497.
4. Дремин И.М., Иванов О.В., Нечитайло В.А. Вейвлеты и их использование // Успехи физ.
наук. — 2001. — 171, №5. — С. 465–501.
5. Daugmann J. Complete discrete 2-D Gabor transforms by neural networks for image analysis and
compression // IEEE Trans. Acoust., Speech, Signal Proc. — 1988. — 36. — P. 1169–1179.
6. Pati Y.C., Krishnaprasad P.S. Discrete affine wavelet transforms for analysis and synthesis of
feedforward neural networks // Adv. in Neural inf. Proc. Systems. — 1991. — 3. — P. 743–749.
7. Zhang Q., Benveniste A. Wavelet networks // IEEE Trans. on Neural Networks. — 1992. — 3. —
P. 889–898.
8. Хьюбер П. Робастность в статистике. — М.: Мир, 1984. — 304 с.
9. Pati Y.C., Krishnaprasad P.S. Analysis and synthesis of feedforward neural networks using dis-
crete affine wavelet transformations // IEEE Trans. on Neural Networks. — 1992. — 4. —
P. 73–85.
10. Szu H., Teffer B., Kadambe S. Neural network adaptive wavelets for signal representation and
classification // Opt. Eng. — 1992. — 31. — P. 1907–1916.
11. Ronchetti E. Robust model selection in regression // Statistics and Probability Letters. — 1985.
— 3. — P. 21–33.
12. Li Y., Sundararajan N., Saratchandran P. Analysis of minimal radial basis function network algo-
rithm for real-time identification of nonlinear dynamic systems // IEE Proc. Control Theory Appl.
— 2000. — 147, N 4. — P. 476–484.
13. Руденко О.Г., Бессонов А.А. Адаптивное управление многомерными нелинейными объек-
тами на основе радиально-базисных сетей // Кибернетика и системный анализ. — 2005. —
№ 2. — С. 168–176.
14. Цыпкин Я.З. Основы информационной теории идентификации. — М.: Наука, 1984. —
320 с.
15. Chen D.S., Jain R.C. A robust back-propagation learning algorithm for function approximation //
IEEE Trans. Neural Networks. — 1994. — 5. — P. 467–479.
16. Liano K. A robust approach to supervised learning in neural network // Proc. ICNN’94. — 1. —
P. 513–516.
17. Chichocki A., Unbehauen R. Robust neural networks with on-line learning for blind separation of
sources // IEEE Trans. on Circuits and Systems. I : Fundamental Theory and Appl. — 1996. —
43, N 11. — P. 894–906.
18. Lee Ch.-Ch., Chung P.-Ch., Tsai J.-R., Chang Ch.-I. Robust radial basis function neural networks
// IEEE Trans. on Systems, Man and Cybernetics, Part B: Cybernetics. — 1999. — 29, N 6. —
P. 674–685.
19. Zhang Xiao-G., Gao D., Zhang Xina-G., Ren Sh.-J. Robust wavelet support vector machine for
regression estimation // Int. J. of Inf. Technology. — 2005. — 11, N 9. — P. 35–45.
Получено 10.12.2009
|
| id | nasplib_isofts_kiev_ua-123456789-210834 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Russian |
| last_indexed | 2026-03-17T08:48:54Z |
| publishDate | 2010 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Руденко, О.Г. Бессонов, А.А. 2025-12-17T20:00:47Z 2010 Робастное обучение вейвлет-нейросетей / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2010. — № 5. — С. 66-79. — Бібліогр.: 19 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/210834 519.71 10.1615/JAutomatInfScien.v42.i10.10 Розглянуто робастний підхід до навчання вейвлет-нейронних мереж нульового та першого порядків. Досліджено алгоритми навчання Гауса–Ньютона, що використовують другу похідну функції втрат або вагову функцію. Наведено результати моделювання, що підтверджують ефективність запропонованих алгоритмів. An approach to training of the wavelet neural networks is considered. The Gauss–Newton algorithms that use the second derivative of a lost function or a weighted function are proposed and investigated. The simulation results that confirm efficiency of the proposed algorithms are presented. ru Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Методы обработки информации Робастное обучение вейвлет-нейросетей Робастне навчання вейвлет-нейромереж Robust training of wavelet neural networks Article published earlier |
| spellingShingle | Робастное обучение вейвлет-нейросетей Руденко, О.Г. Бессонов, А.А. Методы обработки информации |
| title | Робастное обучение вейвлет-нейросетей |
| title_alt | Робастне навчання вейвлет-нейромереж Robust training of wavelet neural networks |
| title_full | Робастное обучение вейвлет-нейросетей |
| title_fullStr | Робастное обучение вейвлет-нейросетей |
| title_full_unstemmed | Робастное обучение вейвлет-нейросетей |
| title_short | Робастное обучение вейвлет-нейросетей |
| title_sort | робастное обучение вейвлет-нейросетей |
| topic | Методы обработки информации |
| topic_facet | Методы обработки информации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/210834 |
| work_keys_str_mv | AT rudenkoog robastnoeobučenieveivletneirosetei AT bessonovaa robastnoeobučenieveivletneirosetei AT rudenkoog robastnenavčannâveivletneiromerež AT bessonovaa robastnenavčannâveivletneiromerež AT rudenkoog robusttrainingofwaveletneuralnetworks AT bessonovaa robusttrainingofwaveletneuralnetworks |