Составной адаптивный вэйвлон и алгоритм его обучения
Рассмотрена структура составного адаптивного вэйвлона и его алгоритм обучения. Предложен алгоритм, обладающий повышенной скоростью сходимости и обеспечивающий улучшенные аппроксимирующие свойства благодаря настройке всех параметров вэйвлет-фунций. Структура адаптивного вэйвлона может быть использова...
Saved in:
| Date: | 2009 |
|---|---|
| Main Authors: | , |
| Format: | Article |
| Language: | Russian |
| Published: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2009
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/5535 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Составной адаптивный вэйвлон и алгоритм его обучения / Е.В. Бодянский, Е.А. Винокурова // Управляющие системы и машины. — 2009. — № 1. — С. 47-53. — Бібліогр.: 30 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860265147712405504 |
|---|---|
| author | Бодянский, Е.В. Винокурова, Е.А. |
| author_facet | Бодянский, Е.В. Винокурова, Е.А. |
| citation_txt | Составной адаптивный вэйвлон и алгоритм его обучения / Е.В. Бодянский, Е.А. Винокурова // Управляющие системы и машины. — 2009. — № 1. — С. 47-53. — Бібліогр.: 30 назв. — рос. |
| collection | DSpace DC |
| description | Рассмотрена структура составного адаптивного вэйвлона и его алгоритм обучения. Предложен алгоритм, обладающий повышенной скоростью сходимости и обеспечивающий улучшенные аппроксимирующие свойства благодаря настройке всех параметров вэйвлет-фунций. Структура адаптивного вэйвлона может быть использована как строительный блок более сложных вычислительных конструкций.
Розглянуто структуру складеного адаптивного вейвлона та його алгоритм навчання. Запропонований алгоритм має підвищену швидкість збіжності та забезпечує покращені апроксимуючі властивості завдяки настроюванню усіх параметрів вейвлет-функцій. Структура адаптивного вейвлона може бути використана як будівельний блок більш складних обчислювальних конструкцій.
A compartmental adaptive wavelon and its learning algorithm are considered. A learning algorithm is suggested which has an increased convergence rate and provides the improved approximating properties because of the all wavelet parameters tuning. The suggested adaptive wavelon structure can be used as the block of more complex computational architecture.
|
| first_indexed | 2025-12-07T18:59:50Z |
| format | Article |
| fulltext |
УСиМ, 2009, № 1 47
УДК 519.7:004.8
Е.В. Бодянский, Е.А. Винокурова
Составной адаптивный вэйвлон и алгоритм его обучения
Рассмотрена структура составного адаптивного вэйвлона и его алгоритм обучения. Предложен алгоритм, обладающий повы-
шенной скоростью сходимости и обеспечивающий улучшенные аппроксимирующие свойства благодаря настройке всех па-
раметров вэйвлет-фунций. Структура адаптивного вэйвлона может быть использована как строительный блок более сложных
вычислительных конструкций.
A compartmental adaptive wavelon and its learning algorithm are considered. A learning algorithm is suggested which has an increased
convergence rate and provides the improved approximating properties because of the all wavelet parameters tuning. The suggested
adaptive wavelon structure can be used as the block of more complex computational architecture.
Розглянуто структуру складеного адаптивного вейвлона та його алгоритм навчання. Запропонований алгоритм має підвищену
швидкість збіжності та забезпечує покращені апроксимуючі властивості завдяки настроюванню усіх параметрів вейвлет-
функцій. Структура адаптивного вейвлона може бути використана як будівельний блок більш складних обчислювальних
конструкцій.
Введение. Искусственные нейронные сети
(ИНС) получили широкое распространение
для решения задач обработки информации и
прежде всего для идентификации, эмуляции,
интеллектуального управления, прогнозирова-
ния временных рядов произвольной природы в
условиях структурной и параметрической не-
определенности.
Альтернативой традиционным многослой-
ным ИНС с сигмоидальными функциями акти-
вации являются радиально-базисные нейрон-
ные сети (РБНС), имеющие один скрытый
слой, образованный так называемыми R-ней-
ронами, при этом обучение этих сетей реали-
зуется на уровне выходного слоя, образован-
ного адаптивными линейными ассоциаторами
[1–5]. В отличие от P-нейронов с сигмоидаль-
ной функцией активации R-нейроны имеют,
как правило, колоколообразную функцию ак-
тивации f j(x), аргументом которой является
рассогласование (обычно в метрике Евклида)
между текущим значением входного сигнала
x(k) и центром jc – j-го нейрона. Основное
преимущество РБНС – высокая скорость обу-
чения в выходном слое, определяемая тем, что
настраиваемые параметры входят в описание
сети линейно. Однако остается открытой про-
блема размещения центров R-нейронов, не-
удачное решение которой ведет к возникнове-
нию «проклятия размерности». Применение
методов кластеризации, хотя и позволяет
уменьшить размеры сети, исключает возмож-
ность работы в реальном времени. Отметим,
что в [6] описана градиентная рекуррентная
процедура покомпонентной настройки пара-
метров c ji, однако она характеризуется низкой
скоростью сходимости.
Наряду с нейронными сетями для обработки
сигналов различной природы последнее время
достаточно часто используется теория вэйвлет-
преобразования [7–9], обеспечивающая ком-
пактное локальное представление сигналов как в
частотной, так и во временной области. На
стыке теорий ИНС и вэйвлетов возникли вэйв-
лет-нейронные сети [10–17], подтвердившие
эффективность в задачах обработки нестацио-
нарных нелинейных сигналов и процессов. Эле-
ментарные узлы вэйвлет-нейронных сетей –
радиальные вэйвлоны [18], активационными
функциями которых являются четные вэйвле-
ты с аргументом в виде евклидова расстояния
между ( )x k и центром вэйвлета jc , при этом
каждая компонента расстояния
2
( ) jx k c− нор-
мируется на параметр ширины 2σ j . Рецептор-
ные поля таких вэйвлонов представляют собой
гиперэллипсоиды с осями коллинеарными ко-
ординатным осям пространства X.
Итак, статья посвящена вопросам синтеза со-
ставного адаптивного вэйвлона и его алгорит-
48 УСиМ, 2009, № 1
ма обучения, обладающего повышенной ско-
ростью сходимости и обеспечивающего улуч-
шенные аппроксимирующие свойства для ис-
пользования в качестве узла нейронной сети, в
частности, как нейрона МГУА-нейронной сети
[19–23].
Составной адаптивный вэйвлон
Рассмотрим двуслойную структуру состав-
ного адаптивного вэйвлона, приведенную на
рис. 1 и совпадающую по сути с упрощенной
радиально-базисной нейронной сетью с одним
выходом.
Рис. 1. Структура составного адаптивного вэйвлона
Нулевой слой структуры – рецепторный, и в
момент времени k на него подается входной
сигнал в форме вектора 1 2( ) ( ( ), ( ),x k x k x k= …
, ( )) .T
nx k… Скрытый слой в отличие от ради-
ально-базисных сетей образован не R-нейро-
нами, а вэйвлонами с многомерными актива-
ционными функциями-вэйвлетами вида
( )1( ( )) ( ( ) ) ( ( ) ) ,
1, 2, , ,
T
j j j j jx k x k c Q x k c
j h
−ϕ = ϕ − −
= …
(1)
в которых вместо параметров растяжений jiσ в
(1) используется матрица 1
jQ− , т.е. использует-
ся не евклидова метрика, а расстояние Итаку-
ры–Сайто [24]. Это приводит к тому, что ре-
цепторные поля вэйвлонов (2) могут иметь
произвольную ориентацию относительно ко-
ординатных осей пространства X, что расши-
ряет функциональные возможности составного
адаптивного вэйвлона.
Основываясь на вэйвлет-функции «Mexican
Hat» [8], введем новую настраиваемую акти-
вационную функцию в структуру составного
адаптивного вэйвлона, имеющую вид
2
2( ( )) (1 )exp
2
j
j j jx k
⎛ ⎞τ
ϕ = −α τ −⎜ ⎟⎜ ⎟
⎝ ⎠
, (2)
где ( )1τ ( ( )) ( ( ) ( )) ( )( ( ) ( )) ,T
j j j jx k x k c k Q k x k c k−= − −
jα – настраиваемый параметр ( 0 1≤ α ≤ ).
Уточняемый параметр α j позволяет настра-
ивать форму активационной функции в про-
цессе обучения составного адаптивного вэйв-
лона, при 0α = получаем гауссову функцию
активации, при 1α = получаем вэйвлет-функ-
цию «Mexican Hat», а при 0 1< α < – гибрид-
ную функцию активации. На рис. 2 приведены
формы двумерных активационных функций
вэйвлонов (2) при различных матрицах 1
jQ− и
параметре α j.
И, наконец, выход составного вэйлона пред-
ставляет собой обычный адаптивный линей-
ный ассоциатор с настраиваемыми синаптиче-
скими весами jw
( )1
0
1
€( ) ( ( ) ) ( ( ) )
( ( )),
h
j j j j
j
T
y k w w x k c Q x k c
w x k
−
=
= + ϕ − − =
= ϕ
∑ (3)
где 0( ( )) 1x kϕ ≡ , 0 1 2( , , , , )T
hw w w w w= … , ( ( ))x kϕ =
1 2(1, ( ( )), ( ( )), , ( ( )))T
hx k x k x k= ϕ ϕ ϕ… .
Настраиваемыми параметрами структуры со-
ставного адаптивного вэйвлона, подлежащими
определению в процессе обучения, будем по-
лагать 1h + синаптических весов jw , h ( 1)n× –
параметров векторов jc , h ( )n n× – элементов
матриц 1
jQ− и h – параметров α j. Всего такая
структура содержит 2(2 ) 1h n n+ + + уточняе-
мых параметров.
Алгоритм обучения составного адаптив-
ного вейвлона
Поскольку ( 1) 1h + × вектор синаптических
весов w входит в описание сети линейно, для
УСиМ, 2009, № 1 49
его уточнения может использоваться любой из
алгоритмов адаптивной идентификации [25] и,
прежде всего, традиционный рекуррентный
метод наименьших квадратов:
( 1) ( )
( )( ( ) ( ) ( ( ))) ( ( )) ,
1 ( ( )) ( ) ( ( ))
( 1) ( )
( ) ( ( 1)) ( ( 1)) ( ) ,
1 ( ( 1)) ( ) ( ( 1))
T
T
T
T
w k w k
P k y k w k x k x k
x k P k x k
P k P k
P k x k x k P k
f x k P k f x k
+ = +⎧
⎪ − ϕ ϕ⎪ +
⎪ +ϕ ϕ⎪
⎨ + = −⎪
⎪ ϕ + ϕ +
−⎪
+ + +⎪⎩
(4)
обладающий фильтрующими свойствами.
Для настройки параметров вэйвлонов (век-
торов jc , матриц 1
jQ− , параметра jα ) будем
использовать градиентную минимизацию ло-
кального критерия
( )221 1 ˆ( ) ( ) ( ) ( )
2 2
E k e k y k y k= = − , (5)
при этом в отличие от покомпонентного обу-
чения, рассмотренного в [6], введем уточнение
в векторно-матричной форме, что, во-первых,
проще с вычислительной точки зрения, а, во-
вторых, позволит оптимизировать процесс
обучения по быстродействию.
В общем случае алгоритм обучения может
быть записан в виде
{ }1
1 1 1
( 1) ( ) ( ),
1, 2, , ,
( 1) ( ) ( ) ,
1, 2, , ,
( 1) ( ) ( ),
1, 2, , ,
j j
j
j
j j c c
j j jQ
j j
c k c k E k
j h
Q k Q k E k Q
j h
k k E k
j h
−
− − −
α α
+ = −η ∇⎧
⎪ =
⎪⎪ + = −η ∂ ∂
⎨
=⎪
α + = α −η ∇⎪
⎪ =⎩
…
…
…
(6)
а б
в г
д е
Рис. 2. Активационные функции вэйвлонов при разных матрицах 1
jQ− и параметре α: а – 1 1 0
, α 1
0 1
Q− ⎛ ⎞
= =⎜ ⎟
⎝ ⎠
; б – 1 1 0
,
0 1
Q− −⎛ ⎞
= ⎜ ⎟
⎝ ⎠
α 1= ; в – 1 1 0
, α 0
0 1
Q− ⎛ ⎞
= =⎜ ⎟
⎝ ⎠
; г – 1 1 0
, α 0
0 1
Q− −⎛ ⎞
= =⎜ ⎟
⎝ ⎠
; д – 1 4 3
, α 0.5
1 2
Q− ⎛ ⎞
= =⎜ ⎟
⎝ ⎠
; е – 1 4 3
, α 0.5
1 2
Q− −⎛ ⎞
= =⎜ ⎟
⎝ ⎠
50 УСиМ, 2009, № 1
где
jc E∇ ,
j
Eα∇ – ( 1)n× -векторы-градиенты
критерия (5) по c j и α j соответственно;
{ }1( ) jE k Q−∂ ∂ – ( )n n× -матрица, образованная
частными производными E по компонентам
1
jQ− ; η
jc , 1η
jQ− и
jαη – параметры шага алго-
ритма обучения.
Для функции активации (2) можно записать
( )
{ }
( )
1
1
3
2
1
3
2
( ) 2 ( ) ( ) ( )( ( ) ( ))
( ( )) (2 1) ( ( ))
exp( ( ( )) 2) ( ) ( ),
( ) ( ) ( )( ( )
( ))( ( ) ( ))
( ( )) (2 1) ( ( ))
exp( ( ( )) 2) ( )
j
j
j
c j j j
j j j j
j c
j j
T
j j
j j j j
j Q
E k e k w k Q k x k c k
x k x k
x k e k J k
E k Q e k w k x k
c k x k c k
x k x k
x k e k J −
−
−
∇ = − ⋅
⋅ α τ − α + τ ⋅
⋅ −τ =
∂ ∂ = −
− − ⋅
⋅ α τ − α + τ ⋅
⋅ −τ = −
2
2
( ),
( ) ( ) ( ) ( ( ))
exp( ( ( )) 2) ( ) ( ),
j
j
j j
j
k
E k e k w k x k
x k e k J k
α
α
⎧
⎪
⎪
⎪
⎪
⎪⎪
⎨
⎪
⎪
⎪
⎪∇ = − τ ⋅⎪
⋅ −τ = −⎪⎩
(7)
где ( )
j
′ϕ • – производная j-го вэйвлета по аргу-
менту, заданному метрикой Итакуры–Сайто
1( ( ) ( )) ( )( ( ) ( ))T
j j jx k c k Q k x k c k−− − .
Тогда алгоритм обучения вэйвлонов скры-
того слоя с учетом (7) принимает форму
1
1
1
1 1
1
( 1) ( ) ( )2 ( ) (( ( )
( )) ( )( ( ) ( )))
( )( ( ) ( ))
( ) ( ) ( ),
( 1) ( ) ( ) ( ) (( ( )
( )) ( )( ( ) ( )))
( ( ) ( ))( ( )
j
j j
j
j j c j j
T
j j j
j j
j c c
j j j jQ
T
j j j
j j
c k c k e k w k x k
c k Q k x k c k
Q k x k c k
c k e k J k
Q k Q k e k w k x k
c k Q k x k c k
x k c k x k c
−
−
−
− −
−
′+ = −η ϕ −
− − ⋅
⋅ − =
= −η
′+ = +η ϕ −
− − ⋅
⋅ − −
1 1
1
2
2
( ))
( ) ( ) ( ),
( 1) ( ) ( ) ( ) ( ( ))
exp( ( ( )) 2) ( ) ( ) ( ),
j j
j
j j
T
j Q Q
j j j j
j j
k
Q k e k J k
k k e k w k x k
x k k e k J k
− −
−
α
α α
⎧
⎪
⎪
⎪
⎪
⎪
⎪
⎨
⎪
=⎪
= +η⎪
⎪α + =α +η τ ⋅⎪
⎪ ⋅ −τ = α +η⎩
(8)
при этом скорость сходимости к оптимальным
значениям jc и 1
jQ− полностью определяется
параметрами шага η
jc и 1η
jQ− .
Повышение скорости сходимости достига-
ется использованием более сложных, нежели
градиентные, процедур типа Хартли или Мар-
квардта, записанные для настройки параметров
jc и jα в обобщенной форме [26]:
(
) 1
1
( 1) ( ) ( ) ( )
( ) ( ),
( 1) ( ) ( ( ) ( )
) ( ) ( ),
j j
j
j j
j
T
j j c c c
c c
T
j j
c k c k J k J k
I J k e k
k k J k J k
I J k e k
−
α α α
−
α α
⎧ + = −λ +
⎪
⎪ + η
⎨
α + = α + λ +⎪
⎪ + η⎩
(9)
где I – ( )n n× -единичная матрица, ,c αλ λ –
положительные демпфирующие параметры,
,c αη η – параметры регуляризации.
Воспользовавшись леммой обращения мат-
риц, после достаточно простых преобразова-
ний можно получить простой и эффективный
алгоритм обучения центров вэйвлонов и пара-
метра ja в виде:
2
2
( ) ( )
( 1) ( ) λ ,
( )
( ) ( )
( 1) ( ) λ ,
( )
j
j
j
j
c
j j c
c c
j j
e k J k
c k c k
J k
e k J k
k k
J k
α
α
α α
⎧
+ = −⎪
⎪ η +⎪
⎨
⎪α + = α +
⎪ η +⎪⎩
(10)
который совпадает (при 1, 0,c cλ = η = 1, 0α αλ = η = )
с оптимальным по быстродействию алгорит-
мом Качмажа–Уидроу–Хоффа.
Для настройки матриц 1
jQ− можно восполь-
зоваться матричной модификацией алгоритма
(10) в виде[27]
1
1
1 1 1
1 1( 1) ( )
( ) ( )
,
( ( ) ( ))
j
j
j j j
j j
Q
TQ
Q Q Q
Q k Q k
e k J k
Tr J k J k
−
−
− − −
− −+ = +
+λ
η +
(11)
где 1λ
jQ− , 1η
jQ− имеют тот же смысл, что и соот-
ветствующие параметры в (9).
Таким образом, окончательно алгоритм обу-
чения параметров вэйвлонов скрытого слоя в
оптимальном по быстродействию варианте мо-
жет быть записан
УСиМ, 2009, № 1 51
( )1 1
1
2
1
1 1
2
( 1) ( ) ( ) ( ) ( ),
1,2, , ,
( 1) ( ) ( ( ) ( ))
( ) ( ), 1,2, , ,
( 1) ( ) ( ) ( ) ( ),
1,2, , .
j j
j j
j
j j
j j c c
T
j j Q Q
Q
j j
c k c k J k e k J k
j h
Q k Q k Tr J k J k
e k J k j h
k k J k e k J k
j h
− −
−
−
−
− −
−
α α
⎧ + = −⎪
=⎪
⎪ + = + ⋅⎪
⎨
⋅ =⎪
⎪
α + = α +⎪
⎪ =⎩
…
…
…
(12)
Известно, что одношаговые алгоритмы типа
Качмажа, имея высокое быстродействие, не
обладают фильтрующими свойствами, т.е.
плохо работают в условиях интенсивных воз-
мущений и помех. Для придания процессу
обучения сглаживающих свойств, используя
подход, предложенный в [28], можно ввести
следующую процедуру обучения:
( )
1
1
1
1 1 1
1 1
2
1 1
( ) ( )
( 1) ( ) ,
( )
( 1) γ ( ) ( 1) ,
( ) ( )
( 1) ( ) ,
( )
( 1) γ ( )
( 1) ( 1) ,
( ) ( )
( 1) ( ) ,
( )
( 1) γ
j
j
j
j j j
j
j
j
j j j
j j
j
j
j
j
c
j j c
c
c c c c
Q
j j Q
Q
Q Q Q
T
Q Q
j j
e k J k
c k c k
k
k k J k
e k J k
Q k Q k
k
k k
Tr J k J k
e k J k
k k
k
k
−
−
−
− − −
− −
− −
α
α
α
α
+ = −λ
η
η + = η + +
+ = + λ
η
η + = η +
+ + +
α + = α +λ
η
η + =
2
( ) ( 1) ,
j j
k J kα α α
⎧
⎪
⎪
⎪
⎪
⎪
⎪
⎪⎪
⎨
⎪
⎪
⎪
⎪
⎪
⎪
η + +⎪
⎪⎩
(13)
(здесь 10 1, 0 1,0 1
j
c Q− α≤ γ ≤ ≤ γ ≤ ≤ γ ≤ – пара-
метры взвешивания устаревшей информации),
являющуюся нелинейным гибридом алгоритма
Качмажа–Уидроу–Хоффа и Гудвина–Рэ-
меджа–Кэйнеса и обладающую как отслежи-
вающими, так и фильтрующими свойствами.
Экспериментальное моделирование
Эффективность предложенного подхода была
продемонстрирована при решении задачи эму-
ляции динамического объекта [29], описывае-
мого уравнением
( 1) 0,3 ( ) 0,6 ( 1) ( ( ))y k y k y k f u k+ = + − + , (14)
где ( )f u имеет вид: ( ) 0,6sin 0,3sin3f u u u= + +
0,1sin 5u+ .
Для эмуляции динамического объекта в ре-
альном времени применялся составной адап-
тивный вэйвлон с количеством входов 3n = .
Количество вэйвлет-активационных функций в
скрытом слое и их начальные параметры полу-
чены с помощью метода субтрактивной класте-
ризации [30], позволяющего получить не толь-
ко исходную матрицу координат центров кла-
стеров, но также вектор, компоненты которого
определяют диапазон влияния центра кластера.
Для обучения использовался сигнал u(k) =
sin 2 / 250k= для 1 20000k = … . После 20000
шагов обучение было остановлено. В качестве
проверочного использовался сигнал u(k) =
sin 2 / 250k= , 20001 20500k = … и ( )u k =
0,5sin2 / 250 0,5sin 2 / 25k k= + , 2001 2500k = … .
Количество вэйвлет-активационных функций
было принято h = 6. Начальные значения си-
наптических весов были нулевыми.
В качестве критерия качества прогноза ис-
пользована нормированная среднеквадрати-
ческая ошибка (NRMSE). Результаты эмуля-
ции динамического объекта (14) показаны на
рис. 3. Как видно, две кривые, представляю-
щие реальные (пунктирная линия) и модель-
ные (сплошная линия) значения, практически
идентичны.
В таблице представлен сравнительный ана-
лиз процесса эмуляции на основе составного
адаптивного вэйвлона с настройкой всех его
параметров с составным адаптивным вэйвло-
ном с обучением только синаптических весов
и результатами стандартной радиально-базис-
ной нейронной сети.
Сравнительный анализ результатов эмуляции динамиче-
ского объекта в реальном времени
Нейронная сеть / Алгоритм обучения NRMSE
Составной адаптивный вэйвлон / РМНК (4)
+ Предложенный алгоритм обучения всех
параметров вэйвлонов (13)
0,0334
Составной адаптивный вэйвлон / РМНК (4) 0,1955
Стандартная радиально-базисная нейронная
сеть / РМНК (4) 0,2211
52 УСиМ, 2009, № 1
Из приведенных на рис. 3 результатов сле-
дует, что предложенная структура составного
адаптивного вэйвлона и алгоритм обучения
всех ее параметров обеспечивают более высо-
кую точность эмуляции в реальном времени по
сравнению с подобной структурой с фикси-
рованными параметрами активационных функ-
ций, а также со стандартной радиально-базис-
ной нейронной сетью.
100 200 300 400 500 600 700 800 900 1000
−4
−3
−2
−1
0
1
2
3
4
NRMSE=0.0504NRMSE = 0,0504
Рис. 3. Результаты эмуляции динамического объекта (14)
Заключение. Предложен численно простой и
эффективный алгоритм обучения составного
адаптивного вэйвлона, обладающий отслежи-
вающими и фильтрующими свойствами и по-
зволяющий в реальном времени обрабатывать
нестационарные нелинейные сигналы и про-
цессы. Структура составного адаптивного вэйв-
лона может быть использована в качестве узла
МГУА-нейронных сетей и в дальнейшем по-
зволит расширить размерность вектора входов
нейронов таких сетей. Настройка всех пара-
метров вэйвлонов позволила улучшить аппрок-
симирующие свойства сети. Проведено экспе-
риментальное моделирование на различных
типах сигналов, подтверждающее результаты
преимущества предложенного подхода.
1. Moody J. Darken C. J. Fast learning in networks of lo-
cally-tuned processing units // Neural Comp. – 1989. – N
1. – P. 281–294.
2. Park J., Sandberg I.W. Universal approximation using
radial-basis-function networks // Ibid. – 1991. –
N 3. – P. 246–257.
3. Leonard J.A., Kramer M.A., Ungar L.H. Using radial
basis functions to approximate a function and its error
bounds // IEEE Trans. on Neural Networks. – 1992. –
N 3. – P. 614–627.
4. Sunil E.V.T., Yung C.Sh. Radial basis function neural
network for approximation and estimation of nonlinear
stochastic dynamic systems // Ibid. – 1994. – N 5. –
P. 594–603.
5. Poggio T., Girosi F. A Theory of Networks for Ap-
proximation and Learning // A.I. Memo № 1140,
C.B.I.P. P. № 31. – Massachussetts Institute of Tech-
nology, 1994. – 63 p.
6. Bishop C.M. Neural Networks for Pattern Recognition.
– Oxford: Clarendon Press, 1995. – 482 p.
7. Chui C.K. An Introduction to Wavelets. – NY: Aca-
demic, 1992. – 264 p.
8. Daubechies I. Ten Lectures on Wavelets. – Philadel-
phia, PA: SIAM., 1992. – 228 p.
9. Meyer Y. Wavelets: Algorithms and Applications. –
Ibid. – 1993. – 133 p.
10. Billings S.A., Wei H.-L. A new class of wavelet net-
works for nonlinear system identification // IEEE Trans.
on Neural Networks. – 2005. – 16 (4). – P. 862–874.
11. Zhang Q.H., Benveniste A. Wavelet networks // Ibid. –
1992. – 3 (6).– P. 889–898.
12. Wavelet neural networks for function learning / J. Zhang,
G.G. Walter, Y. Miao et al. // IEEE Trans. on Signal
Process. – 1995.– 43(6). – P. 1485–1497.
13. Zhang Q.H. Using wavelet network in nonparametric
estimation // IEEE Trans. on Neural Networks. – 1997. –
8(2). –– P. 227–236.
14. Bodyanskiy Ye., Pavlov O., Vynokurova O. Outliers re-
sistant learning algorithm for radial-basis-fuzzy-wavelet-
neural network in stomach acute injury diagnosis tasks
// Eds. K. Markov, K. Ivanova, I. Mitov. – Intern.
Book Series «Information Science and Computing», N
2. – Sofia: Inst. of Inform. Theories and Appl. FOI
ITHEA, 2008. – P. 55–62.
15. Bodyanskiy Ye., Pliss I., Vynokurova O. Adaptive wa-
velet-neuro-fuzzy network in the forecasting and emu-
lation tasks // Int. J. on Inform. Theory and Appl. –
2008. – 15. – N 1. – P. 47–55.
16. Bodyanskiy Ye., Vynokurova O. Robust learning algo-
rithm for wavelet-neural fuzzy network based on Poly-
wog wavelet // Системные технологии. – 2008. –
Т. 2. – № 3(56). – С. 129–134.
17. Анализ клинических данных в медицинских иссле-
дованиях на основе методов вычислительного ин-
теллекта / В.В. Бойко, Е.В. Бодянский, Е.А. Виноку-
рова и др. // Харьков: ТО Ексклюзив, 2008. – 120 с.
18. Reyneri L.M. Unification of neural and wavelet net-
works and fuzzy systems // IEEE Trans. on Neural
Networks. – 1999. – 10. – P. 801–814.
19. Ивахненко А.Г. Долгосрочное прогнозирование и
управление сложными системами. – Киев: Техніка,
1975. – 311 с.
20. Ивахненко А.Г., Степашко В.С. Помехоустойчи-
вость моделирования. – Киев: Наук. думка, 1985. –
216 с.
УСиМ, 2009, № 1 53
21. Степашко В.С. Анализ эффективности критериев
структурной идентификации прогнозирующих мо-
делей // Проблемы управления и информатики. –
1994. – № 3–4. – С. 13–21.
22. Степашко В.С. Теоретичні аспекти МГУА як ме-
тоду індуктивного моделювання // УСиМ. – 2003. –
№ 2. – С. 31–44.
23. Bodyanskiy Ye., Vynokurova O. Hybrid radial-basis
neuro-fuzzy wavelon in the non-stationary sequences
forecasting problems // Proc. 2nd Int. Conf. on Induc-
tive Modelling. – Sept. 15–19. – 2008. – Kyiv. –
P. 144–147.
24. Itakura F. Maximum prediction residual principle ap-
plied to speech recognition // IEEE Trans. on Acous-
tics, Speech, and Signal Processing. – 1975. – 23. –
P. 67–72.
25. Льюнг Л. Идентификация систем. Теория для поль-
зователя. – М.: Наука. ГРФМЛ, 1991. – 432 с.
26. Бодянский Е.В. Адаптивные алгоритмы идентифи-
кации нелинейных объектов управления // АСУ и
приборы автоматики. – Харьков: Выща шк., 1987.
– 81. – С. 43–46.
27. Bodyanskiy Ye., Vynokurova O., Yegorova E. Radial-
basis-fuzzy-wavelet-neural network with adaptive ac-
tivation-membership function // ICGST Int. J. on Arti-
ficial Intelligence and Machine Learning (AIML). –
2008. – 8. – II. – P. 9–15.
28. Bodyanskiy Ye., Kolodyazhniy V., Stephan A. An adap-
tive learning algorithm for a neuro-fuzzy network / Ed.
by B. Reusch «Computational Intelligence. Theory and
Applications». – Berlin–Heidelberg–New York: Sprin-
ger, 2001. – P. 68–75.
29. Narendra K.S., Parthasarathy K. Identification and con-
trol of dynamic systems using neural networks // IEEE
Trans. on Neural Networks. – 1990 – 1. – N 1. – P. 4–26.
30. Chiu S. Fuzzy model identification based on cluster
estimation // J. of Intelligent and Fuzzy Systems. –
1994. – 2. – № 3. – P. 267–278.
Окончание статьи Ю.А. Прокопчука
На новом уровне описания находится решение.
Если решения нет, то модели знаний необхо-
димо скорректировать. Отметим, что наличие
или отсутствие решения может зависеть от
субъективной оценки истинности моделей
знаний (представительности выборок на том
или ином уровне общности).
Заключение. Приведенные результаты от-
носятся к случаю фиксированного D (множе-
ства заключений). Для теста τd также можно
построить граф доменов. Домены заключений
на более высоком уровне общности необходи-
мо строить таким образом, чтобы исключить
артефакты предыдущего уровня (путем объе-
динения заключений, приводящих к артефак-
там). Для каждого уровня общности по заклю-
чениям выполняется описанная в статье про-
цедура построения истинных предельных мо-
делей знаний многоуровневого описания дей-
ствительности.
На практике данный метод применялся, в
основном, для решения медицинских задач ди-
агностики, прогнозирования и оптимизации
стратегии лечения. Максимальное количество
тестов равнялось 34 (в задаче прогнозирова-
ния отдаленных результатов после инфаркта
миокарда). Среднее количество тестов в реша-
емых задачах – 10–15. В настоящее время с
помощью магистров кафедры информационных
технологий и кибернетики Украинского госу-
дарственного химико-технологического уни-
верситета предпринимаются попытки значи-
тельного расширения сферы применения ме-
тода (программная реализация метода – одна
из лабораторных работ по курсу «Экспертные
системы»).
1. Прокопчук Ю.А. Интеллектуальные медицинские
системы: формально-логический уровень. – Дн-ск:
ИТМ НАНУ, 2007. – 259 с.
2. Информационные технологии в образовании и здра-
воохранении / А.А. Алпатов, Ю.А. Прокопчук,
О.В. Юденко и др. – Дн-ск: ИТМ НАНУ, 2008. –
287 с.
3. Клещев А.С. Задачи индуктивного формирования
знаний в терминах непримитивных онтологий пред-
метных областей. – Владивосток: ИАПУ ДВО РАН,
2003. – 35 с. – (Препринт/ ИАПУ ДВО РАН; № 6).
4. Ларичев О.И. Вербальный анализ решений. – М.:
Наука, 2006. – 245 с.
5. Мейер Д. Теория реляционных баз данных. – М.:
Мир, 1987. – 608 с.
© Е.В. Бодянский, Е.А. Винокурова, 2009
© Ю.А. Прокопчук, 2009
|
| id | nasplib_isofts_kiev_ua-123456789-5535 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0130-5395 |
| language | Russian |
| last_indexed | 2025-12-07T18:59:50Z |
| publishDate | 2009 |
| publisher | Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| record_format | dspace |
| spelling | Бодянский, Е.В. Винокурова, Е.А. 2010-01-26T11:25:43Z 2010-01-26T11:25:43Z 2009 Составной адаптивный вэйвлон и алгоритм его обучения / Е.В. Бодянский, Е.А. Винокурова // Управляющие системы и машины. — 2009. — № 1. — С. 47-53. — Бібліогр.: 30 назв. — рос. 0130-5395 https://nasplib.isofts.kiev.ua/handle/123456789/5535 519.7:004.8 Рассмотрена структура составного адаптивного вэйвлона и его алгоритм обучения. Предложен алгоритм, обладающий повышенной скоростью сходимости и обеспечивающий улучшенные аппроксимирующие свойства благодаря настройке всех параметров вэйвлет-фунций. Структура адаптивного вэйвлона может быть использована как строительный блок более сложных вычислительных конструкций. Розглянуто структуру складеного адаптивного вейвлона та його алгоритм навчання. Запропонований алгоритм має підвищену швидкість збіжності та забезпечує покращені апроксимуючі властивості завдяки настроюванню усіх параметрів вейвлет-функцій. Структура адаптивного вейвлона може бути використана як будівельний блок більш складних обчислювальних конструкцій. A compartmental adaptive wavelon and its learning algorithm are considered. A learning algorithm is suggested which has an increased convergence rate and provides the improved approximating properties because of the all wavelet parameters tuning. The suggested adaptive wavelon structure can be used as the block of more complex computational architecture. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Новые методы в информатике Составной адаптивный вэйвлон и алгоритм его обучения A Compartmental Adaptive Wavelon and its Learning Algorithm Article published earlier |
| spellingShingle | Составной адаптивный вэйвлон и алгоритм его обучения Бодянский, Е.В. Винокурова, Е.А. Новые методы в информатике |
| title | Составной адаптивный вэйвлон и алгоритм его обучения |
| title_alt | A Compartmental Adaptive Wavelon and its Learning Algorithm |
| title_full | Составной адаптивный вэйвлон и алгоритм его обучения |
| title_fullStr | Составной адаптивный вэйвлон и алгоритм его обучения |
| title_full_unstemmed | Составной адаптивный вэйвлон и алгоритм его обучения |
| title_short | Составной адаптивный вэйвлон и алгоритм его обучения |
| title_sort | составной адаптивный вэйвлон и алгоритм его обучения |
| topic | Новые методы в информатике |
| topic_facet | Новые методы в информатике |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/5535 |
| work_keys_str_mv | AT bodânskiiev sostavnoiadaptivnyivéivlonialgoritmegoobučeniâ AT vinokurovaea sostavnoiadaptivnyivéivlonialgoritmegoobučeniâ AT bodânskiiev acompartmentaladaptivewavelonanditslearningalgorithm AT vinokurovaea acompartmentaladaptivewavelonanditslearningalgorithm |