Asymptotic normality of fluctuations of the procedure of stochastic approximation with diffusive perturbation in a Markov medium
We consider the asymptotic normality of a continuous procedure of stochastic approximation in the case where the regression function contains a singularly perturbed term depending on the external medium described by a uniformly ergodic Markov process. Within the framework of the scheme of diffusion...
Збережено в:
| Дата: | 2006 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Українська Англійська |
| Опубліковано: |
Institute of Mathematics, NAS of Ukraine
2006
|
| Онлайн доступ: | https://umj.imath.kiev.ua/index.php/umj/article/view/3564 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Ukrains’kyi Matematychnyi Zhurnal |
| Завантажити файл: | |
Репозитарії
Ukrains’kyi Matematychnyi Zhurnal| _version_ | 1860509679071789056 |
|---|---|
| author | Chabanyuk, Ya. M. Чабанюк, Я. М. |
| author_facet | Chabanyuk, Ya. M. Чабанюк, Я. М. |
| author_sort | Chabanyuk, Ya. M. |
| baseUrl_str | https://umj.imath.kiev.ua/index.php/umj/oai |
| collection | OJS |
| datestamp_date | 2020-03-18T19:57:46Z |
| description | We consider the asymptotic normality of a continuous procedure of stochastic approximation in the case where the regression function contains a singularly perturbed term depending on the external medium described by a uniformly ergodic Markov process. Within the framework of the scheme of diffusion approximation, we formulate sufficient conditions for asymptotic normality in terms of the existence of a Lyapunov function for the corresponding averaged equation. |
| first_indexed | 2026-03-24T02:44:56Z |
| format | Article |
| fulltext |
УДК 519.21 + 62
Я. М. Чабанюк (Нац. ун-т „Львiв. полiтехнiка”)
АСИМПТОТИЧНА НОРМАЛЬНIСТЬ ФЛУКТУАЦIЙ
ПРОЦЕДУРИ СТОХАСТИЧНОЇ АПРОКСИМАЦIЇ
З ДИФУЗIЙНИМ ЗБУРЕННЯМ
У МАРКОВСЬКОМУ СЕРЕДОВИЩI
We consider the asymptotic normality of a continuous stochastic approximation procedure in the case
where the regression function includes a singularly perturbed term depending on the external medium
that is described by the uniformly ergodic Markov process. In the framework of diffusion approximation
scheme, we formulate sufficient conditions of the asymptotic normality in terms of the existence of the
Lyapunov function for the corresponding averaged equation.
Розглянуто асимптотичну нормальнiсть неперервної процедури стохастичної апроксимацiї у ви-
падку, коли функцiя регресiї має сингулярно збурений доданок, який залежить вiд зовнiшнього
середовища, що описується рiвномiрно ергодичним марковським процесом. У схемi дифузiйної
апроксимацiї сформульовано достатнi умови асимптотичної нормальностi в термiнах iснування
функцiї Ляпунова для вiдповiдного усередненого рiвняння.
1. Вступ. Процедури стохастичної апроксимацiї (ПСА) широко використовуються
при розв’язаннi задач оптимiзацiї в математичнiй статистицi, теорiї управлiння
та передачi iнформацiї, теорiї розпiзнавання образiв тощо [1]. Разом з основною
проблемою збiжностi ПСА до кореня рiвняння регресiї iснує важлива проблема
оцiнки швидкостi збiжностi, яка випливає з асимптотичної нормальностi флуктуацiї
ПСА навколо кореня рiвняння регресiї. Дослiдження асимптотичної нормальностi
флуктуацiї в класичних схемах ПСА [1, 2] здiйснюються з використанням принципу
iнварiантностi для сум (в дискретнiй ПСА) та процесiв (в неперервнiй ПСА). У
роботi [3] асимптотична нормальнiсть ПСА в марковському середовищi в схемi
усереднення вивчалась з використанням мартингальної характеризацiї вiдповiдного
двокомпонентного марковського процесу та розв’язанням проблеми сингулярного
збурення для генератора такого процесу. В результатi отримано породжуючий
оператор граничного дифузiйного процесу типу Орнштейна – Уленбека.
У данiй роботi розглядається асимптотична нормальнiсть для неперервної ПСА
в марковському середовищi з асимптотично дифузiйним збуренням в умовах збiж-
ностi такої процедури [4]. При цьому ми використовуємо другий метод функцiй
Ляпунова для усередненої системи.
У п. 1 сформульовано постановку задачi, а також введено основнi позначення. У
п. 2 наведено основний результат статтi — теорему про асимптотичну нормальнiсть
ПСА, а в п. 3 доведено ряд лем, з яких i випливає доведення теореми.
1. Постановка задачi. Неперервна ПСА в марковському середовищi з асимп-
тотично дифузiйним збуренням у схемi серiй iз малим параметром серiй ε > 0
задається еволюцiйним рiвнянням [5]
duε(t)
dt
= a(t)
[
C
(
uε(t), x
(
t
ε4
))
+ ε−1C0
(
x
(
t
ε4
))]
, (1)
на дiйснiй осi R = (−∞; +∞). Функцiя регресiї C(u, x), u ∈ R, x ∈ X, i функцiя
збурення C0(x), x ∈ X, задовольняють умови iснування глобального розв’язку
c© Я. М. ЧАБАНЮК, 2006
1686 ISSN 1027-3190. Укр. мат. журн., 2006, т. 58, № 12
АСИМПТОТИЧНА НОРМАЛЬНIСТЬ ФЛУКТУАЦIЙ ПРОЦЕДУРИ ... 1687
супроводжуючих систем
duε
x(t)
dt
= Cε
(
uε
x(t), x
)
, x ∈ X,
Cε(u, x) = C(u, x) + ε−1C0(x).
Марковський процес x(t), t ≥ 0, в стандартному просторi (X, X) iз стацiонар-
ним розподiлом π(B), B ∈ X, задається породжуючим оператором Q, що визнача-
ється спiввiдношенням
Qϕ(x) =
∫
X
Q(x, dy)
[
ϕ(y)− ϕ(x)
]
,
де ϕ(x) ∈ DQ — область визначення оператора Q.
При цьому породжуючий оператор Q є зведено-оборотним, для якого iснує
потенцiал R0, що визначається рiвнянням [6]
R0Q = QR0 = Π− I.
Тут Π — проектор у банаховому просторi B(X) дiйснозначних функцiй з супремум-
нормою, який задається спiввiдношенням
Πϕ(x) := ϕ̃1(x), ϕ̃ :=
∫
X
π(dx)ϕ(x), 1(x) ≡ 1, x ∈ X.
Стацiонарний розподiл π(B), B ∈ X, визначається рiвнянням
π(B) =
∫
X
π(dy)Q(y, B), B ∈ X, π(X) = 1.
При вiдповiдних умовах на функцiю a(t), t ≥ 0, та при рiвномiрнiй ергодичностi
марковського процесу x(t), t ≥ 0, зi стацiонарним розподiлом π(B), B ∈ X, ПСА
(1) збiгається з iмовiрнiстю одиниця до точки рiвноваги u0 усередненої системи
[5]
du(t)
dt
= C
(
u(t)
)
, (2)
де функцiя C(u) є усередненням функцiї регресiї C(u, x) по стацiонарному розпо-
дiлу π(B), B ∈ X:
C(u) :=
∫
X
π(dx)C(u, x).
Далi, не зменшуючи загальностi, вважаємо u0 = 0, тобто має мiсце рiвняння
C(0) = 0. (3)
Для збурення C0(x) функцiї регресiї C(u, x) виконується умова балансу
ISSN 1027-3190. Укр. мат. журн., 2006, т. 58, № 12
1688 Я. М. ЧАБАНЮК
УБ1)
∫
X
π(dx)C0(x) = 0,
або ΠC0(x) = 0.
Будемо розглядати стандартну ПСА (1) з нормуючою функцiєю a(t) =
a
t
, a > 0,
t > 0, i використовувати функцiю регресiї C(u, x) таку, що
У1) C(u, ·) ∈ C2(R),
а друга похiдна по u задовольняє глобальну умову Лiпшиця
У2)
∣∣C ′′
u(u, ·)− C ′′
u(u′, ·)
∣∣ ≤ C|u− u′|
з константою C, що не залежить вiд x ∈ X .
Тодi за формулою Тейлора для функцiї регресiї C(u, x) маємо розклад
C(u, x) = C0(x) + uC1(x) + u2C2(u, x), (4)
де
C0(x) := C(0, x), C1 := C ′
u(0, x),
C2(u, x) :=
1
2
C ′′
u(θu, x), 0 ≤ θ ≤ 1.
(5)
Для C0(x), враховуючи (3) та проектор Π, маємо ще одну умову балансу
УБ2) ΠC0(x) = 0.
Нехай виконується умова збiжностi ПСА (1) у марковському середовищi [5]:
iснує функцiя Ляпунова V (u), u ∈ R, така, що забезпечує експоненцiальну стiй-
кiсть системи (2),
C1) C(u)V ′(u) ≤ −c0V (u), c0 > 0,
а також для функцiї C̃(u, x) = C(u, x)− C(u) мають мiсце додатковi умови:
C2)
∣∣C0(x)R0C0(x)V ′′(u)
∣∣ ≤ c1
(
1 + V (u)
)
, c1 > 0,∣∣C(u, x)R0
[
C̃(u, x)V ′(u)
]′∣∣ ≤ c2V (u), c2 > 0,∣∣C0(x)R0
[
C̃(u, x)V ′(u)
]′∣∣ ≤ c3(1 + V (u)), c3 > 0,∣∣C0(x)R0C0(x)V ′′′(u)
∣∣ ≤ c4
(
1 + V (u)
)
, c4 > 0,∣∣C(u, x)R0C0(x)R0C0(x)V ′′′(u)
∣∣ ≤ c5V (u), c5 > 0.
Зауваження 1. Можна переконатись в тому, що для дифузiйного збурення
Cε
0(t) = ε−2a
t∫
t0
C0
(
x
( s
ε4
)) ds
s
, (6)
має мiсце (див. [6], твердження 4.2) слабка збiжнiсть
Cε
0(t) ⇒ σ(t)w(t), ε → 0, (7)
де σ(t) =
aρ
t
, ρ2 = 2
∫
X
π(dx)C0(x)R0C0(x), а w(t) — стандартний вiнерiв процес.
Введемо необхiднi позначення:
c := −
∫
X
π(dx)C1(x), b := 1 +
1
2ac
,
ISSN 1027-3190. Укр. мат. журн., 2006, т. 58, № 12
АСИМПТОТИЧНА НОРМАЛЬНIСТЬ ФЛУКТУАЦIЙ ПРОЦЕДУРИ ... 1689
де C1(x) визначається в (5), а також
C1(v, w) := vb +
√
tw
c
.
Флуктуацiя ПСА (1) розглядається у виглядi
vε(t) = ε−1
√
t
[
uε(t)− εCε
0(t)
]
. (8)
Зауваження 2. Доцiльнiсть центрування та нормування у (8) випливає з
умови (3) та збiжностi (7).
2. Теорема (асимптотична нормальнiсть). В умовах C1 та С2 збiжностi
ПСА (1) та при додаткових умовах:
D1) ρ2 > 0,
D2) b < 0
має мiсце слабка збiжнiсть
vε(t) ⇒ ζ(t), ε → 0, (9)
в кожному скiнченному iнтервалi (0 < t0 < t < T ). Граничний процес ζ(t), t ≥ 0,
є дифузiйним процесом Орнштейна – Уленбека [8], що визначається генератором
Lϕ(v, w) =
a2ρ2
2t2
ϕ′′
w(v, w) +
1
t
C1(v, w)ϕ′
v(v, w). (10)
Зауваження 3. Граничний дифузiйний процес ζ(t), t ≥ 0, задовольняє сто-
хастичне рiвняння
dζ(t) =
a
t
[
cbζ(t) + ρ
√
tw(t)
]
dt.
Наслiдок 1. В умовах теореми при a >> 0 флуктуацiя vε(t) має асимпто-
тично нормальний розподiл N(0, σ2), тобто
vε(t) ⇒ v, t →∞,
i випадкова величина v ∈ N(0, σ2) з дисперсiєю σ2 = a2ρ2/bc.
3. Властивостi нормованої ПСА (8).
Лема 1. Нормована ПСА (8) задовольняє еволюцiйне рiвняння
dvε(t) = ε−1 a√
t
C
(
ε
(
vε(t)√
t
+ Cε
0(t)
)
, x
(
t
ε4
))
dt +
1
2t
vε(t)dt. (11)
Доведення. Розглянемо нормовану флуктуацiю у виглядi
ũε(t) := ε−1
[
uε(t)− εCε
0(t)
]
, (12)
для якої має мiсце зображення
dũε(t) = ε−1 a
t
C
(
uε(t), x
(
t
ε4
))
dt. (13)
ISSN 1027-3190. Укр. мат. журн., 2006, т. 58, № 12
1690 Я. М. ЧАБАНЮК
Оскiльки з (12) та (8) маємо ũε(t) = vε(t)/
√
t, то, обчислюючи диференцiал у
лiвiй частинi (13), отримуємо (11).
Наслiдок 2. Має мiсце асимптотичний розклад еволюцiйного рiвняння (11):
dvε(t) =
(
ε−1 a√
t
C0
(
x
(
t
ε4
))
+
a
t
[
b
(
x
(
t
ε4
))
vε(t) +
√
tCε
0(t)C1(x)
])
dt+
+ θC
(
vε(t), x
(
t
ε4
))
dt,
iз знехтуючим членом∣∣θC(vε(t), x)
∣∣ → 0, ε → 0, t0 < t < T,
де b(x) = C1(x) + 1/2.
Доведення. У правiй частинi (11) для функцiї регресiї C(u, x) використаємо
розклад (4).
4. Генератор розширеного марковського процесу. Розглянемо розширений
марковський процес
vε(t), Cε
0(t), xε
t := x
(
t
ε4
)
, t ≥ 0. (14)
Лема 2. Генератор процесу (14) на тест-функцiях ϕ(v, w, ·) ∈ C3(R × R)
має асимптотичне зображення
Lε
tϕ(v, w, x) = ε−4Qϕ(·, ·, x) + ε−2 a
t
C0(x)ϕ(·, w, ·)+
+ε−1 a√
t
C0(x)ϕ(v, ·, ·) +
a
t
C1(v, w, x)ϕ(v, ·, ·) + θε
t (v, w, x)ϕ(v, w, x), (15)
де
C0(x)ϕ(w) = C0(x)ϕ′(w), (16)
C0(x)ϕ(v) = C0(x)ϕ′(v), (17)
C1(v, w, x)ϕ(v) =
((
v +
√
tw
)
C1(x) +
v
2a
)
ϕ′(v), (18)
а залишковий член θε
t (v, w, x)ϕ(v, w, x) такий, що∥∥θε
t (v, w, x)ϕ(v, w, x)
∥∥ → 0, ε → 0.
Доведення. Згiдно з означенням генератора для розширеного марковського
процесу (14) необхiдно обчислити умовне математичне сподiвання. Враховуючи
(6), маємо
Ev,w,x
[
ϕ(v + ∆vε(t), w + ∆Cε
0(t), xε
t+∆))− ϕ(v, w, x)
]
=
= Lε
tϕ(v, w, x)∆ + o(∆),
ISSN 1027-3190. Укр. мат. журн., 2006, т. 58, № 12
АСИМПТОТИЧНА НОРМАЛЬНIСТЬ ФЛУКТУАЦIЙ ПРОЦЕДУРИ ... 1691
де генератор Lε
t має вигляд (15), а o(∆) — нескiнченно мала другого порядку
вiдносно ∆ i ∆ перед функцiєю розумiється як оператор приросту функцiї.
5. Розв’язок проблеми сингулярного збурення. Для побудови гранично-
го оператора розглянемо розв’язок проблеми сингулярного збурення (РПСЗ) ([7],
лема 3.3) для оператора Lε
t у формi (15) на збуренiй тест-функцiї вигляду
ϕε(v, w, x) = ϕ(v, w) + ε2 1
t
ϕ2(v, w, x)+
+ε3 1√
t
ϕ3(v, w, x) + ε4 1
t
ϕ4(v, w, x).
Лема 3. Розв’язок проблеми сингулярного збурення для генератора (15) має
вигляд
Lε
tϕ
ε(v, w, x) =
1
t
Lϕ(v, w) + θε
L(v, w, x)ϕ(v, w), (19)
де оператор L обчислюється за формулою (10), а залишковий член θε
L(v, w, x)ϕ(v, w)
такий, що ∥∥θε
L(v, w, x)ϕ(v, w)
∥∥ → 0, ε → 0.
Доведення. Запишемо дiю оператора Lε
t на функцiю ϕε(v, w, x) у виглядi фор-
мули
Lε
tϕ
ε(v, w, x) = ε−4Qϕ(v, w) + ε−2
[
Qϕ2(v, w, x) + C0(x)ϕ(v, w)
]
+
+ε−1
[
Qϕ3(v, w, x) +
a√
t
C0(x)ϕ(v, w)
]
+
+
1
t
[
Qϕ4(v, w, x) + aC0(x)ϕ2(v, w, x) + C1(v, w, x)ϕ(v, w)
]
+
+θε
L(v, w, x)ϕ(v, w). (20)
Зауважимо, що Qϕ(v, w) = 0, оскiльки функцiя ϕ(v, w) не залежить вiд x. З
умови розв’язностi Qϕ2(v, w, x) + C0(x)ϕ(v, w) = 0 i УБ1 одержуємо зображення
для функцiї
ϕ2(v, w, x) = R0C0(x)ϕ(v, w). (21)
З умови розв’язностi ПСЗ (20) Qϕ3(v, w, x)+
a√
t
C0(x)ϕ(v, w) = 0 i УБ2 маємо
ϕ3(v, w, x) =
a√
t
R0C0(x)ϕ(v, w).
Передостаннiй доданок в (20) дає граничний оператор L(x) :
Qϕ4(v, w, x) + aC0(x)ϕ2(v, w, x) + C1(v, w, x)ϕ(v, w) = L(x)ϕ(v, w). (22)
Враховуючи (21), з (22) маємо
ISSN 1027-3190. Укр. мат. журн., 2006, т. 58, № 12
1692 Я. М. ЧАБАНЮК
Qϕ4(v, w, x) +
[
aC0(x)R0C0(x) + C1(v, w, x)
]
ϕ(v, w) = L(x)ϕ(v, w). (23)
Граничний оператор L визначається з умови розв’язностi рiвняння (23):
LΠ = ΠL(x)Π. (24)
З формули (24) з урахуванням (16) – (18) отримуємо граничний оператор L у
виглядi (10).
Наслiдок 3. Наявнiсть множника
1
t
у зображеннi (19) означає, що при
нормуваннi τ = et граничний процес η(t) = ζ(et), що визначається генератором
L, є дифузiйним [8].
Доведення теореми. Застосування модельної граничної теореми (див. [9], те-
орема М) обґрунтовує слабку збiжнiсть (9).
Висновок. Асимптотичну нормальнiсть неперервної ПСА в евклiдовому про-
сторi Rd, d > 1, можна отримати з додатковими технiчними ускладненнями.
Автор висловлює подяку академiку НАН України В. С. Королюку за увагу до
статтi.
1. Невельсон М. Б., Хасьминский Р. З. Стохастическая аппроксимация и рекуррентное оценива-
ние. – М.: Наука, 1972. – 304 c.
2. Ljung L., Pflug G., Walk H. Stochastic approximation and optimization of random systems. – Basel
etc.: Birkhauser, 1992. – 113 p.
3. Чабанюк Я. М. Асимптотична нормальнiсть для неперервної процедури стохастичної апрок-
симацiї в марковському середовищi // Допов. НАН України. Сер. А. – 2004. – № 5. – С. 37 – 45.
4. Чабанюк Я. М. Процедура стохастичної апроксимацiї в ергодичному середовищi Маркова //
Мат. студ. – 2004. – 21, № 1. – С. 81 – 86.
5. Чабанюк Я. М. Непрерывная процедура стохастической аппроксимации с сингулярным воз-
мущением в условиях баланса // Кiбернетика i систем. аналiз. – 2006. – № 3. – С. 1 – 7.
6. Королюк В. С., Турбин А. Ф. Полумарковские процессы и их применение. – Киев: Наук. думка,
1976. – 184 с.
7. Koroliuk V., Limnios N. Stochastic systems in merging phase space. – World Sci. Publ., 2005. –
330 p.
8. Боровков А. А. Теория вероятностей. – М.: Наука, 1986. – 431 с.
9. Korolyuk V. S., Korolyuk V. V. Stochastic models of systems. – Kluwer Acad. Publ., 1999. – 185 p.
Одержано 10.10.2005
ISSN 1027-3190. Укр. мат. журн., 2006, т. 58, № 12
|
| id | umjimathkievua-article-3564 |
| institution | Ukrains’kyi Matematychnyi Zhurnal |
| keywords_txt_mv | keywords |
| language | Ukrainian English |
| last_indexed | 2026-03-24T02:44:56Z |
| publishDate | 2006 |
| publisher | Institute of Mathematics, NAS of Ukraine |
| record_format | ojs |
| resource_txt_mv | umjimathkievua/a1/f32c8155e42ce201cb5b5079b560cda1.pdf |
| spelling | umjimathkievua-article-35642020-03-18T19:57:46Z Asymptotic normality of fluctuations of the procedure of stochastic approximation with diffusive perturbation in a Markov medium Асимптотична нормальність флуктуацій процедури стохастичної апроксимації з дифузійним збуренням в марковському середовищі Chabanyuk, Ya. M. Чабанюк, Я. М. We consider the asymptotic normality of a continuous procedure of stochastic approximation in the case where the regression function contains a singularly perturbed term depending on the external medium described by a uniformly ergodic Markov process. Within the framework of the scheme of diffusion approximation, we formulate sufficient conditions for asymptotic normality in terms of the existence of a Lyapunov function for the corresponding averaged equation. Розглянуто асимптотичну нормальність неперервної процедури стохастичної апроксимації у випадку, коли Функція регресії має сингулярно збурений доданок, який залежить від зовнішнього середовища, що описується рівномірно ергодичним марковським процесом. У схемі дифузійної апроксимації сформульовано достатні умови асимптотичної нормальності в термінах існування функції Ляпунова для відповідного усередненого рівняння. Institute of Mathematics, NAS of Ukraine 2006-12-25 Article Article application/pdf https://umj.imath.kiev.ua/index.php/umj/article/view/3564 Ukrains’kyi Matematychnyi Zhurnal; Vol. 58 No. 12 (2006); 1686–1692 Український математичний журнал; Том 58 № 12 (2006); 1686–1692 1027-3190 uk en https://umj.imath.kiev.ua/index.php/umj/article/view/3564/3862 https://umj.imath.kiev.ua/index.php/umj/article/view/3564/3863 Copyright (c) 2006 Chabanyuk Ya. M. |
| spellingShingle | Chabanyuk, Ya. M. Чабанюк, Я. М. Asymptotic normality of fluctuations of the procedure of stochastic approximation with diffusive perturbation in a Markov medium |
| title | Asymptotic normality of fluctuations of the procedure of stochastic approximation with diffusive perturbation in a Markov medium |
| title_alt | Асимптотична нормальність флуктуацій процедури стохастичної апроксимації з дифузійним збуренням в марковському середовищі |
| title_full | Asymptotic normality of fluctuations of the procedure of stochastic approximation with diffusive perturbation in a Markov medium |
| title_fullStr | Asymptotic normality of fluctuations of the procedure of stochastic approximation with diffusive perturbation in a Markov medium |
| title_full_unstemmed | Asymptotic normality of fluctuations of the procedure of stochastic approximation with diffusive perturbation in a Markov medium |
| title_short | Asymptotic normality of fluctuations of the procedure of stochastic approximation with diffusive perturbation in a Markov medium |
| title_sort | asymptotic normality of fluctuations of the procedure of stochastic approximation with diffusive perturbation in a markov medium |
| url | https://umj.imath.kiev.ua/index.php/umj/article/view/3564 |
| work_keys_str_mv | AT chabanyukyam asymptoticnormalityoffluctuationsoftheprocedureofstochasticapproximationwithdiffusiveperturbationinamarkovmedium AT čabanûkâm asymptoticnormalityoffluctuationsoftheprocedureofstochasticapproximationwithdiffusiveperturbationinamarkovmedium AT chabanyukyam asimptotičnanormalʹnístʹfluktuacíjproceduristohastičnoíaproksimacíízdifuzíjnimzburennâmvmarkovsʹkomuseredoviŝí AT čabanûkâm asimptotičnanormalʹnístʹfluktuacíjproceduristohastičnoíaproksimacíízdifuzíjnimzburennâmvmarkovsʹkomuseredoviŝí |