Asymptotically optimal estimators for moments of change
We consider the problem of finding asymptotically optimal estimators for many moments of change in the case of incomplete information on distributions. We prove that if the maximum-likelihood estimator is asymptotically optimal, then, under certain conditions, it preserves this property after the re...
Saved in:
| Date: | 2006 |
|---|---|
| Main Authors: | , |
| Format: | Article |
| Language: | Ukrainian English |
| Published: |
Institute of Mathematics, NAS of Ukraine
2006
|
| Online Access: | https://umj.imath.kiev.ua/index.php/umj/article/view/3463 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Ukrains’kyi Matematychnyi Zhurnal |
| Download file: |  |
Institution
Ukrains’kyi Matematychnyi Zhurnal| _version_ | 1860509558677438464 |
|---|---|
| author | Shurenkov, H. V. Шуренков, Г. В. |
| author_facet | Shurenkov, H. V. Шуренков, Г. В. |
| author_sort | Shurenkov, H. V. |
| baseUrl_str | https://umj.imath.kiev.ua/index.php/umj/oai |
| collection | OJS |
| datestamp_date | 2020-03-18T19:55:07Z |
| description | We consider the problem of finding asymptotically optimal estimators for many moments of change in the case of incomplete information on distributions. We prove that if the maximum-likelihood estimator is asymptotically optimal, then, under certain conditions, it preserves this property after the replacement of actual values by density estimators. We solve the problem for the case of one moment of change and generalize the results obtained to the case of several moments of change. |
| first_indexed | 2026-03-24T02:43:01Z |
| format | Article |
| fulltext |
UDK 519.21
H. V. Íurenkov (Ky]v. nac. un-t im. T. Íevçenka)
ASYMPTOTYÇNO OPTYMAL|NI OCINKY
MOMENTIV ZMINY
We consider the problem of finding asymptotically optimal estimates of many moments of change in the
case of incomplete information about distributions. We prove that if the estimate of maximal probability
is asymptotically optimal, then, under certain conditions, it preserves this property after the replacement
of values of denseness by their estimates. We solve the problem for the case of one moment of the
variation and generalize the results obtained to the case of several moments of change.
Rozhlqnuto zadaçu znaxodΩennq asymptotyçno optymal\nyx ocinok bahat\ox momentiv zminy u
vypadku nepovno] informaci] pro rozpodily. Dovedeno, wo ocinka maksymal\no] virohidnosti,
qka [ asymptotyçno optymal\nog, za pevnyx umov zalyßa[t\sq takog pry pidstanovci ocinok
wil\nosti zamist\ spravΩnix znaçen\. Zadaçu rozv’qzano dlq vypadku odnoho momentu zminy, j
otrymani rezul\taty uzahal\neno na vypadok kil\kox momentiv zminy.
1. Vstup. Zadaça ocingvannq momentiv zminy vynyka[, zokrema, pry analizi heo-
lohiçnyx danyx ta telemetryçno] informaci]. Isnu[ dekil\ka pidxodiv do poßu-
ku momentiv zminy [1].
Pry perßomu pidxodi rozhlqdagt\ aposteriorni ocinky momentiv zminy. V
ramkax c\oho pidxodu zadaçu poßuku momentiv zminy moΩna rozhlqdaty qk zada-
çu perevirky hipotez wodo poloΩennq momentu zminy. Todi optymal\nog moΩ-
na vvaΩaty ocinku, qka minimizu[ poxybku vyboru hipotezy. Takog ocinkog bude
ocinka metodu najbil\ßo] virohidnosti (u vypadku odnoho momentu zminy). Pry
druhomu varianti c\oho pidxodu rozhlqdagt\ zadaçu ocinky nevidomoho paramet-
ra (a same, momentu zminy). Optymal\nog ocinkog v c\omu vypadku moΩna vva-
Ωaty ocinku, wo minimizu[ seredn\okvadratyçne vidxylennq. Todi asymptotyçno
optymal\nog bude ba[sova ocinka [1].
Pry druhomu pidxodi rozhlqdagt\ zadaçu qknajßvydßoho vidßukannq mo-
mentu zminy za danymy, wo nadxodqt\. Taka zadaça zvodyt\sq do vidßukannq op-
tymal\noho momentu zupynky v deqkomu klasi momentiv Markova [2, 3]. Krim
c\oho, moΩlyva postanovka zadaçi poßuku momentiv zminy qk poßuku rozryvu v
kryvij, wo sposteriha[t\sq, z ßumom [4, 5]. Metody ocingvannq momentiv zminy
zastosovugt\sq pry rozpiznavanni obraziv [6].
U danij roboti rozhlqda[t\sq aposteriorna zadaça optymal\no] ocinky baha-
t\ox momentiv zminy, pry c\omu vykorystovu[t\sq tak zvanyj ßvydkyj alhorytm
poßuku momentiv zminy [7], v qkomu zadaça zvodyt\sq do vidßukannq
optymal\no] poslidovnosti nomeriv rozpodiliv („tra[ktori]”) za dopomohog
alhorytmu dynamiçnoho prohramuvannq, zaproponovanoho v [8].
U statti [1] znajdeno asymptotyçno optymal\ni ocinky momentiv zminy dlq
vypadku odnoho momentu, v [9] ci rezul\taty uzahal\neno na vypadok bahat\ox
momentiv zminy. U danij roboti rozhlqda[t\sq zadaça vidßukannq optymal\no]
ocinky, koly vidomo, wo dani moΩut\ maty lyße dva rozpodily, ale informaciq
pro nyx [ nepovnog. V danomu vypadku moΩlyvo, vykorystovugçy mediannu
ocinku [10], vstanovyty pryblyzni ocinky momentiv zminy, a potim, pobuduvavßy
za cymy ocinkamy ocinky wil\nosti, vykorystaty ]x dlq bil\ß toçnoho ocing-
vannq momentiv zminy.
V roboti pokazano, wo asymptotyçnyj rozpodil vidxylennq tako] ocinky zbi-
ha[t\sq z rozpodilom optymal\no] ocinky u vypadku odnoho momentu zminy, j
otrymanyj rezul\tat uzahal\neno na vypadok bahat\ox momentiv zminy.
2. Postanovka zadaçi. Budemo rozhlqdaty poslidovnist\ nezaleΩnyx vy-
padkovyx velyçyn { ζ1 , … , ζ N } , qki, vzahali kaΩuçy, ne [ odnakovo rozpodile-
nymy, a moΩut\ maty odyn iz dvox rozpodiliv: F = F1 , G = F2 . VvaΩa[mo, wo
ci rozpodily magt\ wil\nosti f = f1 ta g = f2 vidpovidno. P( )ζ j A∈ = F A
hj
0 ( ) ,
© H. V. ÍURENKOV, 2006
406 ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
ASYMPTOTYÇNO OPTYMAL|NI OCINKY MOMENTIV ZMINY 407
de h0 = { }, , ,h j Nj
0 1= … — nevypadkova poslidovnist\ nomeriv hj
0 1 2∈{ , }, qka
ma[ vyhlqd hj
0 = const pry ki = [ θi N ] < j ≤ [ θi + 1 N ] , de 0 = θ0 < θ1 < …
… < θR < θR + 1 = 1 — fiksovani nevypadkovi çysla, qki nazyvagt\ momentamy
zminy, ki — toçky zminy. Vektor z toçok zminy poznaçymo çerez k. Poslidov-
nosti nomeriv rozpodiliv h budemo nazyvaty tra[ktoriqmy, h0
— istynnog tra-
[ktori[g poslidovnosti { ζ1 , … , ζ N } .
Qk ocinku dlq h0
rozhlqnemo
ĥ = argmax ln ( ) ( , )
h
h i N i i
i
N
f h h
i
ζ π−( )−
=
∑ 1
1
, πN g l( , ) =
πN g l÷ ≠ , (1)
de πN > 0 — nevypadkova velyçyna.
Ocinky dlq momentiv zminy budugt\sq za tra[ktori[g ĥ takym çynom:
k̂1 = k h1( )ˆ = min ˆ ˆ ,l h h j ll j≠ ≤ <{ }1 ,
k̂i = k hi( )ˆ = min ˆ ˆ , ˆ( )l h h k h j ll j i≠ ≤ <{ }−1
— i-ta toçka zminy u tra[ktori] ĥ , ˆ ˆ( )R R h= — kil\kist\ toçok zminy u ĥ .
Pry vykonanni vidpovidnyx umov na πN taka ocinka [ v pevnomu rozuminni
optymal\nog [4].
Nexaj f̂ ta ĝ — ocinky f ta g, wo moΩut\ zaleΩaty vid spostereΩen\
ζ1 , … , ζ N (pobudovu takyx ocinok my rozhlqnemo v p.J5 ). Poznaçymo
φ( , )x 1 = ln ˆ( )f x , φ( , )x 2 = ln ˆ( )g x .
Vvedemo funkcional
J ( h ) = φ ζ π( , ) ( , )i i N i i
i
N
h h h−( )−
=
∑ 1
1
i ocinku dlq h0
ˆ̂h = argmax
h
J ( h ) . (2)
Ocinkamy momentiv zminy budut\
ˆ̂ ˆ̂
, ( )k k hj N j= , ocinkog kil\kosti zmin —
ˆ̂ ˆ̂( )R R h= . Vektor z ocinok poznaçymo çerez
ˆ̂k . Osnovnyj rezul\tat dano] ro-
boty polqha[ v tomu, wo pry pevnyx umovax asymptotyçni rozpodily
ˆ
,k j N ta
ˆ̂
,k j N [ odnakovymy:
lim ˆ̂
,N j N jk k n
→∞
− =
P = lim ˆ
,N j N jk k n
→∞
− =( )P .
Poznaçymo supp f = { x ∈ R, f ( x ) > 0 } . Naklademo taki umovy na wil\nosti:
1) supp f = supp g, isnu[ δ > 0 take, wo f ( x ) > δ, g ( x ) > δ dlq vsix xJ∈
∈ supp f ;
2) dlq bud\-qkoho α > 0 mira Lebeha mnoΩyny { / }: ( ) ( )x f x g x∈ =R α do-
rivng[ nulg;
3) isnu[ M < ∞ take, wo f ( x ) < M, g ( x ) < M.
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
408 H. V. ÍURENKOV
Vvedemo poznaçennq: ⋅ — rivnomirna napivnorma na supp f = supp g,
u = sup ( )
x f
u x
∈supp
.
Poznaçymo ∆
f̂
ε
= P ( )ˆf f− > ε , ∆ĝ
ε
= P ( )ˆg g− > ε .
Rozhlqnemo spoçatku cg zadaçu dlq vypadku odnoho momentu zminy.
3. Vypadok odnoho momentu zminy. Nexaj vidomo, wo u danyx ζ 1 , … , ζ N
lyße odyn moment zminy. Todi moΩna vvaΩaty, wo
ζj =
η
ξ
k j
j k
j k
j k
− +
−
≤
>
1, ,
, ,
tobto my sposteriha[mo poslidovnist\ ηk , … , η1 , ξ1 , … , ξ N – k ; ηj magt\ rozpo-
dil G ta wil\nist\ g, ξ j — rozpodil F ta wil\nist\ f.
Qk ocinku dlq k = k1 moΩna rozhlqdaty
k̂N = argmax ln ( ) ln ( )
1 1 1≤ ≤ = = +
∑ ∑+
l N j
l
i
j l
N
ig fζ ζ
pry vidomyx wil\nostqx g i f ta
ˆ̂kN = argmax ln ˆ ( ) ln ˆ ( )
1 1 1≤ ≤ = = +
∑ ∑+
l N j
l
i
j l
N
ig fζ ζ
pry nevidomyx. Ci ocinky [ analohamy ocinok (1) ta (2), qkwo vidomo, wo moment
zminy lyße odyn.
Teorema+1. Nexaj vykonugt\sq umovy 1 – 3, f̂ fN − →
P
0, ĝ gN − →
P
0
pry N → ∞ , todi
lim ˆ̂
N Nk k n
→∞
− =
P = lim ˆ
N Nk k n
→∞
− =( )P .
Dovedennq. Poznaçymo
Sl =
j
l
n j
n j
g
f=
+ −
+ −
∑
1
1
1
ln
( )
( )
ξ
ξ
, Tl =
j
l
n j
n j
g
f=
+
+
∑
1
ln
( )
( )
ξ
ξ
, Ul =
j
l
j
j
f
g=
∑
1
ln
( )
( )
η
η
.
Rozhlqnemo vypadok n > 0. Pry n > 0 asymptotyçnyj rozpodil k̂ kN − doriv-
ng[
lim ˆ
N Nk k n
→∞
− =( )P = P S j n T S Uj j j n j j> ≤ ≤ ≤ >
0 1 0, ; max ; max .
Poznaçymo
Ŝl =
j
l
n j
n j
g
f=
+ −
+ −
∑
1
1
1
ln
ˆ ( )
ˆ ( )
ξ
ξ
, Sl
ε =
j
l
n j
n j
g
f=
+ −
+ −
∑
+
−1
1
1
ln
( )
( )
ξ ε
ξ ε
, T̂l =
j
l
n j
n j
g
f=
+
+
∑
1
ln
ˆ ( )
ˆ ( )
ξ
ξ
,
Tl
ε =
j
l
n j
n j
g
f=
+
+
∑
+
−1
ln
( )
( )
ξ ε
ξ ε
, Ûl =
j
l
j
j
f
g=
∑
1
ln
ˆ ( )
ˆ ( )
η
η
, Ul
ε =
j
l
j
j
f
g=
∑
+
−1
ln
( )
( )
η ε
η ε
.
Rozpodil
ˆ̂k kN − moΩna zapysaty u vyhlqdi
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
ASYMPTOTYÇNO OPTYMAL|NI OCINKY MOMENTIV ZMINY 409
P ˆ̂k k nN − =
= P ˆ , ; ˆ , ; ˆ ˆ ,S j n T j N k n S U j kj j n j> ≤ ≤ ≤ ≤ ≤ − − > ≤ ≤( )0 1 0 1 1 .
Ocinymo rozpodil çerez rozpodily sum S j
ε , Tj
ε
ta U j
ε
:
P S j n T j N k n S U j kj j n j f g
− −> ≤ ≤ ≤ ≤ ≤ − − > ≤ ≤( ) − −ε ε ε ε ε ε0 1 0 1 1, ; , ; , ˆ ˆ∆ ∆ ≤
≤ P ˆ̂k k nN − =
≤
≤ P S j n T j N k n S U j kj j n j f g
ε ε ε ε ε ε> ≤ ≤ ≤ ≤ ≤ − − > ≤ ≤( ) + +− −0 1 0 1 1, ; , ; , ˆ ˆ∆ ∆ .
Asymptotyçni rozpodily sum, wo fihurugt\ v obmeΩennqx, dorivnggt\
lim , ; , ; ,
N j j n jS j n T j N k n S U j k
→∞
− −> ≤ ≤ ≤ ≤ ≤ − − > ≤ ≤( )P ε ε ε ε0 1 0 1 1 =
= P S j n T S Uj j j n j j
ε ε ε ε> ≤ ≤ ≤ >
− −0 1 0, ; max ; max .
Dovedemo dvi lemy wodo neperervnosti sum S j
ε ; analohiçni lemy magt\ mis-
ce dlq sum Tj
ε
ta U j
ε .
Lema+1. Jmovirnosti
P S j n S xj n
ε ε> ≤ ≤ >( )0 1, , ta P S j n S xj n
ε ε> ≤ ≤ ≥( )0 1, ,
neperervni po ε pry ε = 0.
Dovedennq. Oskil\ky f ( x ) / g ( x ) ≠ α majΩe napevno, to Sj [ neperervny-
my vypadkovymy velyçynamy. Poznaçymo f xε( ) = f ( x ) + ε, g xε( ) = g ( x ) + ε.
ZauvaΩymo, wo S j
ε ≥ Sj pry ε ≥ 0. OtΩe,
P S j n S xj n
ε ε> ≤ ≤ >( )0 1, , ≥ P S j n S xj n> ≤ ≤ >( )0 1, ,
ta
P S j n S xj n
ε ε> ≤ ≤ >( )0 1, , – P S j n S xj n> ≤ ≤ >( )0 1, , ≤
≤
j
n
j jS S
=
∑ > ≤( )
1
0 0P ε , + P S x S xn n
ε > ≤( ), ≤
≤
j
n
i
i
j
i
i
j
i
i
j
i
i
j
g f g f
= =
−
= = =
∑ ∏ ∏ ∏ ∏> ≤
1 1 1 1 1
P ε εξ ξ ξ ξ( ) ( ), ( ) ( ) +
+ P g e f g e fi
i
n
x
i
i
n
i
i
n
x
i
i
n
ε εξ ξ ξ ξ( ) ( ), ( ) ( )
=
−
= = =
∏ ∏ ∏ ∏> ≤
1 1 1 1
.
Ocinymo koΩen dodanok u sumi, vzqvßy do uvahy, wo
g i
i
j
( )ξ ε+( )
=
∏
1
≤ g C gi
i
j
i
j
i
i
j
i
j i( ) max ( )( ( ))ξ ε ξ
= =
−∏ ∑+
1 1
.
Zvidsy pry malyx ε ma[mo
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
410 H. V. ÍURENKOV
g C gi
i
j
i
j
i
i
j
i
j i( ) max ( )( ( ))ξ ε ξ
= =
−∏ ∑+
1 1
≤ g gi
i
j
j
i
j( ) max ( ),( )ξ ε ξ
=
∏ +
1
2 1 ,
analohiçno
i
j
f
=
∏ −
1
( )( )ξ ε ≥
i
j
j
i
jf f
=
∏ −
1
2 1( ) max ( ),( )ξ ε ξ .
OtΩe,
P g e f g e fi
i
j
x
i
i
j
i
i
j
x
i
i
j
ε εξ ξ ξ ξ( ) ( ), ( ) ( )
=
−
= = =
∏ ∏ ∏ ∏> ≤
1 1 1 1
≤
≤ P 0 1 2
1 1
≤ − < +
= =
∏ ∏f e g ei
i
j
x
i
i
j
x j( ) ( ) ( )ξ ξ ε +
+
i
j
i
j
i
jf g
=
∑ >( ) + >( )( )
1
2 21 1P P( ) ( )/ /ξ ε ξ ε → P( )S xj = = 0,
oskil\ky Sj [ neperervnog. Pry ε < 0 dovedennq provodyt\sq analohiçno.
Lemu dovedeno.
Z dovedennq lemy vyplyva[, wo P( )Sn
ε > 0 teΩ neperervni po ε u nuli.
Lema+2. P( )max j jS xε > ta P( )max j jS xε ≥ neperervni po ε pry ε = 0.
Dovedennq. Dovedemo, wo pry ε → 0
µε = E ln
( )
( )
g
f
j
j
ξ ε
ξ ε
+
−
→ µ = E ln
( )
( )
g
f
j
j
ξ
ξ
< 0.
Za nerivnistg J[nsena
µε < ln
( )
( )
E
g
f
j
j
ξ ε
ξ ε
+
−
.
Nexaj ε ≤ δ / 2, todi
E
g
f
j
j
( )
( )
ξ ε
ξ ε
+
−
=
g x
f x
f x dx
( )
( )
( )
+
−∫ ε
ε
≤
g x
f x
f x dx
( )
( )
( )/
/
+
−∫ δ
δ
2
2
≤
2
1
δ
ξE g j( ) + .
Za teoremog pro maΩorovanu zbiΩnist\ E ln
( )
( )
g
f
j
j
ξ ε
ξ ε
+
−
→ µ . OtΩe, poçynagçy
z deqkoho ε = γ µε < 0.
Za zakonom velykyx çysel pry ε ≤ γ max j jSε
[ skinçennog vypadkovog ve-
lyçynog i joho rozpodil ma[ vyhlqd [11, c. 458, 463]
P( )max
j jS Iε ∈ =
1 0 1
1
0
1
−
+ > ≤ ≤ ∈( )
=
∞
∈
=
∞
∑ ∑
n
n I
n
j jS j n S Iτε ε ε
÷ P , , ,
de
τε
n = P S j n Sj n
ε ε≤ ≤ ≤ − >( )0 1 1 0, , ,
I v danomu vypadku dorivng[ ( x, ∞ ) abo [ x, ∞ ) . Za teoremog Sparre – Ander-
sena [11, c. 481]
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
ASYMPTOTYÇNO OPTYMAL|NI OCINKY MOMENTIV ZMINY 411
n
n
=
∞
∑
1
τε = 1
0
1
− − >
=
∞
∑exp
( )
n
nS
n
P ε
. (3)
Rqd P( )Snn
γ >=
∞∑ 0
1
< ∞ , oskil\ky µγ < 0 [11, c. 483]. Todi P( )/S nn
ε > 0 ≤
≤ P ( )/S nn
γ > 0 pry ε ≤ γ i rqd u pravij çastyni (3) zbiha[t\sq rivnomirno po ε
v okoli 0. P( )S j
ε > 0 neperervni po ε v nuli, suma rqdu v pravij çastyni nepe-
rervna po ε v nuli, otΩe, rqd u livij çastyni neperervnyj po ε v nuli. Druhyj
rqd teΩ zbiha[t\sq rivnomirno po ε
n
j jS j n S I
=
∞
∑ > ≤ ≤ ∈( )
1
0 1P ε ε, , ≤
n
j nS j n S I
=
∞
∑ > ≤ ≤ ∈( )
1
0 1P γ γ, , < ∞ ,
tomu, oskil\ky koΩnyj z elementiv neperervnyj po ε pry ε = 0, suma rqdu [
neperervnog po ε pry ε = 0.
Lemu dovedeno.
Lema+3. P S j n T S Uj j j n j
ε ε ε ε> ≤ ≤ ≤ >( )−0 1 0, ; max ; max neperervna po ε
pry ε = 0.
Dovedennq. Ma[mo
P S j n T S Uj j j n j j
ε ε ε ε> ≤ ≤ ≤ >
−0 1 0, ; max , max =
= P Pmax , ; max
j j j n j jT S j n S Uε ε ε ε≤
> ≤ ≤ >
−0 0 1 .
Za lemogJ2 P max j jT ε ≤( )0 neperervna po ε u nuli. Dovedemo, wo
P S j n S Uj n j j
ε ε ε> ≤ ≤ >
− ′0 1, ; max → P S j n S Uj n j j> ≤ ≤ >
0 1, ; max
pry ε → 0, ε′ → 0.
Ma[mo
P PS j n S U S j n S Uj n j j j n j j
ε ε ε> ≤ ≤ >
− > ≤ ≤ >
− ′0 1 0 1, ; max , ; max ≤
≤ ∫ > ≤ ≤ >( ) − > ≤ ≤ >( ) ∈( )− ′P P PS j n S x S j n S x U dxj n j n j
ε ε ε0 1 0 1, ; , ; +
+ P PS U S Un j j n j j>
− >
− ′max maxε .
Perßyj dodanok prqmu[ do nulq za lemog 1 ta teoremog pro maΩorovanu zbiΩ-
nist\. Zapyßemo i druhyj dodanok v intehral\nomu vyhlqdi:
P PS U S Un j j n j j>
− >
− ′max maxε ≤
≤ ∫ − ′ <
− <
∈( )P P Pmax max
j j j j nU x U x S dxε .
Cej dodanok prqmu[ do nulq za lemog 2 ta teoremog pro maΩorovanu zbiΩ-
nist\.
Lemu 3 dovedeno.
Zaverßymo dovedennq teoremy. Z lemy 3 vyplyva[, wo pry n > 0
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
412 H. V. ÍURENKOV
P ˆ̂k k nN − =
→ P S j n T S Uj j j n j j> ≤ ≤ ≤ >
0 1 0, ; max ; max .
Dlq vypadkiv n = 0 ta n < 0 dovedennq provodyt\sq analohiçno.
Teoremu dovedeno.
4. Vypadok bahat\ox momentiv zminy. Wob poßyryty dovedenu teoremu na
vypadok dekil\kox zmin, slid obmeΩyty klas moΩlyvyx ocinok wil\nosti. Dlq
c\oho nam znadobyt\sq ponqttq funkci] zrostannq.
Oznaçennq 1. Nexaj S — klas pidmnoΩyn mnoΩyny X. Pidposlidovnistg,
porodΩenog mnoΩynog A ∈ S z poslidovnosti { x1 , … , xl } , nazyva[t\sq mno-
Ωyna, qka sklada[t\sq z xj , wo naleΩat\ A. Poznaçymo çerez ∆
S
( x1 , … , xl )
kil\kist\ riznyx pidposlidovnostej poslidovnosti x 1 , … , xl , qki porodΩugt\
mnoΩyny z S. Funkci[g zrostannq klasu S nazyva[t\sq
m
S
( l ) = max , ,x xl1 … ∆
S
( x1 , … , xl ),
de xj ∈ X.
Potribna umova ma[ vyhlqd:
4) nexaj VN — poslidovnist\ klasiv ocinok wil\nostej,
ˆ ( , )fN ⋅ ω , ˆ ( , )gN ⋅ ω J∈
∈ VN, SN — klas mnoΩyn vyhlqdu { f
* ( x ) > a } , f
* ∈ VN, a ∈ R ; todi povynno
vykonuvatys\ spivvidnoßennq
∃ 0 < β < 1 ∃ C < ∞ : ln ( )/m N NSN 2 β < C.
TakoΩ slid posylyty umovu na ßtraf:
5) πN ∼ CN
α
, ( 1 + β ) / 2 < α < 1.
Prykladom klasu VN, dlq qkoho vykonu[t\sq umova 4, moΩe buty klas kus-
kovo-neperervnyx funkcij, kil\kist\ intervaliv monotonnosti qkyx ne perevy-
wu[ νN ∼ CN
β
/ ln N. MoΩna dovesty, wo dlq vidpovidnoho klasu SN funkciq
zrostannq obmeΩena m NSN ( )2 ≤ 2 2 1 2ν νN NN( )+ , wo dostatn\o dlq vykonannq
umovy 4 (dovedennq analohiçne navedenomu v [12, c. 211].
Teorema+2. Nexaj vykonano umovy 1 – 5, f f− ˆ → 0, g g− ˆ → 0. Todi
ˆ̂k [ konsystentnog za jmovirnistg ocinkog k .
Dovedennq. Vvedemo poznaçennq Φζ( )1 = E ln ( ) ˆf f f
∗
=∗ζ , Φζ( )2 =
= E ln ( ) ˆg g g
∗
=∗ζ , de f * ta g
*
— nevypadkovi. Dovedemo taku lemu.
Lema+4. Isnugt\ taki κ > 0 ta ε > 0, wo koly f f− ∗ < ε t a
g g− ∗ < ε, to vykonu[t\sq
E Eln ( ) ln ( )f g∗ ∗−ξ ξ > κ, E Eln ( ) ln ( )g f∗ ∗−η η > κ,
de ξ ma[ rozpodil F, η — rozpodil G.
Dovedennq. Dovedemo perßu nerivnist\ (druha dovodyt\sq analohiçno).
Viz\memo ε < δ / 2, todi, qkwo f f− ∗ < ε, g g− ∗ < ε,
E Eln ( ) ln ( )f f∗ −ξ ξ ≤ ln
f
f
∗
< max ,
f
f
f
f
∗
∗− −
1 1 <
2
δ
f f∗ − ,
E Eln ( ) ln ( )g g∗ −ξ ξ <
2
δ
g g∗ − .
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
ASYMPTOTYÇNO OPTYMAL|NI OCINKY MOMENTIV ZMINY 413
OtΩe, dlq bud\-qkoho κ > 0 isnu[ ε = min ,( / / )κδ δ4 2 take, wo koly
f f− ∗ < ε, g g− ∗ < ε, to
E Eln ( ) ln ( )f f∗ −ξ ξ <
κ
2
, E Eln ( ) ln ( )g g∗ −ξ ξ <
κ
2
.
A oskil\ky E ln ( )f ξ > E ln ( )g ξ , to isnu[ κ > 0 take, wo E ln ( )f ξ – E ln ( )g ξ >
> 2κ . OtΩe, qkwo f f− ∗ < ε, g g− ∗ < ε, ßukane spivvidnoßennq vykonu-
[t\sq.
Lemu dovedeno.
Z lemy vyplyva[, wo koly isnugt\ ε ta κ, qki zaleΩat\ vid δ, taki, wo
koly f f− ˆ < ε ta g g− ˆ < ε, to Φ Φξ ξ( ) ( )1 2− > κ ta Φ Φη η( ) ( )2 1− > κ.
Dali vvaΩatymemo ε < δ / 2. Nexaj dlq poslidovnostej aN > 0 ta πN vyko-
nugt\sq taki spivvidnoßennq:
aN <
πN
R2 3+
, πN <
κθ̃
( )
N
R2 1+
. (4)
ZauvaΩymo, wo pry πN ∼ CN
α
, α < 1, ostann[ spivvidnoßennq bude vykonuva-
tysq poçynagçy z deqkoho N. Poznaçymo çerez BN mnoΩynu
R R h h
R a
N
i R
k
k i i
N
i
i
= = − ≤ + = …
ˆ̂, ˆ̂ , ˆ̂ ( )
, , ,
ˆ̂
θ θ
κ
2 1
0 .
Skorysta[mosq dovedennqm teoremy z [7]. Vono stosu[t\sq funkcij φ, qki ne
zaleΩat\ vid vybirky, ale vykladky, navedeni tam, vid c\oho ne zminggt\sq. Z
n\oho vyplyva[, wo za umov (4) ta lemy 4 jmovirnist\
P ( )BN ≥ P B f f g gN , ˆ , ˆ− < − <( )ε ε ≥ P ( )AN ,
de
AN =
AN
h
h =1 2,∩ ,
AN
h = max ( , ) ( ) , ˆ , ˆ( )
1 1 2
1
2
≤ ≤ ≤ =
∑ − < − < − <
l l N j l
l
j j Nh h a f f g gφ ζ ε εΦ .
Ocinymo P( )AN
h
:
P( )AN
h ≤
1
1 2
1 2≤ ≤ ≤
∑ + +
l l N
h f gp l l N( , , ) ˆ ˆ∆ ∆ε ε ,
de
p l l Nh( , , )1 2 = P Esup ln ( ) ln ( )
,f f f V
j j
j l
l
N
h N
f f a
∗ ∗− < ∈
∗ ∗
=
−( ) ≥
∑
ε
ζ ζ
1
2
.
Nahada[mo, wo f1 = f, f2 = g. Wob ocinyty p l l Nh( , , )1 2 , zastosu[mo nerivnist\
Vapnika – Çervonenkisa [12, c. 229]
P Psup ( )
A S
A
j
N
N
A
j
∈
∈
=
∑ −
>
1
1
ξ ε < 6 2
2 1 2m N eS N( ) ( )/− −ε ,
de ξ1 , … , ξ N — nezaleΩni odnakovo rozpodileni vypadkovi velyçyny, S — klas
pidmnoΩyn mnoΩyny X, na qkij nabuvagt\ znaçen\ ξ j .
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
414 H. V. ÍURENKOV
Lema+5. Poçynagçy z deqkoho aN vykonu[t\sq nerivnist\
p l l Nh( , , )1 2 ≤ 12 2
2 216 2m N eS a N MN N( ) /( ( ln / ) )− + +δ δ .
Dovedennq. Dovedemo lemu dlq p l l N1 1 2( , , ) (dlq p l l N2 1 2( , , ) vykonu[t\sq
take Ω spivvidnoßennq). Vykorysta[mo teoremu+13.1 z [12, c. 286, 287]:
Nexaj F ( x, α ), α ∈ Ω , — sim’q vymirnyx na X funkcij, pryçomu vykonano
umovu 0 ≤ F ( x, α ) ≤ a. Rozhlqnemo systemu S podij vyhlqdu A = { x : F ( x,
α ) ≥ C } . Pry c\omu vykonu[t\sq spivvidnoßennq
sup ( , ) ( , )
α
ξ α ξ αE F
n
F j
j
n
1
1
1−
=
∑ ≤ a A
nS
A
j
n
j
sup ( )
α
ξ
∈
∈
=
− ∑P
1
1
÷ ,
de ξ1 , … , ξ n — nezaleΩni odnakovo rozpodileni velyçyny.
Vykorystovugçy nezaleΩnist\ ζ1 , … , ζ N , moΩna zapysaty
P Esup ln ( ) ln ( )
,f f f V
j j
j
N
N
N
f f a
∗ ∗− < ∈
∗ ∗
=
−( ) >
∑
ε
ζ ζ
1
≤
≤ P Esup ln ( ) ln ( )
,f f f V
j j
j
s
N
N
f f
a s
s N s∗ ∗− < ∈
∗ ∗
=
′ − ′( ) >
+ −
∑
ε
ξ ξ
1
+
+ P Esup ln ( ) ln ( )
,f f f V
j j
j s
N
N
N
f f
a N s
s N s∗ ∗− < ∈
∗ ∗
= +
′ − ′( ) > −
+ −
∑
ε
η η
1
,
de ′ξ j magt\ rozpodil F, ′η j — rozpodil G , s — kil\kist\ velyçyn z rozpodi-
lom F. Zastosu[mo teoremu 13.1 do obox dodankiv, vzqvßy za S mnoΩynu rivniv
funkcij ln ( ) ln( )/f x∗ − δ 2 > 0, obmeΩenyx zverxu L = M + −ε δln( )/2 . OtΩe,
umovy teoremy vykonugt\sq. Todi
P Esup ln ( ) ln ( )
,f f f V
j j
j
N
N
N
f f
a s
s N s∗ ∗− < ∈
∗ ∗
=
′ − ′( ) >
+ −
∑
ε
ξ ξ
1
≤
≤
P Psup ( )
( ){ ( ) }
( )
( )
f a
f a j N
j
N
N
N
j N
f a
a s
s N s L∗
∗
>
′ >
∗
=
− ′ >
>
+ −
∑
ξ
ξ ξ÷
1
.
Dlq jmovirnostej z f j
∗ ′( )η mirkuvannq analohiçni. Pry a MN / /( ln )+ +δ ε2 >
> 2 (ce spivvidnoßennq bude vykonuvatys\ pry dosyt\ velykomu N ) ci jmovir-
nosti moΩna ocinyty za dopomohog nerivnosti Vapnika – Çervonenkisa [12, c. 229
– 231]:
P Psup ( )
( ){ ( ) }
( )
( )
f a
f a j N
j
N
N
N
j N
f a
a s
s N s L∗
∗
>
′ >
∗
=
− ′ >
>
+ −
∑
ξ
ξ ξ÷
1
+
+
P Psup ( )
( ){ ( ) }
( )
( )
f a
f a j N
j
N
N
N
j N
f a
a N s
s N s L∗
∗
>
′ >
∗
=
− ′ >
> −
+ −
∑
η
η η÷
1
≤
≤ 12 2
2 216m N eS a NLN N( ) /( )− .
Lemu dovedeno.
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
ASYMPTOTYÇNO OPTYMAL|NI OCINKY MOMENTIV ZMINY 415
Ocinymo jmovirnist\ An
h
:
P( )AN
h ≤ p l l Nh
l l
f g( , , ) ˆ ˆ1 2
1 2≤
∑ + +∆ ∆ε ε ≤
≤ 12 22 16 22 2
N m N eS a N M
f g
N N( ) /( ( ln / ) )
ˆ ˆ
− + + + +δ ε ε ε∆ ∆ .
Oskil\ky za umov teoremy vidnoßennq ln ( )/m N NSN 2 β
obmeΩene, to za umovog
na ßtraf prava çastyna prqmu[ do nulq, otΩe, P( )AN → 0 i ˆ̂k [ konsystent-
nog ocinkog k .
TeoremuJ2 dovedeno.
Teorema+3. Nexaj vykonugt\sq umovy 1 – 5, todi pry 1 ≤ j ≤ R
lim ˆ̂
,N j N jk k p
→∞
− =
P = lim ˆ
,N j N jk k p
→∞
− =( )P .
Dovedennq. Skorysta[mosq metodom, opysanym u [9]. Poznaçymo
H ( )dN = h h h h R h R k h k d k d j RN j j N j N= … = ∈ − + ∈{ }( , , ) ( ) , ( ) ( , ], [ , ]1 1 ,
de dN = 2 1( ) /R aN+ κ vzqto z poperedn\o] teoremy. Za dopomohog tra[ktori]
h
∨
=
argmin ( )
( )h dN
J h
∈H
pobudu[mo dopomiΩni ocinky k j
∨
= k hj( )
∨
. Rozhlqnemo podi]
BN = ˆ , ˆ̂ , ˆ̂ ,
ˆ̂
[ ]R R h h k k d k d
k
k j j N j N
j
j
= = ∈ − +
0 .
Z dovedennq poperedn\o] teoremy vyplyva[, wo P( )BN → 1, vidpovidno P( )BN →
→ 0. ZauvaΩymo, wo { }ˆ̂k k Bi i N
∨
≠ ⊂ , tobto dostatn\o znajty asymptotyçnyj
rozpodil k kj N j
∨
−, , qkyj i bude ßukanym rozpodilom. Qk dovedeno v [2], rozpo-
dily k kj N j
∨
−, moΩna ßukaty okremo odyn vid odnoho, i vony dorivnggt\ vidpo-
vidnym rozpodilam dlq vypadku odnoho momentu zminy. OtΩe, oskil\ky najkra-
wyj rozpodil teΩ ma[ taku vlastyvist\, to za teoremogJ1
lim ˆ̂
,N j N jk k n
→∞
− =
P = lim ˆ
,N j N jk k n
→∞
− =( )P .
Teoremu 3 dovedeno.
5. Ocingvannq wil\nostej. Navedemo pryklad pobudovy ocinok wil\nosti
f̂ , ĝ za danymy ζ1 , ζ2 , … , ζ N . Rozhlqnemo histohramni ocinky wil\nosti.
Nexaj konsystentna ocinka momentiv zminy (napryklad, medianna, qkwo medi-
any rozpodiliv ne zbihagt\sq [13]) [ vidomog. Pobudu[mo za neg ocinky toçok
zminy. Oskil\ky my vvaΩa[mo, wo dani magt\ lyße dva rozpodily, moΩna
utvoryty z nyx dvi vybirky. Do cyx vybirok dani popadagt\ vidpovidno do toho,
na qkomu promiΩku miΩ ocinkamy momentiv zminy vony znaxodqt\sq. Potim za
cymy vybirkamy pobudu[mo histohramni ocinky wil\nosti. Zrozumilo, wo dani u
vybirkax vzahali ne [ odnakovo rozpodilenymy, ale u vypadku konsystentnosti
ocinky momentiv zminy moΩna dovesty, wo taki ocinky budut\ konsystentnymy.
TakoΩ potribno rozhlqnuty umovu na klas wil\nostej, qkomu povynni nale-
Ωaty ocinky. MoΩna dovesty, wo dlq klasu Vl histohramnyx ocinok, pobudova-
nyx na ne bil\ß niΩ l promiΩkax rozbyttq, funkciq zrostannq m NSl ( ) ≤
≤ 2 1l lN( )+ (dovedennq analohiçne navedenomu v [12, c. 211]). OtΩe, dlq vyko-
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
416 H. V. ÍURENKOV
nannq umovyJ4 neobxidno na koΩnomu etapi braty ne bil\ß niΩ CN Nβ / ln , 0 <
< β < 1, vidrizkiv rozbyttq. Qk ßtraf moΩna vzqty πN ∼ CN
α, ( 1 + β ) / 2 <
< α < 1.
6. Vysnovky. U statti rozhlqnuto zadaçu znaxodΩennq asymptotyçno opty-
mal\nyx ocinok bahat\ox momentiv zminy u vypadku nepovno] informaci] pro roz-
podily. Dovedeno, wo ocinka maksymal\no] virohidnosti, qka [ asymptotyçno op-
tymal\nog, zalyßa[t\sq takog pry pidstanovci ocinok wil\nosti zamist\
spravΩnix znaçen\.
1. Borovkov A. A. Asymptotyçesky optymal\n¥e reßenyq v zadaçe o razladke // Teoryq
veroqtnostej y ee prymenenyq. – 1998. – 43, v¥p. 4. – S. 625 – 654.
2. Yakir B., Krieger A. M., Pollak M. Detecting change in regression: first order optimality // Ann.
Statist. – 1999. – 27, # 6. – P. 1896 – 1913.
3. Vincent Poor H. Quickest detection with exponential penalty for delay // Ibid. – 1998. – 26, # 6. –
P. 2179 – 2205.
4. Raimondo M. Minimax estimation of sharp change points // Ibid. – # 4. – P. 1379 – 1397.
5. Loader C. R. Change point estimation using nonparametric regression // Ibid. – 1996. – 24, # 4. –
P. 1667 – 1678.
6. Hall P., Rau C. Tracking a smooth fault line in a response surface // Ibid. – 2000. – 28, # 3. –
P. 713 – 733.
7. Suhakova O. V. Poßuk momentiv zminy v potoci nezaleΩnyx spostereΩen\ // Teoriq
jmovirnostej ta mat. statystyka. – 1996. – Vyp.J55. – S. 181 – 186.
8. Mottl\ V. V., Muçnyk Y. B., Qkovlev V. H. Optymal\naq sehmentacyq πksperymental\n¥x
kryv¥x // Avtomatyka y telemexanyka. – 1983. – 8. – S. 84 – 95.
9. Majboroda R. {., Suhakova O. V. Hranyçnyj rozpodil DP-ocinok bahat\ox momentiv zminy //
Teoriq jmovirnostej i mat. statystyka. – 2003. – Vyp.J69. – S. 96 – 105.
10. Majboroda R. E. Medyannaq ocenka razladky v sluçae slabozavysym¥x nablgdenyj //
Teoryq veroqtnostej y mat. statystyka. – 1990. – V¥p.J43. – S. 87 – 91.
11. Feller V. Vvedenye v teoryg veroqtnostej y ee pryloΩenyq: V 2 t. – M.: Nauka, 1967. –
T.J2. – 752Js.
12. Vapnyk V. N., Çervonenkys A. Q. Teoryq raspoznavanyq obrazov (statystyçeskye problem¥
yzuçenyq). – M.: Nauka, 1974. – 416Js.
13. Íurenkov H. V. Asymptotyka medianno] ocinky momentiv zminy // Teoriq jmovirnostej i mat.
statystyka. – 2004. – Vyp.J70. – S. 149 – 156.
OderΩano 07.07.2004,
pislq doopracgvannq — 18.02.2005
ISSN 1027-3190. Ukr. mat. Ωurn., 2006, t. 58, # 3
|
| id | umjimathkievua-article-3463 |
| institution | Ukrains’kyi Matematychnyi Zhurnal |
| keywords_txt_mv | keywords |
| language | Ukrainian English |
| last_indexed | 2026-03-24T02:43:01Z |
| publishDate | 2006 |
| publisher | Institute of Mathematics, NAS of Ukraine |
| record_format | ojs |
| resource_txt_mv | umjimathkievua/39/43994da9bd3e6cf781b7a51d52d86f39.pdf |
| spelling | umjimathkievua-article-34632020-03-18T19:55:07Z Asymptotically optimal estimators for moments of change Асимптотично оптимальні оцінки моментів зміни Shurenkov, H. V. Шуренков, Г. В. We consider the problem of finding asymptotically optimal estimators for many moments of change in the case of incomplete information on distributions. We prove that if the maximum-likelihood estimator is asymptotically optimal, then, under certain conditions, it preserves this property after the replacement of actual values by density estimators. We solve the problem for the case of one moment of change and generalize the results obtained to the case of several moments of change. Розглянуто задачу знаходження асимптотично оптимальних оцінок багатьох моментів зміни у випадку неповної інформації про розподіли. Доведено, що оцінка максимальної вірогідності, яка є асимптотично оптимальною, за певних умов залишається такою при підстановці оцінок щільності замість справжніх значень. Задачу розв'язано для випадку одного моменту зміни, й отримані результати узагальнено на випадок кількох моментів зміни. Institute of Mathematics, NAS of Ukraine 2006-03-25 Article Article application/pdf https://umj.imath.kiev.ua/index.php/umj/article/view/3463 Ukrains’kyi Matematychnyi Zhurnal; Vol. 58 No. 3 (2006); 406–416 Український математичний журнал; Том 58 № 3 (2006); 406–416 1027-3190 uk en https://umj.imath.kiev.ua/index.php/umj/article/view/3463/3663 https://umj.imath.kiev.ua/index.php/umj/article/view/3463/3664 Copyright (c) 2006 Shurenkov H. V. |
| spellingShingle | Shurenkov, H. V. Шуренков, Г. В. Asymptotically optimal estimators for moments of change |
| title | Asymptotically optimal estimators for moments of change |
| title_alt | Асимптотично оптимальні оцінки моментів зміни |
| title_full | Asymptotically optimal estimators for moments of change |
| title_fullStr | Asymptotically optimal estimators for moments of change |
| title_full_unstemmed | Asymptotically optimal estimators for moments of change |
| title_short | Asymptotically optimal estimators for moments of change |
| title_sort | asymptotically optimal estimators for moments of change |
| url | https://umj.imath.kiev.ua/index.php/umj/article/view/3463 |
| work_keys_str_mv | AT shurenkovhv asymptoticallyoptimalestimatorsformomentsofchange AT šurenkovgv asymptoticallyoptimalestimatorsformomentsofchange AT shurenkovhv asimptotičnooptimalʹníocínkimomentívzmíni AT šurenkovgv asimptotičnooptimalʹníocínkimomentívzmíni |