Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування

Дослiджується асимптотична поведiнка непараметричних класифiкаторiв симплiцiальної, напiвпросторової та просторової глибини при вiдповiдних умовах регулярностi. Дослiдження проводиться для побудови класифiкатора максимальної глибини, коли всi апрiорнi ймовiрностi конкуруючих класiв є рiвними та зад...

Full description

Saved in:
Bibliographic Details
Published in:Доповіді НАН України
Date:2015
Main Author: Галкін, О.А.
Format: Article
Language:Ukrainian
Published: Видавничий дім "Академперіодика" НАН України 2015
Subjects:
Online Access:https://nasplib.isofts.kiev.ua/handle/123456789/97944
Tags: Add Tag
No Tags, Be the first to tag this record!
Journal Title:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування / О.А. Галкін // Доповіді Національної академії наук України. — 2015. — № 11. — С. 30-35. — Бібліогр.: 7 назв. — укр.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id nasplib_isofts_kiev_ua-123456789-97944
record_format dspace
spelling Галкін, О.А.
2016-04-05T11:58:15Z
2016-04-05T11:58:15Z
2015
Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування / О.А. Галкін // Доповіді Національної академії наук України. — 2015. — № 11. — С. 30-35. — Бібліогр.: 7 назв. — укр.
1025-6415
https://nasplib.isofts.kiev.ua/handle/123456789/97944
519.7
Дослiджується асимптотична поведiнка непараметричних класифiкаторiв симплiцiальної, напiвпросторової та просторової глибини при вiдповiдних умовах регулярностi. Дослiдження проводиться для побудови класифiкатора максимальної глибини, коли всi апрiорнi ймовiрностi конкуруючих класiв є рiвними та задовольняється модель зсуву розташування. Побудований класифiкатор максимальної глибини не залежить вiд спецiальної параметричної форми роздiлової поверхнi та класифiкує елемент даних до класу, вiдносно якого цей елемент має максимальну глибину розташування. Дослiджено випадок нерiвних апрiорних ймовiрностей, коли рiзнi множини даних можуть не належати до спiльного сiмейства елiптичних розподiлiв.
Исследуется асимптотическое поведение непараметрических классификаторов симплициальной, полупространственной и пространственной глубины при соответствующих условиях регулярности. Исследование проводится для построения классификатора максимальной глубины, когда все априорные вероятности конкурирующих классов равны и удовлетворяется модель смещения расположения. Построенный классификатор максимальной глубины не зависит от специальной параметрической формы разделительной поверхности и классифицирует элемент данных к классу, относительно которого этот элемент имеет максимальную глубину расположения. Исследован случай неравных априорных вероятностей, когда различные множества данных могут не принадлежать общему семейству эллиптических распределений.
The asymptotic behavior of non-parametric simplicial depth, half-space depth, and spatial depth classifiers is studied under appropriate regularity conditions. The research is carried out for the construction of a maximum depth classifier, when all a priori probabilities of all the competing classes are equal, and the location shift model holds. The constructed maximum depth classifier does not depend on the special parametric form of the dividing surface and classifies the data item to a class, with respect to which the element has a maximum depth of location. The case of unequal a priori probabilities is studied, when different data sets may not belong to the common family of elliptical distributions.
uk
Видавничий дім "Академперіодика" НАН України
Доповіді НАН України
Інформатика та кібернетика
Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування
Асимптотическая оценка глубинных классификаторов на основе модели смещения расположения
Asymptotic estimate of depth-based classifiers within the location shift model
Article
published earlier
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
title Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування
spellingShingle Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування
Галкін, О.А.
Інформатика та кібернетика
title_short Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування
title_full Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування
title_fullStr Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування
title_full_unstemmed Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування
title_sort асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування
author Галкін, О.А.
author_facet Галкін, О.А.
topic Інформатика та кібернетика
topic_facet Інформатика та кібернетика
publishDate 2015
language Ukrainian
container_title Доповіді НАН України
publisher Видавничий дім "Академперіодика" НАН України
format Article
title_alt Асимптотическая оценка глубинных классификаторов на основе модели смещения расположения
Asymptotic estimate of depth-based classifiers within the location shift model
description Дослiджується асимптотична поведiнка непараметричних класифiкаторiв симплiцiальної, напiвпросторової та просторової глибини при вiдповiдних умовах регулярностi. Дослiдження проводиться для побудови класифiкатора максимальної глибини, коли всi апрiорнi ймовiрностi конкуруючих класiв є рiвними та задовольняється модель зсуву розташування. Побудований класифiкатор максимальної глибини не залежить вiд спецiальної параметричної форми роздiлової поверхнi та класифiкує елемент даних до класу, вiдносно якого цей елемент має максимальну глибину розташування. Дослiджено випадок нерiвних апрiорних ймовiрностей, коли рiзнi множини даних можуть не належати до спiльного сiмейства елiптичних розподiлiв. Исследуется асимптотическое поведение непараметрических классификаторов симплициальной, полупространственной и пространственной глубины при соответствующих условиях регулярности. Исследование проводится для построения классификатора максимальной глубины, когда все априорные вероятности конкурирующих классов равны и удовлетворяется модель смещения расположения. Построенный классификатор максимальной глубины не зависит от специальной параметрической формы разделительной поверхности и классифицирует элемент данных к классу, относительно которого этот элемент имеет максимальную глубину расположения. Исследован случай неравных априорных вероятностей, когда различные множества данных могут не принадлежать общему семейству эллиптических распределений. The asymptotic behavior of non-parametric simplicial depth, half-space depth, and spatial depth classifiers is studied under appropriate regularity conditions. The research is carried out for the construction of a maximum depth classifier, when all a priori probabilities of all the competing classes are equal, and the location shift model holds. The constructed maximum depth classifier does not depend on the special parametric form of the dividing surface and classifies the data item to a class, with respect to which the element has a maximum depth of location. The case of unequal a priori probabilities is studied, when different data sets may not belong to the common family of elliptical distributions.
issn 1025-6415
url https://nasplib.isofts.kiev.ua/handle/123456789/97944
citation_txt Асимптотична оцінка глибинних класифікаторів на основі моделі зсуву розташування / О.А. Галкін // Доповіді Національної академії наук України. — 2015. — № 11. — С. 30-35. — Бібліогр.: 7 назв. — укр.
work_keys_str_mv AT galkínoa asimptotičnaocínkaglibinnihklasifíkatorívnaosnovímodelízsuvuroztašuvannâ
AT galkínoa asimptotičeskaâocenkaglubinnyhklassifikatorovnaosnovemodelismeŝeniâraspoloženiâ
AT galkínoa asymptoticestimateofdepthbasedclassifierswithinthelocationshiftmodel
first_indexed 2025-11-25T22:20:18Z
last_indexed 2025-11-25T22:20:18Z
_version_ 1850562870793732096
fulltext оповiдi НАЦIОНАЛЬНОЇ АКАДЕМIЇ НАУК УКРАЇНИ 11 • 2015 IНФОРМАТИКА ТА КIБЕРНЕТИКА УДК 519.7 О.А. Галкiн Асимптотична оцiнка глибинних класифiкаторiв на основi моделi зсуву розташування (Представлено членом-кореспондентом НАН України А.В. Анiсiмовим) Дослiджується асимптотична поведiнка непараметричних класифiкаторiв симплiцi- альної, напiвпросторової та просторової глибини при вiдповiдних умовах регулярностi. Дослiдження проводиться для побудови класифiкатора максимальної глибини, коли всi апрiорнi ймовiрностi конкуруючих класiв є рiвними та задовольняється модель зсуву розташування. Побудований класифiкатор максимальної глибини не залежить вiд спе- цiальної параметричної форми роздiлової поверхнi та класифiкує елемент даних до кла- су, вiдносно якого цей елемент має максимальну глибину розташування. Дослiджено випадок нерiвних апрiорних ймовiрностей, коли рiзнi множини даних можуть не нале- жати до спiльного сiмейства елiптичних розподiлiв. Ключовi слова: вiдстань Махаланобiса, байєсiвський класифiкатор, функцiя глибини. Постановка задачi. Незважаючи на значнi витрати при обчисленнi функцiй глибини в за- дачах великої розмiрностi, побудова математичного апарату з використанням функцiй на- пiвпросторової, симплiцiальної та просторової глибини є актуальною задачею у сферi розпi- знавання образiв. Функцiя просторової глибини є найбiльш простою для обчислення, проте обчислювальнi витрати для функцiй напiвпросторової та симплiцiальної глибини швидко збiльшуються з розмiрнiстю в геометричнiй прогресiї. В результатi можна використовувати лише наближенi модифiкацiї функцiй глибини, оскiльки точне обчислення даних функцiй не є можливим для задач великої розмiрностi. Застосування наближених модифiкацiй функцiй глибини дозволяє використовувати похiднi деякої гладкої функцiї для визначення напря- му найшвидшого пiдйому або спуску цiльової функцiї, яку необхiдно оптимiзувати. Даний пiдхiд було застосовано для обчислення функцiї напiвпросторової глибини для задач з роз- мiрнiстю r > 2, а точна модифiкацiя функцiї напiвпросторової глибини використовується лише для двовимiрних даних [1]. Починаючи з рiзних випадкових початкових точок, наближену модифiкацiю оптимiза- цiйного алгоритму виконано декiлька разiв для уникнення проблеми можливої наявностi © О.А. Галкiн, 2015 30 ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №11 кiлькох локальних мiнiмумiв. Зауважимо, що оскiльки не iснує такого наближеного алго- ритму для функцiї симплiцiальної глибини, дану функцiю глибини було застосовано лише для двовимiрних задач. Дослiджуючи емпiричi глибиннi класифiкатори при вiдповiдних умовах регулярностi, наведемо лему щодо асимптотичної точностi коефiцiєнтiв помилкової класифiкацiї. Лема 1. Нехай hl(z) = c(z − εl) для загальної функцiї щiльностi c з c(kz) 6 c(z) для кожного z та k > 1, а також параметра розташування εl. Крiм того, припустимо, що функцiї щiльностi h1, h2, . . . , hL є елiптично-симетричними. Визначимо Ψm як часто- ту помилок емпiричного класифiкатора на основi глибини та m = (m1,m2, . . . ,mL) — як вектор розмiрiв вибiрок для рiзних класiв. Визначимо E0l(z) = min {i : i ̸=l} {E(l, z) − E(i, z)} та Ψ, що дорiвнює оптимальному байєсiвському ризику. Тодi для деякої функцiї γm, яка залежить вiд вибору мiри глибини, виконується нерiвнiсть Ψm < Ψ+ 1 L L∑ l=1 ∫ E0l(z)>0 [1− γm{E0l(z)}]hl(z) dz, (1) що має мiсце у випадку рiвних апрiорних ймовiрностей, однак для будь-якого κ (0 < < κ < ∞), γm(κ) → 1 при min{m1,m2, . . . ,mL} → ∞. У даному випадку γm(κ) = = ∏ l max{0, 1− 2e−⌊ml/r+1⌋κ2/2} та γm(κ) = ∏ l max{0, 1− 2mr l e −mlκ 2/2} для функцiї сим- плiцiальної та напiвпросторової глибини вiдповiдно, де ⌊z⌋ — найбiльше цiле число, що менше або дорiвнює z. Якщо розподiли множин даних є сферичними, частота помилок класифiкатора на основi функцiї просторової глибини також задовольняє нерiвнiсть (1), де γm(κ) = L∏ l=1 max{0, 1− 2re−mlκ 4/8r2}. Доведення. У випадку, коли z ∈ l-й множинi даних, величина Ψ може бути вираже- на як Ψ = L−1 L∑ l=1 P{argmax k E(k, z) ̸= l}, (2) оскiльки при заданих умовах класифiкатор на основi множинної глибини є оптимальним байєсiвським класифiкатором [2]. Зауважимо, що вибiркова модифiкацiя функцiї симплiцiальної глибини є незмiщеною статистикою з обмеженою функцiєю ядра. Тому для l = 1, 2, . . . , L та для кожного δ > 0 P{|Eml (l, z)− E(l, z)| > δ} < 2e−2⌊ml/(r+1)⌋δ2 (3) з використанням нерiвностi Хефдiнга [3]. Отже, L(Ψm −Ψ) < L∑ l=1 ∫ E0l(z)>0 [1− γ◦m{E0l(z)}]hl(z) dz (4) для γ◦m(κ) = L∏ l=1 max{0, 1− 2e−⌊ml/r+1⌋κ2/2}. ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №11 31 Для функцiї напiвпросторової глибини, де l = 1, 2, . . . , L та δ > 0, має мiсце нерiвнiсть P {∣∣∣∣∣m−1 l ml∑ i=1 Λ{j′(zli − z) > 0} − P{j′(Zl − z) > 0} ∣∣∣∣∣ > δ } < 2e−2mlδ 2 , (5) що отримана з леми Хефдiнга для незалежних та однаково розподiлених випадкових ве- личин для будь-якого фiксованого z та j. Множина гiперплощин {j′(Z − z) = 0} в Rr має розмiрнiсть Вапника–Червоненкиса r для деякого фiксованого z [4]. Тому множина вигляду{Z : j′(Z − z) > 0} має полiномiальне роздiлення, де r — степiнь многочлена. Для l = 1, 2, . . . , L та кожного δ > 0 маємо P { sup j ∣∣∣∣∣m−1 l ml∑ i=1 Λ{j′(zli − z) > 0} − P{j′(Zl − z) > 0} ∣∣∣∣∣ > δ } < 2mr l e −2mlδ 2 , (6) з використанням результатiв на ймовiрнiсних нерiвностях на множинi {Z : j′(Z − z) > 0}. Також зазначимо, що∣∣∣∣∣supj m−1 l ml∑ i=1 Λ{j′(zli − z) > 0} − sup j P{j′(Zl − z) > 0} ∣∣∣∣∣ > δ. (7) Звiдси випливає sup j ∣∣∣∣∣m−1 l ml∑ i=1 Λ{j′(zli − z) > 0} − P{j′(Zl − z) > 0} ∣∣∣∣∣ > δ. (8) В результатi, P{|Eml (l, z)− E(l, z)| > δ} < 2mr l e −2mlδ 2 . (9) Припустимо, що E01(z) = min {l : l ̸=1} {E(1, z) − E(l, z)} > 0 та виберемо δ = E01(z)/2. Отже, P{E01 m (z) > 0} > P{|Eml (l, z)− E(l, z)| < E01(z) 2 > > L∏ l=1 max{0, 1− 2mr l e −ml[E 01(z)]2/2} = γ∗m{E01(z)} (10) для кожного l = 1, 2, . . . , L. Оскiльки γ∗m{E01(z)} > 0 та P{E01 m (z)} < 0} 6 1 − γ∗m{E01(z)}, отримуємо L(Ψm −Ψ) = L∑ l=1 ∫ E0l(z)>0 P{E0l m(z) < 0}hl(z) dz < L∑ l=1 ∫ E0l(z)>0 [1− γ∗m{E0l(z)}]hl(z) dz. (11) У випадку функцiї просторової глибини визначимо ti = (z−zli)/∥z−zli∥ для i = 1, 2, . . . ,ml та T = (z − Z)/∥z − Z∥, де Z ≈ hl. Крiм того, визначимо xml = (1/ml) ml∑ i=1 ti та εT = Ω(T ). Оскiльки ∥tml ∥ та ∥εT ∥ є додатно-визначеними, маємо P{| ∥tml ∥ − ∥εT ∥| > δ} < r∑ k=1 P { |t2ml (k)− ε2T (k)| > δ2 r } , де tml (k) та εT (k) — k-ми компоненти tml та εT вiдповiдно. 32 ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №11 Отже, оскiльки |tml (k) + εT (k)| 6 2, для кожного k = 1, 2, . . . , r справедливою є така нерiвнiсть: P { |t2ml (k)− ε2T (k)| > δ2 r } < P { |tml (k)− εT (k)| > δ2 2r } . (12) Використовуючи лему Хефдiнга, отримуємо нерiвнiсть P { |tml (k)− εT (k)| > δ2 2r } < 2e−mlδ 4/8r2 , (13) звiдки випливає, що P{|Eml (l, z)− E(l, z)| > δ} = P{| ∥tml ∥ − ∥εT ∥ | > δ} = 2re−mlδ 4/8r2 , (14) оскiльки tml (k) є середнiм значенням незалежних та однаково розподiлених обмежених випадкових величин, що знаходиться в iнтервалi [−1, 1]. В результатi маємо L(Ψm −Ψ) < L∑ l=1 ∫ E0l(z)>0 [1− γ+m{E0l(z)}]hl(z) dz (15) для γ+m(κ) = L∏ l=1 max{0, 1 − 2re−mlκ 4/8r2}. Лему доведено. Вiдзначимо, що у випадку вiдповiдностi моделi зсуву розташування та при рiвних апрi- орних ймовiрностях глибиннi методи класифiкацiї можуть бути досить ефективними непа- раметричними та вiльними вiд розподiлу методами статистичного аналiзу для задач роз- пiзнавання. Однак на практицi рiзнi множини даних можуть не належати до спiльного сiмейства елiптичних розподiлiв та мати рiзнi апрiорнi ймовiрностi [5]. Далi наведемо ле- му, яка є теоретичним пiдгрунтям для побудови глибинних класифiкаторiв, що дозволяють досягати мiнiмальних коефiцiєнтiв помилкової класифiкацiї при умовi нерiвних апрiорних ймовiрностей. Лема 2. Оптимальний байєсiвський класифiкатор може бути заданий як ℑopt(z) = argmax l plλ̄l{E(l, z)}, (16) якщо розподiли множин даних є елiптично-симетричними, а для функцiй глибини Ма- халанобiса, напiвпросторової, симплiцiальної, мажоритарної, симплiцiальної об’ємної та проекцiйної глибини iснують деякi функцiї λ̄l(·) множинної глибини E(l, z), що залежать вiд типу функцiї глибини. Доведення. Визначимо Cl = {(Zl−εl)′Ξ−1 l (Zl−εl)}1/2, де εl — параметр розташування; Ξl — матриця розсiювання l-ї множини даних, що має функцiю щiльностi cl, а Zl ≈ cl. Вiдстань Махаланобiса вiд елемента z з параметром розташування εl визначається, як dl = {(z − εl) ′Ξ−1 l (z − εl)}1/2. (17) Тому розподiли Cl задаються таким чином: ψl(dl) = pr/2 Ir/2 |Ξl|1/2dr−1 l cl(z), 0 < dl <∞, (18) коли функцiя щiльностi cl є елiптично симетричною [6]. ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №11 33 Варто зауважити, що вiдстань Махаланобiса dl є функцiєю вiд множинної глибини E(l, z) у випадку елiптичних множин даних [7]. Крiм того, plcl(z) > pici(z) тодi i тiльки тодi, коли pl|Ξl|−1/2ψl(dl)/d r−1 l > pi|Ξi|−1/2ψi(di)/d r−1 i . В результатi, визначаючи dl = βl{E(l, z)}, оптимальний байєсiвський класифiкатор мо- же бути заданий, як ℑopt(z) = argmax l plλ̄l{E(l, z)}, (19) де λ̄l(κ) = |Ξl|−1/2ψl{βl(κ)}/{βl(κ)}r−1. Лему доведено. Отже, коли функцiї щiльностi зменшуються з вiдстанню Махаланобiса з центра симе- трiї, а розподiли множин даних задовольняють модель зсуву розташування, функцiї λ̄l є монотонними та однаковими для всiх множин даних. Тому при вищенаведених умовах байєсiвський класифiкатор (19) є класифiкатором максимальної глибини у випадку рiвних апрiорних ймовiрностей. Цитована лiтература 1. Zuo Y., Serfling R. Structural properties and convergence results for contours of sample statistical depth functions // The Annals of Statistics. – 2000. – 28. – P. 484–497. 2. Serfling R. A depth function and a scale curve based on spatial depth // Statistics and Data Analysis based on L1-Norm and Related Methods. – Boston: Birkhäuser, 2002. – P. 27–36. 3. Hoeffding W. Probability inequalitites for sums of bounded random variables // J. of the American Stati- stical Association. – 1963. – 58. – P. 14–27. 4. Pollard D. Convergence of Stochastic Processes. – New York: Springer, 1984. – P. 1–10. 5. Holmes C.C., Adams N.M. A probabilistic nearest neighbor method for statistical pattern recognition // J. of the Royal Statistical Society. – 2002. – 64. – P. 297–304. 6. Silverman B.W. Density estimation for Statistics and Data Analysis. – London: Chapman and Hall, 1986. – P. 1–7. 7. Jornsten R., Vardi Y., Zhang C.H. A robust clustering method and visualization tool based on data depth // Statistical Data Analysis. – 2002. – P. 354–365. References 1. Zuo Y., Serfling R. The Annals of Statistics, 2000, 28: 484–497. 2. Serfling R. A depth function and a scale curve based on spatial depth. Statistics and Data Analysis based on L1-Norm and Related Methods, Boston: Birkhäuser, 2002: 27–36. 3. Hoeffding W. J. of the American Statistical Association, 1963, 58: 14–27. 4. Pollard D.Convergence of Stochastic Processes, New York: Springer, 1984: 1–10. 5. Holmes C.C., Adams N.M. J. of the Royal Statistical Society, 2002, 64: 297–304. 6. Silverman B.W.Density estimation for Statistics and Data Analysis, London: Chapman and Hall, 1986: 1–7. 7. Jornsten R., Vardi Y., Zhang C.H. Statistical Data Analysis, 2002: 354–365. Надiйшло до редакцiї 22.06.2015Київський нацiональний унiверситет iм. Тараса Шевченка, Київ 34 ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №11 А.А. Галкин Асимптотическая оценка глубинных классификаторов на основе модели смещения расположения Киевский национальный университет им. Тараса Шевченко Исследуется асимптотическое поведение непараметрических классификаторов симплици- альной, полупространственной и пространственной глубины при соответствующих усло- виях регулярности. Исследование проводится для построения классификатора максималь- ной глубины, когда все априорные вероятности конкурирующих классов равны и удовле- творяется модель смещения расположения. Построенный классификатор максимальной глубины не зависит от специальной параметрической формы разделительной поверхности и классифицирует элемент данных к классу, относительно которого этот элемент имеет максимальную глубину расположения. Исследован случай неравных априорных вероятно- стей, когда различные множества данных могут не принадлежать общему семейству эл- липтических распределений. Ключевые слова: расстояние Махаланобиса, байесовский классификатор, функция глу- бины. O.A. Galkin Asymptotic estimate of depth-based classifiers within the location shift model Taras Shevchenko National University of Kiev The asymptotic behavior of non-parametric simplicial depth, half-space depth, and spatial depth classifiers is studied under appropriate regularity conditions. The research is carried out for the construction of a maximum depth classifier, when all a priori probabilities of all the competing classes are equal, and the location shift model holds. The constructed maximum depth classifier does not depend on the special parametric form of the dividing surface and classifies the data item to a class, with respect to which the element has a maximum depth of location. The case of unequal a priori probabilities is studied, when different data sets may not belong to the common family of elliptical distributions. Keywords: Mahalanobis distance, Bayesian classifier, depth function. ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №11 35