Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин
Запропоновано пiдхiд до побудови класифiкаторiв на основi ядерних оцiнок щiльностi для розв’язання задач розпiзнавання образiв. Пiдхiд грунтується на використаннi апостерiорної ймовiрностi та роздiлової мiри типу π-значення для ефективного роздiлення конкуруючих множин. Для кожної оцiнки щiльностi...
Збережено в:
| Опубліковано в: : | Доповіді НАН України |
|---|---|
| Дата: | 2015 |
| Автори: | , |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
Видавничий дім "Академперіодика" НАН України
2015
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/97592 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин / А.В. Анісімов, О.А. Галкін // Доповіді Національної академії наук України. — 2015. — № 9. — С. 25-34. — Бібліогр.: 9 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859860179166691328 |
|---|---|
| author | Анісімов, А.В. Галкін, О.А. |
| author_facet | Анісімов, А.В. Галкін, О.А. |
| citation_txt | Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин / А.В. Анісімов, О.А. Галкін // Доповіді Національної академії наук України. — 2015. — № 9. — С. 25-34. — Бібліогр.: 9 назв. — укр. |
| collection | DSpace DC |
| container_title | Доповіді НАН України |
| description | Запропоновано пiдхiд до побудови класифiкаторiв на основi ядерних оцiнок щiльностi
для розв’язання задач розпiзнавання образiв. Пiдхiд грунтується на використаннi апостерiорної ймовiрностi та роздiлової мiри типу π-значення для ефективного роздiлення конкуруючих множин. Для кожної оцiнки щiльностi класу застосовано сiмейство оцiнок щiльностi для кожної множини в широкому дiапазонi смуг пропускання. Запропоновано та адаптовано процедуру об’єднання результатiв класифiкацiї на рiзних рiвнях згладжування, що забезпечило гнучке використання рiзних смуг пропускання для рiзних
пар конкуруючих класiв. Статистичнi невизначеностi обчислено на основi приблизно оцiнених ймовiрностей помилкової класифiкацiї.
Предложен подход к построению классификаторов на основе ядерных оценок плотности
для решения задач распознавания образов. Подход основан на использовании апостериорной
вероятности и разделительной меры типа π-значение для эффективного разделения конкурирующих множеств. Для каждой оценки плотности класса применено семейство оценок плотности для каждого множества в широком диапазоне полос пропускания. Предложена
и адаптирована процедура объединения результатов классификации на разных уровнях сглаживания, что обеспечило гибкое использование различных полос пропускания для различных пар конкурирующих классов. Статистические неопределенности вычислены на основе приближенно оцененных вероятностей ошибочной классификации.
An approach is proposed to construct classifiers based on kernel density estimates for solving pattern
recognition problems. The approach is based on the use of the a posteriori probability and a distributive
π-type measure for the effective division of competing sets. The family of density estimates is
applied to each set in a wide range of bandwidths for each estimate of the class density. A procedure
is proposed and adapted to combine the classification results on different levels of smoothing that
provides a flexible use of different bandwidths for different pairs of competing classes. Statistical
uncertainties are calculated on the basis of approximate estimated probabilities of a misclassification.
|
| first_indexed | 2025-12-07T15:45:02Z |
| format | Article |
| fulltext |
оповiдi
НАЦIОНАЛЬНОЇ
АКАДЕМIЇ НАУК
УКРАЇНИ
9 • 2015
IНФОРМАТИКА ТА КIБЕРНЕТИКА
УДК 519.7
Член-кореспондент НАН України А.В. Анiсiмов, О.А. Галкiн
Побудова класифiкаторiв на основi ядерних оцiнок
щiльностi з використанням апостерiорних ймовiрностей
конкуруючих множин
Запропоновано пiдхiд до побудови класифiкаторiв на основi ядерних оцiнок щiльностi
для розв’язання задач розпiзнавання образiв. Пiдхiд грунтується на використаннi апо-
стерiорної ймовiрностi та роздiлової мiри типу π-значення для ефективного роздiлення
конкуруючих множин. Для кожної оцiнки щiльностi класу застосовано сiмейство оцi-
нок щiльностi для кожної множини в широкому дiапазонi смуг пропускання. Запропо-
новано та адаптовано процедуру об’єднання результатiв класифiкацiї на рiзних рiвнях
згладжування, що забезпечило гнучке використання рiзних смуг пропускання для рiзних
пар конкуруючих класiв. Статистичнi невизначеностi обчислено на основi приблизно
оцiнених ймовiрностей помилкової класифiкацiї.
Ключовi слова: оцiнка щiльностi, вагова функцiя, правило класифiкацiї.
Постановка задачi. Для обчислення ядерних оцiнок щiльностi в задачах розпiзнаван-
ня необхiдно нормалiзувати всi данi в класi, використовуючи оцiнку дисперсiйної матрицi
класу для набуття даними сферичної форми, що дозволяє бiльш ефективно використову-
вати загальнi смуги пропускання al для всiх координатних змiнних. Припустимо, що zl1,
zl2, . . . , zlml
є навчальною вибiркою даних з l-го класу, де 1 6 l 6 L. Для класифiкацiї
елемента z в один з L класiв необхiдно отримати оцiнки щiльностi hlal(z) в точцi z для
всiх l = 1, 2, . . . , L. У разi, коли випадковi вектори проходять лiнiйне перетворення, оцiнки
щiльностi для вихiдних векторiв даних можуть бути отриманi з нормалiзованих векторiв
даних з використанням формули перетворення для ймовiрнiсної функцiї щiльностi [1].
Для фiксованої пари смуг пропускання a1 та a2 для двох оцiнок щiльностi класу та пари
конкуруючих класiв iснує порядок мiж функцiями p1h1a1(z) та p2h2a2(z), що визначає, який
з двох класiв є бiльш вiрогiдним. Апостерiорна ймовiрнiсть для першої множини даних
у двокласовiй задачi для заданого елемента даних z та заданої пари смуг пропускання a1
та a2 може бути задана як
P̆a1,a2(1|z) =
p1h1a1(z)
p1h1a1(z) + p2h2a2(z)
. (1)
© А.В. Анiсiмов, О. А. Галкiн, 2015
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №9 25
Для обчислення цих апостерiорних ймовiрностей можна використовувати широкий спектр
значень для a1 та a2. У двокласових задачах iз застосуванням ядерних методiв статистично-
го аналiзу [2] елемент z класифiкується в першу множину даних, якщо p1h1a1(z) > p2h2a2(z).
Для заданого елемента z розглянемо ймовiрнiсть
Pa1,a2(z) = P{p1h1a(z) > p2h2a(z)|z}, (2)
великi та малi значення якої дають розв’язки для першої та другої множин даних вiдпо-
вiдно. Зауважимо, що оцiнки щiльностi є середнiми значеннями незалежних та однаково
розподiлених випадкових величин, а оцiнки щiльностi для рiзних множин грунтуються на
незалежних множинах даних. Тому нормальне наближення може використовуватися для
оцiнки вказаної ймовiрностi з високим ступенем точностi для дуже великих розмiрiв вибiрки
для фiксованих a1 та a2. В результатi, використовуючи нормальне наближення з оцiненими
середнiми значеннями та дисперсiями, отримуємо таку ймовiрнiсть:
Pa1,a2(z) = F
(
p1Ω[h1a1(z)|z]− p2Ω[h2a2(z)|z]√
p21D[h1a1(z)|z] + p22D[h2a2(z)|z]
)
= F
(
p1h1a1(z)− p2h2a2(z)√
p21w
2
1a1
(z) + p22w
2
2a1
(z)
)
, (3)
де m1 та m2 — розмiри вибiрки для двох класiв; F — стандартна функцiя нормального
розподiлу; w2
lal
(z) — оцiнена дисперсiя hlal(z) (l = 1, 2), отримана iз вибiрки з використанням
вибiркової дисперсiї вiд
W−r
l Θ{W−1
l (zl1 − z)}, W−r
l Θ{W−1
l (zl2 − z)}, . . . , W−r
l Θ{W−1
l (zlml
− z)}.
Оцiнка ймовiрностi з високим ступенем точностi. Нормальне наближення Pa1,a2(z)
може бути задане таким чином. Для заданого елемента z та пари смуг пропускання a1 та a2
вiзьмемо пару гiпотез H0: p1Ω{h1a(z)} > p2Ω{h2a(z)} та HA : p1Ω{h1a(z)} < p2Ω{h2a(z)}.
Якщо навчальна вибiрка використовується для тестування даних гiпотез з застосуванням
ядерних оцiнок щiльностi, то нормальне наближення може бути визначене, як односторон-
нє π-значення [3].
Лема 1. Припустимо, що Ω[Θ2{W−1
i (z− zi1)}|z] <∞ для i = 1, 2, а також визначимо
εiai(z) = Ω{hiai(z)} для i = 1, 2. За умови, якщо m1/M → α(0 < α < 1) при M = m1 +
+ m2 → ∞, мають мiсце такi випадки:
а)
∣∣∣∣Pa1,a2(1|z)− p1ε1a1(z)
p1ε1a1(z) + p2ε2a2(z)
∣∣∣∣ = OP (M
−1/2), (4)
б) |Pa1,a2(z)− Λ{p1ε1a1(z) > p2ε2a2(z)}| = OP (M
−1/2e−VM ), (5)
де Λ{·} — характеристична функцiя; V > 0.
Доведення. 1. Визначимо M̆i = pihiai(z) для i = 1, 2. Оскiльки M̆i є середнiм значенням
незалежних та однаково розподiлених випадкових величин, M̆i сходиться до нормального
розподiлу iз середнiм значенням ϑi = piϕiai(z) та дисперсiєю µi = p2iw
2
iai(z), що має по-
рядок O(m−1
i ) при допустимiй умовi моменту. Дане твердження випливає з центральної
граничної теореми. Далi визначимо O(M̆1, M̆2) = M̆1/(M̆1 + M̆2). Функцiя O є неперерв-
но-диференцiйовною в M̆1 та M̆2, якi є незалежними та додатно визначеними випадковими
величинами.
26 ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №9
Вiдзначимо, що з асимптотичного розкладу Тейлора вiдомо, що
{O(M̆1, M̆2)−O(ϑ1, ϑ2)}
µ
J−→ нормаль (0, 1), (6)
де
µ =
{
2∑
i=1
µi
(
∂O
∂M̆i
)2
M̆1=ϑ1,M̆2=ϑ2
}1/2
.
В результатi, оскiльки m1/M → α, а m2/M → 1−α(0 < α < 1) при M → ∞, одержуємо
|O(M̆1, M̆2)−O(ϑ1, ϑ2)| = OP (M
−1/2). (7)
2. Нехай Λ{p1ϕ1a1(z) > p2ϕ2a2(z)} = 1 при ϑ1 > ϑ2. Для фiксованих a1, a2 та z з частини 1
даної леми випливає, що
1√
µ1 + µ2
[(M̆1 − M̆2)− (ϑ1 − ϑ2)]
J−→ нормаль(0, 1) (8)
при M → ∞.
Далi визначимо Ta1,a2(z) = (M̆1 − M̆2)/
√
µ1 + µ2. Зазначимо, що Ta1,a2(z)/M ймовiр-
нiсно сходиться до постiйного значення V , а Ta1,a2(z) = OP (M
1/2), що можна визначити
з порядку µ1 та µ2. Оскiльки f(z)/z < 1− F (z) < (1/z − 1/z3)f(z), має мiсце рiвнiсть
1− Pa1,a2(z) = 1− F (Ta1,a2(z)) = Op(M
−1/2e−VM ), (9)
де z > 0, а f(·) та F (·) означають ймовiрнiсну та кумулятивну функцiї щiльностi стандар-
тного нормального розподiлу вiдповiдно. Лему доведено.
Асимптотична поведiнка роздiлових мiр. Для пари смуг пропускання (a1, a2) та
заданого z оцiнена апостерiорна ймовiрнiсть Pa1,a2(z) сходиться до p1ε1a1(z)/[p1ε1a1(z) +
+ p2ε2a2(z)] зi швидкiстю O(M−1/2). Проте Pa1,a2(z) експоненцiально сходиться до 0 або 1,
залежно вiд ε1a1(z), ε2a2(z) та апостерiорних ймовiрностей Pa1,a2(1|z). Якщо p1ε1a1(z) <
< p2ε2a2(z), Pa1,a2(1|z) матиме швидкiсть збiжностi
√
M до значення, що є меншим 0,5,
вiдповiднi мiри типу π-значення експоненцiально сходяться до нуля набагато швидше. Тому
Pa1,a2(z) завжди даватиме бiльш переконливi результати, нiж Pa1,a2(1|z) за чи проти першої
множини даних для заданих (a1, a2) та при зростаннi об’єму вибiрки [4].
Для отримання рiшення щодо класифiкацiї елемента z необхiдно знати, якi значення
пари смуг пропускання (a1, a2) приведуть до статистично бiльш достовiрного результату
класифiкацiї. Для двокласової задачi розглянемо середню ймовiрнiсть помилкової класи-
фiкацiї, а саме:
Ψ(a1, a2) = p1
∫
z∈Reqa1,a2
h1(z) dz + p2
∫
z∈Rea1,a2
h2(z) dz. (10)
При фiксованому виборi (a1, a2) Rea1,a2 є множиною всiх z, що класифiкованi до першої
множини даних, а Reqa1,a2 — множиною доповнення.
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №9 27
Для об’єднання результатiв, отриманих на рiзних рiвнях згладжування при досягненнi
остаточного рiшення, необхiдно формувати вiдповiднi середньозваженi апостерiорнi ймовiр-
ностi, обчисленi для рiзних варiантiв вибору (a1, a2). Для цього необхiдно використовувати
вiдповiдну вагову функцiю, яка повинна набувати бiльш великих значень для даної пари
смуг пропускання, що призводить до нижчих показникiв помилкової класифiкацiї.
Скоригованi ваговi функцiї. Визначимо Ψ0 = min
a1,a2
Ψ(a1, a2) та розглянемо ваговi
функцiї d(a1, a2), якi є спадними функцiями вiд Ψ(a1, a2), що еквiвалентно Ψ(a1, a2)−Ψ0.
Зазначимо, що оскiльки продуктивнiсть класифiкатора буде нижчою порiвняно з тривi-
альним класифiкатором, який класифiкує всi елементи до класу, що має найвищу апрiорну
ймовiрнiсть, d(a1, a2) повиннi зникати кожного разу, коли вiдповiдне значення Ψ(a1, a2) пе-
ревищує будь-яку з двох апрiорних ймовiрностей. Для класифiкацiї елемента z необхiдно
включати у вагах вiдповiдну мiру Pa1,a2(z) типу π-значення, а також використовувати та-
кi пари смуг пропускання, якi призводять до бiльш переконливих розв’язкiв для одного
або двох класiв та вiдповiдно налаштувати значення вагової функцiї. Налаштованi ваги
будуть залежати як вiд загально оцiнених ймовiрностей помилкової класифiкацiї, так i вiд
характерного елемента даних [5].
У данiй роботi використано скориговану вагову функцiю
dz(a1, a2) = d(a1, a2)|Pa1,a2(z)− 0,5|, (11)
де
d(a1, a2) = exp
{
−1
2
(Ψ(a1, a2)−Ψ0)
2
Ψ0(1−Ψ0)/M
}
, (12)
якщо
Ψ(a1, a2)−Ψ0
[Ψ0(1−Ψ0)/M ]1/2
6 ϑ i Ψ(a1, a2) < min{p1, p2}, та d(a1, a2) = 0 — в iншому ви-
падку. Для M = m1 + m2, коли найбiльш ефективний класифiкатор на основi ядерних
оцiнок щiльностi використовується для класифiкацiї M незалежних елементiв даних, Ψ0 та
Ψ0(1 − Ψ0)/M можуть розглядатися як оцiнки для середнього значення та дисперсiї емпi-
ричного показника помилкової класифiкацiї. Постiйна величина ϑ визначає максимальне
число вiдхилень вiд мiнiмального оцiненого показника помилкової класифiкацiї в нормалi-
зованiй шкалi, за якою вагова схема iгнорує пару смуг пропускання (a1, a2), поставивши на
них нульову вагу. У даному випадку ϑ = 0 вiдповiдає прикрiпленню всiх ваг лише на пару
смуг пропускання (a1, a2), для якої Ψ(a1, a2) = Ψ0.
Зауважимо, що вiдповiдно до вибору вагової функцiї гауссiвського типу, немає потреби
розглядати значення ϑ, що є бiльшими трьох. Вибiр скоригованої вагової функцiї, викори-
станої у данiй роботi, є дещо суб’єктивним, тому можна використовувати iншi вiдповiднi
функцiї. Встановлено, що якщо застосовується прийнятна вагова функцiя, кiнцевий резуль-
тат не є надто чутливим до вагової процедури [6].
При наявностi бiльше двох класiв, наслiдком чого є зростання обчислювальної складно-
стi, досить непросто знайти оптимальнi смуги пропускання, що мiнiмiзують оцiнки загаль-
ної середньої ймовiрностi помилкової класифiкацiї Ψ(a1, a2, . . . , aL). У даному випадку не-
обхiдно розкласти багатокласовi задачi в ряд задач бiнарної класифiкацiї, результати яких
комбiнуються для отримання кiнцевого правила рiшення. Найбiльш ефективним iнстру-
ментом для об’єднання результатiв попарної класифiкацiї є застосування методу мажори-
тарного голосування, який в задачi з J класами пiсля
(
J
2
)
попарних порiвнянь класифiкує
28 ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №9
елемент даних до класу, що має максимальне число голосiв [7]. Однак застосування даного
методу може призвести до появи областей нерозв’язностi, де бiльше, нiж один клас мо-
же мати максимальне число голосiв. Дану проблему можна вирiшити, застосовуючи метод
попарного з’єднання, який об’єднує оцiненi апостерiорнi ймовiрностi для рiзних попарних
класифiкацiй для визначення кiнцевих апостерiорних ймовiрностей для конкуруючих кла-
сiв [8].
Вiдомо, що hlal(z) є середнiм значенням незалежних та однаково розподiлених випад-
кових величин для фiксованого al. У випадку, коли розмiр вибiрки ml збiльшується, її
дисперсiя прямує до нуля та ймовiрнiсно сходиться до εlal(z) = Ω{hlal(z)} = Θal ∗ hl(z), що
є згорткою функцiї щiльностi hl з ядром Θ та смугою пропускання al. Порядок p1ε1a1(z)
та p2ε2a2(z) визначає асимптотичне правило розв’язання у двокласовiй задачi. Тому εla(z)
(l = 1, 2) зберiгає порядок фактичних щiльностей для всiх значень a, якщо розподiли мно-
жини даних задовольняють модель зсуву розташування, тобто hl(z) = c(z−εl) для загальної
щiльностi c та параметрiв розташування εl, а загальна смуга пропускання a використову-
ється для обох множин даних. Крiм того, у випадку рiвних апрiоних ймовiрностей для
всiх додатних значень a = a1 = a2 вiдповiдна ймовiрнiсть помилкової класифiкацiї асим-
птотично стає оптимальним байєсiвським ризиком [9]. Тому, оскiльки дисперсiя прямує до
нуля досить швидко, дана збiжнiсть є значно швидшою для великих значень a. Зазначи-
мо, що функцiї щiльностi множин даних не завжди можуть задовольняти умову симетрiї.
Для дослiдження поведiнки класифiкатора на основi ядерних оцiнок щiльностi для великих
розмiрiв вибiрок та великих смуг пропускання наведемо таку лему.
Лема 2. Припустимо, що ядро Θ обмежене третiми похiдними та є r-вимiрною функ-
цiєю щiльностi з модою в 0. Нехай функцiї h1 та h2 є такими, що
∫
∥z∥6hi(z) dz <∞.
Також визначимо постiйну величину Vp = p2/p1 та припустимо, що a1, a2 змiнюються
таким чином, що a2/a1 = Va та є постiйною величиною. Отже, Ψ(a1, a2) демонструє
таку асимптотичну поведiнку при a1 → ∞. Якщо Vp = V r
a при a1, a2 → ∞, Ψ(a1, a2)
прямує до ймовiрностi помилкової класифiкацiї квадратичного правила класифiкацiї, що
задається Imкв(z) = 1, якщо
V 2
a Ωh1
{
(z − Z)′K2Θ(0)(z − Z)
}
> Ωh2
{
(z − Z)′K2Θ(0)(z − Z)
}
,
та Imкв(z) = 2 — в iншому випадку. Якщо Vp > V r
a при a1, a2 → ∞, то Ψ(a1, a2) → p1.
А також, якщо Vp < V r
a при a1, a2 → ∞, то Ψ(a1, a2) → p2.
Доведення. На основi визначення hlal(z) (l = 1, 2) встановлено, що
Ωhl{hal(z)} = a−rl Ωhl
[
Θ
{
z − Z
al
}]
(13)
та
Dhl{hal(z)} = m−1
l a−2r
l Dhl
[
Θ
{
z − Z
al
}]
(14)
з урахуванням того факту, що
Ψ(a1, a2) = p1Ωh1{Λ(p1h1a1 < p2h2a2)}+ p2Ωh2{Λ(p1h1a1 > p2h2a2)}. (15)
Використовуючи розклад Тейлора в 0, Θ{(z − Z)/al} може бути виражено як
Θ
{
z − Z
al
}
= Θ(0) +
1
2a2l
{(z − Z)′}K2Θ(0)(z − Z) +
1
6a3l
∑
i,k,n
Xi,k,n, (16)
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №9 29
деKΘ(0) = 0), аXi,k,n = (zi−Zi)(zk−Zk)(zn−Zn)
∂3Θ(κ)
∂κi∂κk∂κm
∣∣∣∣
κ=ρ
— для деякого промiжного
вектора ρ мiж 0 та (z − Z)/al. Оскiльки
∫
∥z∥6h(z) dz <∞, а функцiя Θ обмежена третiми
похiдними, отримуємо такi рiвностi:
Ωhl{hlal(w)} = a−rl
[
Θ(0) +
1
2a2l
Ωhl{(z − Z)′K2Θ(0)(z − Z)}+O(a−3
l )
]
, (17)
Dhl{hlal(w)} = (4mla
2r+4
l )−1
[
Dhl{(z − Z)′K2Θ(0)(z − Z)}+O(a−3
l )
]
. (18)
Класифiкатор на основi ядерних оцiнок щiльностi класифiкує елемент z до першої множини
даних тодi i тiльки тодi, коли
p1Ωh1{h1a1(z)} > p2Ωh2{h2a2(z)} ⇔
⇔ p1a
−r
1
[
Θ(0) +
1
2a21
Ωh1{(z − Z)′K2Θ(0)(z − Z)}+O(a−3
1 )
]
>
> p2a
−r
2
[
Θ(0) +
[
Θ(0) +
1
2a22
Ωh2{(z − Z)′K2Θ(0)(z − Z)}+O(a−3
2 )
]]
⇔
⇔ VpV
−r
a
[
Θ(0) +
1
2a21
Ωh1{(z − Z)′K2Θ(0)(z − Z)}+O(a−3
1 )
]
>
>
[
Θ(0) +
1
2a22
Ωh2{(z − Z)′K2Θ(0)(z − Z)}+O(a−3
2 )
]
, (19)
оскiльки дисперсiя ядерних оцiнок щiльностi асимптотично прямує до нуля для елемента z
та пари смуг пропускання (a1, a2).
Отже, якщо Vp = V r
a , можна перевiрити, що наведена вище нерiвнiсть має мiсце тодi
i тiльки тодi, коли
V 2
a Ωh1{(z − Z)′K2Θ(0)(z − Z)} > Ωh2{(z − Z)′K2Θ(0)(z − Z)} (20)
для великих значень a1 та a2. У випадку, коли Vp > V r
a , вищенаведена нерiвнiсть має мiсце,
незалежно вiд значення елемента z для великих значень a1 та a2 = Vaa1. Також, якщо
Vp < V r
a , результуючий класифiкатор завжди асимптотично класифiкує кожен елемент z
до другої множини даних. Лему доведено.
В результатi квадратичний класифiкатор стає лiнiйним класифiкатором форми
Imлiн(z) = argmin
i
[
z′K2Θ(0)Ωhi(Z)−
1
2
Ωhi{Z
′K2Θ(0)Z}
]
(21)
у випадку, коли p1 = p2 або Vp = Va = 1. Крiм того, даний лiнiйний класифiкатор можна
виразити у спрощеному виглядi:
Imлiн(z) = argmax
i
{
z′εi −
1
2
ε′iεi
}
, (22)
де εi — параметр розташування для i-ї множини даних (i = 1, 2). Цей висновок має мi-
сце на пiдставi таких умов: 1) ядерна функцiя Θ є сферичною; 2) K2Θ(0) є вiд’ємно ви-
значеною функцiєю; 3) мають мiсце припущення щодо зсуву розташування та сферичної
30 ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №9
симетрiї. Отриманий лiнiйний класифiкатор є оптимальним байєсiвським класифiкатором.
Тому, у такому особливому випадку, ймовiрнiсть помилкової класифiкацiї Ψ асимптотично
сходиться до оптимального байєсiвського ризику.
Цитована лiтература
1. Godtliebsen F., Marron J. S., Chaudhuri P. Significance in scale space for bivariate density estimation //
J. of Computational and Graphical Statistics. – 2002. – 11. – P. 3–21.
2. Holmes C.C., Adams N.M. A probabilistic nearest neighbor method for statistical pattern recognition //
J. of the Royal Statistical Society. – 2002. – 64. – P. 297–304.
3. Hall P. Large sample optimality of least squares cross validations in density estimation // The Annals of
Statistics. – 1983. – 11. – P. 1160–1173.
4. Lachenbruch P., Mickey M. Estimation of error rates in discriminant analysis // Technometrics. – 1968. –
10. – P. 3–10.
5. Silverman B.W. Density estimation for Statistics and Data Analysis. – London: Chapman and Hall, 1986. –
P. 1–7.
6. Wand M., Jones M. Kernel Smoothing. – London: Chapman and Hall, 1995. – P. 1–14.
7. Ripley B. Pattern Recognition and Neural Networks. – Cambridge: Cambridge University Press, 1996. –
P. 1–17.
8. Duda R., Hart P., Stork D. Pattern Classification. – New York: Wiley, 2000. – P. 1–21.
9. Chaudhuri P., Marron J. Scale space view of curve estimation // The Annals of Statistics. – 2000. – 28. –
P. 410–427.
References
1. Godtliebsen F., Marron J. S., Chaudhuri P. J. of Computational and Graphical Statistics, 2002, 11: 3–21.
2. Holmes C.C., Adams N.M. J. of the Royal Statistical Society, 2002, 64: 297–304.
3. Hall P. The Annals of Statistics, 1983, 11: 1160–1173.
4. Lachenbruch P., Mickey M. Technometrics, 1968, 10: 3–10.
5. Silverman B.W. Density estimation for Statistics and Data Analysis, London: Chapman and Hall, 1986.
6. Wand M., Jones M. Kernel Smoothing, London: Chapman and Hall, 1995: 1–14.
7. Ripley B. Pattern Recognition and Neural Networks, Cambridge: Cambridge University Press, 1996: 1–17.
8. Duda R., Hart P., Stork D. Pattern Classification, New York: Wiley, 2000: 1–21.
9. Chaudhuri P., Marron J. The Annals of Statistics, 2000, 28: 410–427.
Надiйшло до редакцiї 12.05.2015Київський нацiональний унiверситет
iм. Тараса Шевченка
Член-корреспондент НАН Украины А.В. Анисимов, А.А. Галкин
Построение классификаторов на основе ядерных оценок плотности
с использованием апостериорных вероятностей конкурирующих
множеств
Киевский национальный университет им. Тараса Шевченко
Предложен подход к построению классификаторов на основе ядерных оценок плотности
для решения задач распознавания образов. Подход основан на использовании апостериорной
вероятности и разделительной меры типа π-значение для эффективного разделения конку-
рирующих множеств. Для каждой оценки плотности класса применено семейство оценок
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №9 31
плотности для каждого множества в широком диапазоне полос пропускания. Предложена
и адаптирована процедура объединения результатов классификации на разных уровнях сгла-
живания, что обеспечило гибкое использование различных полос пропускания для различных
пар конкурирующих классов. Статистические неопределенности вычислены на основе при-
ближенно оцененных вероятностей ошибочной классификации.
Ключевые слова: оценка плотности, весовая функция, правило классификации.
Corresponding Member of the NAS of Ukraine A.V. Anisimov, O. A. Galkin
Construction of classifiers based on kernel density estimations using the
a posteriori probabilities of competing sets
Taras Shevchenko National University of Kiev
An approach is proposed to construct classifiers based on kernel density estimates for solving pattern
recognition problems. The approach is based on the use of the a posteriori probability and a distri-
butive π-type measure for the effective division of competing sets. The family of density estimates is
applied to each set in a wide range of bandwidths for each estimate of the class density. A procedure
is proposed and adapted to combine the classification results on different levels of smoothing that
provides a flexible use of different bandwidths for different pairs of competing classes. Statistical
uncertainties are calculated on the basis of approximate estimated probabilities of a misclassifica-
tion.
Keywords: density estimate, weight function, classification rule.
32 ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2015, №9
|
| id | nasplib_isofts_kiev_ua-123456789-97592 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1025-6415 |
| language | Ukrainian |
| last_indexed | 2025-12-07T15:45:02Z |
| publishDate | 2015 |
| publisher | Видавничий дім "Академперіодика" НАН України |
| record_format | dspace |
| spelling | Анісімов, А.В. Галкін, О.А. 2016-03-30T16:25:49Z 2016-03-30T16:25:49Z 2015 Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин / А.В. Анісімов, О.А. Галкін // Доповіді Національної академії наук України. — 2015. — № 9. — С. 25-34. — Бібліогр.: 9 назв. — укр. 1025-6415 https://nasplib.isofts.kiev.ua/handle/123456789/97592 519.7 Запропоновано пiдхiд до побудови класифiкаторiв на основi ядерних оцiнок щiльностi для розв’язання задач розпiзнавання образiв. Пiдхiд грунтується на використаннi апостерiорної ймовiрностi та роздiлової мiри типу π-значення для ефективного роздiлення конкуруючих множин. Для кожної оцiнки щiльностi класу застосовано сiмейство оцiнок щiльностi для кожної множини в широкому дiапазонi смуг пропускання. Запропоновано та адаптовано процедуру об’єднання результатiв класифiкацiї на рiзних рiвнях згладжування, що забезпечило гнучке використання рiзних смуг пропускання для рiзних пар конкуруючих класiв. Статистичнi невизначеностi обчислено на основi приблизно оцiнених ймовiрностей помилкової класифiкацiї. Предложен подход к построению классификаторов на основе ядерных оценок плотности для решения задач распознавания образов. Подход основан на использовании апостериорной вероятности и разделительной меры типа π-значение для эффективного разделения конкурирующих множеств. Для каждой оценки плотности класса применено семейство оценок плотности для каждого множества в широком диапазоне полос пропускания. Предложена и адаптирована процедура объединения результатов классификации на разных уровнях сглаживания, что обеспечило гибкое использование различных полос пропускания для различных пар конкурирующих классов. Статистические неопределенности вычислены на основе приближенно оцененных вероятностей ошибочной классификации. An approach is proposed to construct classifiers based on kernel density estimates for solving pattern recognition problems. The approach is based on the use of the a posteriori probability and a distributive π-type measure for the effective division of competing sets. The family of density estimates is applied to each set in a wide range of bandwidths for each estimate of the class density. A procedure is proposed and adapted to combine the classification results on different levels of smoothing that provides a flexible use of different bandwidths for different pairs of competing classes. Statistical uncertainties are calculated on the basis of approximate estimated probabilities of a misclassification. uk Видавничий дім "Академперіодика" НАН України Доповіді НАН України Інформатика та кібернетика Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин Построение классификаторов на основе ядерных оценок плотности с использованием апостериорных вероятностей конкурирующих множеств Construction of classifiers based on kernel density estimations using the a posteriori probabilities of competing sets Article published earlier |
| spellingShingle | Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин Анісімов, А.В. Галкін, О.А. Інформатика та кібернетика |
| title | Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин |
| title_alt | Построение классификаторов на основе ядерных оценок плотности с использованием апостериорных вероятностей конкурирующих множеств Construction of classifiers based on kernel density estimations using the a posteriori probabilities of competing sets |
| title_full | Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин |
| title_fullStr | Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин |
| title_full_unstemmed | Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин |
| title_short | Побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин |
| title_sort | побудова класифікаторів на основі ядерних оцінок щільності з використанням апостеріорних ймовірностей конкуруючих множин |
| topic | Інформатика та кібернетика |
| topic_facet | Інформатика та кібернетика |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/97592 |
| work_keys_str_mv | AT anísímovav pobudovaklasifíkatorívnaosnovíâdernihocínokŝílʹnostízvikoristannâmaposteríornihimovírnosteikonkuruûčihmnožin AT galkínoa pobudovaklasifíkatorívnaosnovíâdernihocínokŝílʹnostízvikoristannâmaposteríornihimovírnosteikonkuruûčihmnožin AT anísímovav postroenieklassifikatorovnaosnoveâdernyhocenokplotnostisispolʹzovaniemaposteriornyhveroâtnosteikonkuriruûŝihmnožestv AT galkínoa postroenieklassifikatorovnaosnoveâdernyhocenokplotnostisispolʹzovaniemaposteriornyhveroâtnosteikonkuriruûŝihmnožestv AT anísímovav constructionofclassifiersbasedonkerneldensityestimationsusingtheaposterioriprobabilitiesofcompetingsets AT galkínoa constructionofclassifiersbasedonkerneldensityestimationsusingtheaposterioriprobabilitiesofcompetingsets |