Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины
Досліджено непараметричні методи класифікації та їх асимптотичні властивості на основі використання функцій напівпросторової та регресійної глибини, що використовуються для побудови лінійних та нелінійних розділових поверхонь серед конкуруючих множин даних. Запропоновано повністю незалежний від розп...
Збережено в:
| Дата: | 2015 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2015
|
| Назва видання: | Проблемы управления и информатики |
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/208026 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины / А.В. Анисимов, А.А. Галкин // Проблемы управления и информатики. — 2015. — № 4. — С. 147-155. — Бібліогр.: 11 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-208026 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-2080262025-10-19T00:18:22Z Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины Дослідження асимптотичних властивостей непараметричних класифікаторів на основі функцій глибини The research of the asymptotic properties of nonparametric classifiers based on depth functions Анисимов, А.В. Галкин, А.А. Роботы и системы искусственного интеллекта Досліджено непараметричні методи класифікації та їх асимптотичні властивості на основі використання функцій напівпросторової та регресійної глибини, що використовуються для побудови лінійних та нелінійних розділових поверхонь серед конкуруючих множин даних. Запропоновано повністю незалежний від розподілу підхід, де для мінімізації коефіцієнтів помилкової класифікації застосовується розподільне розташування багатовимірних даних. Nonparametric classification methods are considered as well as their asymptotic properties based on the use of half-space and regression depth functions that are used to build linear and nonlinear separating surfaces between competing sets of data. A fully distribution free approach is proposed where distributive location of multidimensional data is used to minimize misclassification coefficients. 2015 Article Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины / А.В. Анисимов, А.А. Галкин // Проблемы управления и информатики. — 2015. — № 4. — С. 147-155. — Бібліогр.: 11 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/208026 519.7 10.1615/JAutomatInfScien.v47.i8.10 ru Проблемы управления и информатики application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Роботы и системы искусственного интеллекта Роботы и системы искусственного интеллекта |
| spellingShingle |
Роботы и системы искусственного интеллекта Роботы и системы искусственного интеллекта Анисимов, А.В. Галкин, А.А. Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины Проблемы управления и информатики |
| description |
Досліджено непараметричні методи класифікації та їх асимптотичні властивості на основі використання функцій напівпросторової та регресійної глибини, що використовуються для побудови лінійних та нелінійних розділових поверхонь серед конкуруючих множин даних. Запропоновано повністю незалежний від розподілу підхід, де для мінімізації коефіцієнтів помилкової класифікації застосовується розподільне розташування багатовимірних даних. |
| format |
Article |
| author |
Анисимов, А.В. Галкин, А.А. |
| author_facet |
Анисимов, А.В. Галкин, А.А. |
| author_sort |
Анисимов, А.В. |
| title |
Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины |
| title_short |
Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины |
| title_full |
Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины |
| title_fullStr |
Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины |
| title_full_unstemmed |
Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины |
| title_sort |
исследование асимптотических свойств непараметрических классификаторов на основе функций глубины |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2015 |
| topic_facet |
Роботы и системы искусственного интеллекта |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/208026 |
| citation_txt |
Исследование асимптотических свойств непараметрических классификаторов на основе функций глубины / А.В. Анисимов, А.А. Галкин // Проблемы управления и информатики. — 2015. — № 4. — С. 147-155. — Бібліогр.: 11 назв. — рос. |
| series |
Проблемы управления и информатики |
| work_keys_str_mv |
AT anisimovav issledovanieasimptotičeskihsvojstvneparametričeskihklassifikatorovnaosnovefunkcijglubiny AT galkinaa issledovanieasimptotičeskihsvojstvneparametričeskihklassifikatorovnaosnovefunkcijglubiny AT anisimovav doslídžennâasimptotičnihvlastivostejneparametričnihklasifíkatorívnaosnovífunkcíjglibini AT galkinaa doslídžennâasimptotičnihvlastivostejneparametričnihklasifíkatorívnaosnovífunkcíjglibini AT anisimovav theresearchoftheasymptoticpropertiesofnonparametricclassifiersbasedondepthfunctions AT galkinaa theresearchoftheasymptoticpropertiesofnonparametricclassifiersbasedondepthfunctions |
| first_indexed |
2025-10-19T01:08:00Z |
| last_indexed |
2025-10-20T01:09:26Z |
| _version_ |
1846461141596766208 |
| fulltext |
© А.В. АНИСИМОВ, А.А. ГАЛКИН, 2015
Международный научно-технический журнал
«Проблемы управления и информатики», 2015, № 4 147
РОБОТЫ И СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
УДК 519.7
А.В. Анисимов, А.А. Галкин
ИССЛЕДОВАНИЕ АСИМПТОТИЧЕСКИХ СВОЙСТВ
НЕПАРАМЕТРИЧЕСКИХ КЛАССИФИКАТОРОВ
НА ОСНОВЕ ФУНКЦИЙ ГЛУБИНЫ
Введение. Когда границы классов достаточно сложные, линейные классифи-
каторы могут быть нецелесообразны для использования. В таком случае для раз-
личения конкурирующих классов необходима зависимость от нелинейных разде-
лительных поверхностей. Для построения таких поверхностей можно спроектиро-
вать данные )...,,,(z 21 idiii zzz в пространство более высокой размерности для
получения нового вектора измеряемых величин ))(...,),(),(( 21 iriii zzzt и
выполнить линейную классификацию в l-мерном пространстве. Если данные про-
ектируются в пространство квадратичных функций, это может рассматриваться
как линейная классификация с
2
r
rl измеряемыми величинами, которые в
конечном итоге приводят к квадратичному разделению в начальном r-мерном
пространстве. Величины
}0)({
1
)( 21
1121
21
ji
m
j
m
i
m tt
mm
(1)
и
}0{}0{),( 2
12
2
1
11
1
21
i
m
i
i
m
i
m t
m
p
t
m
p
(2)
могут быть оптимизированы для получения соответствующих оценок и , ко-
торые используются для формирования разделительной поверхности.
Постановка задачи. Предположим, имеется задача с двумя классами, а
111211 ...,,, mzzz и
222221 ...,,, mzzz являются двумя независимыми множествами
r-мерных независимых одинаково распределенных случайных данных из двух r-мер-
ных конкурирующих множеств. Пусть
111211 ...,,, mttt и
222221 ...,,, mttt — их
трансформации в l-мерное пространство, а hsd — максимизирующая оценка
),(m в то время как rgr и rgr — минимизирующие оценки ).,( m
Теорема 1. Предположим, что, при ,21 mmM Mm /1 ).10(
Определим
}0)({prob)( 21 ji tt (3)
148 ISSN 0572-2691
и
}.0{prob}0{prob),( 2211 ji tptp (4)
Тогда при M имеем следующие случаи:
(а) ,0)(max)(
hsdm ;0)(max)(
hsd
(б) ,0),(min),(
,
rgrrgrm .0),(min),(
,
rgrrgr
Когда существуют особые оптимизаторы
hsd и ),( rgrrgr для )( и
),( соответственно, а и являются непрерывными функциями своих ар-
гументов [1], hsd сходится к ,hsd а ),( rgrrgr — почти всюду к ),( rgrrgr
при .M
Заметим, что если X — ограниченная случайная переменная с )(XE и
,1)10( XP тогда выполняется следующее условие:
8/)( 2
}{ wXw eeE (5)
для .0w
Доказательство. (а) Пусть задана ограниченная функция ядра
}{),( 2121 ttttu (6)
для обобщенной несмещенной статистики ,)(m где .10 u
Предположим, что ,21 mm и определим
),()...,,,( 21
1
1
121
1
1 jij
m
j
m ttumiiiQ
(7)
для определенных перестановок )...,,,(
121 miii со множества }....,,2,1{ 2m Кроме
того, )(m можно выразить следующим образом:
),...,,,(
!
)!(
)(
1
121
21
)...,,,(2
12
m
Tiii
m iiiQ
m
mm
m
(8)
где T является множеством всех возможных перестановок )...,,,(
121 miii элемен-
тов множества }....,,2,1{ 2m
Теперь, поскольку выражения в сумме, определяющие Q, являются незави-
симыми и одинаково распределенными и используется неравенство Йенсена на
выпуклой функции ,ze получаем следующее неравенство:
)...,,,(
)...,,,(2
12)( 121
121
!
)!( m
m
m
iiiwQ
Tiii
w
e
m
mm
e
(9)
для каждого .0w Из этого следует, что
,}]{[}{}{ 112111121 /),(),...,,()( mmttwuiiiwQw
eEeEeE mm
(10)
а также
.)}/({}]{[}{ 1112111
1
/)](),([)]()([ m
u
mmttuww
mweEeE m
(11)
Поскольку
)(}{)},({)}...,,,({)}({ 21112121 1
ttPttuEiiiQEE mm (12)
Международный научно-технический журнал
«Проблемы управления и информатики», 2015, № 4 149
и применяется условие (5), получим следующее неравенство:
1
2
1)}/({}{})()({ 1
])()([ wm
w
w
m
u
ww
m emweeEP m
(13)
для любого .0 Минимизируя данное выражение относительно w, получаем
такой результат [2]:
.})()({
2
12
m
m eP (14)
Кроме того, можно показать, что
2
12
})()({
m
m eP (15)
для любого положительного . Объединяя эти два результата, получаем
2
12
2})()({
m
m eP (16)
для каждого .0
Отметим, что множество гиперплоскостей }0:{ xxS в ,rR проходящих
через начало координат, имеет размерность Вапника–Червоненкиса l. Поэтому
множество }0:{ xx имеет полиномиальную разделимость, где l является сте-
пенью многочлена [3].
В результате имеем, что
2
12
21 )(2)()(sup
ml
m emmP (17)
для каждого 0 с использованием вероятностных неравенств на соответст-
вующих множествах.
Поскольку Mm /1 ),10( а M и
VMl
M
eM 2
1
для любого
,0V получаем следующую сходимость:
0)()(sup
m почти всюду при .M (18)
Данный результат следует из леммы Бореля–Кантелли.
Предположим, что hsd — максимизирующая оценка ),(m а
hsd —
максимизирующая оценка ),( которая не обязательно уникальна. Поэтому
0)()( hsdhsdm (19)
и
0)()(
hsdhsdm (20)
при .M
Из определения hsd и
hsd следует, что
)()( hsdhsd
и )()( hsdhsdm (21)
для каждого m.
Итак,
0)()()(max)(
hsdhsdmhsdm при .M (22)
Поэтому
0)(max)(
hsd при .M (23)
150 ISSN 0572-2691
(б) Отметим, что
}0{
1
1
11
1
i
m
i
t
m
являются средними независимыми одинаково распределенными и ограниченными
случайными величинами для некоторых фиксированных и . Поэтому, исполь-
зуя неравенство Хевдинга, имеем следующее неравенство:
2/
111
11
2
1
1
22/}0{}0{
1
m
i
m
i
etPt
m
P (24)
для каждого .0
Аналогично
2/
212
12
2
2
2
22/}0{}0{
1
m
i
m
i
etPt
m
P (25)
для каждого .0 Отсюда следует, что
2/}0{}0{
1
}),(),({ 111
11
1
tPt
m
PP i
m
i
m
).(22/}0{}0{
1 2/2/
212
12
2
2
2
1
2
mm
i
m
i
eetPt
m
P (26)
Применяя аналогичный вывод по размерности Вапника–Червоненкиса для
гиперплоскостей в ,lR а также используя свойства полиномиальной
разделимости [4], получаем, что
).()(2),(),(sup
2/2/1
21
,
2
2
2
1
mml
m eemmP (27)
Поскольку
VMl
M
eM 1
1
для любого ,0 имеем, что
0),(),(sup
,
m
почти всюду при .M Данный результат следует из леммы Бореля–Кантелли.
Далее проводится верификация того, что
0),(min),(
,
rgrrgr и 0),(min),(
,
rgrrgrm
почти всюду при .M
Предположим, что максимизирующая оценка
hsd для )( уникальна. По-
скольку уже продемонстрировано, что на вероятностном множестве )( hsd схо-
дится к )( hsd при ,M установлено, что на том же множестве hsd долж-
но сходиться к
hsd из-за уникальности
hsd и непрерывности функции )( .
Итак, любая подпоследовательность последовательности данной оценки будет
иметь сходящуюся подпоследовательность, которая на вероятностном множестве
сходится к
hsd , поскольку hsd всегда находится на компактной поверхности
единичного шара в .nR В результате hsd должно сходиться к
hsd почти всюду.
Международный научно-технический журнал
«Проблемы управления и информатики», 2015, № 4 151
На основе аналогичных соображений, если ),( rgrrgr является уникальной
минимизируемой оценкой для ),,( ),(),( rgrrgrrgrrgr при ,M
поскольку ),( rgrrgr сходится к ),( rgrrgr почти всюду.
Теорема доказана.
Переменная )( является мерой линейной или нелинейной разделимо-
сти между двумя конкурирующими многомерными распределениями вдоль
направления , а )(max
определяет максимальную линейную или нели-
нейную разделимость между двумя многомерными множествами данных. От-
метим также, что ),( является средней вероятностью ошибочной клас-
сификации, когда поверхность 0t применяется для разделения между
двумя конкурирующими множествами данных, а ),(min
,
является наибо-
лее подходящей средней вероятностью ошибочной классификации, которая
достигается с использованием линейных или нелинейных классификаторов.
Здесь будет уместно отметить, что ),( rgrrgr может рассматриваться как
условная средняя вероятность ошибочной классификации на учебной выбор-
ке, когда поверхность 0 rgrrgrt используется для классификации дан-
ных, поступающих с одного из двух конкурирующих множеств [5].
В случае, когда размер учебной выборки стремится к бесконечности,
средняя вероятность ошибочной классификации линейного или нелинейного
классификатора на основе регрессионной глубины асимптотически сходится
к наиболее подходящему возможному среднему коэффициенту ошибочной
классификации, который может быть получен с использованием линейного
или нелинейного классификатора. Линейный или нелинейный классификатор
на основе регрессионной глубины сходится почти всюду к оптимальной раз-
делительной гиперплоскости или нелинейной поверхности, когда линейный
или нелинейный классификатор уникален.
Выражение 0),(min),(
,
rgrrgr почти всюду при ,M что
было доказано в теореме 1, где ),( rgrrgr — условная средняя вероятность
ошибочной классификации для данных из учебной выборки. При использовании
как функции, ограниченной от 0 до 1, а также теоремы Лебега о мажорируе-
мой сходимости данный вывод очевиден, если принять ожидание ),( rgrrgr
на учебной выборке.
Теорема 2. Пусть функции плотности 1h и 2h двух конкурирующих классов
являются эллиптически-симметричными с общей матрицей рассеивания .
Предположим, что ),()( ii zczh ),2,1(i для некоторых параметров локали-
зации 1 и 2 и общей эллиптически-симметричной функции плотности c, что
удовлетворяет условию )()( zckzc для каждого z и .10 k При условиях, ко-
торые предусмотрены в теореме 1, средние вероятности ошибочной классифика-
ции линейного классификатора на основе регрессионной глубины сходятся к оп-
тимальной байесовской ошибке, когда размер учебной выборки стремится к бес-
конечности при условии, что априорные вероятности двух классов равны. Кроме
того, в случае равных априорных вероятностей, если байесовский классификатор
является оптимальным, а )( имеет уникальную максимизирующую оценку, то
же самое имеет место для классификатора на основе полупространственной глу-
152 ISSN 0572-2691
бины, где оба этих глубинных классификатора сходятся почти всюду к байесов-
скому классификатору. Когда априорные вероятности являются неравными, при-
веденные выше результаты конвергенции для глубинных линейных классифика-
торов остаются верными для нормально распределенных множеств данных с об-
щей дисперсионной матрицей, но различными векторами средних значений.
Доказательство. При соответствующих условиях линейный классифика-
тор с )( 21
1 и 2/)( 1
1
12
1
2 является байесовским. В ре-
зультате средняя ошибка ошибочной классификации линейного классифика-
тора на основе регрессионной глубины сходится к оптимальному байесовскому
риску, что следует из результатов, полученных с применением теоремы Лебега
о мажорируемой сходимости.
Кроме того, когда байесовский классификатор уникален, линейный клас-
сификатор на основе регрессионной глубины сходится почти всюду к байесов-
скому классификатору, что следует из доказательства (б) теоремы 1 [6].
Из теоремы 1 следует, что hsd сходится почти всюду к при M
в случае, когда )( имеет уникальную максимизирующую оценку
).( 21
1
hsd
Рассмотрим два независимых случайных вектора 11 hZ и ,22 hZ кото-
рые полностью независимы на учебной выборке. Определим
,1,1 ZX hsdm ,2,2 ZX hsdm 11 ZX и ,22 ZX
используя данные случайные векторы. Можно утверждать, что
J
mm XX ),( ,2,1
),( 21 XX
J
почти всюду при M , учитывая сходимость почти всюду hsd к .
Поэтому 0),(),(sup
hsd почти всюду при M , поскольку
слабая сходимость к непрерывному распределению обеспечивает равномерную схо-
димость, а 1X и 2X являются непрерывно распределенными. Однако заметим, что из
доказательства (б) теоремы 1 очевидно, что 0),(),(sup
hsdhsdm почти
всюду при M . Поэтому 0),(),(sup
hsdm почти всюду при
M .
Аналогично доказательству теоремы 1
0),(min),(),(min),(
,
hsdhsdmhsdhsdm (28)
почти всюду при M . Кроме того, необходимо, чтобы ),( hsdhsdm
0),( hsdhsd почти всюду при M . Итак, ),( hsdhsd сходится
почти всюду к ),,(min
,
что является байесовским риском [7].
Поскольку ),( hsdhsd является условной средней вероятностью ошибоч-
ной классификации для исследуемых данных из учебной выборки, а также учиты-
вая ожидание ),( hsdhsd на учебной выборке данных, получаем безусловную
среднюю вероятность ошибочной классификации линейного классификатора на
основе полупространственной глубины. Применением теоремы Лебега о мажорируе-
мой сходимости, а также тем, что является функцией, ограниченной от 0 до 1, за-
вершается доказательство сходимости.
Международный научно-технический журнал
«Проблемы управления и информатики», 2015, № 4 153
Далее необходимо показать, что hsd сходится почти всюду к постоянной вели-
чине для доказательства сходимости почти всюду линейного классификатора на осно-
ве полупространственной глубины. Можно проверить, что оптимальный байесовский
риск строго меньше 0,5, если два множества данных не являются статистически нераз-
делимыми при наличии идентичных распределений в случае равных априорных веро-
ятностей с двумя конкурирующими множествами данных [8].
Поскольку ),( hsdhsd сходится к байесовскому риску, а hsd — к при
M на множестве с единичной вероятностью, на данном множестве значение
hsd должно оставаться ограниченным. Это является причиной того, что, из-за
сходимости hsd к , ),( hsdhsd будет сходиться к значению 0,5 по подпос-
ледовательности, вдоль которой hsd при M .
Однако каждый раз, когда hsd сходится к действительному числу ,
),( hsdhsd должно сходиться к ),( на данном множестве с единичной
вероятностью из-за непрерывности . Учитывая то, что любая ограниченная по-
следовательность должна иметь сходящуюся подпоследовательность, hsd долж-
но сходиться к , где ).,(min),(
,
Заметим, что полученный резуль-
тат аналогичен байесовскому риску [9].
Для двух конкурирующих нормально распределенных множеств данных с
параметрами ),( 1 и ),,( 2 а также для не обязательно равных априорных ве-
роятностей 1p и 2p имеет место следующее неравенство:
Vzzzz
epepzhpzhp
zzzz
)()()()(
)()(
1
1
12
1
2
)()(
2
1
2
1
2
)()(
2
1
2
1
12211
2
1
21
1
1
,}{)(2 2
1
21
1
121
1 Vz (29)
где )./(log2 12 ppV
В результате оптимальное байесовское правило имеет свойство уникаль-
ности и линейности, поэтому доказательство теоремы является завершенным,
поскольку и — непрерывные функции в рамках многомерного нор-
мального распределения.
Теорема доказана.
Отметим, что исследованные асимптотические результаты сходимос-
ти определены для случая, когда размерность проекционного пространства l
не меняется при изменении размера выборки M. Однако в некоторых непара-
метрических методах статистического анализа для задач распознавания, а
именно методах на основе опорно векторной машины или нейронных сетей,
размерность проекционного пространства возрастает с размером выборки
данных [10, 11]. Указанное свойство гибкости по выбору разделительной по-
верхности можно получить для глубинных методов. Установлено, что если l
растет с M таким образом, что для всех положительных значений V имеем
,2
1
VMl
M
eM результаты сходимости в (а) и (б) теоремы 1 остаются в силе.
154 ISSN 0572-2691
Другими словами, если l растет со скоростью M для любого ,10
данные результаты сходимости имеют место.
Как уже было отмечено, максимизация )(m относительно требует на-
хождения начала координат функции полупространственной глубины в множест-
ве данных, определенных l-мерными векторами разниц ji tt 21 ;...,,2,1( 1mi
)....,,2,1 2mj Имеет место конечная задача максимизации, однако проведение
максимизации по всем пересчетам даст вычислительную сложность порядка
),( 2lmO где }.,{max 21 mmm Максимизация )(m может быть сведена к с
,1 а минимизация ),( — к ),( с .1),( Учитывая, что порядок
вычислительной сложности быстро растет с размерностью l, точная оптимизация
)(m и ),( m не может быть применена к задачам большой размерности,
поэтому можно выполнять только приблизительную оптимизацию.
Заключение. В настоящей работе предложен подход, где индикаторные
функции, фигурирующие в выражениях для m и ,m аппроксимируются с по-
мощью соответственно определенных функций сглаживания. С помощью указан-
ной аппроксимации использовались производные для определения направления
наиболее быстрого подъема или спуска целевой функции, которую необходимо
оптимизировать. Логистическая функция )1/(1 ze с большим положительным
является аппроксимацией для индикаторной функции ).0( z Понятно, что
недостаточно большое значение приведет к неточной аппроксимации. Однако
очень большое значение приведет к достаточно точной аппроксимации, но чи-
словая оптимизация на основе наиболее быстрого подъема или спуска будет чис-
ленно неустойчивой. Установлено, что высокий коэффициент численной устой-
чивости в оптимизационном алгоритме может быть получен даже для очень
большого значения t. Это стало возможным, когда все измеряемые величины бы-
ли нормализованы к процессу аппроксимации. На основе практических экспери-
ментов было установлено, что если используется значение 105 после про-
цесса нормализации измеряемых величин, средние коэффициенты ошибочной
классификации для полученных алгоритмов остаются почти одинаковыми и дос-
таточно малыми. В результате получены наиболее соответствующие значения в
этом диапазоне. В двумерном случае для линейных методов статистического ана-
лиза для задач распознавания, где точное определение )(m и ),( m являет-
ся достаточно простым, проведен сравнительный анализ эффективности точных и
приближенных глубинных методов классификации, а также установлено, что они
достигают практически одинаковых средних коэффициентов ошибочной класси-
фикации. Начиная с разных случайных начальных данных, приближенные реали-
зации оптимизационных алгоритмов выполнялись несколько раз для решения
проблемы возможного наличия нескольких локальных минимумов.
Относительно применения классификатора на основе полупространственной
глубины, оценена величина из учебной выборки после оценки . Это стало
возможным в результате пересчета порядковых статистик спроектированных
данных ihsd t1 и jhsd t2 ;1( 1mi )1 2mj вдоль оцененного направления
.hsd В итоге получен результат, что вычислительная сложность при получе-
нии оценки
hsd не увеличивается с размерностью l из-за использования линей-
ных проекций.
Международный научно-технический журнал
«Проблемы управления и информатики», 2015, № 4 155
А.В. Анісімов, О.А. Галкін
ДОСЛІДЖЕННЯ АСИМПТОТИЧНИХ
ВЛАСТИВОСТЕЙ НЕПАРАМЕТРИЧНИХ
КЛАСИФІКАТОРІВ НА ОСНОВІ
ФУНКЦІЙ ГЛИБИНИ
Досліджено непараметричні методи класифікації та їх асимптотичні влас-
тивості на основі використання функцій напівпросторової та регресійної
глибини, що використовуються для побудови лінійних та нелінійних роз-
ділових поверхонь серед конкуруючих множин даних. Запропоновано по-
вністю незалежний від розподілу підхід, де для мінімізації коефіцієнтів
помилкової класифікації застосовується розподільне розташування бага-
товимірних даних.
A.V. Anisimov, А.A. Galkin
THE RESEARCH OF THE ASYMPTOTIC
PROPERTIES OF NONPARAMETRIC
CLASSIFIERS BASED ON DEPTH FUNCTIONS
Nonparametric classification methods are considered as well as their asymptot-
ic properties based on the use of half-space and regression depth functions that
are used to build linear and nonlinear separating surfaces between competing
sets of data. A fully distribution free approach is proposed where distributive
location of multidimensional data is used to minimize misclassification coeffi-
cients.
1. Mizera I. On depth and deep points: a calculus // The Annals of Statistics. — 2002. — 30. —
P. 1681–1736.
2. Mosler K. Multivariate dispersions, central regions and depth. — New York : Springer-Verlag,
2002. — P. 1–10.
3. Serfling R. A depth function and a scale curve based on spatial quantiles // Statistics and data
analysis based on
1L -norm and related methods. — Boston : Birkhäuser, 2002. — P. 25–38.
4. Hall P. Large sample optimality of least squares cross validations in density estimation // The
Annals of Statistics. — 1983. — 11. — P. 1156–1174.
5. Vardi Y., Zhang C.H. The multivariate on
1L -median and associated data depth // Proceedings of
the National Academy of Sciences (USA). — 2000. — 97. — P. 1423–1426.
6. Silverman B.W. Density estimation for statistics and data analysis. — London : Chapman and
Hall, 1986. — P. 1–20.
7. Lachenbruch P., Mickey M. Estimation of error rates in discriminant analysis // Technometrics.
— 1968. — 10. — P. 1–11.
8. Zuo Y., Serfling R. Structural properties and convergence results for contours of sample
statistical depth functions // The Annals of Statistics. — 2000. — 28. — P. 483–499.
9. Godtliebsen F., Marron J.S., Chaudhuri P. Significance in scale space for bivariate density
estimation // Journal of Computational and Graphical Statistics. — 2002. — 11. — P. 1–22.
10. Chaudhuri P., Marron J. Scale space view of curve estimation // The Annals of Statistics. —
2000. — 28. — P. 408–428.
11. Holmes C.C., Adams N.M. A probabilistic nearest neighbor method for statistical pattern recogni-
tion // Journal of the Royal Statistical Society. — 2002. — 64. — P. 295–306.
Получено 23.04.2015
Статья представлена к публикации членом редколлегии чл.-корр. НАН Украины Чикрием А.А.
|