Оценивание качества дискриминантных функций на основе скользящего экзамена
Рассмотрена задача поиска дискриминантной функции оптимальной сложности в условиях неопределенности по составу признаков. Исследован способ скользящего экзамена для сравнения дискриминантных функций, построенных на различных множествах признаков. Получено условие редукции дискриминантной функции...
Gespeichert in:
| Veröffentlicht in: | Штучний інтелект |
|---|---|
| Datum: | 2011 |
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Russian |
| Veröffentlicht: |
Інститут проблем штучного інтелекту МОН України та НАН України
2011
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/59908 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Оценивание качества дискриминантных функций на основе скользящего экзамена / А.П. Сарычев, Л.В. Сарычева // Штучний інтелект. — 2011. — № 3. — С. 271-277. — Бібліогр.: 4 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-59908 |
|---|---|
| record_format |
dspace |
| spelling |
Сарычев, А.П. Сарычева, Л.В. 2014-04-10T15:04:21Z 2014-04-10T15:04:21Z 2011 Оценивание качества дискриминантных функций на основе скользящего экзамена / А.П. Сарычев, Л.В. Сарычева // Штучний інтелект. — 2011. — № 3. — С. 271-277. — Бібліогр.: 4 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/59908 519.25 Рассмотрена задача поиска дискриминантной функции оптимальной сложности в условиях неопределенности по составу признаков. Исследован способ скользящего экзамена для сравнения дискриминантных функций, построенных на различных множествах признаков. Получено условие редукции дискриминантной функции оптимальной сложности. Розглянуто задачу пошуку дискримінантної функції оптимальної складності в умовах невизначеності за складом ознак. Досліджено спосіб ковзного іспиту для порівняння дискримінантних функцій, що побудовані на різних множинах ознак. Отримано умову редукції дискримінантної функції оптимальної складності. The task of search of discriminant function of optimum complexity in conditions of uncertainty on structure of features is considered. The sliding examination for comparison of the discriminant functions constructed on various sets of features is investigated. The condition of a reduction of discriminant function of optimum complexity is received. ru Інститут проблем штучного інтелекту МОН України та НАН України Штучний інтелект Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки изображений Оценивание качества дискриминантных функций на основе скользящего экзамена Оцінювання якості дискримінантних функцій на основі ковзного іспиту Quality of Estimation of Discriminant Functions by Sliding Examination Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Оценивание качества дискриминантных функций на основе скользящего экзамена |
| spellingShingle |
Оценивание качества дискриминантных функций на основе скользящего экзамена Сарычев, А.П. Сарычева, Л.В. Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки изображений |
| title_short |
Оценивание качества дискриминантных функций на основе скользящего экзамена |
| title_full |
Оценивание качества дискриминантных функций на основе скользящего экзамена |
| title_fullStr |
Оценивание качества дискриминантных функций на основе скользящего экзамена |
| title_full_unstemmed |
Оценивание качества дискриминантных функций на основе скользящего экзамена |
| title_sort |
оценивание качества дискриминантных функций на основе скользящего экзамена |
| author |
Сарычев, А.П. Сарычева, Л.В. |
| author_facet |
Сарычев, А.П. Сарычева, Л.В. |
| topic |
Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки изображений |
| topic_facet |
Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки изображений |
| publishDate |
2011 |
| language |
Russian |
| container_title |
Штучний інтелект |
| publisher |
Інститут проблем штучного інтелекту МОН України та НАН України |
| format |
Article |
| title_alt |
Оцінювання якості дискримінантних функцій на основі ковзного іспиту Quality of Estimation of Discriminant Functions by Sliding Examination |
| description |
Рассмотрена задача поиска дискриминантной функции оптимальной сложности в условиях неопределенности
по составу признаков. Исследован способ скользящего экзамена для сравнения дискриминантных функций,
построенных на различных множествах признаков. Получено условие редукции дискриминантной функции
оптимальной сложности.
Розглянуто задачу пошуку дискримінантної функції оптимальної складності в умовах невизначеності за
складом ознак. Досліджено спосіб ковзного іспиту для порівняння дискримінантних функцій, що побудовані на
різних множинах ознак. Отримано умову редукції дискримінантної функції оптимальної складності.
The task of search of discriminant function of optimum complexity in conditions of uncertainty on structure
of features is considered. The sliding examination for comparison of the discriminant functions constructed
on various sets of features is investigated. The condition of a reduction of discriminant function of optimum
complexity is received.
|
| issn |
1561-5359 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/59908 |
| citation_txt |
Оценивание качества дискриминантных функций на основе скользящего экзамена / А.П. Сарычев, Л.В. Сарычева // Штучний інтелект. — 2011. — № 3. — С. 271-277. — Бібліогр.: 4 назв. — рос. |
| work_keys_str_mv |
AT saryčevap ocenivaniekačestvadiskriminantnyhfunkciinaosnoveskolʹzâŝegoékzamena AT saryčevalv ocenivaniekačestvadiskriminantnyhfunkciinaosnoveskolʹzâŝegoékzamena AT saryčevap ocínûvannââkostídiskrimínantnihfunkcíinaosnovíkovznogoíspitu AT saryčevalv ocínûvannââkostídiskrimínantnihfunkcíinaosnovíkovznogoíspitu AT saryčevap qualityofestimationofdiscriminantfunctionsbyslidingexamination AT saryčevalv qualityofestimationofdiscriminantfunctionsbyslidingexamination |
| first_indexed |
2025-11-27T05:26:16Z |
| last_indexed |
2025-11-27T05:26:16Z |
| _version_ |
1850801653130723328 |
| fulltext |
«Штучний інтелект» 3’2011 271
4С
УДК 519.25
А.П. Сарычев1, Л.В. Сарычева2
1Институт технической механики НАН Украины и НКА Украины,
г. Днепропетровск, Украина
2Национальный горный университет, г. Днепропетровск, Украина
Sarychev@prognoz.dp.ua, Sarycheval@nmu.org.ua
Оценивание качества дискриминантных
функций на основе скользящего экзамена
Рассмотрена задача поиска дискриминантной функции оптимальной сложности в условиях неопределенности
по составу признаков. Исследован способ скользящего экзамена для сравнения дискриминантных функций,
построенных на различных множествах признаков. Получено условие редукции дискриминантной функции
оптимальной сложности.
Решение задачи дискриминантного анализа в условиях структурной неопределен-
ности по составу признаков предполагает принятие какого-либо способа сравнения дискри-
минантных функций (ДФ), построенных на различных множествах признаков. Два способа
сравнения популярны в приложениях. Первый способ основан на разбиении наблюдений
на обучающие и проверочные подвыборки. В этом способе обучающие подвыборки ис-
пользуются для оценивания коэффициентов ДФ, а проверочные подвыборки – для оце-
нивания ее качества классификации. Второй способ – способ скользящего экзамена, в
котором в качестве проверочных выступают наблюдения, поочередно исключаемые из
обучающей выборки. В литературе эти способы традиционно трактуются как эвристиче-
ские приемы, хотя факт существования в них оптимального множества признаков неодно-
кратно подтверждался методом статистических испытаний. В рамках метода группового
учета аргументов проведено аналитическое исследование этих двух способов сравнения
ДФ [1-4]. Для решения задачи дискриминантного анализа в условиях структурной не-
определенности кроме способа сравнения ДФ требуется указать алгоритм генерации
различных сочетаний признаков, включаемых в ДФ. Предполагается, что в качестве
такового принят полный перебор всех возможных сочетаний признаков.
Способ сравнения дискриминантных функций
на основе скользящего экзамена
Пусть на этапе с номером ),...,2,1( mss алгоритма полного перебора сочетаний
признаков в ДФ может быть включено только s компонент из множества X , состав-
ляющих текущее анализируемое множество V . Пусть V соответствуют: 1) III и VV –
)( Ins - и )( IIns -матрицы наблюдений из генеральных совокупностей III и PP ; 2) Iν и
IIν – )1( s -векторы математических ожиданий для наблюдений из III и PP ; 3) VΣ –
ковариационная )( ss -матрица.
Традиционный способ скользящего экзамена состоит в следующем: а) одно
из наблюдений исключается из обучающей выборки; б) это наблюдение классифицируется на
основе дискриминантной функции, построенной на выборке обучения без учета ис-
Сарычев А.П., Сарычева Л.В.
«Искусственный интеллект» 3’2011 272
4С
ключенного наблюдения; в) наблюдение возвращается в выборку. Процедура с ис-
ключением повторяется для второго наблюдения, третьего и так далее до тех пор, пока
все наблюдения будут классифицированы таким способом. Обычно в приложениях
оценивается вероятность ошибочной классификации, т.е. подсчитывается число оши-
бочно классифицированных наблюдений. В отличие от этого традиционного способа в
предлагаемом способе вычисляется расстояние
))()((
2
1
)( 2
II
2
I
2 VD VDVD SSS , (1)
I
1 )(I,)(I,
T
)(I,
)(I,
T
II
~
III
~
I
T
)(I,1
I
2
I
))((
)(
n
i iii
iiii
S n(V)D
dSd
dvvvvd
I
1
II
~
I)(I,
T
II
~
I
1
I )()()(
n
i
iiin vvWvv , (2)
II
1 )(II,)(II,
T
)(II,
)(II,
T
III
~
III
~
T
)(II,1
II
2
II
))((
)()(
n
j jjj
jjjj
S nVD
dSd
dvvvvd
II
1
III
~
)(II,
T
III
~
1
II )()()(
n
j
jjjn vvWvv , (3)
)(I,)(I,
T
)(I,
T
)(I,)(I,
)(I,
iii
ii
i
dSd
dd
W ;
)(II,)(II,
T
)(II,
T
)(II,)(II,
)(II,
jjj
jj
j
dSd
dd
W . (4)
В формуле (2) вектор )(I,id представляет собой оценку коэффициентов фишеров-
ской ДФ, рассчитанную без наблюдения с номером i из первой группы
)( II)I(
~
1
)(I,)(I,
~
vvSd
iii , (5)
где вектор )I(
~
iv – оценка математического ожидания Iν
)(1)(
I
1
II
1
I)I(
~
n
h
ihi n vvv ; (6)
вектор IIv~ – оценка математического ожидания IIν
II
1
II
1
IIII
~
)(
n
h
hn vv ; (7)
матрица )(I,iS – несмещенная оценка ковариационной матрицы VΣ
III
)(
1
T
IIII
1
T
)(I)(I
1
III),I(
~~~~~~~~3(
n
q
qq
n
h
ihihi
ih
)nn vvvvS , (8)
где )(I
~~
ihv – наблюдение с номером h из первой группы, центрированное отно-
сительно оценки )(I
~
iv
)(,...,2,1,
~~
I)I(
~
I)(I ihnhihih vvv ; (9)
Оценивание качества дискриминантных функций на основе скользящего экзамена
«Штучний інтелект» 3’2011 273
4С
а qII
~~v – наблюдение с номером q из второй группы наблюдений, центрированное
относительно оценки IIv~
IIIIIII ,...,2,1,~~~ nqqq vvv . (10)
В формуле (3) вектор )(I, jd представляет собой оценку коэффициентов фишеров-
ской ДФ, рассчитанную без наблюдения с номером j из второй группы
)( )II(
~
I
~
1
)(II,)(II, jjj vvSd , (11)
где вектор I
~v – оценка математического ожидания Iν , вычисляемая аналогично (7);
вектор )II(
~
jv – оценка IIν , вычисляемая аналогично (6); матрица )(II, jS – несмещенная
оценка ковариационной матрицы VΣ , вычисляемая аналогично (8).
Из формул (1) – (11) следует, что статистика (V)DS
2
I есть не что иное, как взвешен-
ная сумма парных расстояний между наблюдениями первой группы и оценкой математи-
ческого ожидания IIν второй группы, а статистика (V)DS
2
II – взвешенная сумма парных
расстояний между наблюдениями второй группы и оценкой математического ожидания
Iν первой группы.
Используя (5) и (11), получаем:
,
)]()[(
)()(
I
1
II
~
)I(
~
1
)(I,
T
II
~
)I(
~
2
II
~
)I(
~
1
)(I,
T
II
~
I1
I
2
SI
n
i
iii
iiinVD
)vv(S)vv(
vvSvv
(12)
II
1
)II(
~
I
~
1
)(II,
T
)II(
~
I
~
2
)II(
~
I
~
1
)(II,
T
III
~
1
II
2
SII .
)()(
)]()[(
)()(
n
j
jjj
jjjnVD
vvSvv
vvSvv
(13)
Для упрощения дальнейшего анализа будем полагать: nnn III . Вычислим
математическое ожидание случайной величины )(2 VDS .
Теорема. Для случайной величины )(2 VDS выполняется
3)(
1)(1)(
)(
)](/1)([
)}({
12
12
22
sr
r
srn
rn
csτ
csrrsτ
τVDE
V
V
VS , (14)
где )()( III
1T
III
2 ννΣνν
VVτ – расстояние Махаланобиса для множества V ;
111
III )1(,323 nncnnnr .
Справедливость теоремы следует из того, что: 1) наблюдение iIv , I
~
v – оценка
математического ожидания (7) и ),I( iS – оценка ковариационной матрицы (8) незави-
симы; 2) наблюдение jIIv , II
~
v – оценка математического ожидания и ),II( jS независимы;
3) ),I( iS и ),II( jS – случайные )( ss -матрицы, имеют распределение Уишарта с r сте-
пенями свободы.
Сарычев А.П., Сарычева Л.В.
«Искусственный интеллект» 3’2011 274
4С
Определение 1. Оптимальным множеством компонент (признаков) называется
множество OPTV :
)}({maxarg 2 VDEV S
XV
OPT
. (15)
Определение 2. Оптимальной по количеству и составу компонент называется
фишеровская дискриминантная функция, построенная на множестве OPTV .
Доказано существование оптимального множества признаков в способе скользя-
щего экзамена и сформулированы условия, при выполнении которых оптимальная ДФ
упрощается по числу входящих в нее компонент.
С этой целью исследована зависимость )}({ VDE 2
S от состава множества V .
Множество компонент X может быть разбито на непересекающиеся подмножества
RVRRXX
~~ ooo
: 1)
o
X ( – пустое множество) – множество компонент (
o
m –
их число), для математических ожиданий которых выполнено
o
II
o
I
o
2,...,1,,χχ mhhh ;
2)
o
R – множество компонент, для математических ожиданий которых выполнено
oo
II
o
I
o
где,2,...,1,,ρρ llhhh – их число, и каждая компонента из множества
o
R стати-
стически зависит хотя бы от одной компоненты из множества
o
X (множество
o
R может
быть пустым); 3) R
~
– множество компонент, для математических ожиданий которых
выполнено lhIIhIh
~
2,...,1,,ρ~ρ~ , где l
~
– их число, и каждая компонента из множества
R
~
статистически не зависит от любой из компонент множества
o
X (множество R
~
может
быть пустым). Сформулированы в виде лемм соотношения между расстоянием Маха-
ланобиса для множества компонент
ooo
RXV и расстоянием Махаланобиса для про-
извольного текущего анализируемого множества компонент XV [1-4]. Для случая
известных параметров генеральных совокупностей из сформулированных лемм следует:
1) любая компонента из множества
o
X необходима в том смысле, что ее включение в
текущее множество компонент V увеличивает расстояние Махаланобиса 2
V ; 2) любая
компонента из множества
o
R необходима в том смысле, что ее включение во множество
V увеличивает расстояние Махаланобиса 2
V ; 3) любая компонента из множества R
~
избыточна в том смысле, что ее включение в текущее множество V не увеличивает
расстояния Махаланобиса 2
V .
Условие редукции (упрощения) оптимальной
дискриминантной функции
В практических приложениях параметры генеральных совокупностей, как правило,
неизвестны, но могут быть получены как статистические оценки по обучающим выбор-
кам наблюдений ограниченного объема. Известно, что если применить построенное
правило классификации к обучающей выборке, то оценка качества распознавания будет
завышена по математическому ожиданию по сравнению с той же оценкой на независи-
Оценивание качества дискриминантных функций на основе скользящего экзамена
«Штучний інтелект» 3’2011 275
4С
мых от обучения данных. Способ скользящего экзамена дает незавышенные оценки
качества распознавания. Опыт практических применений и тестовые исследования
на основе метода статистических испытаний показывают, что в этом способе: 1) с
увеличением объема выборок увеличивается количество компонент во множестве, на
котором достигается наилучшее качество распознавания, а с уменьшением объема
выборок количество компонент в таком множестве уменьшается; 2) с увеличением
расстояния Махаланобиса 2
X между генеральными совокупностями (из которых по-
лучены выборки наблюдений) увеличивается количество компонент во множестве,
на котором достигается наилучшее качество распознавания, а с уменьшением 2
X оно
уменьшается. Проведенные аналитические исследования объясняют эти эмпирически
установленные закономерности.
Сформулируем условие редукции (упрощения) оптимальной ДФ для частного
случая независимого признака. Пусть множество V таково, что выполняется
oo
xVX ,
где
oo
Xx (в ДФ пропущен один признак). Учитывая (14), получаем
)}({)}({)Δ( 2
o
VDEXDEV S
2
S
3)(
)1)(1(
)](/)1([
oo
1
o
2
1
oo
2
2
o
o
o
mr
r
mrn
rn
cm
cmrrm
X
X
X
2)1(
)1)(1(
)1(
)]1(/)1()1[(
oo
1
o
2
1
oo
2
2
mr
r
mrn
rn
cm
cmrrm
V
V
V . (16)
В соответствии с вышеупомянутыми леммами для расстояний Махаланобиса мно-
жеств V и
o
X выполняется соотношение: 222
o
X
V , где 2
II
o
I
o
22 )(γ o
x
– состав-
ляющая расстояния Махаланобиса, обусловленная пропущенным независимым призна-
ком
oo
Xx . С учетом этого, ограничившись точностью )/1( n , пренебрегая членами по-
рядка )/1( 2n , получаем
1
o
221
o
2
o
)1(
1
2
)Δ(
oo cmcmmr
r
V
XX
221
o
2
o cm
X
2
o
1
o
o
o
22
3
2
2
3
4
oo
mr
cm
mr
mr
XX
1
o
2
2
2
3
1
oo c
mrXX
. (17)
Величина )Δ(V может быть как положительной, так и отрицательной. Если ве-
личина 0)Δ( V , то признак
o
x необходимо включать в ДФ. Если величина 0)Δ( V ,
то признак
o
x не следует включать в ДФ, поскольку это приведет к уменьшению ве-
личины 2
SD , т.е. добавление признака
oo
Xx не улучшает качество ДФ по рассматри-
ваемому критерию.
Сарычев А.П., Сарычева Л.В.
«Искусственный интеллект» 3’2011 276
4С
Условие 0)Δ( V является условием редукции (упрощения) ДФ, оптимальной по
количеству и составу признаков. Это условие представляет собой условие отрицательной
определенности квадратичного трехчлена относительно 2γ в фигурных скобках (17).
Пороговым значением для 2γ , ниже которого возможна редукция ДФ, является значение:
1
o
2
1
o
2
22
o
o
o
3
)(
cm
c
mr
X
X
X
пор . (18)
На рис. 1 представлены зависимости порогового значения (18) от объема
выборок n для набора расстояний Махаланобиса 2
o
X
при фиксированном 6
o
m .
Рисунок 1 – Зависимости порогового значения пор)( 2 от объема выборок n
Отметим, что в асимптотике при n ( r , 01 c ) условие редукции не
выполняется, т.е.
o
XVOPT .
Заключение
Обоснован способ скользящего экзамена для сравнения дискриминантных функций в
условиях неопределенности по составу признаков. Несмотря на успешное применение
этого способа на практике и неоднократное подтверждение его работоспособности
методом статистических испытаний, он традиционно считался эвристическим приёмом.
Получены условия существования оптимального множества признаков, зависящие от
параметров генеральных совокупностей и объемов выборок, и выявлены закономерности
упрощения оптимальной дискриминантной функции при уменьшении объемов выборок
и при увеличении дисперсий признаков. Показано, что в условиях структурной не-
определенности и отсутствия априорных оценок ковариационной матрицы признаков
применение этого способа скользящего экзамена позволяет решать задачу поиска
дискриминантной функции оптимальной сложности.
n
пор)( 2
Оценивание качества дискриминантных функций на основе скользящего экзамена
«Штучний інтелект» 3’2011 277
4С
Литература
1. Сарычев А.П. Схема дискриминантного анализа с обучающими и проверочными подвыборками
наблюдений / А.П. Сарычев // Автоматика. – 1990. – № 1. – С. 32-41.
2. Мирошниченко Л.В. Схема скользящего экзамена для поиска оптимального множества признаков
в задаче дискриминантного анализа / Л.В. Мирошниченко, А.П. Сарычев // Автоматика. – 1992. –
№ 1. – С. 35-44.
3. Сарычев А.П. Решение задачи дискриминантного анализа в условиях структурной неопределенности
на основе метода группового учета аргументов / А.П. Сарычев // Проблемы управления и информа-
тики. – 2008. – № 3. – C. 100-112.
4. Сарычев А.П. Идентификация состояний структурно-неопределенных систем / А.П. Сарычев. –
Днепропетровск : Институт технической механики НАН Украины и НКА Украины, 2008. – 268 с.
Literatura
1. Sarychev A.P. Avtomatika. № 1. 1990. S. 32-41.
2. Miroshnichenko L.V. Avtomatika. №1. 1992. S. 35-44.
3. Sarychev A. P. Problemy upravlenija i informatiki. № 3. 2008. S. 100-112.
4. Sarychev A.P. Identifikacija sostojanij strukturno-neopredelennyh siste. Dnepropetrovsk : Institut tehnicheskoj
mehaniki NAN Ukrainy i NKA Ukrainy. 2008. 268 s.
О.П. Саричев, Л.В. Саричева
Оцінювання якості дискримінантних функцій на основі ковзного іспиту
Розглянуто задачу пошуку дискримінантної функції оптимальної складності в умовах невизначеності за
складом ознак. Досліджено спосіб ковзного іспиту для порівняння дискримінантних функцій, що побудовані на
різних множинах ознак. Отримано умову редукції дискримінантної функції оптимальної складності.
A.P. Sarychev, L.V. Sarycheva
Quality of Estimation of Discriminant Functions by Sliding Examination
The task of search of discriminant function of optimum complexity in conditions of uncertainty on structure
of features is considered. The sliding examination for comparison of the discriminant functions constructed
on various sets of features is investigated. The condition of a reduction of discriminant function of optimum
complexity is received.
Статья поступила в редакцию 31.05.2011.
|