Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов
Розглянуто задачу пошуку оптимальної за складністю дискримінантної функції. Описано критерії якості дискримінантних функцій, розроблених в рамках методу групового урахування аргументів: критерій, що заснований на розбивці спостережень на навчальну й перевірну вибірки, і критерій ковзного іспиту. Зад...
Збережено в:
| Дата: | 2008 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2008
|
| Назва видання: | Проблемы управления и информатики |
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/209135 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов / А.П. Сарычев // Проблемы управления и информатики. — 2008. — № 3. — С. 100-112. — Бібліогр.: 41 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-209135 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-2091352025-11-16T01:08:54Z Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов Розв’язання задачі дискримінантного аналізу в умовах структурної невизначеності на основі методу групового урахування аргументів The solution of the discriminant analysis task in conditions of structural uncertainty on basis of the group method of data handling Сарычев, А.П. Методы управления и оценивания в условиях неопределенности Розглянуто задачу пошуку оптимальної за складністю дискримінантної функції. Описано критерії якості дискримінантних функцій, розроблених в рамках методу групового урахування аргументів: критерій, що заснований на розбивці спостережень на навчальну й перевірну вибірки, і критерій ковзного іспиту. Задачі цього класу відносяться до задач розпізнавання образів в умовах структурної невизначеності, які розглядалися О.Г. Івахненком ще в 60–70-х роках минулого століття як актуальні задачі технічної кібернетики. The task of searching optimum on complexity discriminant function is considered. Criteria of quality of the discriminant functions developed in Group Method of Data Handling are described: the criterion based on a partition of observations on learning and checking samples, and criterion of sliding examination. The tasks of this class concern to tasks of pattern recognition, which were considered by A.G. Ivakhnenko in conditions of structural uncertainty still in 60–70 years of the last century as actual tasks of an engineering cybernetics. 2008 Article Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов / А.П. Сарычев // Проблемы управления и информатики. — 2008. — № 3. — С. 100-112. — Бібліогр.: 41 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/209135 519.25 10.1615/JAutomatInfScien.v40.i6.40 ru Проблемы управления и информатики application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Методы управления и оценивания в условиях неопределенности Методы управления и оценивания в условиях неопределенности |
| spellingShingle |
Методы управления и оценивания в условиях неопределенности Методы управления и оценивания в условиях неопределенности Сарычев, А.П. Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов Проблемы управления и информатики |
| description |
Розглянуто задачу пошуку оптимальної за складністю дискримінантної функції. Описано критерії якості дискримінантних функцій, розроблених в рамках методу групового урахування аргументів: критерій, що заснований на розбивці спостережень на навчальну й перевірну вибірки, і критерій ковзного іспиту. Задачі цього класу відносяться до задач розпізнавання образів в умовах структурної невизначеності, які розглядалися О.Г. Івахненком ще в 60–70-х роках минулого століття як актуальні задачі технічної кібернетики. |
| format |
Article |
| author |
Сарычев, А.П. |
| author_facet |
Сарычев, А.П. |
| author_sort |
Сарычев, А.П. |
| title |
Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов |
| title_short |
Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов |
| title_full |
Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов |
| title_fullStr |
Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов |
| title_full_unstemmed |
Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов |
| title_sort |
решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2008 |
| topic_facet |
Методы управления и оценивания в условиях неопределенности |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/209135 |
| citation_txt |
Решение задачи дискриминантного анализа в условиях структурной неопределенности на основе метода группового учета аргументов / А.П. Сарычев // Проблемы управления и информатики. — 2008. — № 3. — С. 100-112. — Бібліогр.: 41 назв. — рос. |
| series |
Проблемы управления и информатики |
| work_keys_str_mv |
AT saryčevap rešeniezadačidiskriminantnogoanalizavusloviâhstrukturnojneopredelennostinaosnovemetodagruppovogoučetaargumentov AT saryčevap rozvâzannâzadačídiskrimínantnogoanalízuvumovahstrukturnoíneviznačenostínaosnovímetodugrupovogourahuvannâargumentív AT saryčevap thesolutionofthediscriminantanalysistaskinconditionsofstructuraluncertaintyonbasisofthegroupmethodofdatahandling |
| first_indexed |
2025-11-16T02:05:53Z |
| last_indexed |
2025-11-17T02:08:42Z |
| _version_ |
1849001585143709696 |
| fulltext |
© А.П. САРЫЧЕВ, 2008
100 ISSN 0572-2691
МЕТОДЫ УПРАВЛЕНИЯ И ОЦЕНИВАНИЯ
В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ
УДК 519.25
А.П. Сарычев
РЕШЕНИЕ ЗАДАЧИ ДИСКРИМИНАНТНОГО
АНАЛИЗА В УСЛОВИЯХ СТРУКТУРНОЙ
НЕОПРЕДЕЛЕННОСТИ НА ОСНОВЕ МЕТОДА
ГРУППОВОГО УЧЕТА АРГУМЕНТОВ
Введение
Решение задачи дискриминантного анализа в условиях структурной неопре-
деленности — с установлением оптимального множества признаков — предпола-
гает принятие какого-либо способа сравнения дискриминантных функций, по-
строенных на различных множествах признаков.
В приложениях популярны два способа сравнения. Первый основан на раз-
биении наблюдений на обучающие и проверочные подвыборки. В этом способе
обучающие подвыборки используются для оценивания коэффициентов дискри-
минантной функции, а проверочные — для оценивания ее качества классифика-
ции. Второй способ — известный способ скользящего экзамена, в котором в
качестве проверочных выступают наблюдения, поочередно исключаемые из
обучающей выборки. В литературе эти способы традиционно трактуются как
эвристические приемы, хотя факт существования в них оптимального множества
признаков неоднократно подтверждался методом статистических испытаний [1–16].
В рамках метода группового учета аргументов (МГУА) проведено аналитиче-
ское исследование двух способов сравнения дискриминантных функций [17–24].
1. Постановка задачи
Предположим, что
] , , , [ 21 kknkkk xxxX (1)
— выборка kn независимых наблюдений m-мерного случайного вектора kη из
генеральной совокупности ,kP имеющего m-мерное нормальное распределение с
неизвестным математическим ожиданием kχ и неизвестной невырожденной ко-
вариационной матрицей XΣ
),,(~ Xkmk N Σχη (2)
где k — номер I или II генеральных совокупностей IP и ,IIP причем .III χχ
Согласно предположению (2) для наблюдений (1) выполняется
,,,2,1,II,I, kkikki nik ξχX (3)
где ),(~ Xmmki N Σ0ξ — независимые случайные векторы, распределенные по
m-мерному нормальному закону с нулевым математическим ожиданием и кова-
риационной матрицей :XΣ
;II,I;,,2,1;}{;}{ T kniEE kXkikimki Σξξ0ξ (4)
Проблемы управления и информатики, 2008, № 3 101
;;,,2,1,;}{ 2121)(
T
21
iiniiE kmmkiki Oξξ (5)
;,,2,1,;}{ 21)(
T
III
21 kmmii niiE Oξξ (6)
где m0 — нулевой m-мерный вектор-столбец и )( mmO — нулевая )( mm -мат-
рица, }{E — знак математического ожидания.
Будем считать, что априорные вероятности появления наблюдений из гене-
ральных совокупностей IP и IIP известны и соответственно равны Iπ и ,IIπ
причем .1III ππ
Предположим, что введены цены ошибочных классификаций: )II/I(c озна-
чает цену ошибочной классификации наблюдения из совокупности IIP в качестве
наблюдения из ,IP а )I/II(c — цену ошибочной классификации наблюдения из
совокупности IP в качестве наблюдения из .IIP Правильная классификация не
оценивается.
Линейная дискриминантная функция, при которой в указанных предположе-
ниях ожидаемая ошибка классификации минимальна, имеет вид
,ln)(5,0)( 0
T
III
T сR δχχδxx (7)
где параметр 0с определяется ценами ошибочных классификаций и априорными
вероятностями появления наблюдений
,))I/II(()II/I( 1
III0
ccс (8)
а коэффициенты дискриминантной функции δ определяются параметрами гене-
ральных совокупностей
).( III
1
χχΣδ
X (9)
Решающее правило формулируется следующим образом: если для наблюде-
ния
*
x выполняется ,0)( * xR то ,I
* Px оно относится к первой группе; если
,0)( * xR то ,II
* Px оно относится ко второй группе (рис. 1).
Получение по выборочным наблюдениям (1)–(3) оценок коэффициентов δ в
дискриминантной функции (7) с последующим статистическим анализом является
задачей дискриминантного анализа, поставленной в узком смысле.
1
0
o
1
oo
δδ)(
o
s
j
jj vxR
*
1x
*
2x
*
mx
)( *xR I1 P
IIX
),χ(
I Класс
I ΣN
),χ(
II Класс
II ΣN
Обучение
Классификация IX
II1 P
– 1
Рис. 1
102 ISSN 0572-2691
Фишеровской оценкой δ является оценка
),~~(ˆ
III
1
xxSd (10)
где I
~x и II
~x — оценки математических ожиданий Iχ и IIχ
;)(~,)(~
III
1
II
1
IIII
1
I
1
II
n
i
i
n
i
i nn XxXx (11)
матрица S — оценка ковариационной матрицы Σ
],[)2( T
IIII
T
II
1
III xxxxS nn (12)
а Ix и IIx — )( Inm - и )( IInm -матрицы, составленные из отклонений наблюде-
ний (1) и (3) от оценок I
~x и II
~x соответственно:
],~,,~,~[ InI,II,2II,1I I
xXxXxXx (13)
].~,,~,~[ IInII,IIII,2IIII,1II II
xXxXxXx (14)
Оценка (10) является решением задачи максимизации функционала
dSdd
dxxxxd
max
)~~)(~~(
T
T
IIIIII
T
(15)
при ограничении
.1
)~~(
T
T
III
Sdd
dxx
(16)
Значение функционала (15) при оптимальном значении )~~(ˆ
III
1
xxSd —
)~~()~~( III
1T
III
2
xxSxx D (17)
является выборочной оценкой расстояния Махаланобиса [25, 26]
).()(τ III
1T
III
2
χχΣχχ
X (18)
Для математического ожидания величины
2D выполняется (см., например,
[14, с. 128])
,
1
}{ 122
mc
mr
r
DE X (19)
где ).(,2 1
II
1
I
1
III
nncnnr
Пусть X — множество m компонент векторов Iη и ,IIη над которыми прове-
дены наблюдения;
o
X — множество )1(
oo
mmm компонент векторов Iη и ,IIη
для математических ожиданий которых выполнено ,II
o
I
o
jj χχ ,,,2,1
o
mj
причем множество
o
X неизвестно, известно лишь, что .
o
XX
Если априорно неизвестно, какие именно компоненты из множества X следу-
ет включать в дискриминантную функцию, то говорят о задаче дискриминантного
Проблемы управления и информатики, 2008, № 3 103
анализа, поставленной в широком смысле. В этом случае по наблюдениям IX
и IIX требуется определить множество компонент, которые необходимо вклю-
чать в дискриминантную функцию, и оценить коэффициенты линейной дискри-
минантной функции в пространстве этих компонент.
Известно [14], что оценка расстояния Махаланобиса (17) не может использо-
ваться для решения задачи дискриминантного анализа, поставленной в широком
смысле, поскольку эта оценка увеличивается при добавлении новых компонент в
дискриминантную функцию (в решающее правило). Распространенным приемом
в этом случае является назначение «порога» для величины приращения оценки
расстояния Махаланобиса (17) при добавлении новой компоненты в дискрими-
нантную функцию [27, 28]. Но такое назначение привносит субъективность в по-
лучаемое решение.
Для решения задачи дискриминантного анализа в широком смысле, кроме
способа сравнения дискриминантных функций, требуется указать алгоритм гене-
рации различных сочетаний признаков, включаемых в дискриминантную функ-
цию. Предполагается, что в качестве такового принят полный перебор всех воз-
можных сочетаний признаков.
2. Критерий для поиска оптимального множества признаков
с разбиением наблюдений на обучающие и проверочные подвыборки
Пусть на этапе с номером ),,2,1( mss алгоритма полного перебора со-
четаний признаков в дискриминантную функцию может быть включено только
s компонент из множества X, составляющих текущее анализируемое множест-
во V. Пусть множеству компонент V соответствуют: 1) III и VV — )( Ins -
и )( IIns -матрицы наблюдений из генеральных совокупностей ;и III PP 2) Iν
и IIν — )1( s -векторы математических ожиданий для наблюдений из ;и III PP
3) VΣ — ковариационная )( ss -матрица.
Рассмотрим оценку расстояния Махаланобиса, рассчитываемую с учетом
разбиения наблюдений на обучающие и проверочные подвыборки
.
ˆˆ
ˆ)~~)(~~(ˆ
)(
T
T
IIIIII
T
2
ABA
ABBBBA
AB VD
dSd
dvvvvd
(20)
В (20) )1( s -вектор Ad̂ представляет собой рассчитанную на подвыборке A фи-
шеровскую оценку коэффициентов дискриминантной функции, которая построе-
на в пространстве компонент множества V
),~~(ˆ
III
1
AAAA vvSd (21)
где )1( s -векторы AI
~v и AII
~v — оценки математических ожиданий Iν и IIν
II;I,,)(~
1
1
kn
kAn
i
kiAkAkA Vv (22)
)( ss -матрица AS — несмещенная оценка ковариационной матрицы VΣ
].[2)( T
IIII
T
II
1
III AAAAAAA nn vvvvS
(23)
104 ISSN 0572-2691
В (23) )II,I( kkAv — )( kns -матрицы, составленные из отклонений на-
блюдений kAV компонент множества V от оценок kAv~
].~,,~,~[ 21 kAAknkAAkkAAkkA k
vVvVvVv (24)
В (20) )1( s -векторы BI
~v и BII
~v вычисляются аналогично (22), а )( ss -матрица
BS — аналогично (23), (24); BBAA nnnn IIIIII и,и — объемы обучающих и про-
верочных подвыборок соответственно такие, что выполняется III nnn BA
и .IIIIII nnn BA Логика построения статистики )(2 VDAB полностью соответст-
вует принципам МГУА: коэффициенты дискриминантной функции в пространст-
ве компонент V оценены на обучающей выборке A, а ее качество — на провероч-
ной выборке B.
Используя (21), для (20) получаем
.
)~~()~~(
)~~()~~)(~~()~~(
)(
III
11T
III
III
1T
IIIIII
1T
III2
AAABAAA
AAABBBBAAA
AB VD
vvSSSvv
vvSvvvvSvv
(25)
Вычислим математическое ожидание случайной величины (25).
Теорема 1. Для случайной величины )(2 VDAB выполняется
,
1
1)]/()1([
)}({
1
1
1
11
12
1
11
2
22
r
sr
sr
r
c
sc
csrrs
VDE B
AV
AV
VAB (26)
где
),(),(,2 1
II
1
I
11
II
1
I
1
III1
BBBAAAAA nncnncnnr (27)
а )()( III
1T
III
2
ννΣνν
VV — расстояние Махаланобиса для множества ком-
понент V.
Справедливость теоремы 1 вытекает из следующих утверждений:
1) оценки, полученные на подвыборке A, и оценки, полученные на подвыбор-
ке B, независимы;
2) оценки математических ожиданий (22) и оценка ковариационной матри-
цы (23) независимы;
3) операция вычисления математического ожидания и операция вычисления
следа случайной матрицы S коммутируют, т. е. }];{[tr]}[tr{ SS EE
4) если S — случайная )( ss -матрица, имеющая распределение Уишарта с
r степенями свободы — ),(~ ΣS rWs [25, 26], а b — независимый от S )1( s -век-
тор, то для распределений следующих квадратичных форм выполняется
,))1((~
)(
12
1T
1T
sr
rbΣb
bSb
(28)
,
)2(
)1(
1
))1((
1
~
)( 2
2
2221T
11T
sr
s
srrbΣb
bΣSSb
(29)
где )(2 p — случайная величина, имеющая 2 -распределение с числом степеней
свободы, равным p, а случайные величины )(2 взаимно независимы;
Проблемы управления и информатики, 2008, № 3 105
5) если )(2 p — случайная величина, имеющая 2 -распределение с p сте-
пенями свободы, то
;,2,1)],1(2[(...)2(}))({( 2 hhppppE h (30)
).2/(,,2,1,)]2()4)(2[(}))({( 12 phhhppppE h (31)
Утверждения 1 и 2 непосредственно следуют из (4)–(6); утверждение 3 доказы-
вается непосредственными вычислениями; утверждение 4, формула (28) — извест-
ное свойство рассматриваемых квадратичных форм (см. [25, с. 148; 26, с. 482]); ут-
верждение 4, формула (29) получено А.М. Шурыгиным [29] на основании теоре-
мы А.Д. Деева [30, 31]; утверждения 5, формула (30), формула (31) — известные
свойства 2 -распределения [29].
Из утверждений 1 и 2 следует, что числитель и знаменатель (25) статистиче-
ски независимы.
Для числителя и знаменателя (25), используя утверждения 1–5, получаем
)}~~()~~)(~~()~~{( III
1T
IIIIII
1T
III AAABBBBAAAE vvSvvvvSvv
sr
r
srsr
r
cc
srsr
r
VBAV
1
)3)(1(
)(
)3)(1(
)(
2
211
2
22
,
1
)3)(1(
2
11
sr
r
srsr
sr
cc BA (32)
)}~~()~~{( III
11T
III AAABAAAE vvSSSvv
.
1
)3)(1(
1
)3)(1(
212
2
sr
r
srsr
src
sr
r
srsr
r A
V (33)
Учитывая математические ожидания (32) и (33), окончательно получаем (26).
3. Критерий скользящего экзамена
для поиска оптимального множества признаков
Традиционный способ скользящего экзамена состоит в следующем: а) одно из
наблюдений исключается из обучающей выборки; б) это наблюдение классифици-
руется на основе дискриминантной функции, построенной на выборке обучения без
учета исключенного наблюдения; в) наблюдение возвращается в выборку. Проце-
дура с исключением повторяется для второго наблюдения, третьего и так далее, до
тех пор, пока все наблюдения будут классифицированы таким способом. Обычно в
приложениях оценивается вероятность ошибочной классификации, т.е. подсчиты-
вается число ошибочно классифицированных наблюдений. В отличие от этого тра-
диционного способа в предлагаемом способе вычисляется расстояние
,VD VDVD SSS ))()((
2
1
)( 2
II
2
I
2 (34)
I
1 )(I,)(I,
T
)(I,
)(I,
T
IIIIII
T
)(I,1
I
2
I
)~)(~(
)()(
n
i iii
iiii
S nVD
dSd
dvvvvd
,)~()~()(
I
1
III)(I,
T
III
1
I
n
i
iiin vvWvv (35)
106 ISSN 0572-2691
II
1 )(II,)(II,
T
)(II,
)(II,
T
IIIIII
T
)(II,1
II
2
II
)~)(~(
)()(
n
j jjj
jjjj
S nVD
dSd
dvvvvd
,)~()~()(
II
1
III)(II,
T
III
1
II
n
j
jjjn vvWvv (36)
где
;
)(I,)(I,
T
)(I,
T
)(I,)(I,
)(I,
iii
ii
i
dSd
dd
W .
)(II,)(II,
T
)(II,
T
)(II,)(II,
)(II,
jjj
jj
j
dSd
dd
W (37)
В формуле (35) вектор )(I, id представляет собой оценку коэффициентов фи-
шеровской дискриминантной функции, рассчитанную без наблюдения с номе-
ром i из первой группы наблюдений
),~~( II)I(
1
)(I,)(I, vvSd
iii (38)
где вектор )I(
~
iv — оценка математического ожидания Iν
;1)(~
I
1
II
1
I)I(
n
h
ihi n vvv (39)
вектор II
~v — оценка математического ожидания IIν
;)(~
II
1
II
1
IIII
n
h
hn vv (40)
матрица )(I, iS — несмещенная оценка ковариационной матрицы VΣ
.
~~~~~~~~3(
III
)(
1
T
IIII
1
T
)(I)(I
1
III),I(
n
q
qq
n
h
ihihi
ih
)nn vvvvS (41)
Здесь )(I
~~
ihv — наблюдение с номером h из первой группы наблюдений, центри-
рованное относительно оценки )(I
~
iv
);(,,2,1,~~~
I)(II)(I ihnhihih vvv (42)
а )(II
~~
jqv — наблюдение с номером q из второй группы наблюдений, центриро-
ванное относительно оценки II
~v
.,,2,1,~~~
IIIIIII nhqq vvv (43)
В формуле (36) вектор )(I, jd представляет собой оценку коэффициентов фи-
шеровской дискриминантной функции, рассчитанную без наблюдения с номе-
ром j из второй группы наблюдений
),~~( )II(I
1
)(II,)(II, jjj vvSd (44)
Проблемы управления и информатики, 2008, № 3 107
где вектор I
~v — оценка математического ожидания ,Iν вычисляемая аналогич-
но (40); вектор )II(
~
jv — оценка математического ожидания ,IIν вычисляемая
аналогично (39); матрица )(II, jS — несмещенная оценка ковариационной матри-
цы ,VΣ вычисляемая аналогично (41).
Из формул (34)–(44) следует, что статистика )(2
I VDS есть не что иное, как
взвешенная сумма парных расстояний между наблюдениями первой группы и
оценкой математического ожидания IIν второй группы, а статистика )(2
II VDS —
взвешенная сумма парных расстояний между наблюдениями второй группы и
оценкой математического ожидания Iν первой группы.
Используя (38) и (44), получаем
,
~~~~
)]~~()~[(
)()(
I
1 II)I(
1
)(I,
T
II)I(
2
II)I(
1
)(I,
T
III1
I
2
I
n
i iii
iii
S nVD
)vv(S)vv(
vvSvv
(45)
II
1 )II(I
1
)(II,
T
)II(I
2
)II(I
1
)(II,
T
III1
II
2
II .
)~~()~~(
)]~~()~[(
)()(
n
j jjj
jjj
S nVD
vvSvv
vvSvv
(46)
Для упрощения дальнейшего анализа будем полагать .III nnn С учетом
этого введем обозначения 323III3 nnnr и .)1( 111
3
nnc
Вычислим математическое ожидание случайной величины ).(2 VDS
Теорема 2. Для случайной величины )(2 VDS выполняется
,
3)(
1)1)((
)(
)](/1)([
)}({
3
3
3
3
1
3
2
1
333
2
22
sr
r
srn
rn
scτ
csrrsτ
τVDE
V
V
VS (47)
где
,)1(,323 111
3III3
nncnnnr (48)
а )()( III
1T
III
2
ννΣνν
VVτ — расстояние Махаланобиса для множества ком-
понент V.
Справедливость теоремы 2 следует из того, что: 1) наблюдение ,Iiv I
~v —
оценка математического ожидания (40) и ),I( iS — оценка ковариационной матри-
цы (41) независимы; 2) наблюдение ,II jv II
~v — оценка математического ожида-
ния и ),II( jS независимы (эти утверждения следуют из предположений (4)–(6));
3) справедливы утверждения 3–5 из п. 2.
4. Существование дискриминантной функции,
оптимальной по числу и составу включенных в нее признаков
В соответствии с принципами моделирования в МГУА для обоснования кри-
терия качества моделей необходимо: 1) вычислить математическое ожидание ис-
следуемого критерия для заданной структуры модели; 2) исследовать поведение
математического ожидания критерия в зависимости от перебираемых структур
моделей; 3) показать существование модели оптимальной сложности; 4) получить
условие редукции (упрощения) модели оптимальной сложности.
108 ISSN 0572-2691
Отметим, что в рассматриваемом классе линейных дискриминантных функ-
ций структура модели (дискриминантной функции) однозначно определяется
числом и составом признаков, включенных в дискриминантную функцию.
Пусть )(2 VD — один из критериев МГУА, разработанных для решения за-
дачи дискриминантного анализа, поставленной в широком смысле.
Определение 1. Оптимальным множеством компонент (признаков) называет-
ся множество :optV
)}.({maxarg 2
opt VDEV
XV
(49)
Определение 2. Оптимальной по количеству и составу компонент называется
фишеровская дискриминантная функция, построенная на множестве .optV
В работах [17–24] исследованы критерии, описанные в пп. 2 и 3, и показано,
что они позволяют решать задачу поиска оптимального множества признаков в
задаче дискриминантного анализа, поставленной в широком смысле.
Множество компонент X можно разбить на непересекающиеся подмножества
:RVRRXX
~~ ooo
1)
o
X ( — пустое множество) — множество компонент
o
(m — их чис-
ло), для математических ожиданий которых выполнено ,χχ II
o
I
o
hh ;,2,1,
o
mh
2)
o
R — множество компонент, для математических ожиданий которых вы-
полнено ,,2,1,,ρρ
o
II
o
I
o
lhhh где
o
l — их число, и каждая компонента из
множества
o
R статистически зависит хотя бы от одной компоненты из множества
o
X (множество
o
R может быть пустым);
3) R
~
— множество компонент, для математических ожиданий которых вы-
полнено ,
~
,2,1,,ρ~ρ~ III lhhh где l
~
— их число, и каждая компонента из
множества R
~
статистически не зависит от любой из компонент множества
o
X
(множество R
~
может быть пустым).
Для исследования разработанных критериев в работах [20, 22–24] сформули-
рованы в виде лемм соотношения между расстоянием Махаланобиса для множе-
ства компонент
ooo
RXV и расстоянием Махаланобиса для произвольных ана-
лизируемых множеств компонент .XV
Для случая известных параметров генеральных совокупностей IP и IIP из
сформулированных лемм следует: 1) любая компонента из множества
o
X необ-
ходима в том смысле, что ее включение в текущее множество компонент V уве-
личивает расстояние Махаланобиса
2
V (рис. 2, а: признаки 1
o
x и 2
o
x должны
включаться в дискриминантную функцию; на рис. 2 окружности и эллипсы —
линии 0,95-уровня вероятности для двумерных нормальных распределений);
2) любая компонента из множества R
~
избыточна в том смысле, что ее включе-
ние в текущее множество V не увеличивает расстояния Махаланобиса
2
V
(рис. 2, б: признак
o
x должен, а признак r~ не должен включаться в дискрими-
нантную функцию); 3) любая компонента из множества
o
R необходима в том
Проблемы управления и информатики, 2008, № 3 109
смысле, что ее включение в текущее множество компонент V увеличивает рас-
стояние Махаланобиса
2
V (рис. 2, в: признаки
o
x и
o
r должны включаться в дис-
криминантную функцию).
o
2x
II1
о
I1
о
II2
о
I2
о
0),(cor
o
2
o
1 xx
o
1x
II
),(
o
2
o
1 xxR I
а
o
x
r~
II
о
I
о
III
~~
0)~,(cor
o
rx
II
I )(
o
xR
б
o
x
o
r
II
о
I
о
II
o
I
o
0),(cor
oo
rx
),(
oo
rxR
II II
I
в
Рис. 2
В практических приложениях параметры генеральных совокупностей, как
правило, неизвестны, но могут быть получены как статистические оценки по обу-
чающим выборкам наблюдений конечного объема. Известно [2, 3, 14, 32], что ес-
ли применить построенное правило классификации к обучающей выборке, то
оценка качества распознавания будет завышена по математическому ожиданию
по сравнению с той же оценкой качества на независимых от обучения данных.
Схемы с разбиением наблюдений на обучающие и проверочные подвыборки
и схемы скользящего экзамена дают незавышенные оценки качества распознава-
ния. Опыт практических применений и тестовые исследования этих схем на осно-
ве метода статистических испытаний [1–3, 5, 8–10, 13] показывают, что в этих
схемах: 1) с увеличением объема выборок наблюдений увеличивается количество
компонент во множестве, на котором достигается наилучшее качество распозна-
вания, а с уменьшением объема выборок наблюдений количество компонент в та-
110 ISSN 0572-2691
ком множестве уменьшается; 2) с увеличением расстояния Махаланобиса 2
X
между генеральными совокупностями (из которых получены выборки наблюде-
ний) увеличивается количество компонент во множестве, на котором достигается
наилучшее качество распознавания, а с уменьшением этого расстояния количест-
во компонент в таком множестве уменьшается.
Аналитические исследования разработанных критериев МГУА, проведенные
в работах [17–24], подтверждают эти эмпирически установленные закономерно-
сти о существовании дискриминантной функции, оптимальной по количеству и
составу компонент, и дают условия редукции (упрощения) оптимальной дискри-
минантной функции при уменьшении объемов выборок и при увеличении диспер-
сий признаков.
Заключение
Приведены результаты исследований двух способов сравнения дискрими-
нантных функций в рамках МГУА: способ с разбиением выборок наблюдений на
обучающие и проверочные подвыборки, и способ скользящего экзамена. Несмот-
ря на успешное применение этих способов на практике и неоднократное подтвер-
ждение их работоспособности методом статистических испытаний, они традици-
онно считались эвристическими приемами.
Для этих двух способов получены условия существования оптимального
множества признаков, зависящие от параметров генеральных совокупностей и
объемов выборок, и выявлены закономерности упрощения оптимальной дискри-
минантной функции при уменьшении объемов выборок и при увеличении диспер-
сий признаков. Показано, что в условиях структурной неопределенности и отсут-
ствия априорных оценок дисперсий и ковариаций признаков исследованные спо-
собы позволяют решать задачу поиска дискриминантной функции оптимальной
сложности.
Разработанные в рамках МГУА критерии и алгоритмы поиска оптимального
множества признаков в задаче дискриминантного анализа в условиях структурной
неопределенности изложены в работах [17–24]. Примеры их применения для ре-
шения практических задач даны в [33–38].
В заключение отметим, что задачи распознавания образов в условиях струк-
турной неопределенности рассматривались А.Г. Ивахненко еще в 60–70-х годах
прошлого века как актуальные задачи технической кибернетики [39–41].
О.П. Саричев
РОЗВ’ЯЗАННЯ ЗАДАЧІ ДИСКРИМІНАНТНОГО
АНАЛІЗУ В УМОВАХ СТРУКТУРНОЇ
НЕВИЗНАЧЕНОСТІ НА ОСНОВІ МЕТОДУ
ГРУПОВОГО УРАХУВАННЯ АРГУМЕНТІВ
Розглянуто задачу пошуку оптимальної за складністю дискримінантної функції.
Описано критерії якості дискримінантних функцій, розроблених в рамках ме-
тоду групового урахування аргументів: критерій, що заснований на розбивці
спостережень на навчальну й перевірну вибірки, і критерій ковзного іспиту.
Задачі цього класу відносяться до задач розпізнавання образів в умовах струк-
турної невизначеності, які розглядалися О.Г. Івахненком ще в 60–70-х роках
минулого століття як актуальні задачі технічної кібернетики.
Проблемы управления и информатики, 2008, № 3 111
A.P. Sarychev
THE SOLUTION OF THE DISCRIMINANT
ANALYSIS TASK IN CONDITIONS
OF STRUCTURAL UNCERTAINTY ON BASIS
OF THE GROUP METHOD OF DATA HANDLING
The task of searching optimum on complexity discriminant function is considered.
Criteria of quality of the discriminant functions developed in Group Method of Data
Handling are described: the criterion based on a partition of observations on learning
and checking samples, and criterion of sliding examination. The tasks of this class
concern to tasks of pattern recognition, which were considered by A.G. Ivakhnenko
in conditions of structural uncertainty still in 60–70 years of the last century as actual
tasks of an engineering cybernetics.
1. Лбов Г.С. Выбор эффективной системы зависимых признаков // Вычислительные системы. —
1965. — Вып. 19. — С. 21–34.
2. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. — М. : Наука, 1974. —
416 с.
3. Раудис Ш.Ю. Ограниченность выборки в задачах классификации // Статистические про-
блемы управления. — 1976. — Вып. 18. — С. 6–183.
4. Ту Дж., Гонсалес Р. Принципы распознавания образов: Пер. с англ. — М. : Мир, 1976. —
412 с.
5. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. — М. : Наука, 1979. —
448 с.
6. Малиновский Л.Г. Классификация объектов средствами дискриминантного анализа. — М. :
Наука, 1979. — 260 с.
7. Фукунага К. Введение в статистическую теорию распознавания образов: Пер. с англ. —
М. : Наука, 1979. — 368 с.
8. Лбов Г.С. Методы обработки разнотипных экспериментальных данных. — Новосибирск:
Наука. Сиб. отд-ние, 1981. — 284 с.
9. Раудис Ш.Ю. Влияние объема выборки на точность выбора модели в задаче распознавания
образов // Статистические проблемы управления. — 1981. — Вып. 50. — С. 9–30.
10. Раудис Ш. Влияние объема выборки на качество классификации (обзор) // Там же. — 1984. —
Вып. 66. — С. 9–42.
11. Распознавание образов: Состояние и перспективы / К. Верхаген, Р. Дейн, Ф. Грун и др.:
Пер. с англ. — М. : Радио и связь, 1985. — 104 с.
12. Малиновский Л.Г. Система алгоритмов и программ анализа информативности и структур
зависимостей измерений в задачах классификации и прогноза // Алгоритмы обработки экс-
периментальных данных. — М. : Наука, — 1986. — С. 35–75.
13. Фомин Я.А., Тарловский Г.Р. Статистическая теория распознавания образов. — М. : Радио
и связь, 1986. — 264 с.
14. Прикладная статистика: Классификация и снижение размерности / С.А. Айвазян, В.М. Бухш-
табер, И.С. Енюков и др. — М. : Финансы и статистика, 1989. — 608 с.
15. Мирошниченко Л.В. Сравнение алгоритмов выбора наилучшего подмножества признаков в
распознавании образов // Статистические проблемы управления. — 1990. — Вып. 93. —
С. 78–91.
16. Проблемы построения систем анализа данных // Там же. — 1990. — Вып. 93. — 247 с.
17. Сарычев А.П. Итерационный алгоритм МГУА для синтеза разделяющей функции в задаче
дискриминантного анализа // Автоматика. — 1988. — № 2. — С. 20–24.
18. Сарычев А.П. Схема дискриминантного анализа с обучающими и проверочными подвы-
борками наблюдений // Там же. — 1990. — № 1. — С. 32–41.
19. Сарычев А.П. Дискриминантный анализ с обучающими и проверочными подвыборками
наблюдений // Там же. — 1991. — № 2. — С. 55–59.
20. Мирошниченко Л.В., Сарычев А.П. Схема скользящего экзамена для поиска оптимального
множества признаков в задаче дискриминантного анализа // Там же. — 1992. — № 1. —
С. 35–44.
112 ISSN 0572-2691
21. Сарычев А.П. Схема поиска оптимального множества признаков в задаче дискриминантно-
го анализа с разбиением наблюдений на обучающие и проверочные подвыборки // Там же. —
1992. — № 4. — С. 39–43.
22. Sarychev A.P., Sarycheva L.V. The optimal set features determination in discriminant analysis by
the group method оf data handling // Systems Analysis and Modeling Simulation (SAMS), Over-
seas Publishers Association (OPA). — 1998. — 31. — P. 153–167.
23. Сарычев А.П. Схема скользящего экзамена для определения оптимального множества при-
знаков в задаче дискриминантного анализа // Проблемы управления и информатики. —
2002. — № 6. — С. 65–77.
24. Sarychev A.P. S-scheme of sliding examination for optimal set features determination in discrimi-
nant analysis by the group method of data handling // System Analysis and Modelling Simulation
(SAMS), Taylor & Francis. — 2003. — 43. — N 10. — P. 1351–1362.
25. Андерсон Т. Введение в многомерный статистический анализ: Пер. с англ. — М. : Физмат-
гиз. — 1963. — 500 с.
26. Рао С.Р. Линейные статистические методы и их применения: Пер. с англ. — М. : Наука,
1968. — 548 с.
27. Дженнрич Р.И. Пошаговый дискриминантный анализ // Статистические методы для ЭВМ:
Пер. с англ. — М. : Наука, 1986. — С. 94–112.
28. Статистические методы для ЭВМ / Под ред. К. Энслейна, Э. Рэлстона, Г.С. Уилфа: Пер. с
англ. — М. : Наука, — 1986. — 464 с.
29. Шурыгин А.М. Линейная комбинация простейшего и фишеровского дискриминантов //
Ученые записки по статистике. —1983. — 45. — С. 144–159.
30. Деев А.Д. Представление статистик дискриминантного анализа и асимптотические разло-
жения при размерности пространства, сравнимой с объемом выборки // Докл. АН СССР. —
1970. — 195. — № 4. — С. 759–762.
31. Деев А.Д. Асимптотические разложения распределений статистик дискриминантного ана-
лиза W, M, W
*
// Статистические методы классификации. — 1972. — Вып 31. — С. 6–51.
32. Васильев В.И. Распознающие системы. — Киев : Наук. думка, 1983. — 422 с.
33. Ивахненко А.Г., Сарычев А.П., Аралбаева Г.Г. Прогнозирование технологических наруше-
ний в производстве алюминия на основе МГУА // Третья Польско-советская науч.-техн.
конф. «Комплексная автоматизация промышленности» (11–14 окт. 1988 г., Вроцлав,
Польша), часть 1. — Вроцлав : Изд-во Вроцлавского политех. ин-та. — 1988. — С. 37–47.
34. Ивахненко А.Г., Сарычев А.П., Залевский П.И., Ивахненко Н.А. Опыт решения задачи про-
гноза солнечной активности при точностном и робастном подходах // Автоматика. —
1988. — № 3. — С. 31–42.
35. Ивахненко А.Г., Ивахненко Н.А., Костенко Ю.В., Мюллер И.А., Сарычев А.П., Юрачков-
ский Ю.П. Непараметрические прогнозирующие модели МГУА. Часть 3. Модели на языке
паттерн- и кластер-анализа для прогнозирования процессов в экономических макросисте-
мах // Там же. — 1989. — № 3. — С. 3–17.
36. Ivakhnenko A.G., Ivakhnenko G.A., Tetko I.V., Sarychev A.P. Recognition of the type of neurons’
interaction from histograms of pulse delay of their activity // Pattern Recognition and Image
Analysis. — Moscow : Interperiodica. — 2000. — 10. — N 1. — P. 164–168.
37. Сарычев А.П., Ивахненко А.Г., Ивахненко Г.А., Вилла А.Е., Тетко И.В. Система многоаль-
тернативного распознавания типов взаимодействия нейронов // Штучний інтелект. — 2001. —
№ 2. — С. 66–73.
38. Villa A.E.P., Tetko I.V., Ivakhnenko A.G., Ivakhnenko G.A., Sarychev A.P. Recognition of the type
of interaction between neurons from their cross-correlation histograms with the use of the voting
procedure // Pattern Recognition and Image Analysis. — Moscow : Interperiodica. — 2001. —
11. — N 4. — C. 743–750.
39. Ивахненко А.Г. Самообучающиеся системы распознавания и автоматического управления. —
Киев : Техніка, 1969. — 392 с.
40. Ивахненко А.Г. Системы эвристической самоорганизации в технической кибернетике. —
Киев: Техніка, 1971. — 364 с.
41. Перцептрон — система распознавания образов / Под ред. А.Г. Ивахненко. — Киев : Наук.
думка, 1975. — 430 с.
Получено 26.11.2007
|