Гарантированная оценка полезности признаков при статистическом распознавании двух классов
Сформульовано формальні умови, що дозволяють гарантувати корисність ознак при статистичному розпізнаванні двох класів. При цьому використовуються лише обмежені дані про індивідуальні та спільні ймовірнісні характеристики ознак. Продемонстровано конструктивність отриманих умов на прикладі розв’язку з...
Збережено в:
| Опубліковано в: : | Проблемы управления и информатики |
|---|---|
| Дата: | 2010 |
| Автор: | |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2010
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/210837 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Гарантированная оценка полезности признаков при статистическом распознавании двух классов / Л.С. Файнзильберг // Проблемы управления и информатики. — 2010. — № 5. — С. 95-110. — Бібліогр.: 17 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859975827991560192 |
|---|---|
| author | Файнзильберг, Л.С. |
| author_facet | Файнзильберг, Л.С. |
| citation_txt | Гарантированная оценка полезности признаков при статистическом распознавании двух классов / Л.С. Файнзильберг // Проблемы управления и информатики. — 2010. — № 5. — С. 95-110. — Бібліогр.: 17 назв. — рос. |
| collection | DSpace DC |
| container_title | Проблемы управления и информатики |
| description | Сформульовано формальні умови, що дозволяють гарантувати корисність ознак при статистичному розпізнаванні двох класів. При цьому використовуються лише обмежені дані про індивідуальні та спільні ймовірнісні характеристики ознак. Продемонстровано конструктивність отриманих умов на прикладі розв’язку задачі розпізнавання термічних та псевдотермічних ефектів процесу кристалізації металу
The formal conditions allowing to guarantee the usefulness of features in statistical recognition of two classes are formulated. Only limited information about the individual and joint probability characteristics of the features are used in the conditions. The practical appropriateness of the got conditions is shown on the example of decision of thermal and pseudothermal effects recognition of metal crystallization process.
|
| first_indexed | 2026-03-18T05:19:36Z |
| format | Article |
| fulltext |
© Л.С. ФАЙНЗИЛЬБЕРГ, 2010
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 95
УДК 519.25
Л.С. Файнзильберг
ГАРАНТИРОВАННАЯ ОЦЕНКА ПОЛЕЗНОСТИ
ПРИЗНАКОВ ПРИ СТАТИСТИЧЕСКОМ
РАСПОЗНАВАНИИ ДВУХ КЛАССОВ
Введение. При решении задач распознавания в статистической постановке
эффективность признаков чаще всего связывают с их информативностью [1–4]:
признак считается эффективным, если при его исключении из исходной совокуп-
ности происходит потеря некоторого количества информации о распознаваемых
классах [5]. Между тем еще в работе [6] было показано, что не всегда изменение
шенноновской энтропии свидетельствует об изменении вероятности ошибки рас-
познавания, которая, как справедливо отмечено в [7, с. 118], является более удач-
ной характеристикой надежности распознавания.
Разумеется, если известны априорные вероятности классов и многомерные
распределения признаков, то можно прямо оценить вероятность ошибки путем
непосредственных, хотя порой и достаточно громоздких вычислений [8, с. 102].
Однако случай, когда имеются столь полные априорные сведения, — скорее ред-
кое исключение, чем правило.
Обычно при решении практических задач имеются ограниченные априорные
сведения, которые и хотелось бы использовать для формальной оценки полезно-
сти признаков.
Постановка задачи. Пусть },,{ 1 MVVV >= — множество классов с априор-
ными вероятностями ),( mVP ,1)(
1
=ä
=
M
m
mVP а )(
1
)( ),,( N
N
N Xxxx Í= > — слу-
чайный вектор признаков ,,,1 Nxx > для которого существует распределение
.)()()(
1
)()(
ä
=
=
M
m
m
N
m
N VxpVPxp
Вводится определение: признак ,nx ,1 Nn¢¢ полезен в совокупности с дру-
гими 1-N признаками, если при его исключении из набора )...,,( 1
)(
N
N xxx =
происходит изменение средней вероятности ошибки, т.е. выполняется строгое
неравенство
),()( 1 ePeP NN -< (1)
где
)}],(,)({max1[)()( )(
2
)(
1
)
)()(
NNN
Xx
N xVPxVPxpeP
NN
-= ä
Í
D
)}],(,)({max1[)()( )1(
2
)1(
1
)1
1
)1()1(
---
Í
D
- -= ä
--
NNN
Xx
N xVPxVPxpeP
NN
а )1()1( -- Í NN Xx — сокращенный набор признаков, который не содержит .nx
Ставится задача сформулировать достаточные условия, гарантирующие вы-
полнения неравенства (1) при неизвестных вероятностях )( mVP и ограниченных
сведениях об условных распределениях ).( )(
m
N Vxp
96 ISSN 0572-2691
Достаточные условия полезности признаков в описании. Ограничимся
рассмотрением случая двух классов ).2( =M Доказательству теорем, определяю-
щих достаточные условия полезности nx в совокупности ),( )1()( -= N
n
N xxx с дру-
гими 1-N признаками, предпошлем леммы.
Лемма 1. Пусть средняя вероятность ошибочных решений ),(eP принимае-
мых по описанию XxÍ на основе правила максимума апостериорных вероятно-
стей )( 1 xVP и ),( 2 xVP удовлетворяет условию
)},(),({min)( 21 VPVPeP < (2)
а собственные области классов
,2,1},0)(:{ =>= kVxpxX kk (3)
пересекаются:
.21 Å̧ÆXX (4)
Кроме того, пусть множества (3) односвязные, а условные распределения
),( kVxp ,2,1=k — непрерывные функции от .x
Тогда найдется такое значение ,220 XXx ÆÍ при котором
).()( 0201 xVPxVP =
Доказательство. Введем в рассмотрение функцию
),()()( 21 xVPxVPxf -=
которую на основании формулы Байеса можно представить в эквивалентной фор-
ме записи
,
)(
)()()()(
)(
2211
xp
VxpVPVxpVP
xf
-
= (5)
где .)()()()()( 212211 XXxVxpVPVxpVPxp ÇÍ"+=
Из (2) с учетом (5) следует, что
.0)(,:
,0)(,:
21
21
<ÇÍ$
>ÇÍ$
---
+++
xfXXxx
xfXXxx
(6)
Поскольку по условию множества 1X и 2X односвязные, то в силу (4) одно-
связным будет и множество .21 XX Ç Из условия непрерывности распределений
),( kVxp ,2,1=k следует, что функция ),(xf определяемая соотношением (5),
непрерывна на всем односвязном множестве .21 XX Ç Принимая во внима-
ние (6), по теореме Больцано–Коши [9] заключаем
22000 ,0)(: XXxxfx ÇÍ=$ ,
или, что то же самое,
.),()(: 22002010 XXxxVPxVPx ÇÍ=$
В том случае, когда ,21 XX = а значит, ),()( 2121 XXXX Ç=Æ из послед-
него условия немедленно следует справедливость леммы. Поэтому для заверше-
ния доказательства остается показать, что 210 XXx ÆÍ и в том случае, когда
множества 1X и 2X частично пересекаются, т.е. ).()( 2121 XXXX ÇËÆ
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 97
В этом нетрудно убедиться, если принять во внимание, что в силу (5), с уче-
том определений множеств 1X и ,2X имеем
,\1)( 21 XXxxf Í"+=
.\1)( 12 XXxxf Í"-=
Следовательно, условие 0)( 0 =xf может выполняться только при Í0x
.21 XX ÆÍ
Лемма доказана.
Замечание 1. Лемма 1 определяет условия существования границы 0x между
областями оптимальных байесовских решений в пространстве },{xX = которая,
вообще говоря, может и не существовать, если не выполняются все перечислен-
ные условия.
Лемма 2. Для того чтобы при исключении из описания )...,,( 1
)(
N
N xxx =
признака ,nx ,1 Nn¢¢ средняя вероятность ошибки сохранялась неизменной,
т.е. чтобы )()( 1 ePeP NN -= , необходимо и достаточно, чтобы
,2,1,
)1()(
=³W=W
-
kX n
N
k
N
k (7)
где )1()( , -WW N
m
N
m — области оптимальных решений соответственно в N-мерном
и )1( -N -мерном пространствах признаков, а}{ nn xX = — множество возможных
значений .nx
Доказательство. Следуя [7, c. 106], будем рассматривать переход от =)(Nx
),( )1( -= N
n xx к )1( -Nx как некое преобразование описаний, состоящее в объеди-
нении нескольких различных N-мерных описаний в одно )1( -N -мерное описание.
Очевидно, что при выполнении условия (7) решения, принимаемые по пол-
ному ),( )1()( -= N
n
N xxx и сокращенному )1( -Nx описаниям, будут совпадать для
любого значения .nn Xx Í Если же условие (7) не выполняется, то при исключе-
нии признака nx неизбежно будут объединяться такие описания ,)(Nx по кото-
рым следует принимать разные решения. В результате некоторые решения, при-
нимаемые по сокращенному описанию ,)1( -Nx будут отличаться от оптимальных
решений, принимаемых по полному описанию ,)(Nx что и приводит к увеличе-
нию вероятности ошибки, т.е. к выполнению строгого неравенства (1).
Лемма доказана.
Замечание 2. Признак nx может быть полезен в совокупности с другими при-
знаками набора )...,,( 1
)(
N
N xxx = в смысле строгого неравенства (1) лишь в том
случае, когда
)},(),({min)()( 210 VPVPePePN
D
=< (8)
т.е. N-мерное описание )...,,( 1
)(
N
N xxx = в целом является полезным, и, кроме
того,
,0)(1 >- ePN (9)
т.е. сокращенное описание )1( -Nx не позволяет провести безошибочное распо-
знавание.
98 ISSN 0572-2691
Принимая во внимание эти ограничения, докажем теоремы.
Теорема 1. Для того чтобы при ограничениях (8), (9) признак ,nx ,1 Nn¢¢
был полезен в совокупности с другими 1-N признаками описания =)(Nx
),...,,( 1 Nxx= достаточно, чтобы:
а) nx имел различные распределения в классах:
);()( 21 VxpVxp nn ¹/ (10)
б) в каждом классе отсутствовала статистическая связь между nx и осталь-
ными 1-N признаками:
;2,1),(),( )1( =¹- kVxpVxxp knk
N
n (11)
в) условные распределения ,2,1),( )1( =- kVxp k
N
были непрерывными
функциями от ,)1( -Nx а собственные области классов :{ )1()1( --
= NN
k
xX
},0)( )1( >-
k
N Vxp ,2,1=k — односвязными множествами.
Доказательство. Поскольку для вероятности ошибки )(1 ePN- справедлива
оценка
),()( 01 ePePN ¢- (12)
а в силу ограничения (8) ),()( 0 ePePN < то неравенство (1) заведомо выполняется,
если ).()( 01 ePePN =-
Поэтому нам остается показать справедливость сформулированной теоремы
лишь в том случае, когда неравенство (12) переходит в строгое:
).()( 01 ePePN <- (13)
Рассмотрим функцию
,
)(
)(
)(
)(
)(
1
2
2
)1(
1
)1(
)1(
VP
VP
Vxp
Vxp
x
N
N
N -=F
-
-
D- (14)
которая в силу условия в) непрерывна .)1()1( -- Í" NN Xx
На основании формулы Байеса заключаем, что при выполнении условия (13)
существует непустая область
)1()1(
1
--
ËW NN
X оптимальных решений в пользу
класса ,1V для которой, с учетом определения (14), справедливо соотношение
.0)(
)1(
1
)1()1( --- WÍ">F
NNN xx
Согласно лемме 1 при выполнении условия (13) и условия в) теоремы 1
в пространстве векторов )1( -Nx существует граница между областями оптималь-
ных решений, на которой .0)( )1( =F -Nx Отметим, что по определению эта граница
не принадлежит самому множеству ,
)1(
1
-
W
N
т.е.
)1(
1
-
W
N
— открытое множество.
Покажем, что на множестве }{ nn xX
D
= возможных значений nx найдется та-
кое значение ,
1
nx при котором
.1
)(
)(
1
1
2
1 |
<
Vxp
Vxp
n
n (15)
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 99
Действительно, если допустить противное, т.е. что
,)()( 12 nnnn XxVxpVxp Í"² (16)
и учесть, что на основании (10) неравенства (16) не могут перейти в равенства для
всех ,nn Xx Í то после суммирования неравенств (16) получим
),()( 12 VxpVxp n
Xx
n
Xx nnnn
ää
ÍÍ
>
но это невозможно, так как всегда
.1)()( 12 ==ää
ÍÍ
VxpVxp n
Xx
n
Xx nnnn
Полученное противоречие подтверждает справедливость (15).
Аналогичным образом можно убедиться и в том, что найдется такое значение
,2
nn Xx Í при котором
.1
)(
)(
1
2
2
2
>
Vxp
Vxp
n
n
(17)
Введем обозначения:
,
)(
)(
)()(
)()(
1
2
11
1
22
1
1
VP
VP
VPVxp
VPVxp
n
n
-=e
D
(18)
.
)(
)(
)()(
)()(
1
2
11
2
22
2
2
VP
VP
VPVxp
VPVxp
n
n
-=e
D
(19)
На основании (15) и (17) из (18) и (19) имеем ,01<e .02 >e Поскольку на
границе области
)1()1(
1
--
ËW NN
X функция )( )1( -F Nx обращается в нуль, а при
остальных значениях
)1(
1
)1( -- WÍ
NNx она положительна, то в силу непрерывно-
сти )( )1( -F Nx непременно найдется такое непустое подмножество ,
)1(
1
-* WËW
N
что для любых 01<e и 02 >e выполняется соотношение
.)(0 )1(
2
)1(
1
*-- WÍ"e<F<<e NN xx (20)
Подстановка выражений для ),( )1( -F Nx ,1e 2e из (14), (18), (19) в (20) после
несложных преобразований дает
,
)()(
)()(
)(
)( )1(
11
1
22
1
2
)1(
1
)1(
*-
-
-
WÍ"> N
n
n
N
N
x
VPVxp
VPVxp
Vxp
Vxp
(21)
.
)()(
)()(
)(
)( )1(
11
2
22
2
2
)1(
1
)1(
*-
-
-
WÍ"< N
n
n
N
N
x
VPVxp
VPVxp
Vxp
Vxp
(22)
Поскольку в соответствии с условием (11)
),()(),( 1)1(1)1(
knk
N
kn
N VxpVxpVxxp -- ¹ ,2,1=k
и
),()(),( 2)1(2)1(
knk
N
kn
N VxpVxpVxxp -- ¹ ,2,1=k
100 ISSN 0572-2691
то из (21) и (22) имеем
,
)(
)(
),(
),( )1(
1
2
2
1)1(
1
1)1(
*-
-
-
WÍ"> N
n
N
n
N
x
VP
VP
Vxxp
Vxxp
(23)
.
)(
)(
),(
),( )1(
1
2
2
2)1(
1
2)1(
*-
-
-
WÍ"< N
n
N
n
N
x
VP
VP
Vxxp
Vxxp
(24)
Из (23), (24) непосредственно следует, что
)1(
1
)1( -*- WËWÍ"
NNx при одном
значении 1
nn xx = оптимальные решения по N признакам должны приниматься
в пользу класса ,1V а при другом значении 2
nn xx = — в пользу класса .2V Следо-
вательно, область
)(
1
N
W оптимальных решений в N-мерном пространстве призна-
ков в пользу класса 1V не удовлетворяет условиям леммы 2, а значит, выполняет-
ся строгое неравенство (1).
Теорема доказана.
Замечание 3. Согласно теореме 1 одно лишь условие (10), которое означает,
что nx информативен сам по себе, вовсе не гарантирует полезность этого признака
в описании )....,,( 1
)(
N
N xxx = Но независимо от того, будет ли этот признак
полезен сам по себе, является он непрерывным* или дискретным, его полезность га-
рантирована в описании, если выполняются другие условия теоремы 1.
Теорема 2. Для того чтобы при ограничениях (8), (9) признак ,nx ,1 Nn¢¢
был полезен в совокупности с другими 1-N признаками описания =)(Nx
),...,,( 1 Nxx= достаточно, чтобы:
а) nx был статистически связан с остальными 1-N признаками хотя бы
в одном из классов:
1)(),( )1( =¹/
- kVxpVxxp knk
N
n и/или 2;=k
б) статистическая связь между nx и )1( -Nx была различной в классах при
каждом фиксированном значении :)1( -Nx
),,(),( 2
)1(
1
)1( VxxpVxxp N
n
N
n
-- ¹/ ;)1()1( -- Í" NN Xx (25)
в) условные распределения ),( )1(
k
N Vxp -
,2,1=k были непрерывными
функциями от ,)1( -Nx а собственные области классов :{ )1()1( --
= NN
k
xX
},0)( )1( >-
k
N Vxp ,2,1=k — односвязными множествами.
Доказательство. Покажем вначале, что в силу условия (25) найдется такое
значение ,1
nn Xx Í при котором
.1
),(
),( )1()1(
1
)1(1
2
)1(1
--
-
-
Í"< NN
N
n
N
n
Xx
Vxxp
Vxxp
(26)
С этой целью предположим противное, что при каждом фиксированном
)1()1( -- Í NN Xx выполняются неравенства
.),(),( 1
1
2
1
nn
N
n
N
n XxVxxpVxxp Í"² --
(27)
* Доказательство справедливости теоремы 1 существенно упрощается, если наложить дополнительное
ограничение, что xn — непрерывный признак. Однако такое дополнительное ограничение на приз-
нак xn не обязательно.
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 101
Если учесть, что в силу условия (25) знак равенства в (27) не может иметь
места для всех ,nn Xx Í то при суммировании неравенств (27) получим
.),(),( 1
1
2
1 VxxpVxxp N
n
Xx
N
n
Xx nnnn
-
Í
-
Í
ää >
Но это противоречит тому, что
.1
)(
)(
)(
),(
),(
)1(
)1(
1
1
1 ¹==
-
-
Í
-
-
-
Í
ää
k
N
k
N
Xx k
N
k
N
n
k
N
n
Xx Vxp
Vxp
Vxp
Vxxp
Vxxp
nnnn
Полученное противоречие подтверждает справедливость неравенства (26).
Аналогичным образом можно убедиться в том, что ,2 nXx Í$ когда
.1
),(
),( )1()1(
1
)1(2
2
)1(2
--
-
-
Í"> NN
N
n
N
n
Xx
Vxxp
Vxxp
(28)
Введем в рассмотрение функции
,
)(
)(
)(),(
)(),(
)(
1
2
11
)1(1
22
)1(1
)1(
1
VP
VP
VPVxxp
VPVxxp
x
N
n
N
nN -=a
-
-
D-
,
)(
)(
)(),(
)(),(
)(
1
2
11
)1(2
22
)1(2
)1(
2
VP
VP
VPVxxp
VPVxxp
x
N
n
N
nN -=a
-
-
D-
в которых )1( -Nx выступает в качестве независимой переменной, а 1
nx и 2
nx —
в качестве фиксированных параметров.
Нетрудно заметить, что в силу (26) и (28)
)1()1()1(
1 0)( --- Í"<a NNN Xxx (29)
и
.0)( )1()1()1(
2
--- Í">a NNN Xxx (30)
Вернемся теперь снова к функции ),( )1( -F Nx которая определяется соотно-
шением (14). Как было показано при доказательстве теоремы 1,
,0)(
)1(
1
)1()1( --- WÍ">F
NNN xx
где
)1(
1
-
W
N
— область оптимальных решений по сокращенному описанию
)1( -Nx
в пользу класса ,1V причем 0)( )1( =F -Nx на границе открытого множества .
)1(
1
-
W
N
Из (30), с учетом того, что ,)1()1(
1
--
ËW NN
X следует
.0)(
)1(
1
)1()1(
2
--- WÍ">a
NNN xx
С одной стороны, поскольку функции )( )1( -F Nx и )( )1(
2
-a Nx непрерывны,
причем 0)( )1( =F -Nx в точке ,
)1(
0
)1( -- =
NN xx нетрудно показать, что существует
непустое множество
)1(
1
-* WËW
N
значений ,)1( -Nx отличных от ,
)1(
0
-N
x таких, что
.)()(0 )1()1(
2
)1( *--- WÍ"a<F< NNN xxx (31)
102 ISSN 0572-2691
С другой стороны, в силу (29), имеем
.)()( )1()1(
1
)1( *--- WÍ"a>F NNN xxx (32)
Неравенства (31) и (32) с учетом определений (14), (29), (30) функций
),( )1( -F Nx ),( )1(
1
-a Nx )( )1(
2
-a Nx могут быть преобразованы к виду
,
)(),(
)(),(
)(
)( *)1(
11
)11
22
)1(1
2
)1(
1
)1(
WÍ"> -
-
-
-
-
N
N
n
N
n
N
N
x
VPVxxp
VPVxxp
Vxp
Vxp
(33)
.
)(),(
)(),(
)(
)( *)1(
11
)12
22
)1(2
2
)1(
1
)1(
WÍ"< -
-
-
-
-
N
N
n
N
n
N
N
x
VPVxxp
VPVxxp
Vxp
Vxp
(34)
Принимая во внимание (33), (34), с учетом того, что
,2,1),,()()( )1()1)( =¹ -- kVxxpVxpVxp k
N
nk
N
k
N
мы снова приходим к соотношениям (23), (24), из которых, как было показано при
доказательстве теоремы 1, немедленно следует выполнение строгого неравенства (1).
Теорема доказана.
Замечание 4. Неинформативный сам по себе признак ,nx имеющий совпа-
дающие распределения в классах, т.е.
),()( 21 VxpVxp nn ¹ (35)
оказывается гарантировано полезным в совокупности с другими признаками, если
выполняются условия теоремы 2. Этот факт следует из того, что соотношение (35)
не противоречит условиям теоремы 2.
Пример практического использования результатов. Рассмотрим приме-
нение полученных результатов к решению практической задачи, которая до сих
пор актуальна в черной металлургии. Речь идет о методе быстрого определения
содержания углерода в жидкой стали по температуре начала кристаллизации
(температуре ликвидуса) LT [10].
Величину LT определяют как температуру, при которой в процессе кристал-
лизации расплава на кривой охлаждения (термограмме) за счет выделения скры-
той теплоты кристаллизации появляется своеобразный фрагмент (рис. 1). Между
тем оказывается, что иногда подобный фрагмент появляется не при ,LT а при не-
которой другой температуре, причем до тех пор, пока не будет зарегистрирована
термограмма, нельзя определенно знать, появится ли характерный фрагмент при
температуре LT или при другой температуре.
Как видно из сравнения реальных измерений, термограммы, на которых
фрагменты были вызваны термическим (рис. 1, а) и псевдотермическим (рис. 1, б)
эффектами, внешне настолько сходны, что сразу еще не ясно, по каким признакам
можно осуществлять распознавание термического (класс )1V и псевдотермичес-
кого (класс )2V эффектов.
Поэтому прежде всего понадобилось заняться выбором исходного набора
признаков, потенциально пригодных для распознавания 1V и .2V В результате
выяснилось, что такими признаками в принципе могут быть тип A термограммы,
продолжительность t фрагмента, время J от начала измерения до момента появ-
ления фрагмента, величины перегрева TD и переохлаждения Td металла относи-
тельно температуры ,*T при которой появляется фрагмент, и даже сама темпера-
тура *T (рис. 2).
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 103
1450 1470 1490 1510 1530 1550
T, C̄ 0
30
60
90
120
150
180
210
240
270
В
р
е
м
я
,
с
A1
A2
A3
A4
A5
A6
1450 1470 1490 1510 1530 1550
T, C̄ 0
30
60
90
120
150
180
210
240
270
В
р
е
м
я
,
с
A1
A2
A3
A4
A5
A6
а б
Рис. 1
TD
T
T
*
J
t
Td
t
Рис. 2
Тип A как признак связан с общими представлениями о форме термограммы.
Следуя данным работы [11], будем различать шесть типов термограмм, каче-
ственное описание которых дано в таблице.
Таблица
Тип термограммы
Качественное описание термограммы
Перегрев выше T* Переохлаждение ниже T* Форма фрагмента
1A есть нет горизонтальный
2A есть нет наклонный
3A есть есть горизонтальный
4A есть есть наклонный
5A нет нет горизонтальный
6A нет нет наклонный
Поскольку тип термограммы не может быть предсказан до измерения, будем
считать, что этот признак случайным образом принимает одно из своих «значе-
ний» 621 ,,, AAA > в соответствии с неким распределением вероятностей ),( 1AP
).(,),( 62 APAP >
104 ISSN 0572-2691
Как показывают наблюдения [10], для каждого типа термограммы признаки
t, J, ,TD Td и *T принимают самые разные значения независимо от того, появ-
ляется фрагмент при температуре ликвидуса или при другой температуре. Поэто-
му будем считать эти признаки непрерывными случайными величинами, для ко-
торых объективно существуют условные распределения )( 1Vp Ö и )( 2Vp Ö .
Анализ литературных источников позволил получить целый ряд важных апри-
орных сведений, вытекающих из физических представлений о процессе порождения
термограммы. Например, согласно данным работы [11] вероятность того, что фраг-
мент вызван термическим эффектом, зависит от типа термограммы, причем
),(...)()( 612111 AVPAVPAVP >>> (36)
однако всегда
)()( 21 AVPAVP > для всех .,,, 621 AAAA >= (37)
Условие (37) исключает возможность распознавания термического 1V и псев-
дотермического 2V эффектов только на основании измерения признака.A
Установлено также, что вероятность события 2V не зависит от того, при ка-
кой температуре *T появляется фрагмент и какое время J прошло от начала из-
мерения до момента появления фрагмента. Следовательно, можно положить, что
),()( 2
*
2
VPTVP ¹ (38)
).()( 22
VPVP ¹J (39)
На основании (37)–(39) делаем вывод, что распознавание классов 1V и 2V по
отдельно взятым признакам ,A *T и J невозможно, т.е.
)}.(),(min{)()()()( 210 VPVPePePePeP
TA
D
J ==== * (40)
Из работы [12], в которой исследовалась идеализированная модель кристал-
лизации металла в пробнице, следует, что с увеличением температуры ликвидуса
LT увеличивается продолжительность t фрагмента, появляющегося при этой
температуре. Установлено также, что перегрев TD оказывает существенное вли-
яние на время ,J тогда как на величину t это влияние значительно меньше.
Для исследования статистической зависимости между t и LT нами была
проведена обработка реальных термограмм. Хотя эмпирический коэффициент
корреляции составил всего ,386,0=r проверка значимости r по методике, опи-
санной в [13], показала, что с надежностью вывода 99,0>P гипотеза о некорре-
лированности LT и t должна быть отвергнута.
Проведена также оценка безусловной }{D̂ LT и условной }{D̂ tLT дисперсий
величины .LT Оказалось, что 4,144}{D̂ =LT град
2
, тогда как при изменении t от
0 до 28 с условная дисперсия }{D̂ tLT находилась в пределах
25,6 град
2 ¢t¢ }|{D̂ LT 93,9 град
2
.
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 105
Оценка расхождений }{D̂ LT и }{D̂ tLT по методу Бартлетта [14] с надежно-
стью вывода 99,0>P подтвердила гипотезу о том, что
,}{D̂}{D̂ t"t> LL TT (41)
или в эквивалентной форме записи
.},{D̂}{D̂ 11 t"t> ** VTVT (42)
Наличие корреляционной связи между *T и t в тех случаях, когда фрагмент
был вызван псевдотермическим эффектом, не обнаружено. И хотя следующее
предположение требует более веских аргументов, все же допустим, что для класса
2V величины *T и t статистически независимы в общем смысле этого понятия,
т.е.
).(),( 22 VTpVTp ** ¹t (43)
Наблюдения показали, что при больших значениях t чаще всего фрагмент
вызван термическим эффектом (класс ),1V а при малых — псевдотермическим
эффектом (класс ).2V Поэтому можно предположить, что
)()( 21 t>t VPVP при больших значениях t,
)()( 21 t<t VPVP при малых значениях t .
Отсюда следует, что признак t уже сам по себе полезен. Однако ввиду того,
что при одних и тех же t может наблюдаться и класс ,1V и класс ,2V этот при-
знак не позволяет провести безошибочное распознавание. Следовательно,
)}.(),({min)(0 21 VPVPeP <<t (44)
Поскольку в соответствии с [12] время J зависит только от величины ,TD
то вполне правомерна гипотеза о том, что случайная величина J в обоих классах
статистически не зависит от *T и ,t т.е.
.2,1),(),,( =J¹tJ * kVPVTp kk (45)
Из работы [12] также следует, что при любой температуре ликвидуса LT
продолжительность t фрагмента, появляющегося при этой температуре, не зави-
сит от величины .TD Считая, что это свойство характерно и для фрагментов, по-
являющихся при другой температуре, введем следующую гипотезу:
.2,1),,(),,( =t¹Dt ** kVTPVTTp kk (46)
Естественно также считать, что сама величина ,TD которая определяется
лишь начальной температурой расплава, не зависит от того, при какой температу-
ре *T появится фрагмент, а значит,
106 ISSN 0572-2691
.2,1),(),( =D¹D * kVTPVTTp kk (47)
В то же время, согласно исследованиям, проведенным в [12], от величины
перегрева TD зависит время снятия перегрева ,J т.е.
.2,1),(),( =J¹/DJ kVpVTp kk
Поскольку в соответствии с (44) признак t сам по себе уже полезен, а услов-
ные распределения ),( kVp t ,2,1=k — непрерывные функции, заданные на од-
носвязных множествах (по крайней мере, исходя из физических представлений,
нет оснований предполагать противное), то в соответствии с леммой 1 найдется
такое значение ,t при котором
.
)(
)(
)(
)(
1
2
2
1
VP
VP
Vp
Vp
=
t
t
(48)
Полагая, что уравнение (48) имеет единственное решение const,0 =t=t
приходим к достаточно простому пороговому правилу:
îý
î
ü
û
t<t
t²t
02
01
если,пользуврешаем
,если,пользуврешаем
V
V
.
В отличие от признака ,t признаки *T и ,J как следует из (38), (39), имеют
одинаковые распределения в классах
),()( 2
*
1 VTpVTp ¹*
(49)
),()( 21 VpVp J¹J (50)
а значит, они бесполезны сами по себе.
Тем не менее, опираясь на приведенные выше результаты, покажем, что ис-
пользование признака *T совместно с признаком t оказывается полезным.
Действительно, ввиду наличия корреляционной связи между *T и t в
классе 1V имеем
).(),( 11 VTpVTp ** ¹/t (51)
Кроме того, из условия (42) следует
.}{D},{D 11 t"¸t ** VTVT (52)
Поскольку
,)()(}{ 1
0
2
0
1
*
1
**
¤+
*
¤+
**D*
ñ ñ
ù
ù
ú
ø
é
é
ê
è
-= dTVTpdTVTpTTVTD (53)
,),(),(},{ 1
0
2
*
0
1
**
1
**
¤+ ¤+
*D* t
ù
ù
ú
ø
é
é
ê
è
t-=t ñ ñ dTVTpdTVTpTTVTD (54)
то из условия (52) с учетом (53) и (54) немедленно следует, что соотношение (51)
справедливо для любого t, т.е.
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 107
.)(),( 11 t"¹/t ** VTpVTp (55)
В самом деле, если предположить противное, т.е. ,*t=t$ что
),(),( 11 VTpVTp *** =t
то на основании (53), (54) получим
},{D},{D 11
* VTVT ** ¸t
что противоречит (52).
В силу (55) с учетом (43) и (49) окончательно имеем
.),(),( 21 t"t¹/t ** VTpVTp (56)
По-прежнему будем считать, что условные распределения ),( kVp t ,2,1=k —
непрерывные функции, а множества }{t возможных значений t — односвязные.
По-видимому, такого рода допущения всегда справедливы при распознавании
сигналов, порожденных физическими процессами (в данном случае — теплофи-
зическим), если только нет веских оснований опровергнуть такие допущения.
Условия (49) и (56) с учетом указанных выше допущений о распределениях
),( kVp t ,2,1=k и множествах }{t позволяют на основании теоремы 2 утвер-
ждать, что признак *T полезен в совокупности ),,( *tT т.е.
.)()(
,*
ePeP
T tt
< (57)
При такой комбинации признаков решающее правило имеет вид
îý
î
ü
û
t<t
t²t
*
*
),(если,пользуврешаем
),(если,пользуврешаем
02
01
TV
TV
причем оптимальная величина ),(0
*t T при которой будет достигнут минимум
средней вероятности ошибки, является решением уравнения
.
)(
(
)(
),(
1
)2
2
1
*
VP
VP
Vp
VTp
=
t
t
Если к тому же учесть, что согласно (49) признак *T имеет одинаковые рас-
пределения в классах и по предположению (43) статистически не зависит от t в
классе ,2V то, как следует из [15], совокупность ),( *tT еще не позволяет прове-
сти безошибочное распознавание. Отсюда с учетом (44) и (57) заключаем, что
.)}(),({min)()(0 21,
VPVPePeP
T
<<< tt*
А это значит, что принципиально может идти речь о полезности какого-либо
из оставшихся признаков совместно с совокупностью ).,( *tT Исследуем такую
возможность с учетом имеющихся априорных сведений.
Поскольку признак J по предположению (45) статистически независим от
совокупности ),( *tT в обоих классах и к тому же согласно (50) имеет одинако-
вые распределения в классах, можно утверждать, что добавление такого признака
к совокупности ),( *tT не может уменьшить вероятность ошибки, т.е.
108 ISSN 0572-2691
).()(
,,,
ePeP
TT tJt ** =
В отличие от признаков J и *T тип термограммы A имеет различные
условные распределения в классах, т.е.
).()( 21 VAPVAP ¹/ (58)
Справедливость соотношения (58) легко показать с помощью формулы Байе-
са методом от противного, опираясь на условие (36).
Введем в рассмотрение два укрупненных типа термограммы, а именно, тип
термограммы с участком перегрева
4321 AAAAA ÇÇÇ=¡ (59)
и без участка перегрева
65 AAA Ç=¡¡ , (60)
игнорируя наличие или отсутствие других более тонких различий типов, описан-
ных в таблице.
При этом будем считать, что
í
ì
ë
D<D¡¡
D²D¡
=
,если,
,если,
0
0
TTA
TTA
A (61)
где const0=DT — некоторый малый порог.
Рассмотрим соотношение (46), которое с учетом (47) после простых преобра-
зований сводится к виду
.2,1),(),,( =D¹tD * kVTPVTTP kk (62)
Интегрируя левую и правую часть (62) по TD в пределах от 0TD до ,¤+
получим
.)(),,(
00
TdVTpTdVTTp k
T
k
T
DD¹DtD ññ
¤+
D
*
¤+
D
(63)
Из (63) с учетом (61) немедленно следует
.2,1),(),,( * =¡=t¡ kVAPVTAP kk (64)
Аналогичным образом, интегрируя левую и правую часть соотношения (62),
но уже в пределах от 0 до ,0TD можно показать, что
.2,1),(),,( =¡¡=t¡¡ * kVApVTAp kk (65)
Если теперь рассматривать тип термограммы A как дискретный признак
с двумя градациями (59) и (60) и принять во внимание соотношения (64) и (65), то
можно заключить, что этот признак статистически не зависит от совокупности
),( *tT в обоих классах, т.е.
.2,1),(),,( =¹t * kVApVTAp kk (66)
На основании соотношений (58) и (66) по теореме 1 заключаем, что тип тер-
мограммы A — полезный признак в совокупности с признаками t и ,*T а значит,
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 5 109
)}.(),({min)()()( 21,,,
VPVPePePeP
TTA
<<< ttt **
В данном случае решающее правило имеет вид
îý
î
ü
û
t<t
t²t
*
*
),,(если,пользуврешаем
),,(если,пользуврешаем
02
01
TAV
TAV
(67)
причем оптимальная величина ),,(0
*t TA при которой будет достигнут минимум
средней вероятности ошибки, является решением уравнения
.,,
)(
)(
)(
),(
1
2
2
1
AAA
AVP
AVP
Vp
VTp
¡¡¡==
t
t *
(68)
Разумеется, в условиях ограниченной априорной информации о распределе-
ниях, фигурирующих в (68), приходится использовать приближенное (субопти-
мальное) значение ),(~
0
*t TA в правиле (67). Для определения ),(~
0
*t TA можно
применить, например, алгоритм, описанный в работе [16], который обеспечит ми-
нимум среднеквадратического отклонения ),(~
0
*t TA от оптимальной величины
),(0
*t TA , удовлетворяющей (68).
Заключение. Таким образом, для гарантированной оценки полезности при-
знаков можно опираться на весьма ограниченные априорные сведения об индиви-
дуальных и совместных вероятностных характеристиках, фигурирующих в усло-
виях теорем 1 и 2.
Из рассмотренного примера следует, что в тех случаях, когда такие априор-
ные сведения могут быть получены на основе знаний о физических закономерно-
стях процессов, порождающих распознаваемые классы, появляется возможность
обоснованно подходить к селекции полезных признаков еще до этапа обучения.
Такая возможность крайне важна при решении прикладных задач распозна-
вания, поскольку, как показано в [17, с. 68], необоснованное расширение про-
странства признаков при малом объеме обучающей выборки может только ухуд-
шить качество обучения.
Л.С. Файнзільберг
ГАРАНТОВАНА ОЦІНКА КОРИСНОСТІ
ОЗНАК ПРИ СТАТИСТИЧНОМУ
РОЗПІЗНАВАННІ ДВОХ КЛАСІВ
Сформульовано формальні умови, що дозволяють гарантувати корисність оз-
нак при статистичному розпізнаванні двох класів. При цьому використову-
ються лише обмежені дані про індивідуальні та спільні ймовірнісні характе-
ристики ознак. Продемонстровано конструктивність отриманих умов на при-
кладі розв’язку задачі розпізнавання термічних та псевдотермічних ефектів
процесу кристалізації металу.
110 ISSN 0572-2691
L.S. Fainzilberg
GUARANTEED ESTIMATION
OF FEATURE’S UTILITY IN STATISTICAL
RECOGNITION OF TWO CLASSES
The formal conditions allowing to guarantee the usefulness of features in statistical
recognition of two classes are formulated. Only limited information about the in-
dividual and joint probability characteristics of the features are used in the condi-
tions. The practical appropriateness of the got conditions is shown on the example of
decision of thermal and pseudothermal effects recognition of metal crystallization
process.
1. Горелик А.Л., Эпштейн С.С. Об условиях аддитивности информации в задачах распознава-
ния объектов и явлений // Кибернетика. — 1983. — № 6. — С. 85–88.
2. Гульчак М.Г. Об информативности совокупности признаков // Автоматика и телемеха-
ника. — 1970. — № 6. — С. 161–163.
3. Lewis P.M. The characteristic selection problem in recognition system // IRE Trans. Inform.
Theory. — 1962. — 8, N 2. — P. 171–178.
4. Барабаш Ю.Л. Учет свойств признаков при распознавании // Изв. АН СССР. Техн. кибер-
нетика. — 1965. — № 5. — С. 85-92.
5. Биргер И.А. Определение диагностической ценности признаков // Кибернетика. — 1968. —
№ 3. — С. 80-85.
6. Житецкий Л.С., Файнзильберг Л.С. Об информационном подходе к оценке полезности
признаков при статистическом распознавании образов // Изв. АН СССР. Техн. киберне-
тика. — 1983. — № 4. — С. 120–126.
7. Ковалевский В.А. Методы оптимальных решений в распознавании изображений. — М. :
Наука, 1976. — 328 с.
8. Барабаш Ю.Л., Б.В. Варский, Зиновьев В.Т. и др. Вопросы статистической теории распо-
знавания. — М. : Сов. радио, 1967. — 224 с.
9. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Т. 1. — М. : Гос.
изд-во физ.-мат. лит., 1958. — 607 с.
10. Файнзильберг Л.С. Новый подход к термическому анализу жидкой стали на углерод // Изв.
вузов. Черная металлургия. — 1980. — № 6. — С. 113–119.
11. Кочо В.С., Рудой П.С., Сукачев О.И. Скоростной метод определения содержания углерода
в пробе мартеновской стали. — М. : Черметинформация, 1970. Сер. 14, № 3. — С. 3–8.
12. Анфиногенова М.В. Математическое моделирование и исследование процессов теплообме-
на и кристаллизации металла в датчиках автоматического контроля состава стали : Авто-
реф. дис. ... канд. техн. наук. — М., 1976. — 26 с.
13. Румшиский Л.З. Математическая обработка результатов экспериментов. — М. : Наука,
1971. — 192 с.
14. Смирнов Н.В., Дунин-Барковский И.В. Курс теории вероятностей и метаматической стати-
стики для технических приложений. — М. : Наука, 1965. — 511 с.
15. Файнзильберг Л.С. К вопросу о безошибочном распознавании двух классов по совокупно-
сти пересекающихся признаков // Кибернетика. — 1982. — № 4. — С. 104–109.
16. Файнзильберг Л.С. Об одном подходе к задаче обучения распознаванию двух классов по
конечному числу наблюдений // Автоматика. — 1978. — № 5. — С. 46–50.
17. Загоруйко Н.В. Методы распознавания и их применение. — М. : Сов. радио, 1972. — 208 с.
Получено 10.03.2010
|
| id | nasplib_isofts_kiev_ua-123456789-210837 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Russian |
| last_indexed | 2026-03-18T05:19:36Z |
| publishDate | 2010 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Файнзильберг, Л.С. 2025-12-17T20:17:16Z 2010 Гарантированная оценка полезности признаков при статистическом распознавании двух классов / Л.С. Файнзильберг // Проблемы управления и информатики. — 2010. — № 5. — С. 95-110. — Бібліогр.: 17 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/210837 519.25 10.1615/JAutomatInfScien.v42.i10.40 Сформульовано формальні умови, що дозволяють гарантувати корисність ознак при статистичному розпізнаванні двох класів. При цьому використовуються лише обмежені дані про індивідуальні та спільні ймовірнісні характеристики ознак. Продемонстровано конструктивність отриманих умов на прикладі розв’язку задачі розпізнавання термічних та псевдотермічних ефектів процесу кристалізації металу The formal conditions allowing to guarantee the usefulness of features in statistical recognition of two classes are formulated. Only limited information about the individual and joint probability characteristics of the features are used in the conditions. The practical appropriateness of the got conditions is shown on the example of decision of thermal and pseudothermal effects recognition of metal crystallization process. ru Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Методы обработки информации Гарантированная оценка полезности признаков при статистическом распознавании двух классов Гарантована оцінка корисності ознак при статистичному розпізнаванні двох класів Guaranteed estimation of feature’s utility in statistical recognition of two classes Article published earlier |
| spellingShingle | Гарантированная оценка полезности признаков при статистическом распознавании двух классов Файнзильберг, Л.С. Методы обработки информации |
| title | Гарантированная оценка полезности признаков при статистическом распознавании двух классов |
| title_alt | Гарантована оцінка корисності ознак при статистичному розпізнаванні двох класів Guaranteed estimation of feature’s utility in statistical recognition of two classes |
| title_full | Гарантированная оценка полезности признаков при статистическом распознавании двух классов |
| title_fullStr | Гарантированная оценка полезности признаков при статистическом распознавании двух классов |
| title_full_unstemmed | Гарантированная оценка полезности признаков при статистическом распознавании двух классов |
| title_short | Гарантированная оценка полезности признаков при статистическом распознавании двух классов |
| title_sort | гарантированная оценка полезности признаков при статистическом распознавании двух классов |
| topic | Методы обработки информации |
| topic_facet | Методы обработки информации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/210837 |
| work_keys_str_mv | AT fainzilʹbergls garantirovannaâocenkapoleznostipriznakovpristatističeskomraspoznavaniidvuhklassov AT fainzilʹbergls garantovanaocínkakorisnostíoznakpristatističnomurozpíznavannídvohklasív AT fainzilʹbergls guaranteedestimationoffeaturesutilityinstatisticalrecognitionoftwoclasses |