Сучасні критерії оцінки точності класифікації аерокосмічних зображень
У статті розглянуто загальні властивості коефіцієнтів, які використовуються для оцінки точності тематичних карт. Запропоновано такі коефіцієнти, як середньокласова точність, загальна точність класифікації та κ-індекс. Проаналізовано оцінку точності тематичних карт за допомогою нечітких множин, запро...
Saved in:
| Published in: | Математичні машини і системи |
|---|---|
| Date: | 2013 |
| Main Author: | |
| Format: | Article |
| Language: | Ukrainian |
| Published: |
Інститут проблем математичних машин і систем НАН України
2013
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/84285 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Сучасні критерії оцінки точності класифікації аерокосмічних зображень / С.І. Альперт // Математичні машини і системи. — 2013. — № 4. — С. 187-197. — Бібліогр.: 14 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860236640933380096 |
|---|---|
| author | Альперт, С.І. |
| author_facet | Альперт, С.І. |
| citation_txt | Сучасні критерії оцінки точності класифікації аерокосмічних зображень / С.І. Альперт // Математичні машини і системи. — 2013. — № 4. — С. 187-197. — Бібліогр.: 14 назв. — укр. |
| collection | DSpace DC |
| container_title | Математичні машини і системи |
| description | У статті розглянуто загальні властивості коефіцієнтів, які використовуються для оцінки точності тематичних карт. Запропоновано такі коефіцієнти, як середньокласова точність, загальна точність класифікації та κ-індекс. Проаналізовано оцінку точності тематичних карт за допомогою нечітких множин, запропоновано побудувати нову матрицю помилок, де елементами будуть виступати нечіткі функції, такі як функції CONFUSION та AMBIGUITY. Також проаналізовано метод Демпстера-Шафера та запропоновано побудувати нову матрицю помилок для теорії Демпстера-Шафера.
В данной статье рассмотрены основные свойства коэффициентов, которые используются для оценки точности тематических карт. Предложены такие коэффициенты, как среднеклассовая точность, общая точность классификации и κ-индекс. Проанализирована оценка точности тематических карт с помощью нечетких множеств, предложено построить новую матрицу ошибок, где элементами будут выступать нечеткие функции, такие как функции CONFUSION и AMBIGUITY. Также проанализирован метод Демпстера-Шафера и предложено построить новые матрицы ошибок для теории Демпстера-Шафера.
In this article we discussed main properties of coefficients for accuracy assessment of thematic maps. We proposed such coefficients as class-averaged statistic, overall accuracies, and kappa statistic. We also analyzed accuracy assessment of thematic maps using fuzzy sets. We proposed to build a new error matrix, where elements were fuzzy functions, such as CONFUSION and AMBIGUITY functions. The method of Dempster-Shafer was analyzed. It was proposed to build a new error matrix for Dempster-Shafer Evidence Theory.
|
| first_indexed | 2025-12-07T18:24:58Z |
| format | Article |
| fulltext |
© Альперт С.І., 2013 187
ISSN 1028-9763. Математичні машини і системи, 2013, № 4
УДК 528.06
С.І. АЛЬПЕРТ*
СУЧАСНІ КРИТЕРІЇ ОЦІНКИ ТОЧНОСТІ КЛАСИФІКАЦІЇ АЕРОКОСМІЧНИХ
ЗОБРАЖЕНЬ
*
Науковий Центр аерокосмічних досліджень Землі ІГН НАН України, Київ, Україна
Анотація. У статті розглянуто загальні властивості коефіцієнтів, які використовуються для
оцінки точності тематичних карт. Запропоновано такі коефіцієнти, як середньокласова точ-
ність, загальна точність класифікації та κ-індекс. Проаналізовано оцінку точності тематичних
карт за допомогою нечітких множин, запропоновано побудувати нову матрицю помилок, де еле-
ментами будуть виступати нечіткі функції, такі як функції CONFUSION та AMBIGUITY. Також
проаналізовано метод Демпстера-Шафера та запропоновано побудувати нову матрицю помилок
для теорії Демпстера-Шафера.
Ключові слова: матриця помилок, κ-індекс, теорія Демпстера-Шафера з доведенням, інформація
Кульбака-Лейблера.
Аннотация. В данной статье рассмотрены основные свойства коэффициентов, которые исполь-
зуются для оценки точности тематических карт. Предложены такие коэффициенты, как сред-
неклассовая точность, общая точность классификации и κ-индекс. Проанализирована оценка
точности тематических карт с помощью нечетких множеств, предложено построить новую
матрицу ошибок, где элементами будут выступать нечеткие функции, такие как функции CON-
FUSION и AMBIGUITY. Также проанализирован метод Демпстера-Шафера и предложено по-
строить новые матрицы ошибок для теории Демпстера-Шафера.
Ключевые слова: матрица ошибок, κ-индекс, теория Демпстера-Шафера с доказательством,
информация Кульбака-Лейблера.
Abstract. In this article we discussed main properties of coefficients for accuracy assessment of thematic
maps. We proposed such coefficients as class-averaged statistic, overall accuracies, and kappa statistic.
We also analyzed accuracy assessment of thematic maps using fuzzy sets. We proposed to build a new
error matrix, where elements were fuzzy functions, such as CONFUSION and AMBIGUITY functions. The
method of Dempster-Shafer was analyzed. It was proposed to build a new error matrix for Dempster-
Shafer Evidence Theory.
Keywords: error matrix, kappa statistic, Dempster-Shafer Evidence Theory, Kullback-Leibler information.
1. Вступ
Метою даної статті є ознайомлення та порівняння різноманітних коефіцієнтів та їх власти-
востей, що використовуються для оцінки точності класифікації космічних зображень, а
саме, розглядаються такі коефіцієнти та індекси: κ-індекс, загальна точність класифікації,
середньокласова точність класифікації. В роботі будуть наведені певні недоліки κ-індексу.
Буде показано, що κ-індекс повинен використовуватися як коефіцієнт погодження, а не як
коефіцієнт оцінки точності; κ-індекс оцінюється тільки за допомогою діагональних елеме-
нтів, суми елементів рядків та стовпчиків матриці помилок. Усі недіагональні елементи не
враховуються, тобто, типи неправильних класифікацій не розрізняються й не розглядають-
ся. Пропонується інший коефіцієнт, альтернатива κ-індексу, в основі якого лежить інфор-
мація Кульбака-Лейблера.
Метою даної роботи є проведення порівняльного огляду сучасних критеріїв оцінки
точності класифікації космічних зображень. Ми розглянемо, як ці критерії оцінки точності
можуть бути застосовані для методу Демпстера-Шафера. Відомо, що при використанні
ймовірнісного підходу [1] кожному об’єкту відповідає одне значення ймовірності. В теорії
Демпстера-Шафера, на відміну від імовірнісного підходу, кожному об’єкту відповідають
дві ймовірності: нижня і верхня ймовірності (функція довіри і міра правдоподібності).
188 ISSN 1028-9763. Математичні машини і системи, 2013, № 4
Звідси випливає, що в теорії Демпстера-Шафера використовувати таку ж саму матрицю
помилок, як при ймовірнісному підході, ми не зможемо. В цьому випадку нам треба буде
побудувати нову матрицю помилок або декілька матриць, які будуть побудовані на основі
цих двох імовірностей: функції довіри та міри правдоподібності.
У роботі буде показано, що використання нечітких множин при оцінці точності ка-
рти дає більше інформації про природу, частоту, величину та джерело помилок у тематич-
них картах, ніж традиційні методи. У даній статті будуть описані та проаналізовані нечіткі
оператори, які можуть бути використані для більш детального аналізу помилок. Новизна
полягає у тому, що буде запропоновано використовувати нову матрицю помилок, елемен-
тами якої виступають нечіткі оператори. Даний підхід вже згадувався у статті С. Гопал та
К. Вудкока “Теорія та методи оцінки точності тематичних карт, використовуючи нечіткі
множини” [2]. Але цей підхід ще не був детально розроблений, проаналізований та засто-
сований для розв’язання задач класифікації космічних зображень.
2. Матриця помилок і коефіцієнти точності
Як відомо, метою і змістом класифікації космічних зображень є віднесення зображених
об’єктів до відповідних класів (категорій). Позначимо через показник
ijx кількість
об’єктів, які відкласифіковані на зображенні як такі, що належать до категорії ,jC хоча в
дійсності вони належать до категорії ,iC , 1, 2,..., ;i j r r= – загальна кількість класів (ка-
тегорій) об’єктів. З таких показників формується матриця помилок
11 1
1
,
r
rrr
x x
X
x x
=
…
⋮ ⋱ ⋮
⋯
(1)
яка є інформативною основою для оцінювання точності класифікації.
Надалі будемо використовувати такі позначення:
1
r
ij i
j
x x +
=
≡∑ – кількість об’єктів in з категорії iC ;
1
r
ij j
i
x x+
=
≡∑ – кількість об’єктів, віднесених при класифікації до категорії
jC ;
1
r
i
i
N n
=
≡∑ – кількість усіх ділянок.
З матриці помилок отримуються коефіцієнти для оцінки точності, а саме:
1
1
( ) / i
r
ii
i
C X
r
nx
=
= ∑ – середньокласова точність, (2)
де in – кількість тестових ділянок з категорії iC , де 1, 2, ..., ;i r=
1
1
( )
r
ii
i
A X
N
x
=
= ∑ – загальна точність класифікації, (3)
1
1
( / )
( )
/
r
ii i i
i
r
i i
i
x n x N
k X
N n x N
+
=
+
=
−
=
−
∑
∑
– κ-індекс, (4)
ISSN 1028-9763. Математичні машини і системи, 2013, № 4 189
де
1
r
i ij
i
x x+
=
≡∑ – кількість ділянок, віднесених до категорії .iC
Але у метода, що використовує матрицю помилок, є певні недоліки:
1) потреба у великих статистичних вибірках;
2) імовірнісний підхід не завжди підходящий, оскільки матриця помилок не завжди
відображає реальну точність класифікації, тобто не приймає до уваги поняття позиційної
точності.
Позиційні помилки відображають, наскільки точно вдається встановити відповід-
ність між координатами об’єкта на знімку та карті;
3) відповідність вимогам до розташування об’єктів на землі.
Також слід зауважити, що κ-індекс теж має певні недоліки. κ-індекс не є підходя-
щим коефіцієнтом для оцінки точності класифікації. Також κ-індекс не враховує недіаго-
нальні елементи, тобто не може бути застосований для розпізнавання типів неправильних
класифікацій. κ-індекс є мірою погодження між двома спостерігачами (двома джерелами
інформації) [3–5].
Розглянемо на прикладі, як обчислюються коефіцієнти, що використовуються для
оцінки точності класифікації, а саме: середньокласова точність, загальна точність класифі-
кації та κ-індекс.
Приклад 1
Спочатку розглянемо результат класифікації 2100 ділянок за двома категоріями: “дорога”
та “ліс”, що наведений у табл. 1.
Матриця помилок, що відповідає табл. 1, має вигляд 1
90 10
200 1800
X =
.
Для матриці 1X маємо: 2r = (кількість категорій).
Таблиця 1. Результат класифікації 2100 ділянок за
двома категоріями
Завіркові дані
Класифіковані
дані Загальна
сума
Дорога Ліс
Дорога
Ліс
90 10
200 1800
100
2000
Загальна сума 290 1810 2100
2
1
100 2000 2100;i
i
nN
=
≡ = + =∑
1
1
1 1 90 1800
( ) 0, 9
2 100 2000
/ i
r
ii
i
C X
r
nx
=
= = + =
∑ – середньокласова точність;
1
1
1 1
( ) (90 1800) 0, 9
2100
r
ii
i
A X
N
x
=
= = + =∑ – загальна точність класифікації;
Використовуючи формули
(2)–(4), обчислюємо коефіцієнти
точності для матриці помилок 1X .
11 2290; 1800x x= = (діагональні
елементи матриці 1).X
1 2100; 2000n n= = (суми елементів
у першому та другому рядках від-
повідно);
1 90 200 290;x+ = + =
2x+ = 10+1800 =1810 – кількість
ділянок, віднесених до першої та
другої категорій відповідно;
190 ISSN 1028-9763. Математичні машини і системи, 2013, № 4
1
1
1
100 290 2000 1810
90 1800
2100 2100
0, 4205
100 290 2000 1810
2100
2100 2100
( / )
( )
/
r
ii i i
i
r
i i
i
x n x N
k X
N n x N
+
=
+
=
⋅ ⋅
− + −
= ≈ −
⋅ ⋅
− +
−
=
−
∑
∑
κ-індекс.
3. Інформація Кульбака-Лейблера
Розглянемо альтернативний коефіцієнт для оцінки точності класифікації – інформацію
Кульбака-Лейблера, що вказує на взаємозв’язок між результатом повної класифікації (ви-
падок, коли всі ділянки відкласифіковані вірно) та дійсним результатом класифікації. Ін-
формація Кульбака-Лейблера визначається за формулою
|
1
log 0,
r
i i i
i
I pπ
=
= − ≥∑ (5)
де iπ – апріорні ймовірності категорій |,i i iC p – сукупність імовірностей того, що діля-
нки з категорії iC правильно віднесені до .iC Для зручності будемо надалі використо-
вувати ,IJ e−≡ оскільки J приймає значення від нуля до одиниці [6–8]. Оцінка, що має за
основу матрицю помилок ,X має вигляд
1
1
2( ) .
1
2
i
r ii
i
i
x
J X
n
π
=
+
≡
+
∏ (6)
Різниця між незалежними матрицями помилок X та Y має стандартний нормаль-
ний розподіл (0,1),N тобто:
2 2
log ( ) log ( )
ˆ ˆ( ) ( )
J X J Y
X Y
−
+δ δ
~ (0,1),N (7)
де |2 2
1 |
ˆ1ˆ ( )
ˆ
r
i i
i
i ii i
p
X
p n=
−
=∑δ π , (8)
|
1
2ˆ
1
2
ii
i i
i
x
p
n
+
=
+
. (9)
Розглянемо два типи апріорних імовірностей:
1
i r
π = (однакові апріорні ймовірності), (10)
i
i
n
N
π = (пропорційні апріорні ймовірності). (11)
Підставляючи вираз (10) у (6), маємо
ISSN 1028-9763. Математичні машини і системи, 2013, № 4 191
1
1
1
2( ) .
1
2
r
r ii
uni
i
i
x
J X
n=
+
≡
+
∏ (12)
Аналогічно, підставляючи вираз (11) у формулу (6), маємо
1
1
2( )
1
2
i
r ii
pro
i
i
N
n
x
J X
n=
+
≡
+
∏ , (13)
де
in та iix приймають великі значення, а коефіцієнти ( )uni XJ та ( )pro XJ апроксимую-
ються коефіцієнтами ( )*
uniJ X та * ( )pro XJ , що обчислюються за такими формулами:
1
1 1
,( ) ( )
i
r rr
ii ii
uni pro
i ii i
n
Nx x
J X J X
n n
∗ ∗
= =
≡ ≡
∏ ∏ . (14)
Коефіцієнти ( )uni XJ та ( )pro XJ задовольняють таким умовам:
1) ( )uni XJ та ( )pro XJ монотонно зростають, тоді, коли хоча б один діагональний елемент
зростає в незначному діапазоні;
2)
( ) 1, ( ) 1,
( ) 1, ( ) 1
uni pro
uni pro
X X
X X
J J
J J
≤ ≤
= = ⇔
коли всі ділянки класифіковані вірно;
3)
1
1
( ) (2 1) ,
( ) (2 1)
i
i
r
i
i
r
i
i
X n
X n
J
J
−
=
−
=
≥ +
= + ⇔
∏
∏
π
π
коли всі ділянки неправильно класифіковані.
Ця властивість також виконується для * ( )uni XJ та
* ( )pro XJ .
4)
( ) 0,
( ) 0
X
X
J
J
∗
∗
≥
= ⇔
коли всі ділянки принаймні з однієї категорії неправильно класифіковані.
Розглянемо на прикладі, як обчислюються дані коефіцієнти для матриці 1.X
Приклад 2
1 1
2 2
1
1
1
1 1
90 1800
2 2 0, 9003;
1 1
100 2000
2 2
1
2( )
1
2
r
r ii
uni
i
i
x
J X
n=
+ +
= ⋅ ≈
+ +
+
≡
+
∏
1 1
2 2
1
1
1
90 1800
0, 9;
100 2000
( )
r r
ii
uni
i i
x
J X
n
∗
=
= ⋅ =
≡
∏
192 ISSN 1028-9763. Математичні машини і системи, 2013, № 4
1 20
21 21
1
1
1 1
90 1800
2 2 0, 9,
1 1
100 2000
2 2
1
2( )
1
2
i
r ii
pro
i
i
N
n
x
J X
n=
+ +
= ⋅ ≈
+ +
+
≡
+
∏
де 1 2100 1 2000 20
;
2100 21 2100 21N N
n n
= = = = ;
1 20
21 21
1
1
90 1800
0,9
100 2000
( )
i
r
ii
pro
i i
n
Nx
J X
n
∗
=
= ⋅ =
≡
∏ .
4. Метод Демпстера-Шафера та його узагальнення
Розглянемо методику оцінки точності класифікації космічних зображень на основі підходу
Демпстера-Шафера. Цей підхід був детально розглянутий та проаналізований у роботах
Шафера, Абіді, Гонсалеса та ін. [9–10]. Зміст цього підходу полягає в тому, що точність
класифікації описується не одним числом, як в теорії ймовірностей, а кількома. Оскільки
баєсівська ймовірність не може ефективно описати незнання, тобто не може відділити від-
сутність довіри від недовіри. В теорії Демпстера-Шафера вводяться нижня і верхня ймові-
рності (функція довіри та міра правдоподібності) [11–12]. Також при використанні підходу
Демпстера-Шафера напряму використовувати матрицю помилок ми вже не зможемо. На-
шим новим завданням є побудова функції довіри і міри правдоподібності та побудова но-
вої матриці помилок чи декількох матриць помилок, що будуються на основі цих двох фу-
нкцій.
Нижня і верхня ймовірності визначаються за допомогою базової ймовірності. Базо-
ва ймовірність ( )im A “замикається” у підмножині
iA .
Нехай
0A – обмежена множина, а ( 1, 2, ...)i iA = – його підмножини, тоді базова
ймовірність визначається через функцію m , яка задовольняє таким умовам:
( ) 0,
( ) 1, ( 0,1,2,...).
i o
i
A A
m
m A i
⊆
∅ =
= =
∑ (15)
Нижня ймовірність визначається за допомогою базової ймовірності таким чином
[5]:
* ( ) .( )i
j i
j
A A
P A m A
⊆
= ∑ (16)
Верхня ймовірність визначається за формулою
*
*( ) 1 ( ).( ) 1
j i
i j
A A
i P A m AP A
⊆
= −= − ∑ (17)
Також важливе значення має правило комбінації Демпстера.
Нехай
1m і
2m – базові ймовірності гіпотези, отриманої з незалежних доведень, а
1iA та 2 jA ( ), 0,1,2,...i j = – відповідні центральні елементи. Тоді правило комбінації Демп-
стера задає нову базову ймовірність, яку можна представити за допомогою такої формули:
ISSN 1028-9763. Математичні машини і системи, 2013, № 4 193
1 2
1 2
1 1 2 2
1 1 2 2
( ) ( )
( ) ; ).
1 ( ) ( )
i j k
i j
i j
A A A
k k
i j
A A
m A m A
m A A
m A m A
∩ =
∩ =∅
= ( ≠ ∅
−
∑
∑
(18)
Новизна нашої пропозиції полягає у проведенні узагальнення методу, що викорис-
товує матрицю помилок. Головною нашою метою є побудова нової узагальненої матриці
помилок для теорії Демпстера-Шафера, коли кожному об’єкту відповідають два значення
ймовірності: функція довіри та міра правдоподібності. За допомогою такої нової матриці
ми зможемо ефективно описати незнання. Елементами нової матриці помилок будуть вже
не числа, які вказують на кількість об’єктів, які були правильно чи неправильно класифі-
ковані, а вже функції довіри чи міри правдоподібності. В теорії Демпстера-Шафера зна-
чення нижньої ймовірності гіпотези A може бути інтерпретовано як мінімальна міра дові-
ри у даному свідченні. Верхнє значення ймовірності є максимальною довірою у свідченні.
При застосуванні теорії Демпстера-Шафера ми отримуємо дві матриці помилок.
Перша матриця помилок буде мати такий вигляд
*
11 1* *
1* *
( ) ( )
( ) ( )
r
rrr
P x P x
P
P x P x
=
…
⋮ ⋱ ⋮
⋯
, (19)
де *( )ijP x – це нижня ймовірність того, що число тестових ділянок ijx , які в дійсності на-
лежать до категорії iC , віднесені до категорії jC , де , 1, 2,..., ;i j r= r – кількість даних кате-
горій.
Друга матриця помилок буде мати вигляд:
11 1
1
( ) ( )
,
( ) ( )
* *
*
* *
r
rrr
P x P x
P
P x P x
=
…
⋮ ⋱ ⋮
⋯
(20)
де ( )* ijP x – це верхня ймовірність того, що число тестових ділянок ,ijx які в дійсності
належать до категорії ,iC віднесені до категорії ,jC де , 1, 2,..., ;i j r= r – кількість даних
категорій.
5. Нечіткі множини та нечіткі оператори
Нечіткі множини використовуються для опису неточності та невизначеності у складних
системах. Нечітка множина визначається таким чином.
Нехай X – простір точок (об’єктів), x – загальний елемент простору .X Покладе-
мо, що X A≡ . Тоді множина A описується характеристичною функцією ,Aµ яка кожній
точці з простору X ставить у відповідність дійсне число з сегменту [0,1]. Значення ( )A xµ
у точці x представляє рівень наявності x у множині .A Це визначається таким чином:
{ }( , ( )) .AA x x x Xµ = ∈ (21)
Визначимо булевську функцію ,δ таку, що виконується:
194 ISSN 1028-9763. Математичні машини і системи, 2013, № 4
1, ,
( , )
0, .
x C
x C
x C
δ
∈
=
∉
Якщо ( , ( )) 1,x xδ χ = то існує відповідність між даними карти та експертними да-
ними на полігоні ,x а якщо ( , ( )) 0,x xδ χ = то маємо невідповідність між даними карти
та експертними даними.
Для кожної категорії C С∈ ми обчислюємо 2 функції [13–14]:
{ }
{ }
,( ) ( , ) 1
( ) ( , ) 0 .
c
c
x S x C і x C
x S x C і x C
= ∈ = =
= ∈ = =
ω χ δ
ω χ δ
(22)
Визначимо дві функції, які можуть бути використані як .δ
Одна з них називається MAX і визначається таким чином:
1, ( ) ( ) ,
( , )
0 , .
C C
якщо x x для C
M AX x C
в інших випадках
Сµ µ ′
′ ≥ ∀ ∈
=
(23)
Друга функція, яка може бути використана як δ , – це функція RIGHT.
Полігон x “належить” категорії ,C якщо її характеристична функція ( )C x ≥µ τ :
1, ( ) ,
( , )
0 , .
C
якщо x
RIG H T x C
в інших випадках
µ τ ≥
=
(24)
Для того, щоб виміряти величину помилки, наводиться функція : .S Z∆ → Для да-
ного полігону , ( )x x ∆ вимірює різницю між оцінкою, наданою полігону x в категорії
( )xχ на карті та самою вищою оцінкою, що надана полігону x серед усіх інших категорій
.C
( )
( )
( ) ( ) max ( ); 4 ( ) 4.
x C
C
C x
С
x x x xχ
χ
µ µ
∈
≠
∆ = − − ≤ ∆ ≤ (25)
Класові помилки виявляються за допомогою функції MEMBERSHIP, що визнача-
ється таким чином:
: ,N Zλ → яка вимірює кількість класів, до яких може належати даний полігон.
{ }( ) ( )
С
x C C і xС∈ ≥=λ µ τ , (26)
де τ – деяке порогове значення.
Важливе значення має також природа помилок. У традиційному підході інформація
про природу помилок міститься в недіагональних елементах матриці помилок. Але ми мо-
жемо побудувати аналогічні матриці помилок, де елементами будуть функції CONFUSION
та AMBIGUITY. Цей підхід вже згадувався у статті С. Гопал та К. Вудкока. “Теорія та ме-
тоди оцінки точності тематичних карт, використовуючи нечіткі множини” Але цей новий
підхід ще не був детально розроблений, вивчений та застосований при розв’язанні задач
класифікації.
ISSN 1028-9763. Математичні машини і системи, 2013, № 4 195
Функція CONFUSION : 2 CNζ → визначає категорії з більшим значенням харак-
теристичної функції, ніж значення характеристичної функції, яке надано категорії ( )xχ на
карті.
{ }( )( ) ( ) ( ) .C xx C C і x xС χζ µ µ= ∈ > (27)
Ми можемо побудувати нову узагальнену матрицю помилок, де елементами висту-
пають функції CONFUSION: для кожної пари категорій ,C C C′ ∈ ми рахуємо
C Cζ ′ − кількість полігонів ,x таких, що ( ) ( ) ( ).C Cx C і x xχ µ µ′= >
Маємо матрицю: .
AA AD
D DD A
ζ ζ
ζ ζ
Ζ =
…
⋮ ⋱ ⋮
⋯
Таблиця 2. Узагальнена матриця помилок, де елементами виступають функції CONFU-
SION
Позначення
на карті
Експертні оцінки
Клас A Клас B Клас C Клас D
Клас A
Клас B
Клас C
Клас D
AAζ
BAζ
CAζ
DAζ
ABζ
BBζ
CBζ
DBζ
ACζ
BCζ
CCζ
DCζ
ADζ
BDζ
CDζ
DDζ
Функція AMBIGUITY : 2 CNη → визначає кількість таких категорій, у яких зна-
чення характеристичної функції дорівнює значенню характеристичної функції, яке надано
категорії ( )xχ на карті.
{ }( )( ) ( ) ( ) .C xx C C і x xС χη µ µ= ∈ = (28)
Аналогічно знаходимо елементи матриці помилок, де елементами виступають фун-
кції AMBIGUITY: для кожної пари категорій ,C C C ∈′ ми рахуємо
C C ′η – кількість по-
лігонів x , таких, що ( ) ( ) ( ).C Cx C і x xξ µ µ′= =
Маємо матрицю: .
A A AD
D DD A
η η
η η
Ν =
…
⋮ ⋱ ⋮
⋯
Або ж запишемо отриманий результат у такій формі.
Зауважимо, що з цих двох узагальнених матриць ми можемо отримати коефіцієнти
для оцінки точності класифікації космічних зображень аналогічно, як у традиційному ймо-
вірнісному підході.
196 ISSN 1028-9763. Математичні машини і системи, 2013, № 4
Таблиця 3. Узагальнена матриця помилок, де елементами виступають функціїAMBIGUITY
Позначення
на карті
Експертні оцінки
Клас A Клас B Клас C Клас D
Клас A
Клас B
Клас C
Клас D
AAη
BAη
CAη
DAη
ABη
BBη
CBη
DBη
ACη
BCη
CCη
DCη
ADη
BDη
CDη
DDη
6. Висновки
У даній роботі було розглянуто й порівняно різноманітні коефіцієнти, що
використовуються для оцінки точності класифікації космічних зображень. Було показано,
що κ-індекс має певні недоліки і тому не може бути використаний для оцінки точності
класифікації. Також було запропоновано альтернативу κ-індексу − коефіцієнт, який побу-
дований на основі інформації Кульбака-Лейблера. Були отримані два коефіцієнти:
( )uni XJ та ( )pro XJ і їх апроксимації, які можуть бути використані для оцінки точності
класифікації. У статті були також перелічені властивості цих коефіцієнтів та їх апроксима-
цій.
Для того, щоб перевірити, чи певна ділянка була правильно класифікована, слід ви-
користовувати ( )pro XJ або його апроксимацію ( )pro XJ ∗ як коефіцієнти для оцінки точно-
сті. Отримані оцінки точності можуть бути використані для вивчення матриці помилок та
її властивостей.
Також у даній статті були розглянуті та проаналізовані різноманітні методи й під-
ходи для оцінки точності класифікації аерокосмічних зображень.
Було розглянуто ймовірнісний підхід, що застосовує матрицю помилок, наведені та
проаналізовані недоліки, властиві методу, що використовує матрицю помилок, запропоно-
вано нову методику оцінки точності класифікації космічних зображень на основі теорії
Демпстера-Шафера, яка дає змогу ефективно описати незнання, на відміну від імовірнісно-
го підходу, що базується на матриці помилок.
У теорії Демпстера-Шафера ми маємо дві функції: функцію довіри та міру правдо-
подібності. Нашим завданням є розробка методики побудови таких функцій. Також при
використанні підходу Демпстера-Шафера ми вже не зможемо напряму використовувати
матрицю помилок, а треба буде побудувати нову матрицю чи декілька матриць помилок на
основі функції довіри та міри правдоподібності. Цей підхід є новим, оскільки він ще дета-
льно не розглядався й не застосовувався при розв’язанні задач класифікації космічних зо-
бражень. У подальшому дана методика буде перевірятися підчас розв’язання тематичних
задач, якими займається Центр аерокосмічних досліджень. Це насамперед задачі, що сто-
суються класифікації лісів, сільськогосподарських земель та різних об’єктів [13–14].
Також у даній статті був описаний новий підхід для оцінки точності тематичних
карт, заснований на використанні нечітких множин. Цей метод має певні переваги над тра-
диційним підходом, що використовує матрицю помилок. Завдяки цьому методу ми отри-
муємо більше інформації про величину, частоту, природу та джерела помилок.
У роботі були описані нечіткі функції, які використовуються для оцінки точності
класифікації зображень. А саме: комбіноване використання функцій MAX і RIGHT дає
більше інформації про частоту помилок. Функції CONFUSION та AMBIGUITY надають
додаткову інформацію про природу помилок. Також ми в подальшому можемо побудувати
матриці помилок, елементами яких виступають ці функції. Цей підхід вже згадувався у
ISSN 1028-9763. Математичні машини і системи, 2013, № 4 197
статті С. Гопал та К. Вудкока, але ще не був досконало вивчений, проаналізований та за-
стосований при розв’язанні задач класифікації космічних зображень. Даний підхід є новим
і потребує детального подальшого вивчення та перевірки. Міра DIFFERENCE вказує на
величину помилок. Функція MEMBERSHIP вказує, де сконцентровані помилки, що згодом
дасть змогу ізолювати джерела помилок на карті. Методика, що використовує нечіткі
множини, може використовуватися для роботи з неточними та невизначеними даними [14].
Результати даної методики надають корисну інформацію як для виробника, так і для
споживача тематичних карт. Виробники можуть покращувати, вдосконалювати методи
побудови карт і надавати інформацію про точність класифікації зображень та помилки
споживачу.
СПИСОК ЛІТЕРАТУРИ
1. Congalton R.A. Review of Assessing the Accuracy of Classifications of Remotely Sensed Data /
R.A. Congalton // Remote Sensing of Environment. – 1991. – N 37. – P. 35 – 46.
2. Gopal S. Theory and Methods for Accuracy Assessment of Thematic Maps Using Fuzzy Sets /
S. Gopal, C. Woodcock // Photogrammetric Engineering @ Remote Sensing. – 1994. – Vol. 60, N 2. –
P. 181 – 188.
3. Story M. Accuracy assessment: A user’s perspective / M. Story, R.G. Congalton // Photogramm. Eng.
Remote Sensing. – 1986. – Vol. 52. – P. 397 – 399.
4. Brownlee K.A. Statistical theory and methodology in science and engineering / Brownlee K.A. – New
York: John Wiley and Sons, 1965. – P. 580 – 590.
5. Попов М.А. Методология оценки точности классификации объектов на космических изображе-
ниях / М.А. Попов // Проблемы управления и информатики. – 2007. – № 1. – C. 97 – 103.
6. Congalton R.G. Assessing Landsat classification accuracy using discrete multivariate analysis statistical
techniques / R.G. Congalton, R.G. Oderwald, R.A. Mead // Photogramm. Eng. Remote Sensing. – 1983. –
Vol. 1. – P. 1671 – 1678.
7. Janssen L.L.F. Accuracy assessment of satellite derived land-cover data: A review / L.L.F. Janssen,
F.J.M. van der Wel // Photogramm. Eng. Remote Sensing. – 1994. – Vol. 60. – P. 419 – 426.
8. Rosenfield G.H. A coefficient of agreement as a measure of thematic classification accuracy /
G.H. Rosenfield, K. Fitzpartrick-Lins // Photogramm. Eng. Remote Sensing. – 1986. – Vol. 52. – P. 223 –
227.
9. Hegarat-Mascle S. Application of Dempster-Shafer Evidence Theory to Unsupervised Classification in
Multisource Remote Sensing / S. Hegarat-Mascle, I. Bloch, D. Vidal-Madjar // IEEE TRANSACTIONS
ON GEOSCIENCE AND REMOTE SENSING. – 1997. – Vol. 35, N 4. – P. 1018 – 1031.
10. Abidi M.A. Data Fusion in Robotics and Machine Intelligence / M.A. Abidi, R.C. Gonzalez. – New
York: Academic, 1992. – P. 562 – 569.
11. Shafer G. A Mathematical Theory of Evidence / Shafer G. – Princeton, NJ: Princeton University Press,
1976. – P. 875 – 883.
12. Barnett J.A. Calculating Dempster-Shafer plausibility / J.A. Barnett // IEEE Trans. Pattern Anal. Ma-
chine Intell. – 1991. – Vol. 13. – P. 599 – 602.
13. Dubois D. Fuzzy Sets and Systems: Theoty and Applications / D. Dubois, H. Prade. – New York:
Academic Press, 1980. – P. 645 – 651.
14. Попов М.О. Сучасні погляди на інтерпретацію даних аерокосмічного дистанційного зондуван-
ня Землі / М.О. Попов // Космічна наука і технологія. – 2002. – Т. 8, № 2/3. – C. 110 – 115.
Стаття надійшла до редакції 26.06.2013
|
| id | nasplib_isofts_kiev_ua-123456789-84285 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1028-9763 |
| language | Ukrainian |
| last_indexed | 2025-12-07T18:24:58Z |
| publishDate | 2013 |
| publisher | Інститут проблем математичних машин і систем НАН України |
| record_format | dspace |
| spelling | Альперт, С.І. 2015-07-05T07:55:47Z 2015-07-05T07:55:47Z 2013 Сучасні критерії оцінки точності класифікації аерокосмічних зображень / С.І. Альперт // Математичні машини і системи. — 2013. — № 4. — С. 187-197. — Бібліогр.: 14 назв. — укр. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/84285 528.06 У статті розглянуто загальні властивості коефіцієнтів, які використовуються для оцінки точності тематичних карт. Запропоновано такі коефіцієнти, як середньокласова точність, загальна точність класифікації та κ-індекс. Проаналізовано оцінку точності тематичних карт за допомогою нечітких множин, запропоновано побудувати нову матрицю помилок, де елементами будуть виступати нечіткі функції, такі як функції CONFUSION та AMBIGUITY. Також проаналізовано метод Демпстера-Шафера та запропоновано побудувати нову матрицю помилок для теорії Демпстера-Шафера. В данной статье рассмотрены основные свойства коэффициентов, которые используются для оценки точности тематических карт. Предложены такие коэффициенты, как среднеклассовая точность, общая точность классификации и κ-индекс. Проанализирована оценка точности тематических карт с помощью нечетких множеств, предложено построить новую матрицу ошибок, где элементами будут выступать нечеткие функции, такие как функции CONFUSION и AMBIGUITY. Также проанализирован метод Демпстера-Шафера и предложено построить новые матрицы ошибок для теории Демпстера-Шафера. In this article we discussed main properties of coefficients for accuracy assessment of thematic maps. We proposed such coefficients as class-averaged statistic, overall accuracies, and kappa statistic. We also analyzed accuracy assessment of thematic maps using fuzzy sets. We proposed to build a new error matrix, where elements were fuzzy functions, such as CONFUSION and AMBIGUITY functions. The method of Dempster-Shafer was analyzed. It was proposed to build a new error matrix for Dempster-Shafer Evidence Theory. uk Інститут проблем математичних машин і систем НАН України Математичні машини і системи Моделювання і управління Сучасні критерії оцінки точності класифікації аерокосмічних зображень Современные критерии оценки точности классификации аэрокосмических изображений Modern criteria of classification accuracy assessment of aerospace images Article published earlier |
| spellingShingle | Сучасні критерії оцінки точності класифікації аерокосмічних зображень Альперт, С.І. Моделювання і управління |
| title | Сучасні критерії оцінки точності класифікації аерокосмічних зображень |
| title_alt | Современные критерии оценки точности классификации аэрокосмических изображений Modern criteria of classification accuracy assessment of aerospace images |
| title_full | Сучасні критерії оцінки точності класифікації аерокосмічних зображень |
| title_fullStr | Сучасні критерії оцінки точності класифікації аерокосмічних зображень |
| title_full_unstemmed | Сучасні критерії оцінки точності класифікації аерокосмічних зображень |
| title_short | Сучасні критерії оцінки точності класифікації аерокосмічних зображень |
| title_sort | сучасні критерії оцінки точності класифікації аерокосмічних зображень |
| topic | Моделювання і управління |
| topic_facet | Моделювання і управління |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/84285 |
| work_keys_str_mv | AT alʹpertsí sučasníkriterííocínkitočnostíklasifíkacííaerokosmíčnihzobraženʹ AT alʹpertsí sovremennyekriteriiocenkitočnostiklassifikaciiaérokosmičeskihizobraženii AT alʹpertsí moderncriteriaofclassificationaccuracyassessmentofaerospaceimages |