Метод визначення та підвищення узгодженості експертних оцінок за підтримання прийняття групових рішень
The issue of the assessment of an expert estimates consistency level for group decision making is considered. An analysis of bibliographic sources testifies that despite the availability of multiple practical tools and solutions for assessing the consistency index, all such methods have considerable...
Gespeichert in:
| Datum: | 2018 |
|---|---|
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Ukrainisch |
| Veröffentlicht: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2018
|
| Schlagworte: | |
| Online Zugang: | https://journal.iasa.kpi.ua/article/view/131984 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | System research and information technologies |
| Завантажити файл: |  |
Institution
System research and information technologies| _version_ | 1867334339882123264 |
|---|---|
| author | Tsyganok, Vitaliy V. Roik, Pavlo D. |
| author_facet | Tsyganok, Vitaliy V. Roik, Pavlo D. |
| author_institution_txt_mv | [
{
"author": "Vitaliy V. Tsyganok",
"institution": "Лабораторія систем підтримки прийняття рішень Інституту проблем реєстрації інформації НАН України, Київ"
},
{
"author": "Pavlo D. Roik",
"institution": "Інститут проблем реєстрації інформації НАН України, Київ"
}
] |
| author_sort | Tsyganok, Vitaliy V. |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2019-01-17T13:31:43Z |
| description | The issue of the assessment of an expert estimates consistency level for group decision making is considered. An analysis of bibliographic sources testifies that despite the availability of multiple practical tools and solutions for assessing the consistency index, all such methods have considerable shortcomings affecting significantly the accurateness of research results. The goal of this research paper is the development of a method for assessing the consistency between expert estimates, with the elimination of a number of key shortcomings of existing methods. It is suggested to calculate the consistency index using a spectral approach, under which expert estimates are presented as a spectrum on a bounded, continuous or discrete scale. The index is calculated as the normalized value of the sum of distances between expert estimates for all possible estimate pairs. This formula for calculating the consistency index has been tested for the function of squared pairwise differences in estimate pairs. The conducted analysis shows that the function of distance fits better for a detailed practical analysis of consistency between expert estimates. Imitation modeling has been carried out, and an evaluation has been offered for a threshold consistency value above which aggregation of expert estimates becomes possible. In order to make it possible to raise the level of consistency, a procedure for gathering feedback from an expert is proposed, provided that no pressure is put on him or her. |
| doi_str_mv | 10.20535/SRIT.2308-8893.2018.3.10 |
| first_indexed | 2025-07-17T10:23:59Z |
| format | Article |
| fulltext |
В.В. Циганок, П.Д. Роїк, 2018
110 ISSN 1681–6048 System Research & Information Technologies, 2018, № 3
TIДC
МЕТОДИ АНАЛІЗУ ТА УПРАВЛІННЯ
СИСТЕМАМИ В УМОВАХ РИЗИКУ
І НЕВИЗНАЧЕНОСТІ
УДК 519.816
DOI: 10.20535/SRIT.2308-8893.2018.3.10
МЕТОД ВИЗНАЧЕННЯ ТА ПІДВИЩЕННЯ УЗГОДЖЕНОСТІ
ЕКСПЕРТНИХ ОЦІНОК ЗА ПІДТРИМАННЯ ПРИЙНЯТТЯ
ГРУПОВИХ РІШЕНЬ
В.В. ЦИГАНОК, П.Д. РОЇК
Анотація. Розглянуто проблему визначення рівня узгодженості оцінок під час
групової експертизи. Завданням дослідження є розроблення методу визначен-
ня узгодженості експертних оцінок, позбавленого ряду ключових недоліків,
притаманних наявним методам. Запропоновано індекс узгодженості визначати
з використанням спектрального підходу, відповідно до якого оцінки експертів
відображуються у вигляді спектра на обмеженій, безперервній або дискретній
шкалі. Індекс обчислено як нормоване значення суми відстаней між оцінками
експертів для всіх можливих пар оцінок. Індекс узгодженості досліджено та-
кож для функції квадрата попарних різниць у парах оцінок. Проведений аналіз
засвідчив, що функція відстані більш придатна для ґрунтовного практичного
визначення узгодженості експертних оцінок. Проведено імітаційне моделю-
вання та запропоновано визначення порогового значення узгодженості, вище
якого стає допустимою агрегація експертних оцінок. Для підвищення рівня уз-
годженості запропоновано процедуру зворотного зв’язку з експертом за умови
неспричинення будь-якого тиску на нього.
Ключові слова: підтримання прийняття групових рішень, експертне оціню-
вання, індекс узгодженості експертних оцінок, спектральний підхід, поріг уз-
годженості, зворотний зв’язок з експертом.
ВСТУП
За підтримання прийняття рішень дуже важливо застосовувати групові екс-
пертизи, адже довіра до рекомендацій, сформованих на основі знань колек-
тиву фахівців, беззаперечно є значно вищою, ніж до сформованих однією,
хоч і дуже кваліфікованою особою. У багатьох випадках оцінки експертів
(їх переваги, судження тощо) можуть бути між собою недостатньо узгодже-
ними для того, щоб у результаті їх подальшого узагальнення (агрегації) мо-
жна отримувати достовірні результати. Тому дуже важливим аспектом є ви-
значення ступеня узгодженості суджень експертів, а також рівнів достатньої
для агрегації узгодженості. Натепер відомо досить велику кількість індексів
узгодженості експертних оцінок, багато з яких ґрунтуються на використанні
статистичних показників, проте такий підхід вбачається не досить доціль-
ним, оскільки зазвичай множина оцінок не є репрезентативною вибіркою
Метод визначення та підвищення узгодженості експертних оцінок за підтримання …
Системні дослідження та інформаційні технології, 2018, № 3 111
в статистичному сенсі (тобто у розгляданих випадках оцінок може бути
лише декілька).
СУТНІСТЬ ПРОБЛЕМИ
У цьому дослідженні пропонується використати спектральний підхід до по-
дання експертних оцінок, запропонований у праці [1] та удосконалений у
праці [2]. Сутність цього підходу полягає у формуванні на основі експерт-
них матриць парних порівнянь множини оцінок та поданні її у вигляді скла-
дових на обмеженій з обох кінців дискретній шкалі. Кожну цю складову
можна поставити у відповідність оцінці, наданій деяким експертом під час
групової експертизи. Набір таких складових зручно зображати у вигляді
спектра оцінок, приклад якого показано на рис. 1.
Застосування зазначеного підходу для визначення узгодженості з по-
двійним використанням формули ентропії запропоновано, як і деякі інші
підходи, у праці [3], у якій подано також коригування індексу, наведеного
у праці [1], з метою обмеження його області значень діапазоном [0,1] і не-
можливості потрапляння в область від’ємних значень.
Деякі практичні приклади свідчать про те, що функція індексу узго-
дженості [1] інколи поводить себе немонотонно у випадку зміни положення
(значення) оцінок відносно середнього узагальненого значення.
Тому завдання розроблення методу визначення узгодженості, позбав-
леного таких недоліків, вбачається актуальними. Актуальність ще зумовлю-
ється тим, що експертні оцінки іноді без значної втрати точності важко по-
дати на дискретній шкалі, і постає потреба у визначенні узгодженості з
використанням оцінок як дійсних чисел на неперервних шкалах.
ПОСТАНОВКА ЗАВДАННЯ ДОСЛІДЖЕННЯ
Сформулюємо вимоги до індексу узгодженості, які випливають зі зручності
та доцільності його використання.
Отже, щоб розробити метод визначення ступеня узгодженості, взято до
уваги такі базові постулати (аксіоми).
Аксіома 1. Під час експертного оцінювання завжди існує деяка «істин-
на» оцінка, визначення якої є метою проведення групової експертизи.
Аксіома 2. Ця «істинна» оцінка відповідає деякому усередненому зна-
ченню множини індивідуальних оцінок експертів.
Рис. 1. Приклад зображення спектра, що відповідає набору оцінок різних експертів
{2,2,2,2,3,4,4,4,4,4,4,4,4,5,5,5}
1 2 3 4 5 6 7 8 9 10
В.В. Циганок, П.Д. Роїк
ISSN 1681–6048 System Research & Information Technologies, 2018, № 3 112
Аксіома 3. Множину індивідуальних експертних оцінок можна подати
на обмеженій з обох боків на числовій неперервній або дискретній шкалі.
Аксіома 4. Максимальний рівень узгодженості (1.0) досягається тоді, і
тільки тоді, коли всі експерти вибрали одну й ту саму оцінку.
Аксіома 5. Індекс узгодженості повинен бути незалежним від зсувів
оцінок, тобто множина оцінок {1,2,5} матиме той самий індекс, що і {4,5,8}.
Аксіома 6. За однієї і тієї самої множини оцінок збільшення розміру
шкали підвищує індекс узгодженості і навпаки.
Аксіома 7. Незалежність від розміру шкали: якщо деяка множина оці-
нок більш узгоджена, ніж інша на певній шкалі, то вона є більш узгодженою
і в будь-якій іншій шкалі.
Аксіома 8. Індекс повинен мати властивість масштабованості: за ліній-
них змін (одночасного пропорційного збільшення/зменшення) розмірів
шкали і значень усіх оцінок індекс узгодженості залишається незмінним.
АНАЛІЗ ЛІТЕРАТУРИ З ВИЗНАЧЕННЯ УЗГОДЖЕНОСТІ ЕКСПЕРТНИХ
ОЦІНОК
Провівши вторинний аналіз бібліографічних джерел, можна стверджувати,
що у спеціалізованій літературі чимало уваги приділено окресленій задачі.
Дослідниками запропоновано низку індексів для визначення рівня узгодже-
ності експертних оцінок. Такі індекси мають як переваги, так і недоліки, од-
нак, на нашу думку, жоден з них не гарантує необхідного рівня достовірнос-
ті для застосування в практичних умовах на статистичних вибірках різного
масштабу. Отже, варто проаналізувати такі запропоновані інструменти та їх
специфіку.
1. Стандартне відхилення вибірки (sample standard deviation), Шмідт і
Гантер [4]. Цей інструмент оцінює рівень узгодженості через дисперсію від
середнього значення. Індекс демонструє високу розбіжність значень для різ-
них вибірок і не гарантує однорідного визначення узгодженості.
2. Коефіцієнт варіації (coefficient of variation). Цей індекс визначає уз-
годженість через дисперсію стандартного відхилення вибірки. Його основ-
ний недолік такий самий, як і індексу стандартного відхилення.
3. Індекс скоригованого середнього відхилення (adjusted average
deviation index) [5]. Цей індекс подібний до стандартного відхилення вибір-
ки, але дозволяє досягнути більш достовірних результатів завдяки враху-
ванню аспекту згоди між експертами. Недолік цього інструменту — не ви-
конується аксіома 6.
4. Індекси wgr [6] і
wgr [7]. Головний недолік це те, що індекси для
множин оцінок {1,1,1,1,10,10,10,10}, {1,1,4,4,7,7,10,10} (рівномірні розпо-
діли) є однаковими.
5. Індекс wga [8]. Цей індекс подібний до wgr і доповнює його. Однак
істотний недолік цього індексу — це можливість отримання від’ємних зна-
чень.
6. Спектральний показник узгодженості (spectral consistency factor) [9].
Його головний недолік — індекс не є неперервним.
Метод визначення та підвищення узгодженості експертних оцінок за підтримання …
Системні дослідження та інформаційні технології, 2018, № 3 113
7. Зважений індекс спарювання (weіghted paіrіng іndex) [10]. Цей індекс
ґрунтується на визначенні відстані відхилення експертних оцінок від серед-
нього показника групи. Його основний недолік — індекс дає надто високі
значення для рівномірних розподілів.
8. Критерій узгодженості Пірсона (Pearson’s statіstіc). Його недолік —
ураховуються частоти оцінок, а не їх значення, тобто {1,1,5,5} і {1,1,4,4,}
мають один і той самий індекс.
9. Індекс подвійної ентропії (double entropy іndex) [3]. Цей індекс вра-
ховує міру інформації оцінок і їх частоти. Його головний недолік — немо-
нотонність оцінок (тобто з віддаленням однієї оцінки від основної множини
оцінок індекс спочатку зменшується, а потім збільшується),
Таким чином, виходячи з наведеного огляду, можна дійти висновку, що
наявні в літературі інструменти не надають надійних засобів для вирішення
завдань, поставлених у межах поточного дослідження. Це свідчить про ак-
туальність пошуку оптимальної функції для дослідження рівня узгодженості
експертних оцінок.
ЗАПРОПОНОВАНИЙ ВАРІАНТ РОЗВ’ЯЗАННЯ ЗАДАЧІ
Пропонується індекс узгодженості подати у вигляді такого виразу:
M
xxf
I= ji ji |)(|
,
де ix — оцінка i-го експерта; M — значення для найбільш неузгодженого
випадку.
Отже, індекс узгодженості — це сума відстаней між оцінками для всіх
можливих пар оцінок експертів. Запропонована функція f має таку власти-
вість: 0)( xf , якщо 0x , та 0)( xf , якщо 0x . Тому логічно і прави-
льно було б цей індекс називати індексом неузгодженості, адже мінімум
функції відповідає повній / найбільшій узгодженості оцінок.
Із викладених вище умов: 0I і мінімум досягається тоді, і тільки то-
ді, коли всі значення змінних (оцінки) однакові. Крім того, для обох цих фу-
нкцій максимум I досягається тоді, коли половина оцінок міститься на од-
ному кінці шкали, а половина — на другому. У випадку, коли кількість
оцінок непарна, «зайва» оцінка може бути на будь-якому кінці інтервалу.
Визначення цього максимуму в певному сенсі йде врозріз із підходами
тих авторів, які вважають, що максимум повинен досягатися, коли всі оцін-
ки рівномірно розподілені на всій шкалі. Але на практиці не дуже важливо,
де функція досягає максимуму, оскільки всі випадки великої неузгодженос-
ті, описані вище (та інші), не можуть використовуватися для подальшої аг-
регації оцінок експертів. Узгодженість у цих випадках необхідно «покращу-
вати»; важливо лише, щоб функція задовольняла базові аксіоми.
Тепер визначимо формально, який саме набір оцінок є найбільш не-
узгодженим для запропонованого індексу узгодженості. Для цього, очевид-
но, потрібно знайти максимум ji ji xxf |)(| . Оскільки залежно від фун-
кції f максимум буде різним, проведімо аналіз, коли 2xf (варто
зазначити, що для функції || xf результат буде таким самим).
В.В. Циганок, П.Д. Роїк
ISSN 1681–6048 System Research & Information Technologies, 2018, № 3 114
Отже, знайдімо максимум функції ji ji xxF 2)( .
Нехай маємо n експертів, що голосують на шкалі [1, s], нехай
nisxx ii ..1],,1[, — голос i-го експерта. Без втрати загальності вважа-
тимемо, що 1..1,1 nixx ii .
Розглянемо таку задачу:
.
,1
;1..1,
;..1,max)(
1
1
2
sx
x
nixx
njixx
n
ii
ji
ji
Перепишемо задачу у вигляді:
.0
;01
;1..1,0
;..1,max)(
1
1
2
n
ii
ji
ji
xs
x
nixx
njixx
Лагранжіан має вигляд [11]
)()1()()( 1
1
1
1i
2
n
n
i
ii
ji
ji xsxxxxxL
.
Тепер знайдемо умови оптимальності:
;0)(2
1
11
1
n
i
ixx
x
L
;1..2,0)(2
1
1
nkxx
x
L n
i
kkik
k
;0)(2
1
1
n
i
nin
n
xx
x
L
;0)1( 1 x
0)( nxs
;1..1,0)( 1 nixx iii
;1..1,1 nixx ii
;11 x
;sxn
Метод визначення та підвищення узгодженості експертних оцінок за підтримання …
Системні дослідження та інформаційні технології, 2018, № 3 115
.1..1,0,0,0 nii
Додаючи перші n рівнянь, отримуємо:
n
i
ixx
1
11 )(2
1
2 1
1)(2
n
k
n
i
kkik xx
n
i
nin xx
1
1 0)(2 ;
02
11
n
i
i
n
i
i nxxn ;
0 ,
.
Розглянемо випадок, коли 0 .
Тут перші n рівнянь матимуть вигляд:
n
i
ixx
x
L
1
11
1
0)(2 ;
1..2,0)(2
1
1
nkxx
x
L n
i
kkik
k
;
n
i
nin
n
xx
x
L
1
1 0)(2 .
Із рівняння
n
i
ixx
1
11 0)(2 (оскільки 1x найменше, а 01 ) ви-
пливає, що 1..2,1 nixx i , але цей випадок мінімізує функцію, тому він
не підходить.
Розглянемо тепер випадок, коли 0 . Тут sxx n ,11 .
Рівняння набувають такого вигляду:
n
i
ix
x
L
1
1
1
0)1(2 ;
1..2,0)(2
1
1
nkxx
x
L n
i
kkik
k
;
n
i
ni
n
xs
x
L
1
1 0)(2 ;
1..1,0)( 1 nixx iii ;
1..1,1 nixx ii .
В.В. Циганок, П.Д. Роїк
ISSN 1681–6048 System Research & Information Technologies, 2018, № 3 116
Розв’язуючи цю систему нелінійних рівнянь числовим методом за до-
помогою програмних засобів, отримуємо, що коли n парне, то розв’язок має
вигляд
22
...,1...1
nn
ss , а якщо непарне – то
2
1
2
1
...,1...1
nn
ss або
2
1
2
1
...,1...1
nn
ss .
ПОРОГОВЕ ЗНАЧЕННЯ ІНДЕКСУ УЗГОДЖЕНОСТІ
Отже, узгодженість оцінок експертів визначається метою подаль-
шої перевірки на коректність виконання агрегації цих оцінок. Тобто для
отримання достовірних результатів під час агрегації потрібно, щоб рівень
узгодженості був достатньо високим. Інакше може статись ситуація, як у
класичному прикладі про стрільбу по мішені, коли в результаті агрегації
двох неточних влучень у лівий і у правий край мішені отримано агреговане
влучення у центр мішені. Таким чином, постає актуальна задача визначення
цього порогового значення узгодженості, за якого агрегація є допустимою і
доцільною.
Для розуміння ходу розв’язання цієї задачі наведемо деякі міркування,
що випливають із проведених досліджень. Припустімо, що експерт голосує
навмання, і припустімо також, що розподіл оцінок відбувається згідно з
трикутним законом (рис. 2), тобто експерт має тенденцію до центрування
оцінок.
Для перевірки результатів застосування різних функцій візьмімо до
уваги ситуацію, коли 30 експертів навмання ставлять оцінку 15 000 разів:
I залежно від f відповідає різним законам розподілу.
Якщо 2xf , то закон розподілу має вигляд, як на рис. 3.
Як можна бачити з графіка, за 2xf розподіл виразно тяжіє правобіч
на горизонтальній осі. Тенденція до тяжіння праворуч свідчить про те, що
Рис. 2. Приклад зображення трикутного закону розподілу оцінок
Метод визначення та підвищення узгодженості експертних оцінок за підтримання …
Системні дослідження та інформаційні технології, 2018, № 3 117
виставлені навмання 30 експертами 15 000 оцінок демонструють дуже ви-
сокий рівень узгодженості.
Для визначення порога у межах цього дослідження пропонується взяти
пороговий індекс, що дорівнює 0,95 квантилі (0,95 вибрано шляхом емпіри-
чних досліджень). Для наведеного вище розподілу порогове значення дорів-
нює 0,94. Таким чином, за 2xf маємо дуже велике порогове значення,
якого важко досягнути за нормальних умов, коли експерти ставлять реальні
оцінки відповідно до своїх уподобань, а не діють навмання.
Також можемо констатувати, що для 2xf досягається велике зна-
чення індексу узгодженості: 0,57. В умовах реального експертного оціню-
вання таке велике значення вбачається малоймовірним, що ще раз підтвер-
джує низький рівень придатності такої функції для вирішення практичних
завдань у межах поставленої задачі.
Отже, варто розглянути інший варіант функції, який краще задовольня-
тиме встановлені вимоги.
Для xf закон має вигляд рис. 4.
Як видно з графіка, для xf досягається набагато рівномірніший ро-
зподіл, який тяжіє до центра, а не до периферії на горизонтальній осі. Поро-
гове значення за порогового індексу 0,95 дорівнює 0,73. Таким чином, мож-
на стверджувати, що порогове значення для xf істотно нижче ніж таке
значення для 2xf (0,94 проти 0,73), що є свідченням більшої кореляції
розподілу експертних оцінок, розставлених навмання, з можливим розподі-
лом експертних оцінок, отриманих в умовах реального оцінювання.
Крім того, за такого рівномірного розподілу досягається істотно нижче
значення узгодженості: 0,26 для xf проти 0,57 для 2xf . Це може бути
підтвердженням більшої адаптованості функції до умов реальних статисти-
Рис. 3. Приклад зображення закону розподілу оцінок для функції 2xf
В.В. Циганок, П.Д. Роїк
ISSN 1681–6048 System Research & Information Technologies, 2018, № 3 118
чних досліджень, а тому свідчить про кращу придатність функції для вико-
ристання в межах поставлених задач.
ВИБІР ФУНКЦІЇ ШЛЯХОМ ПОРІВНЯЛЬНОГО АНАЛІЗУ
Розглядалися функції xf і 2xf .
Функція xf вбачається більш прийнятною, оскільки:
1) рівномірний розподіл повинен мати якомога менший індекс узго-
дженості, для |x| це 0,26, для 2x це 0,57;
2) поріг застосування множини експертних оцінок для 2x вищий (0,94
проти 0,73).
Таким чином, функція xf утворює розподіл, більш придатний для
ґрунтовного практичного застосування у складі індексу узгодженості.
ПРОЦЕДУРА ПОКРАЩЕННЯ УЗГОДЖЕНОСТІ
У випадку, якщо індекс узгодженості менший ніж поріг необхідної для ви-
конання агрегації узгодженості, пропонується процедура зворотного зв’язку
з експертом для її підвищення.
У ході підвищення узгодженості ставляться дві цілі: 1) питання до екс-
перта мають бути ненав’язливими (тобто не чинити тиск на експерта);
2) кількість питань повинна бути мінімальною.
Отже, нехай експерти дали свої оцінки nixi ..1,* , індекс узгодженості
виявився нижче від порога узгодженості.
Для кожного експерта i фіксуємо оцінки всіх інших експертів, а оцін-
ку i-го експерта варіюємо, і знаходимо значення, за якого індекс узгоджено-
Рис. 4. Приклад зображення закону розподілу оцінок для функції || xf
Метод визначення та підвищення узгодженості експертних оцінок за підтримання …
Системні дослідження та інформаційні технології, 2018, № 3 119
сті становиться максимальним, тобто розв’язуємо задачу максимізації функ-
ції ji jii xxfxF |)(|)( .
У випадку якщо 2xf , то ji jii xxxF 2)()( , і максимум досяга-
ється, коли niijxxxF ji jii ,..1,..1,0)(2)( , тобто коли
1
,1
n
x
x
n
ijj j
i (середнє арифметичне оцінок інших експертів).
Аналогічне значення можна знайти, коли xf (це буде медіана оці-
нок інших експертів).
Далі визначаємо експерта, який найбільше максимізував індекс узго-
дженості.
Запитуємо, чи бажає він змінити свою оцінку. Якщо відповідь — «ні»,
переходимо до наступного за ним експерта. Якщо відповідь — «так», то
просимо надати нову оцінку. Якщо надана ним оцінка збільшила індекс уз-
годженості, замінюємо його попередню оцінку новою, якщо ні — то просто
запам’ятовуємо цю ситуацію для подальшого аналізу.
Описаний вище алгоритм скінченний, оскільки кожен експерт запиту-
ється максимум один раз.
Алгоритм закінчує свою роботу у випадку, коли потрібний рівень узго-
дженості досягнуто або коли неможливо досягти порога.
Приклад роботи алгоритму у формі діалогових повідомлень:
Уведіть максимальне значення на шкалі (5–100): 10.
Уведіть кількість експертів (2–25): 5.
Яку функцію використовувати (модуль (1) чи квадрат (2))?:1.
Розраховуємо порогове значення (95% персентиль)...
Пороговий індекс узгодженості дорівнює 0,82.
Уведіть оцінку експерта 1 ([1, 10]): 7.
Уведіть оцінку експерта 2 ([1, 10]): 3.
Уведіть оцінку експерта 3 ([1, 10]): 6.
Уведіть оцінку експерта 4 ([1, 10]): 7.
Уведіть оцінку експерта 5 ([1, 10]): 1.
Розраховуємо індекс узгодженості...
Індекс узгодженості дорівнює 0,41.
Намагаємося підвищити рівень узгодженості...
Експерте 5. Чи хочете змінити вашу оцінку (була 1,0) (так (1) або ні
(0))?: 1.
Експерте 5. Яка ваша нова оцінка (була 1,0)?: 7.
Індекс узгодженості підвищився, дорівнює 0,67.
Експерте 2. Чи хочете змінити вашу оцінку (була 3,0) (так (1) або ні
(0))?: 1.
Експерте 2. Яка ваша нова оцінка (була 3,0)?: 6.
В.В. Циганок, П.Д. Роїк
ISSN 1681–6048 System Research & Information Technologies, 2018, № 3 120
Індекс узгодженості підвищився, дорівнює 0,89.
Фінальний індекс узгодженості дорівнює 0,89.
Оцінки: 7.0, 6.0, 6.0, 7.0, 7.0.
ОБМЕЖЕННЯ ОБРАНОЇ МОДЕЛІ
Обрана модель ґрунтується на теоретичному дослідженні недоліків та пере-
ваг інших моделей. Вибір здійснювався шляхом порівняння потенційних
експертних оцінок, отриманих оцінюванням навмання. Моделі бракує емпі-
ричного підтвердження її застосуванням у межах реальних досліджень за
участю експертів для підтвердження релевантності отриманих результатів.
Важливим є той факт, що модель може давати потенційно різні резуль-
тати залежно від обсягу вибірки. На базі виконаних досліджень можна ви-
сунути припущення, що модель може демонструвати більші відхилення
в межах досліджень з умовно малою вибіркою, через що застосування вису-
нутих гіпотез на практиці може обмежуватися зазначеними відхиленнями.
Провести емпіричний аналіз для порівняння практичних і теоретичних
результатів у межах цієї роботи неможливо через наявні обмеження часо-
вих, фінансових та людських ресурсів, однак можна рекомендувати його для
подальшого дослідження. Можна також використати й інші функції, крім
модуля та квадрата відстані між оцінками, але вони надто складні для пода-
льшого аналізу.
ВИСНОВОК
Попри наявні обмеження, запропонована модель дозволяє ефективно забез-
печувати умови узгодженості експертних оцінок у групі, необхідні для ви-
конання агрегації. Використовуючи запропоновану модель, можна обійти
або мінімізувати недоліки, притаманні іншим моделям. Зокрема для обрано-
го підходу характерні такі переваги: він придатний для неперервного випад-
ку, задовольняє всі описані аксіоми. Вагомою перевагою є практична прос-
тота моделі та високий рівень достовірності для оцінювання рівня
узгодженості експертних оцінок за різних варіантів їх розподілу між край-
німи величинами оцінок. Запропонований підхід до підвищення узгоджено-
сті оцінок у групі дає змогу не чинити тиск на експерта, оскільки напрям
бажаної зміни для підвищення узгодженості попередньо наданої оцінки не
вказується. Рекомендується подальше опрацювання запропонованого підхо-
ду та його дослідження в межах практичних задач аналізу розподілу експер-
тних оцінок для різних за обсягом статистичних вибірок.
ЛІТЕРАТУРА
1. Totsenko V.G. The Agreement Degree of Estіmatіons Set wіth Regard of Experts
Competency / V.G. Totsenko // Proceedіngs of the Fourth Іnternatіonal
Symposіum on the Analytіc Hіerarchy Process. Sіmon Fraser Unіversіty. —
Vancouver, Canada. — 1996. — P. 229–241.
Метод визначення та підвищення узгодженості експертних оцінок за підтримання …
Системні дослідження та інформаційні технології, 2018, № 3 121
2. Циганок В.В. Елементи комбінаторного підходу при визначенні спектрального
коефіцієнта узгодженості експертних парних порівнянь / В.В. Циганок //
Реєстрація, зберігання і обробка даних. — 2012. —Т. 14, № 2. — С. 98–105.
3. Olenko A. Double Entropy Іnter-Rater Agreement Іndіces, Applіed Psychologіcal
Measurement / A. Olenko, V. Tsyganok. — 2016. — Vol. 40(1). — P. 37–55.
4. Schmidt F.L. Interrater Reliability Coefficients Cannot be Computed When Only
One Stimulus is Rated / F.L. Schmidt, J.E. Hunter // Journal of Applied Psychol-
ogy. — 1989. — 74. — P. 368–370.
5. Burke M.J. On Average Deviation Indices for Estimating Interrater Agreement /
M.J. Burke, L.M. Finkelstein, M.S. Dusig // Organizational Research Methods.
— 1999. — 2. —P. 49–68.
6. James L.R. Estimating Within-Group Interrater Reliability With and Without Re-
sponse Bias / L.R. James, R.G. Demaree and G. Wolf // Journal of Applied Psy-
chology. — 1984. — 69. — P. 85–98.
7. Lindell M.K. A Revised Index of Agreement for Multi-Item Ratings of a Single Tar-
get / M.K. Lindell, C.J. Brandt, D.J. Whitney // Applied Psychological Measure-
ment. — 1999. — 23. — P. 127–135
8. Brown R.D. Interrater Agreement Reconsidered: An Alternative to the rwg Indices /
R.D. Brown, N.M.A. Hauenstein // Organizational Research Methods. —
2005. — 8. — P. 165–184.
9. Zgurovsky M.Z. Group Incomplete Paired Comparisons with Account of Expert
Competence / M.Z. Zgurovsky, V.G. Totsenko, V.V. Tsyganok // Mathematical
and Computer Modelling. — 2004. — 39(4–5). — P. 349–361.
10. Cicchetti D.V. (1997). A New Method for Assessing Interexaminer Agreement when
Multiple Ratings are Made on a Single Subject: Applications to the Assessment
of Neuropsychiatric Symtomatology / D.V. Cicchetti, D. Showalter,
R. Rosenheck // Psychiatry research. — 1997. — 72(1). — P. 51–63.
11. Constrained Optimization. — Available at: http://mat.gsia.cmu.edu/classes/
QUANT/NOTES/chap4/node6.html on 11-may-18).
Надійшла 24.05.2018
|
| id | journaliasakpiua-article-131984 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Ukrainian |
| last_indexed | 2025-07-17T10:23:59Z |
| publishDate | 2018 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/36/a08d90ae770d406f4cfc6ee2627a4f36.pdf |
| spelling | journaliasakpiua-article-1319842019-01-17T13:31:43Z Method for evaluating and improving of the expert estimates consistency in group decision-making Метод определения и повышения согласованности экспертных оценок при поддержке принятия групповых решений Метод визначення та підвищення узгодженості експертних оцінок за підтримання прийняття групових рішень Tsyganok, Vitaliy V. Roik, Pavlo D. group decision making expert estimation index of consistency of expert estimates spectral approach consistency threshold expert feedback поддержка принятия групповых решений экспертное оценивание индекс согласованности экспертных оценок спектральный подход порог согласованности обратная связь с экспертом підтримка прийняття групових рішень експертне оцінювання індекс узгодженості експертних оцінок спектральний підхід поріг узгодженості зворотний зв'язок з експертом The issue of the assessment of an expert estimates consistency level for group decision making is considered. An analysis of bibliographic sources testifies that despite the availability of multiple practical tools and solutions for assessing the consistency index, all such methods have considerable shortcomings affecting significantly the accurateness of research results. The goal of this research paper is the development of a method for assessing the consistency between expert estimates, with the elimination of a number of key shortcomings of existing methods. It is suggested to calculate the consistency index using a spectral approach, under which expert estimates are presented as a spectrum on a bounded, continuous or discrete scale. The index is calculated as the normalized value of the sum of distances between expert estimates for all possible estimate pairs. This formula for calculating the consistency index has been tested for the function of squared pairwise differences in estimate pairs. The conducted analysis shows that the function of distance fits better for a detailed practical analysis of consistency between expert estimates. Imitation modeling has been carried out, and an evaluation has been offered for a threshold consistency value above which aggregation of expert estimates becomes possible. In order to make it possible to raise the level of consistency, a procedure for gathering feedback from an expert is proposed, provided that no pressure is put on him or her. Рассмотрена проблема определения уровня согласованности оценок при групповой экспертизе. Задачей исследования является разработка метода определения уровня согласованности экспертных оценок, лишенного ряда ключевых недостатков, присущих имеющимся методам. Предложен индекс согласованности определять с использованием спектрального подхода, согласно которому оценки экспертов отображаются в виде спектра на ограниченной, непрерывной или дискретной шкале. Индекс вычислен как нормированное значение суммы расстояний между оценками экспертов для всех возможных пар оценок. Индекс согласованности исследован также для функции квадрата попарных разностей в парах оценок. Проведенный анализ подтвердил, что функция расстояния более пригодна для основательного практического определения согласованности экспертных оценок. Проведено имитационное моделирование и предложено определение порогового значения согласованности, выше которого становится допустимой агрегация экспертных оценок. Для улучшения уровня согласованности предложена процедура обратной связи с экспертом при условии непричинения какого-либо давления на него. Розглянуто проблему визначення рівня узгодженості оцінок під час групової експертизи. Завданням дослідження є розроблення методу визначення узгодженості експертних оцінок, позбавленого ряду ключових недоліків, притаманних наявним методам. Запропоновано індекс узгодженості визначати з використанням спектрального підходу, відповідно до якого оцінки експертів відображуються у вигляді спектра на обмеженій, безперервній або дискретній шкалі. Індекс обчислено як нормоване значення суми відстаней між оцінками експертів для всіх можливих пар оцінок. Індекс узгодженості досліджено також для функції квадрата попарних різниць у парах оцінок. Проведений аналіз засвідчив, що функція відстані більш придатна для ґрунтовного практичного визначення узгодженості експертних оцінок. Проведено імітаційне моделювання та запропоновано визначення порогового значення узгодженості, вище якого стає допустимою агрегація експертних оцінок. Для підвищення рівня узгодженості запропоновано процедуру зворотного зв’язку з експертом за умови неспричинення будь-якого тиску на нього. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2018-10-16 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/131984 10.20535/SRIT.2308-8893.2018.3.10 System research and information technologies; No. 3 (2018); 110-121 Системные исследования и информационные технологии; № 3 (2018); 110-121 Системні дослідження та інформаційні технології; № 3 (2018); 110-121 2308-8893 1681-6048 uk https://journal.iasa.kpi.ua/article/view/131984/149359 Copyright (c) 2021 System research and information technologies |
| spellingShingle | підтримка прийняття групових рішень експертне оцінювання індекс узгодженості експертних оцінок спектральний підхід поріг узгодженості зворотний зв'язок з експертом Tsyganok, Vitaliy V. Roik, Pavlo D. Метод визначення та підвищення узгодженості експертних оцінок за підтримання прийняття групових рішень |
| title | Метод визначення та підвищення узгодженості експертних оцінок за підтримання прийняття групових рішень |
| title_alt | Method for evaluating and improving of the expert estimates consistency in group decision-making Метод определения и повышения согласованности экспертных оценок при поддержке принятия групповых решений |
| title_full | Метод визначення та підвищення узгодженості експертних оцінок за підтримання прийняття групових рішень |
| title_fullStr | Метод визначення та підвищення узгодженості експертних оцінок за підтримання прийняття групових рішень |
| title_full_unstemmed | Метод визначення та підвищення узгодженості експертних оцінок за підтримання прийняття групових рішень |
| title_short | Метод визначення та підвищення узгодженості експертних оцінок за підтримання прийняття групових рішень |
| title_sort | метод визначення та підвищення узгодженості експертних оцінок за підтримання прийняття групових рішень |
| topic | підтримка прийняття групових рішень експертне оцінювання індекс узгодженості експертних оцінок спектральний підхід поріг узгодженості зворотний зв'язок з експертом |
| topic_facet | group decision making expert estimation index of consistency of expert estimates spectral approach consistency threshold expert feedback поддержка принятия групповых решений экспертное оценивание индекс согласованности экспертных оценок спектральный подход порог согласованности обратная связь с экспертом підтримка прийняття групових рішень експертне оцінювання індекс узгодженості експертних оцінок спектральний підхід поріг узгодженості зворотний зв'язок з експертом |
| url | https://journal.iasa.kpi.ua/article/view/131984 |
| work_keys_str_mv | AT tsyganokvitaliyv methodforevaluatingandimprovingoftheexpertestimatesconsistencyingroupdecisionmaking AT roikpavlod methodforevaluatingandimprovingoftheexpertestimatesconsistencyingroupdecisionmaking AT tsyganokvitaliyv metodopredeleniâipovyšeniâsoglasovannostiékspertnyhocenokpripodderžkeprinâtiâgruppovyhrešenij AT roikpavlod metodopredeleniâipovyšeniâsoglasovannostiékspertnyhocenokpripodderžkeprinâtiâgruppovyhrešenij AT tsyganokvitaliyv metodviznačennâtapídviŝennâuzgodženostíekspertnihocínokzapídtrimannâprijnâttâgrupovihríšenʹ AT roikpavlod metodviznačennâtapídviŝennâuzgodženostíekspertnihocínokzapídtrimannâprijnâttâgrupovihríšenʹ |