Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь
Запропоновано спосіб визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь, заснований на моделюванні можливих помилок експертів при парних порівняннях. Ефективність методів агрегації розглянуто в сенсі підвищення ними достовірності результатів. Передбачено за...
Saved in:
| Published in: | Реєстрація, зберігання і обробка даних |
|---|---|
| Date: | 2009 |
| Main Author: | |
| Format: | Article |
| Language: | Ukrainian |
| Published: |
Інститут проблем реєстрації інформації НАН України
2009
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/50385 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь / В.В. Циганок // Реєстрація, зберігання і оброб. даних. — 2009. — Т. 11, № 2. — С. 83-89. — Бібліогр.: 7 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859974916313448448 |
|---|---|
| author | Циганок, В.В. |
| author_facet | Циганок, В.В. |
| citation_txt | Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь / В.В. Циганок // Реєстрація, зберігання і оброб. даних. — 2009. — Т. 11, № 2. — С. 83-89. — Бібліогр.: 7 назв. — укр. |
| collection | DSpace DC |
| container_title | Реєстрація, зберігання і обробка даних |
| description | Запропоновано спосіб визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь, заснований на моделюванні можливих помилок експертів при парних порівняннях. Ефективність методів агрегації розглянуто в сенсі підвищення ними достовірності результатів. Передбачено застосування генетичного алгоритму для пошуку максимально можливих відхилень у результатах агрегації парних порівнянь.
Предложен способ определения эффективности методов агрегации экспертных оценок при использовании парных сравнений, основанный на моделировании возможных ошибок экспертов при парных сравнениях. Эффективность методов агрегации рассмотрена в смысле повышения ими достоверности результатов. Предусмотрено применение генетического алгоритма для поиска максимально возможных отклонений в результатах агрегации парных сравнений.
A method of determining the efficiency of expert estimate aggregation methods while using pair comparisons is suggested. The method is based on modelling the errors, made by experts while performing pair comparisons. The efficiency of expert estimate aggregation methods is considered in the context of results reliability increase. Genetic algorithm application for searching maximal possible deviations of pair comparisons results is provided for.
|
| first_indexed | 2025-12-07T16:22:39Z |
| format | Article |
| fulltext |
Експертні системи
та підтримка прийняття рішень
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2009, Т. 11, № 2 83
УДК 519.816
В. В. Циганок
Інститут проблем реєстрації інформації НАН України
вул. М. Шпака, 2, 03113 Київ, Україна
Визначення ефективності методів агрегації
експертних оцінок при використанні парних порівнянь
Запропоновано спосіб визначення ефективності методів агрегації екс-
пертних оцінок при використанні парних порівнянь, заснований на мо-
делюванні можливих помилок експертів при парних порівняннях. Ефе-
ктивність методів агрегації розглянуто в сенсі підвищення ними до-
стовірності результатів. Передбачено застосування генетичного ал-
горитму для пошуку максимально можливих відхилень у результатах
агрегації парних порівнянь.
Ключові слова: парні порівняння, ефективність методів агрегації екс-
пертних оцінок, генетичний алгоритм.
У системах підтримки прийняття рішень (СППР) для підвищення достовірно-
сті експертного оцінювання альтернатив, часто використовують метод парних по-
рівнянь. Цей широковідомий метод є методом відносних вимірювань, який поля-
гає в послідовному наданні експертові всіх можливих пар альтернатив, або визна-
ченої підмножини можливих пар, для оцінювання з наступним формуванням мат-
риці парних порівнянь (МПП) на основі даних ним оцінок. Надалі обчислюються
агреговані оцінки альтернатив як результати обробки МПП.
На теперішній час розроблено велику кількість методів агрегації експертних
оцінок, отриманих при парних порівняннях. Одним із найчастіше застосовуваних
є метод власного вектора, розроблений Томасом Сааті [1]. Крім того, для МПП
мультиплікативного типу (коли при порівняннях експерт відповідає на запитання:
«У скільки разів одна з пари альтернатив переважає іншу?») можливо й застосу-
вання спрощених методів агрегації, наприклад, знаходження середнього геомет-
ричного елементів МПП по кожному рядку цієї матриці, метод ступеню, нормалі-
зації стовпців матриці та інші. Такі спрощені методи зазвичай дають прийнятні
результати агрегації при високих ступенях внутрішньої узгодженості МПП [2].
Мають місце також серія методів послідовної обробки МПП без зворотного
зв’язку з експертом («Лінія», «Трикутник», «Квадрат») [3, 4], а також метод ком-
бінаторної обробки МПП [5].
© В. В. Циганок
В. В. Циганок
84
У даній статті представлено механізм оцінювання вищезгаданих методів аг-
регації експертних оцінок, і можливо, не згаданих тут, на предмет виконання ни-
ми свого основного призначення — підвищення достовірності, а, отже, і точності
експертного оцінювання. Таким чином, пропонується визначити деякий показник
ефективності методів агрегації, який характеризує потенційну здатність методу
утримувати свої результати в деяких межах.
Сутність методу
Ідея визначення показника ефективності методів агрегації полягає в наступ-
ному. Задаються довільні позитивні значення ваг альтернатив wi, i = (1,n). Число
альтернатив n при експертному оцінюванні не повинне перевищувати 7±2 [6].
Проводиться нормування цих ваг до одиниці:
n
j
jii www
1
. Тобто, тепер
1
1
n
i
iw . Надалі ці ваги будемо вважати деяким еталоном у рамках даного етапу
дослідження. За цими еталонними вагами формально будується повністю (ідеаль-
но) узгоджена МПП (consistency matrix) A, виходячи зі співвідношення
jiij wwa , де aij — елемент матриці A. Далі проводиться «зашумлення» матриці
A таким чином, що кожен елемент матриці A, крім діагональних, може бути змі-
нений за наступним законом %100/ ijijij aaa , де δ > 0 — наперед задана ве-
личина, що характеризує максимальне відносне відхилення результатів парних
порівнянь експерта (елементів матриці A) у відсотках від еталонних значень. Тим
самим здійснюється моделювання наявності помилок при експертному оцінюван-
ні. Величина δ, у цьому випадку, представляє собою відносну помилку експерта
при проведенні парних порівнянь. Далі «зашумлена» МПП, позначимо її A', під-
дається обробці одним із методів агрегації з метою одержання узагальнених ваг
альтернатив wi'. Якість (ефективність) методу агрегації експертних оцінок пропо-
нується обчислювати як максимально можливе відносне відхилення отриманої в
результаті розрахунку ваги альтернативи від еталонної ваги цієї ж альтернативи
%100max
i
ii
i w
ww
. Зауважимо, що отримані таким чином значення показни-
ка ефективності є детермінованими, і тому гарантованими, значеннями, а не сто-
хастичні, які можливо було б отримати при застосуванні методів математичної
статистики.
Розумно припустити, що обчислені значення показника ∆ будуть залежати як
від заданої δ, так і від відносних значень самих заданих еталонів. Тому визначені
значення показника будуть представлені у вигляді графіків залежності ∆(δ) для
кожного з варіантів характерних значень еталонних ваг. На думку автора, залеж-
ність ∆(δ) має сенс визначати для кожного з досліджуваних методів на інтервалі
δ ]0;100[, виходячи з логічного припущення, що відносна помилка оцінювання
при парних порівняннях експерта не перевищує 100 %. Хоча, безсумнівно, що
функція ∆(δ) визначена в більш широкому діапазоні — δ [0;∞[.
Визначення ефективності
методів агрегації експертних оцінок при використанні парних порівнянь
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2009, Т. 11, № 2 85
Реалізація
Знаходження максимально можливого відносного відхилення ∆ для кожного
δ пропонується проводити із застосуванням цілеспрямованих переборів — еволю-
ційних методів. Цей вибір обумовлений тим що, по суті, ми маємо справу із зна-
ходженням максимуму функції багатьох змінних f(a'ij), i,j = (1,n), аргументами
якої є елементи МПП A', а прийнятних аналітичних методів для рішення такого
плану задач не існує. Значення ∆(δ) для конкретного методу агрегації залежить від
значень вихідних еталонних ваг альтернатив wi, i = (1,n). Це було підтверджено в
процесі експерименту, проведеного за допомогою спеціально створеного програ-
много модуля.
Вектор вхідних ваг модуль одержує із вхідного файлу, результати розрахунку
∆ також можуть бути збережені у файлі для наступного аналізу. Керуючий моду-
лем інтерфейс представлений у вигляді діалогового вікна (рис. 1) для введення
необхідних вхідних даних і режимів для експерименту.
Рис. 1. Інтерфейс експериментального модуля аналізу методів агрегації парних порівнянь
Значення δ може бути введене в поле вводу з назвою «девіація ПП» і може
автоматично збільшуватися з певним кроком для можливості безперервного про-
ведення серії розрахунків і нагромадження даних.
Модуль передбачає також режим перевірки правильності результатів роботи
генетичного алгоритму при заданих вхідних параметрах цього алгоритму. Переві-
рку можна зробити при невеликих (< 6) значеннях n за допомогою повного пере-
бору варіантів значень аргументів — елементів МПП A'. При значеннях n ≥ 6 такі
перевірки не доцільні через потребу значних обчислювальних ресурсів.
Підбор вхідних параметрів генетичного алгоритму (кількість осіб у популяції,
ймовірність мутації, кількість поколінь з однаковим результатом) для оптималь-
ної його роботи, проводиться в декілька ітерацій, з використанням, за можливості,
повного перебору для перевірки.
Програмний модуль також передбачає вибір одного з двох режимів пошуку
максимуму функції: перевірку варіантів відхилення аргументів із можливістю за-
лишати аргумент без зміни (+/–/0) або без такої (+/–). На практиці, численні екс-
перименти показали, що достатньо використовувати більш вузьку область пошуку
варіантів, коли всі аргументи змінюються на відносну величину δ в позитивну або
в негативну сторону (на скріншоті позначення +/–).
В. В. Циганок
86
Ефективність методів агрегації експертних оцінок у даній роботі розглядаєть-
ся з точки зору підвищення ними точності визначення узагальнених ваг альтерна-
тив. У цьому плані, чим меншою є можлива розрахована помилка ∆, тим вища
ефективність методу. В ідеалі, хотілося би, щоб для будь-яких ваг альтернатив w і
для будь-яких заданих відносних відхилень δ, завжди, значення ∆ було би менше
δ. У такому випадку метод при агрегації зменшував би відносну помилку парних
порівнянь. Але, на практиці, як підтвердило експериментальне дослідження ряду
існуючих методів, на жаль, цього не відбувається.
Експериментальне дослідження
У процесі експерименту були зроблені розрахунки для методів агрегації екс-
пертних оцінок, таких як:
1) метод сум елементів рядків (Sums by Rows);
2) середнє геометричне (Geometric average);
3) метод ступеня (Powers method);
4) нормалізація елементів стовпців (Columns normalizing);
5) метод власного вектора (Eigen vector method) [1];
6) метод «Квадрат» («Square» method) [3, 4];
7) комбінаторний метод (Combinatorial method) [5].
Назви перших чотирьох, які можна віднести до класу спрощених методів, не є
загальновживаними, тому коротко розкриємо їхню сутність.
Метод сум елементів рядків МПП A' полягає у визначенні ненормованих ваг
альтернатив iw згідно з формулою
n
j
iji aw
1
, із подальшим їхнім нормуванням:
n
j
jii www
1
.
У наступному методі агрегації МПП A' середнє геометричне елементів рядків
визначається за формулою: n
n
j
iji aw
1
, після чого також проводиться нормуван-
ня.
Метод ступеня полягає в наступному. МПП A' послідовно підноситься до
деякого натурального ступеня p = {1…N}. Цей процес проводиться за допомогою
операції множення матриць. Після цього, на кожному p-му кроці агреговані зна-
чення ваг визначаються за формулою:
n
kj
jk
n
j
iji aaw
1,1
. Тобто, сума елементів
рядка ділиться на суму елементів всієї матриці. Процес припиняється, коли абсо-
лютне значення різниці обчислених результатів на p-му та (p – 1)-му кроці не пе-
ревищує величину заданої похибки (в даному експерименті — значення 0,00001).
Потреби в подальшому нормуванні результатів у цьому випадку немає.
Метод нормалізації елементів стовпців полягає в обчисленні середніх ариф-
метичних значень елементів рядків матриці A', у якої спочатку нормалізовані еле-
менти стовпців за формулою:
n
i
ijijij aaa
1
.
Визначення ефективності
методів агрегації експертних оцінок при використанні парних порівнянь
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2009, Т. 11, № 2 87
Для експерименту були використані чотири характерні набори ваг при n = 5 з
наступними значеннями: {0,2; 0,3; 4; 5; 0,7}, {1; 1,732051; 3; 5,196152; 9}, {1; 9; 1;
9; 1}, {1; 1; 1; 1; 1}. Ці значення вибиралися, виходячи з наступних міркувань: пе-
рший набір — довільні значення, другий набір — рівновіддалені значення в діапа-
зоні значень фундаментальної шкали [1, 7], поділки якої відповідають числам на-
турального ряду від 1 до 9. Таким чином, для другого набору значення формува-
лися за законом cww ii 1 , де c — константа, для n = 5 і фундаментальної шкали
3c . Виходячи із цього, другий набір має вигляд: {1, 1 3 = 1,732051;
3 3 3, 3 3 = 5;196152; 3 3 3 = 9}. Третій набір — крайні значення по-
ділок фундаментальної шкали, і, четвертий набір — рівні значення.
Параметри генетичного алгоритму в даному експерименті були підібрані на-
ступними: кількість особин у популяції — 200, імовірність мутації — 25 %, кіль-
кість поколінь із однаковим результатом — 1500.
Результати експерименту для різних заданих наборів ваг альтернатив w пред-
ставлені в графічному вигляді на рис. 2.
w = {0.2, 0.3, 4, 5, 0.7}
0
100
200
300
400
500
600
700
800
900
0 20 40 60 80 100
δ,%
∆
,%
w = {1, 1.732051, 3, 5.196152, 9}
0
100
200
300
400
500
600
0 20 40 60 80 100
δ,%
∆
,%
w = {1, 9, 1, 9, 1}
0
100
200
300
400
500
600
700
0 20 40 60 80 100
δ,%
∆
,%
w = {1, 1, 1, 1, 1}
0
50
100
150
200
250
300
0 20 40 60 80 100
δ,%
∆
,%
Рис. 2. Результати експериментального
дослідження методів агрегації парних порівнянь
В. В. Циганок
88
Висновки, які можна зробити за результатами експериментального дослі-
дження:
— результати експерименту підтверджують відоме положення, що метод вла-
сного вектора переважніше за точністю, ніж знаходження ваг як геометричного
середнього по рядках МПП;
— показники методу ступеню в більшості випадків практично співпадають із
показниками методу власного вектора при однакових вхідних даних;
— відповідно методу «квадрат», агрегація оцінок МПП має сенс тільки при
досягненні деякої обчисленої мінімальної узгодженості, а при δ > 22…30 % у
процесі експерименту вже генеруються МПП, які не відповідають даній умові,
тому область визначення функції ∆(δ) для цього методу обмежується справа до
цих відповідних значень δ;
— при відносних помилках експертних парних порівнянь менших 75 %, тоб-
то в найбільш імовірній ситуації при експертному оцінюванні, при всіх варіантах
значень еталонних ваг (і це було трохи несподіваним для автора) спостерігається
значна перевага ефективності методу комбінаторної обробки МПП у порівнянні з
іншими методами, які представлені в експерименті;
— тільки один метод із досліджуваних, а саме, комбінаторний метод, і тільки
при близьких значеннях заданих еталонних ваг і при відносних помилках парних
порівнянь менших 50 %, дозволяє одержати ваги альтернатив із відносною поми-
лкою меншою, ніж вихідна помилка парних порівнянь.
Загальні висновки
Розкрито підхід до визначення ефективності методів агрегації експертних
оцінок при використанні парних порівнянь, заснований на моделюванні можли-
вих помилок експертів при парних порівняннях. На відміну від підходів, що ба-
зуються на статистичних методах, він дає можливість гарантовано (а не з деякою
ймовірністю) визначати значення показника ефективності того чи іншого методу
агрегації. Базуючись на цьому підході, проаналізовано ряд відомих методів агре-
гації та зроблено висновки про їхню ефективність.
Запропоноване застосування еволюційних методів, а саме, генетичного алго-
ритму для пошуку максимально можливих відхилень у результатах агрегації пар-
них порівнянь.
Створено програмний експериментальний модуль для визначення показника
ефективності методів агрегації результатів парних порівнянь, за допомогою якого
планується провести ще ряд досліджень, а саме: проаналізувати динаміку залеж-
ності ефективності методів агрегації від розмірності МПП, виявити закономірнос-
ті поведінки графіків залежності при різних значеннях ваг альтернатив, спробува-
ти визначити напрямки роботи по створенню нових, більш ефективних, методів
агрегації.
1. Саати Т. Принятие решений — Метод анализа иерархий / Т. Саати. — М.: Радио и связь,
1993. — 278 с.
Визначення ефективності
методів агрегації експертних оцінок при використанні парних порівнянь
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2009, Т. 11, № 2 89
2. Тоценко В.Г. Методы и системы поддержки принятия решений. Алгоритмический ас-
пект / В.Г. Тоценко; ИПРИ НАНУ. — К.: Наук. думка, 2002. — 382 с.
3. Тоценко В.Г. Генерация алгоритмов парных сравнений для моделирования предпочтений
эксперта при поддержке принятия решений. Ч. 1 / В.Г. Тоценко // Электронное моделирование. —
2000. — № 3. — С. 11–24.
4. Тоценко В.Г. Генерация алгоритмов парных сравнений для моделирования предпочтений
эксперта при поддержке принятия решений. Ч. 2 / В.Г. Тоценко // Электронное моделирование. —
2000. — № 4. — С. 16–24.
5. Циганок В.В. Комбінаторний алгоритм парних порівнянь зі зворотним зв’язком з експер-
том / В.В. Циганок / Реєстрація, зберігання і оброб. даних. — 2000. — Т. 2, № 2. — С. 92–102.
6. Миллер Г. Магическое число семь плюс или минус два: о некоторых пределах нашей спо-
собности перерабатывать информацию / Г. Миллер. — М.: Инженерная психология. Прогресс,
1964.
7. Saaty T.L. Relative Measurement and Its Generalization in Decision Making. Why Pairwise
Comparisons are Central in Mathematics for the Measurement of Intangible Factors. The Analytic Hier-
archy/Network Process / T.L. Saaty; Statistics and Operations Research. — 2008. — 102 (2). — P. 251–
318.
Надійшла до редакції 01.06.2009
|
| id | nasplib_isofts_kiev_ua-123456789-50385 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1560-9189 |
| language | Ukrainian |
| last_indexed | 2025-12-07T16:22:39Z |
| publishDate | 2009 |
| publisher | Інститут проблем реєстрації інформації НАН України |
| record_format | dspace |
| spelling | Циганок, В.В. 2013-10-12T11:31:06Z 2013-10-12T11:31:06Z 2009 Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь / В.В. Циганок // Реєстрація, зберігання і оброб. даних. — 2009. — Т. 11, № 2. — С. 83-89. — Бібліогр.: 7 назв. — укр. 1560-9189 https://nasplib.isofts.kiev.ua/handle/123456789/50385 519.816 Запропоновано спосіб визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь, заснований на моделюванні можливих помилок експертів при парних порівняннях. Ефективність методів агрегації розглянуто в сенсі підвищення ними достовірності результатів. Передбачено застосування генетичного алгоритму для пошуку максимально можливих відхилень у результатах агрегації парних порівнянь. Предложен способ определения эффективности методов агрегации экспертных оценок при использовании парных сравнений, основанный на моделировании возможных ошибок экспертов при парных сравнениях. Эффективность методов агрегации рассмотрена в смысле повышения ими достоверности результатов. Предусмотрено применение генетического алгоритма для поиска максимально возможных отклонений в результатах агрегации парных сравнений. A method of determining the efficiency of expert estimate aggregation methods while using pair comparisons is suggested. The method is based on modelling the errors, made by experts while performing pair comparisons. The efficiency of expert estimate aggregation methods is considered in the context of results reliability increase. Genetic algorithm application for searching maximal possible deviations of pair comparisons results is provided for. uk Інститут проблем реєстрації інформації НАН України Реєстрація, зберігання і обробка даних Експертні системи та підтримка прийняття рішень Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь Определение эффективности методов агрегации экспертных оценок при использовании парных сравнений Determining the Efficiency of Expert Estimate Aggregation Methods while Using Pair Comparisons Article published earlier |
| spellingShingle | Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь Циганок, В.В. Експертні системи та підтримка прийняття рішень |
| title | Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь |
| title_alt | Определение эффективности методов агрегации экспертных оценок при использовании парных сравнений Determining the Efficiency of Expert Estimate Aggregation Methods while Using Pair Comparisons |
| title_full | Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь |
| title_fullStr | Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь |
| title_full_unstemmed | Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь |
| title_short | Визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь |
| title_sort | визначення ефективності методів агрегації експертних оцінок при використанні парних порівнянь |
| topic | Експертні системи та підтримка прийняття рішень |
| topic_facet | Експертні системи та підтримка прийняття рішень |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/50385 |
| work_keys_str_mv | AT ciganokvv viznačennâefektivnostímetodívagregacííekspertnihocínokprivikoristanníparnihporívnânʹ AT ciganokvv opredelenieéffektivnostimetodovagregaciiékspertnyhocenokpriispolʹzovaniiparnyhsravnenii AT ciganokvv determiningtheefficiencyofexpertestimateaggregationmethodswhileusingpaircomparisons |