Урахування компетентності експертів при визначенні групового ранжирування
Досліджено питання про доцільність урахування компетентності експертів як джерел інформації при груповому ординальному оцінюванні. Шляхом імітації випадкових значень відносної компетентності експертів у складі групи та їхніх індивідуальних ранжирувань (ординальних експертних оцінок) визначено залежн...
Gespeichert in:
| Veröffentlicht in: | Реєстрація, зберігання і обробка даних |
|---|---|
| Datum: | 2011 |
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
Інститут проблем реєстрації інформації НАН України
2011
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/50507 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Урахування компетентності експертів при визначенні групового ранжирування / В.В. Циганок, О.В. Андрійчук // Реєстрація, зберігання і обробка даних. — 2011. — Т. 13, № 1. — С. 94-105. — Бібліогр.: 15 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-50507 |
|---|---|
| record_format |
dspace |
| spelling |
Циганок, В.В. Андрійчук, О.В. 2013-10-22T15:59:54Z 2013-10-22T15:59:54Z 2011 Урахування компетентності експертів при визначенні групового ранжирування / В.В. Циганок, О.В. Андрійчук // Реєстрація, зберігання і обробка даних. — 2011. — Т. 13, № 1. — С. 94-105. — Бібліогр.: 15 назв. — укр. 1560-9189 https://nasplib.isofts.kiev.ua/handle/123456789/50507 519.816 Досліджено питання про доцільність урахування компетентності експертів як джерел інформації при груповому ординальному оцінюванні. Шляхом імітації випадкових значень відносної компетентності експертів у складі групи та їхніх індивідуальних ранжирувань (ординальних експертних оцінок) визначено залежність значущості врахування компетентності для двох методів агрегації індивідуальних ранжирувань (Борда та Кондорсе) від кількості членів експертної групи та від закону розподілу імітованих випадкових ранжирувань. Зроблено висновок про нагальну необхідність урахування компетентності в разі ординального оцінювання у складі малих експертних груп. Ключові слова: системи підтримки прийняття рішень, групове ординальне експертне оцінювання, компетентність експертів. Исследован вопрос о целесообразности учета компетентности экспертов как источников информации при групповом ординальном оценивании. Путем имитации случайных значений относительной компетентности экспертов в составе группы и их индивидуальных ранжирований (ординальних экспертных оценок) определена зависимость значимости учета компетентности для двух методов агрегации индивидуальных ранжирований (Борда и Кондорсе) от количества членов экспертной группы и от закона распределения имитированных случайных ранжирований. Сделан вывод о настоятельной необходимости учета компетентности в случае ординального оценивания в составе малых экспертных групп. The question of the advisability for taking account of the competence of experts as information sources at group ordinal estimation is investigated. By simulating the random values of the relative competence of experts in the group and their individual rankings (ordinal expert estimates) the dependence of the significance of taking account of the competence for the two methods of aggregating individual rankings (Borda and Condorcet) on the number of members of the expert group and the distribution’s law of simulated random rankings is determined. Conclusions on the urgent need for taking account of the competence in the case of ordinal estimation by means of small groups of experts are drawn. uk Інститут проблем реєстрації інформації НАН України Реєстрація, зберігання і обробка даних Експертні системи та підтримка прийняття рішень Урахування компетентності експертів при визначенні групового ранжирування Учет компетентности экспертов при определении группового ранжирования Taking Account of the Competence of Experts in Determining the Group Ranking Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Урахування компетентності експертів при визначенні групового ранжирування |
| spellingShingle |
Урахування компетентності експертів при визначенні групового ранжирування Циганок, В.В. Андрійчук, О.В. Експертні системи та підтримка прийняття рішень |
| title_short |
Урахування компетентності експертів при визначенні групового ранжирування |
| title_full |
Урахування компетентності експертів при визначенні групового ранжирування |
| title_fullStr |
Урахування компетентності експертів при визначенні групового ранжирування |
| title_full_unstemmed |
Урахування компетентності експертів при визначенні групового ранжирування |
| title_sort |
урахування компетентності експертів при визначенні групового ранжирування |
| author |
Циганок, В.В. Андрійчук, О.В. |
| author_facet |
Циганок, В.В. Андрійчук, О.В. |
| topic |
Експертні системи та підтримка прийняття рішень |
| topic_facet |
Експертні системи та підтримка прийняття рішень |
| publishDate |
2011 |
| language |
Ukrainian |
| container_title |
Реєстрація, зберігання і обробка даних |
| publisher |
Інститут проблем реєстрації інформації НАН України |
| format |
Article |
| title_alt |
Учет компетентности экспертов при определении группового ранжирования Taking Account of the Competence of Experts in Determining the Group Ranking |
| description |
Досліджено питання про доцільність урахування компетентності експертів як джерел інформації при груповому ординальному оцінюванні. Шляхом імітації випадкових значень відносної компетентності експертів у складі групи та їхніх індивідуальних ранжирувань (ординальних експертних оцінок) визначено залежність значущості врахування компетентності для двох методів агрегації індивідуальних ранжирувань (Борда та Кондорсе) від кількості членів експертної групи та від закону розподілу імітованих випадкових ранжирувань. Зроблено висновок про нагальну необхідність урахування компетентності в разі ординального оцінювання у складі малих експертних груп. Ключові слова: системи підтримки прийняття рішень, групове ординальне експертне оцінювання, компетентність експертів.
Исследован вопрос о целесообразности учета компетентности экспертов как источников информации при групповом ординальном оценивании. Путем имитации случайных значений относительной компетентности экспертов в составе группы и их индивидуальных ранжирований (ординальних экспертных оценок) определена зависимость значимости учета компетентности для двух методов агрегации индивидуальных ранжирований (Борда и Кондорсе) от количества членов экспертной группы и от закона распределения имитированных случайных ранжирований. Сделан вывод о настоятельной необходимости учета компетентности в случае ординального оценивания в составе малых экспертных групп.
The question of the advisability for taking account of the competence of experts as information sources at group ordinal estimation is investigated. By simulating the random values of the relative competence of experts in the group and their individual rankings (ordinal expert estimates) the dependence of the significance of taking account of the competence for the two methods of aggregating individual rankings (Borda and Condorcet) on the number of members of the expert group and the distribution’s law of simulated random rankings is determined. Conclusions on the urgent need for taking account of the competence in the case of ordinal estimation by means of small groups of experts are drawn.
|
| issn |
1560-9189 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/50507 |
| citation_txt |
Урахування компетентності експертів при визначенні групового ранжирування / В.В. Циганок, О.В. Андрійчук // Реєстрація, зберігання і обробка даних. — 2011. — Т. 13, № 1. — С. 94-105. — Бібліогр.: 15 назв. — укр. |
| work_keys_str_mv |
AT ciganokvv urahuvannâkompetentnostíekspertívpriviznačennígrupovogoranžiruvannâ AT andríičukov urahuvannâkompetentnostíekspertívpriviznačennígrupovogoranžiruvannâ AT ciganokvv učetkompetentnostiékspertovpriopredeleniigruppovogoranžirovaniâ AT andríičukov učetkompetentnostiékspertovpriopredeleniigruppovogoranžirovaniâ AT ciganokvv takingaccountofthecompetenceofexpertsindeterminingthegroupranking AT andríičukov takingaccountofthecompetenceofexpertsindeterminingthegroupranking |
| first_indexed |
2025-11-25T20:34:16Z |
| last_indexed |
2025-11-25T20:34:16Z |
| _version_ |
1850522766770438144 |
| fulltext |
Експертні системи
та підтримка прийняття рішень
94
УДК 519.816
В. В. Циганок, О. В. Андрійчук
Інститут проблем реєстрації інформації НАН України
вул. М. Шпака, 2, 03113 Київ, Україна
Урахування компетентності експертів при визначенні
групового ранжирування
Досліджено питання про доцільність урахування компетентності
експертів як джерел інформації при груповому ординальному оціню-
ванні. Шляхом імітації випадкових значень відносної компетентності
експертів у складі групи та їхніх індивідуальних ранжирувань (ордина-
льних експертних оцінок) визначено залежність значущості врахуван-
ня компетентності для двох методів агрегації індивідуальних ранжи-
рувань (Борда та Кондорсе) від кількості членів експертної групи та
від закону розподілу імітованих випадкових ранжирувань. Зроблено ви-
сновок про нагальну необхідність урахування компетентності в разі
ординального оцінювання у складі малих експертних груп.
Ключові слова: системи підтримки прийняття рішень, групове орди-
нальне експертне оцінювання, компетентність експертів.
Вступ
У слабко формалізованих і слабко структурованих предметних областях, де
застосовуються системи підтримки прийняття рішень (СППР), єдиним джерелом
інформації для прийняття обґрунтованого рішення можуть бути лише експерти зі
своїми знаннями в конкретних предметних областях. Усе ширше застосування
СППР у високо відповідальних сферах суспільства робить актуальною задачу під-
вищення якості рішень, які рекомендуються експертними СППР для осіб, що при-
ймають рішення (ОПР). У [1] запропоновано підхід, що передбачає пряму залеж-
ність оцінки якості рішень від їхньої обґрунтованості. Зробимо акцент на двох
факторах, які впливають на підвищення достовірності та обґрунтованості реко-
мендованих рішень: це — достовірність інформації, отриманої від експертів, та
адекватне врахування різних поглядів експертів при формуванні бази знань пред-
метної області.
У контексті даної роботи достовірність і повноту отриманих від експертів да-
них пропонується пов’язати з ефектом мінімізації «тиску» на експерта в процесі
© В. В. Циганок, О. В. Андрійчук
Урахування компетентності експертів при визначенні групового ранжирування
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 1 95
відбору знань. Мінімізації тиску можна поставити у відповідність знаходження
компромісу між точністю (детальністю) вибраної для оцінювання шкали та пов-
нотою здобутих у експерта знань. Тут маємо на увазі необхідність якомога повні-
ше здобувати наявні знання у експерта, і в той же час, не примушувати експерта
давати недостовірну інформацію у випадках його невпевненості. Така необхід-
ність підтверджує доцільність використання порядкової (рангової/ординальної)
шкали оцінювання, коли експерт не впевнений у ступені переваги однієї альтер-
нативи над іншою, і в той же час може впевнено сказати про наявність такої пере-
ваги. У таких випадках задля уникнення тиску на експерта під час оцінювання, не
слід пропонувати експертові виконувати порівняння у фундаментальній [2], баль-
ній шкалах [3] тощо, а запропонувати обмежитися ранжируванням альтернатив.
Саме до такого класу задач можна віднести ту, що пропонується для розгляду.
Інший фактор, що має вплив на обґрунтованість, а тому і на якість (ефектив-
ність) рекомендованих рішень, це адекватне врахування різних поглядів експер-
тів, яке має місце у зв’язку з тим, що в СППР, зазвичай, враховуються знання не
окремого експерта, а групи, і причому погляди експертів стосовно певного питан-
ня можуть суттєво відрізнятися. Крім того, якщо взяти до уваги, що будь-яка екс-
пертиза є високовартісною процедурою, і в основному, експертизи проводяться
так званими малими групами (декілька осіб), то, напевне, необачно було би вва-
жати експертні оцінки всіх членів експертної групи однаково важливими. Вихо-
дячи з цього, в процесі експертизи слід враховувати компетентність експертів. З
цієї точки зору більш компетентні експерти в питанні, що розглядається, повинні
мати, відповідно, більший вплив на формування того, чи іншого рішення.
Взагалі кажучи, питання про умови необхідності врахування компетентності
експертів при застосуванні кардинальних (числових) експертних оцінок підніма-
лось у роботах [4, 5]. Із наведених у них досліджень можна зробити висновок, що
питання про доцільність урахування компетентності при безпосередньому групо-
вому оцінюванні (коли кожен із членів експертної групи дає одну єдину числову
оцінку деякого об’єкта експертизи) може ставитися за наявності в групі щонай-
менше декількох десятків експертів, у той час, коли на практиці в основному при-
ходиться мати справу з експертизами в малих групах. Стосовно ж ординальних
оцінок, це питання не досліджувалось експериментально, тому існує нагальна по-
треба в його проведенні задля визначення умов доцільності врахування компетен-
тності експертів при груповому ординальному оцінюванні.
Спосіб дослідження
Якщо розглядати спосіб можливого дослідження цього питання, то через ви-
щезгадані причини, пов’язані з високою вартістю організації процедур із залучен-
ням реальних експертів, пропонується експериментальне дослідження, в якому
буде використовуватись імітаційне моделювання ординальних експертних оцінок.
Із самого характеру ординальних експертних оцінок випливають ряд наступ-
них питань, пов’язаних із проведенням такого експерименту.
1. Яким чином імітувати ранжирування експертів — так звані, ординальні
експертні оцінки, котрі, як випадкові величини, можуть бути розподілені за де-
яким законом розподілу випадкових величин?
В. В. Циганок, О. В. Андрійчук
96
2. Які параметри, окрім очевидних, що використовувались при застосуванні
кардинальних оцінок: виду розподілу індивідуальних експертних оцінок, способу
агрегації та розміру експертної групи, можуть впливати на висновок про необхід-
ність урахування компетентності експертів?
3. Які значення мають приймати параметри експерименту для повного відобра-
ження можливих ситуацій при груповому ординальному експертному оцінюванні?
Щоб дати відповідь на ці та декілька інших питань необхідно проаналізувати
сутність ранжирувань, як ординальних експертних оцінок, і сутність їхньої агре-
гації, розглянути множину значень, які можуть приймати такі оцінки та визначити
міру близькості між довільними ранжируваннями на цій множині. Окрім того, де-
які з питань можуть потребувати проведення попередніх експериментальних до-
сліджень.
Базуючись на проведеному аналізі, можна сформулювати ряд гіпотез, що ма-
ють бути перевірені під час експерименту.
1. Чисельність групи експертів — це основний чинник, що впливає на значу-
щість (і тому й на прийняття рішення про необхідність) урахування компетентно-
сті експертів при груповому ординальному експертному оцінюванні (як і при кар-
динальному). І зі збільшенням цієї величини вплив коефіцієнтів компетентності
на отримане результуюче (агреговане) ранжирування зменшується.
2. Кількість об’єктів (альтернатив), що оцінюються за допомогою групового
ординального оцінювання, впливає на значущість врахування компетентності екс-
пертів.
3. Закон розподілу експертних оцінок, представлених, як випадкові величини,
також має вплив на значущість урахування компетентності.
4. Спосіб (метод) агрегації ординальних оцінок (так само, як і при розгляді
кардинальних оцінок) — це чинник, що теж впливає на результати експерименту.
Сам процес урахування компетентності учасників експертизи є досить тру-
домістким, адже включає оцінювання компетентності тим чи іншим способом,
тому, звичайно, задля здешевлення експертизи потрібно намагатися виключити
цей етап при оцінюванні, але, звичайно ж, не за рахунок зменшення достовірності
результатів. Тож зупинимося на необхідних умовах урахування компетентності
експертів при агрегації індивідуальних експертних оцінок (ранжирувань).
Відносна величина, що показує різницю в результуючих (агрегованих) оцін-
ках з урахуванням і без урахування компетентності експертів має бути обчислена
для різних значень параметрів експерименту (чисельності групи експертів, кіль-
кості оцінюваних альтернатив, різних законів розподілу експертних оцінок і різ-
них методів агрегації). Якщо задати необхідну для експертизи точність оцінюван-
ня, то у випадку, коли обчислена відносна величина не перевищує цю задану точ-
ність, можна вважати врахування компетентності зайвим. У протилежному випа-
дку — воно необхідне.
Для ранжирувань, показником їхньої попарної відмінності (різниці) могли би
бути відсоток повних збігів ранжирувань серед загальної кількості імітацій (ви-
пробувань) в експерименті або, наприклад, середнє арифметичне відстаней Кеме-
ні [6] між відповідними парами ранжирувань. Нами при проведенні експерименту
було вибрано відсоток відмінних між собою пар ранжирувань, як найпростіший
для обчислення показник і такий, що добре відповідає сутності дослідження.
Урахування компетентності експертів при визначенні групового ранжирування
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 1 97
Адже в процесі дослідження будемо намагатися знайти таку мінімальну чисель-
ність групи експертів, при якій врахування компетентності не буде призводити до
відмінного (іншого) результуючого ранжирування ніж за умови неврахування
компетентності (при однаковій компетентності всіх членів групи).
Для перевірки сформульованих вище гіпотез був використаний метод моде-
лювання Монте-Карло [7], оскільки процедура із залученням експертів була би не
оправдано високовартісною. З кожним i-м експертом із групи n експертів
пов’язувалася деяка випадкова величина ci, що моделювала його коефіцієнт ком-
петентності як величину довіри до даного ним ранжирування Ri. Ранжирування Ri
без утрати загальності моделювалися строгими, оскільки вважалося, що в експер-
та достатньо знань (компетентності) у предметній області, щоб виявити перевагу
одної альтернативи над іншою.
Особливості імітаційного моделювання ранжирувань
Процес моделювання ранжирувань експертів, як випадкових величин, мав де-
які особливості.
1. Оскільки, загальна кількість можливих ранжирувань m альтернатив є вели-
чина скінченна (|R(m)| = m!), то випадкова величина, на основі якої будувалися ра-
нжирування Ri, носила дискретний характер.
У множині можливих ранжирувань існують так звані протилежні (інверсні)
ранжирування, які відображають протилежні висновки експертів щодо переваг
між альтернативами, наприклад ранжирування {b, c, a, d} і {d, a, c, b}, які при аг-
регації дають невизначеність — ранжирування, в якому жодна з альтернатив не
має переваги над іншою. Тому в процесі експерименту, генерувати випадкові ра-
нжирування, що рівномірно розподілені в множині усіх можливих ранжирувань,
не було змісту, оскільки результат агрегації такої множини ранжирувань не є
стійким і призводить до невизначеності узагальненого ранжирування. Основними
причинами, через які це відбувається наступні:
— загальна кількість можливих ранжирувань обмежена і залежить від кілько-
сті альтернатив, що оцінюються;
— існують протилежні ранжирування;
— при агрегації протилежні ранжирування компенсують одне одного (взаєм-
но знищуються).
2. Для того, щоб результат агрегації ранжирувань експертів був стійким, при
моделюванні варто генерувати випадкові ранжирування, котрі є віддаленими від
деякого довільного ранжирування на відстань, задану випадковою дискретною
величиною, розподіленою за деяким законом. Такою мірою віддаленості ранжи-
рувань було вибрано відстань Кемені між ранжируваннями, котра пропорційна
кількості перестановок сусідніх пар альтернатив, що необхідно для перетворення
одного із пари ранжирувань в інше.
Відстань Кемені між двома відношеннями (ранжируваннями) обчислюється
за формулою
( ) å -=
ji
K jijiBAD
,
),(),(, ba ,
В. В. Циганок, О. В. Андрійчук
98
де DK (A, B) — відстань Кемені між відношеннями A та B, яка приймає значення із
діапазону [0; m(m–1)/2]; α(i, j) та β(i, j) — елементи матриць відношень A та B від-
повідно.
Закони розподілу випадкової величини та їхні параметри вибираються таким
чином, щоб забезпечити відповідність властивостям відстані Кемені та загальним
властивостям оцінок експертів, а саме:
— відстань — невід’ємна величина;
— відстань Кемені не більша ніж m(m – 1)/2, де m — кількість альтернатив у
ранжируванні;
— імовірність задання (моделювання) експертної оцінки, що є ближчою до
еталонної — більша, ніж віддаленішої оцінки (із припущення, що експерт частіше
вибирає правильне рішення, ніж неправильне);
— імовірність задання будь-якої з можливих експертних оцінок не є нульовою;
— кількість усіх можливих значень ординальних експертних оцінок скінчен-
на і рівна m!
Законами розподілу випадкової величини (відстані Кемені DК) були обрані:
— експоненційний, функція щільності розподілу ймовірностей якого має ви-
гляд
0,)( ³×= - xexf xll ,
де λ > 0 — параметр розподілу (його часто називають інтенсивністю або зворот-
ним коефіцієнтом масштабу). Значення параметра λ обиралось із міркувань, щоб
уся значуща частина розподілу, куди випадкова величина потрапляє з імовірністю
0,95, співпадала би з діапазоном [0; m(m – 1)/2] — можливих значень відстані Ке-
мені:
)1(
ln2
-
D-
=
mm
l ,
де Δ — довірчий інтервал, обраний рівним 0,05 (±5 %);
— модуль-нормальний (Folded-normal), який отримується із нормального (Га-
усівського) закону розподілу так би мовити «згортанням» графіку функції щіль-
ності розподілу відносно вертикальної осі, та має функцію щільності розподілу
0,
2
12)( 2
2
2
)(
³=
-
-
xexf
x
s
m
ps
,
де параметр μ — це очікуване значення положення максимуму і σ2 — це диспер-
сія, що характеризує ширину розподілу. Параметри розподілу обирались аналогі-
чно тому як і для експоненційного закону. В даному випадку μ = 0, а стандартне
відхилення
6
)1( -
=
mm
s
Урахування компетентності експертів при визначенні групового ранжирування
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 1 99
задано з міркувань забезпечення вірогідності P = 0,95 попадання змодельованої
випадкової величини в довірчий інтервал Δ = ±5 %. Зазначимо, що цей частковий
випадок модуль-нормального закону при μ = 0 інколи називають півнормальним
(Half-normal) законом розподілу, функція щільності якого виглядає наступним
чином:
0,
2
2)( 2
2
2
2
³=
-
xexf
x
s
ps
.
Вигляд двох функцій щільності розподілу ймовірностей обраних законів роз-
поділу зображено на рис. 1.
Рис. 1. Вигляд функцій щільності розподілу ймовірностей для двох законів розподілу
3. Для забезпечення статистичної достовірності результатів моделювання
експеримент необхідно повторювати не менше N разів ( )( )PN D³ D , де D — ди-
сперсія змодельованої випадкової величини DК.
4. Генерація ранжирування, як деякої випадкової індивідуальної експертної
оцінки проводилася в 3 етапи: I — генерування відстані Кемені; II — формування
множини можливих ранжирувань із заданою відстанню від довільно вибраного
ранжирування; ІІІ — випадковий вибір ранжирування із сформованої множини.
Отже, для того, щоб згенерувати випадкове ранжирування, віддалене на від-
стань Кемені від деякого еталонного ранжирування, потрібно спочатку визначити
множину всіх можливих ранжирувань, що віддалені від даного на цю задану від-
стань, і, вже після цього, випадковим чином здійснити вибір ранжирування із цієї
множини. Для m = 4 множину можливих ранжирувань зручно зобразити у вигляді
графа (рис. 2), де вершини графа позначені ранжируваннями, а дуги відповідають
перестановкам сусідніх альтернатив у ранжируваннях.
Оскільки відстань Кемені між двома ранжируваннями прямо пропорційно за-
лежить від кількості перестановок сусідніх альтернатив у одному ранжируванні,
що необхідні для перетворення його в інше, то визначення множини рівновіддале-
В. В. Циганок, О. В. Андрійчук
100
них ранжирувань можна здійснити алгоритмічно, базуючись на цій властивості.
Без утрати загальності можна вважати, що вихідне еталонне ранжирування є ран-
жируванням, що позначено на графі, як «abcd» (завжди можна перейменувати
альтернативи, щоб вони розміщувалися саме в такій послідовності). Тоді рівно-
віддалені від «abcd» ранжирування будуть знаходитися на одному із горизонталь-
них рівнів зображеного графа (при m = 4 таких рівнів 6).
Рис. 2. Графічне зображення множини всіх можливих ранжирувань чотирьох альтернатив
Опис експерименту
Було проведено моделюючий експеримент для різної кількості n експертів в
групі, де n Î [3; 200] (для n < 3 групова процедура оцінювання не є коректною згі-
дно умов Ерроу [8]) та різної кількості m оцінюваних альтернатив, де m Î [3; 9]
(значення m було обмежено відповідно до психофізичних можливостей людини-
експерта, яка одночасно адекватно може оцінювати не більше ніж 7±2 об’єкти
[9]). Експеримент включав процедуру визначення, коли два результуючі ранжи-
рування, одне, отримане при врахуванні компетентності експертів, і таке ж друге,
отримане без урахування компетентності, збігаються (є однаковими) і, як наслі-
док, втрачається значущість урахування компетентності.
У рамках даного дослідження при значенні дисперсії змодельованої випадко-
вої величини 15, для забезпечення статистичної достовірності результатів моде-
лювання експеримент повторювався 300 разів ( 15(0,95 / 0,05)N ³ ).
У рамках даної статті не передбачається розкриття методики визначення
компетентності експертів. Зазначимо лише, що:
abcd
bacd acbd abdc
bcad badc cabd acdb adbc
dcba
cdba dbca dcab
dacbcbda bdca dbac cdab
cbad bcda bdac adcb cadb dabc
Урахування компетентності експертів при визначенні групового ранжирування
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 1 101
1) компетентність експерта може розглядатися тільки стосовно конкретного
питання (тобто, стосовно різних питань, компетентність експерта може бути різ-
ною);
2) величина, що характеризує компетентність експерта в групі є відносною до
величин компетентності інших членів групи (ця величина характеризує, якою мі-
рою експерт більш/менш компетентний у конкретному питанні, порівняно з реш-
тою експертів групи).
У подальшому будемо спиратися на методику визначення компетентності
експертів у рамках групи, викладену в [10], де передбачається нормування коефі-
цієнтів відносної компетентності: 1=å
i
ic (сума коефіцієнтів відносної компете-
нтності експертів у групі рівна одиниці).
У методах визначення групових ранжирувань пропонується застосовувати
підхід [11], заснований на визначенні множин ранжирувань, даних рівнокомпе-
тентними експертами, за умови збереження еквівалентності цих множин заданій
вихідній множині. Сутність цього підходу полягає у зведенні задачі до знахо-
дження узагальненого ранжирування групою з більшою кількістю, але рівноком-
петентних експертів. Тобто, ранжирування кожного експерта при агрегації замі-
няється деякою кількістю таких самих ранжирувань, і ця кількість має бути про-
порційною відносній компетентності цього експерта в групі.
Для визначення узагальненого групового ранжирування на основі ранжиру-
вань експертів існують декілька широко відомих, і ряд менш поширених методів.
Серед інших можна виділити метод Борда [12], Кондорсе [13], медіана Кемені
[14] і подібні [15]. Оскільки ряд методів агрегації мають значну обчислювальну
складність, агрегація ранжирувань експертів у даному експерименті проводилася
лише двома методами: Борда — ранжирування зважених сум рангів індивідуаль-
них експертних ранжирувань та Кондорсе — по-елементне знаходження резуль-
туючої (групової) матриці домінування за більшістю преваг серед однойменних
елементів індивідуальних експертних матриць домінування.
Потім, як результат, знаходили відсоток розбіжностей (не збігів) від загальної
кількості повторів експерименту між груповими ранжируваннями, що визначені
методом Борда з урахуванням компетентності експертів і без урахування такої.
Аналогічно знаходили відсоток від загальної кількості змодельованих матриць
Кондорсе, таких, розрахованих з урахуванням компетентності, що не збігаються з
матрицями домінування експертів, які розраховані без урахування компетентності.
Результати експерименту
Результати проведеного таким чином експерименту представлені на рис. 3, 4.
На цих рисунках представлено залежність від розміру експертної групи відсотка
відмінностей між узагальненими ранжируваннями, що отримані з урахуванням та
без урахування компетентності експертів, тобто відсотка випадків, коли узага-
льнені ранжирування не співпадають. На кожному рисунку представлені залежно-
сті для різної кількості (від 3 до 9) альтернатив, що підлягають оцінюванню (ран-
жируванню). На рис. 3,а і 4,а представлені результати для експоненційного роз-
поділу відстані Кемені, що використовувалася для імітації експертних ранжиру-
В. В. Циганок, О. В. Андрійчук
102
вань, а на рис. 3,б і 4,б — для модуль-нормального закону. На обох частинах а і б
рис. 3 та 4, зображені розрахунки для випадку агрегації індивідуальних ранжиру-
вань методом Борда та Кондорсе відповідно.
а )
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 20 40 60 80 100 120 140 160 180 200
3
4
5
6
7
8
9
б )
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 20 40 60 80 100 120 140 160 180 200
3
4
5
6
7
8
9
Рис. 3. Результати розрахунків відсотку відмінностей при агрегації методом Борда
для експоненційного (а) закону розподілу та для модуль-нормального (б)
Урахування компетентності експертів при визначенні групового ранжирування
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 1 103
а )
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 20 40 60 80 100 120 140 160 180 200
3
4
5
6
7
8
9
б )
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 20 40 60 80 100 120 140 160 180 200
3
4
5
6
7
8
9
Рис. 4. Результати розрахунків відсотку відмінностей при агрегації методом Кондорсе
для експоненційного (а) закону розподілу та для модуль-нормального (б)
В. В. Циганок, О. В. Андрійчук
104
Неможна не відзначити високу обчислювальну складність імітаційних алго-
ритмів, що застосовувалися для даного експериментального дослідження. Таким
чином, для проведення розрахунків, результати яких представлені на рис. 3, 4,
знадобилося більше одного місяця безперервної роботи персонального комп’ю-
тера, оснащеного 4-ядерним процесором із тактовою частотою 3 ГГц.
Висновки
За результатами проведеного експерименту можна зробити наступні висновки:
1) можливо і доцільно використовувати імітаційне моделювання ординаль-
них експертних оцінок, замість організації реальних експертиз, при проведенні
подібних експериментів;
2) незважаючи на згадану вище високу обчислювальну складність алгоритмів
імітаційного моделювання ординальних оцінок, подібні моделюючі експерименти
ще можливі на базі побутових персональних комп’ютерів, хоча, оскільки такий
обчислювальний процес досить легко розпаралелюється, то варто замислитися
над використанням грід-технологій для обчислень;
3) значимість урахування компетентності експертів при груповому ордина-
льному оцінюванні суттєво залежить від потужності групи (кількості залучених
до групової експертизи осіб);
4) проглядається стала тенденція залежності потреби враховувати компетен-
тність від кількості альтернатив, що підлягають оцінюванню (на рис. 3, 4 можна
бачити, що коли розраховані точки знаходяться нижче рівня 5 %, то враховувати
компетентність експертів не доцільно);
5) спостерігається чітко виражена залежність результатів від методу агрегації
індивідуальних експертних ранжирувань (використання методу агрегації Кондор-
се спричиняє меншу залежність від кількості альтернатив, що оцінюються, ніж
використання методу Борда);
6) дуже слабо відстежується залежність результату від закону розподілу від-
стані Кемені, що використовується для імітації ранжирувань, до еталонного ран-
жирування (майже не відстежується відмінність графіків для експоненційного та
модуль-нормального законів розподілу).
Загальний висновок дослідження може бути таким: при проведенні ордина-
льного оцінювання із залученням малих експертних груп завжди існує нагальна
необхідність в урахуванні відносної компетентності експертів у питанні, що роз-
глядається.
Подальші дослідження планується провести із включенням до перевірки до-
даткових методів агрегації ординальних оцінок, наприклад, медіани Кемені, хоча
передбачається, що цей процес буде ще більш трудомістким. На базі створеного
імітаційного програмного комплексу є можливість провести дослідження інших,
більш складних законів розподілу експертних оцінок, таких як полімодальні, а та-
кож долучити до дослідження інші типи експертних оцінок, окрім ординальних.
1. Герасимов Б.М. Оценка обоснованности решений и их формирование / Б.М. Герасимов,
Ю.Я. Самохвалов // Управляющие системы и машины. — 1998. — № 3. — С. 68–73.
Урахування компетентності експертів при визначенні групового ранжирування
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 1 105
2. Saaty T.L. The Analytic Hierarchy Process / T.L. Saaty. — N.Y.: McGraw-Hill, 1980.
3. Литвак Б.Г. Экспертная информация. Методы получения и анализа / Б.Г. Литвак. — М.:
Радио и связь, 1982. — 185 с.
4. Загоруйко Н.Г. Доверие к информации и ее источнику в экспертных системах / Н.Г. Заго-
руйко // Эксперт, системы и распознавание образов. — 1988. — Вып. 126. — С. 3–23.
5. Любченко В.В. Исследование значимости учета коэффициентов компетентности в группо-
вой экспертной оценке [Электронный ресурс] / В.В. Любченко // Труды Одесского политехниче-
ского университета. — 2005. — Вып. 1(23). –– Режим доступа: http://storage.library.opu.ua/
online/periodic/opu_2005_1(23)/5/5_2.pdf
6. Kemeny J. Mathematics Without Numbers / J. Kemeny. — Deadalus. — 1959. — 88 p.
7. Соболь И.М. Метод Монте-Карло / И.М. Соболь. — М.: Наука. — 1968. — 64 с.
8. Arrow K.J. Social Choice and Individual Values / K.J. Arrow. — New York: Wiley. — [2nd ed.].
— 1963.
9. Miller G.A. The Magical Number Seven, Plus or Minus Two: Some Limits on our Capacity for
Processing Information // G.A. Miller / The Psychological Review. — 1956. — 63(2). — Р. 81–97.
10. Тоценко В.Г. Определение относительной компетентности членов группы в обсуждаемом
вопросе при принятии групповых решений / В.Г. Тоценко // Проблемы управления и информати-
ки. — 2002. — № 2. — С. 91–102.
11. Тоценко В.Г. Методы определения групповых многокритериальных ординальных оценок
с учетом компетентности экспертов / В.Г. Тоценко // Проблемы управления и информатики. –
2005. — № 5. — С. 84–89.
12. Borda J.C. Mémoire Sur Les Elections au Scrutin. Historie de de L’académie Royale des
Sciences / J.C. Borda; Paris, 1781. — 657 p.
13. Marquis de Condorcet. Essai Sur L’application de L’analyse á la Probabilité des Décisions
Rendues á la Pluralité des Voix: 1785 [Електронний ресурс]. — Режим доступу:
http://gallica.bnf.fr/ark:/12148/bpt6k417181
14. Кемени Дж. Кибернетическое моделирование / Дж. Кемени, Дж. Снелл. — М.: Сов. ра-
дио. — 1972.
15. Гнатієнко Г.М. Експертні технології прийняття рішень / Г.М. Гнатієнко, В.Є. Снитюк. —
К.: ТОВ «Маклаут», 2008. — 444 с.
Надійшла до редакції 14.03.2011
http://storage/
http://gallica/
|