Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень
У наявних системах підтримки прийняття рішень (СППР) для проведення експертного оцінювання, експертові пропонується деяка, наперед визначена, шкала. Це негативно впливає на ефективність отримання інформації від експерта, оскільки вигляд шкали, що застосовується, має відповідати рівню компетентності...
Saved in:
| Published in: | Реєстрація, зберігання і обробка даних |
|---|---|
| Date: | 2011 |
| Main Author: | |
| Format: | Article |
| Language: | Ukrainian |
| Published: |
Інститут проблем реєстрації інформації НАН України
2011
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/50532 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень / В.В. Циганок // Реєстрація, зберігання і обробка даних. — 2011. — Т. 13, № 3. — С. 92-105. — Бібліогр.: 23 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860116927021580288 |
|---|---|
| author | Циганок, В.В. |
| author_facet | Циганок, В.В. |
| citation_txt | Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень / В.В. Циганок // Реєстрація, зберігання і обробка даних. — 2011. — Т. 13, № 3. — С. 92-105. — Бібліогр.: 23 назв. — укр. |
| collection | DSpace DC |
| container_title | Реєстрація, зберігання і обробка даних |
| description | У наявних системах підтримки прийняття рішень (СППР) для проведення експертного оцінювання, експертові пропонується деяка, наперед визначена, шкала. Це негативно впливає на ефективність отримання інформації від експерта, оскільки вигляд шкали, що застосовується, має відповідати рівню компетентності експерта в конкретному питанні. Запропоновано технологію експертного оцінювання, яка позбавлена такого недоліку. В основу запропонованої технології покладено метод парних порівнянь, який дозволяє експертові вибирати шкалу експертного оцінювання з кількістю градацій, що адекватно відображає його компетентність у питанні, що розгляддається. Тим самим метод дозволяє експертові зробити обдуманий вибір відповідної лінгвістичної фрази (поділки шкали), яка найбільш повно відповідає його уявленням про співвідношення в парі альтернатив.
В существующих системах поддержки принятия решений (СППР) для проведения экспертного оценивания эксперту предлагается некоторая, заранее определенная, шкала. Это негативно влияет на эффективность получения информации от эксперта, поскольку вид применяемой шкалы, должен соответствовать уровню компетентности эксперта в конкретном вопросе. Предложена технология экспертного оценивания, которая лишена такого недостатка. В основу предлагаемой технологии положен метод парных сравнений, позволяющий эксперту выбирать шкалу экспертного оценивания с количеством градаций, которое адекватно отражает его компетентность в рассматриваемом вопросе. Тем самым, метод позволяет эксперту сделать обдуманный выбор соответствующей лингвистической фразы (деления шкалы), наиболее полно соответствующей его представлениям о соотношении в паре альтернатив.
In the existing decision support systems (DSS) to conduct expert estimating some pre-defined scale is offered to the expert. This badly affects the efficiency of getting information from an expert, because the used scale should correspond to the level of competence of the expert in a particular issue. Technology of expert estimating devoid of this shortcoming is proposed. The method of paired comparisons, as the basis of the proposed technology, allows the expert to choose the estimating scale with the number of gradations that adequately reflect his competence in the issue under consideration. Thus, the method allows the expert to make a deliberate choice of the linguistic phrase (scale divisions), which most fully corresponds to his notion of the relationship between the pair of alternatives.
|
| first_indexed | 2025-12-07T17:36:42Z |
| format | Article |
| fulltext |
Експертні системи
та підтримка прийняття рішень
92
УДК 519.816
В. В. Циганок
Інститут проблем реєстрації інформації НАН України
вул. М.Шпака, 2, 03113 Київ, Україна
Вибір шкали оцінювання експертом
у процесі виконання ним парних порівнянь
у системах підтримки прийняття рішень
У наявних системах підтримки прийняття рішень (СППР) для прове-
дення експертного оцінювання, експертові пропонується деяка, напе-
ред визначена, шкала. Це негативно впливає на ефективність от-
римання інформації від експерта, оскільки вигляд шкали, що застосо-
вується, має відповідати рівню компетентності експерта в конк-
ретному питанні. Запропоновано технологію експертного оцінюван-
ня, яка позбавлена такого недоліку. В основу запропонованої техно-
логії покладено метод парних порівнянь, який дозволяє експертові ви-
бирати шкалу експертного оцінювання з кількістю градацій, що адек-
ватно відображає його компетентність у питанні, що розгляддає-
ться. Тим самим метод дозволяє експертові зробити обдуманий вибір
відповідної лінгвістичної фрази (поділки шкали), яка найбільш повно
відповідає його уявленням про співвідношення в парі альтернатив.
Ключові слова: шкала експертного оцінювання, компетентність екс-
пертів, предметна область, система підтримки прийняття рішень.
Вступ
В умовах постійного підвищення відповідальності за прийняття рішень у різ-
них сферах життєдіяльності людини, у світі постійно зростає обсяг застосування
систем підтримки прийняття рішень (СППР). У слабкоструктурованих предмет-
них областях, за відсутності у достатній кількості детермінованої інформації для
прийняття рішень, експертна підтримка прийняття рішень є єдиним засобом під-
вищення їхньої якості.
Якість рішень у таких випадках, беззаперечно, залежить від того, наскільки
повно та без спотворень експерти надають інформацію про свої уявлення про
предметну область. На основі наданої експертами інформації будуються моделі
предметних областей у вигляді баз знань (БЗ)/ієрархій цілей, які використовують-
ся у подальшому для оцінювання варіантів рішень.
© В. В. Циганок
Вибір шкали оцінювання експертом у процесі
виконання ним парних порівнянь у системах підтримки прийняття рішень
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 3 93
Як відмічалось у [1], адекватність отримання експертної інформації в існую-
чих експертних СППР обмежуються за рахунок того, що експертові апріорно
пропонується деяка визначена шкала для введення ним своїх оцінок. У згаданій
роботі запропоновано концепцію створення СППР нового типу, що адаптуються
до рівня компетентності експертів при наданні ними інформації про об’єкти
предметної області та їхню взаємодію.
Слід зазначити, що проблеми, які вирішуються із застосуванням таких СППР,
зазвичай, лежать у площині вимірювання (оцінювання), так званих, невідчутних
(англ. — intangible) факторів. Тому, на відміну від помітних/відчутних факторів
(tangible), коли можливо застосування абсолютних (фізичних) шкал, в яких при-
сутні одиниці вимірювання та початок відліку, в даному випадку, більш прийнят-
ні відносні шкали та пов’язані з ними відносні вимірювання [2]. У [2] зазначаєть-
ся, що відносні шкали є більш загальними ніж фізичні, бо через вимірювання у
фізичних шкалах можливо отримати відносні вимірювання, але не навпаки. Оскі-
льки людина, як експерт, наділена унікальним талантом порівнювати речі, а в
слабкоструктурованих предметних областях, зазвичай, еталони для порівняння
відсутні, то задля якомога повного використання цих унікальних умінь людини,
доцільно, при будь-якому експертному оцінюванні, використовувати метод пар-
них порівнянь [3–4], як метод відносних вимірювань. Тому в подальших дослі-
дженнях пропонується розглядати шкали експертного оцінювання, що використо-
вуються, виключно при застосуванні методу парних порівнянь.
Крім того, слід зазначити, що у даній роботі будемо спиратися на модель від-
носних вимірювань, що запропонована Т. Сааті [5, 6], яка розроблялася для вирі-
шення задач багатокритеріального прийняття рішень. Аксіоматична структура
цієї моделі створювалась у міру розробки. Її пізніше описав Л. Варгас [7], як за-
сновану на наступних аксіомах:
1) аксіома обернених порівнянь: якщо альтернатива Ai переважає Aj в x разів,
то Aj переважає Ai в 1/х разів;
2) аксіома однорідності: судження про переваги представляються засобами
обмеженої шкали;
3) аксіома незалежності: у багатокритеріальному випадку ваги критеріїв не
залежать від стимулів (альтернатив, що оцінюються);
4) аксіома сподівань: заради можливості прийняття рішення ієрархічна струк-
тура вважається повною (завершеною).
Якщо розглядати експертне оцінювання як акт парного порівняння деяких
альтернатив, що не пов’язаний із багатокритіріальністю (коли розглядається ви-
значення ступеня переваги однієї альтернативи над іншою відносно деякого єди-
ного критерію), то мають значення лише перші дві аксіоми. В рамках проблеми,
що розкривається в даній статті, особливу увагу потрібно акцентувати на, так зва-
ній, аксіомі однорідності, яка обумовлює обмеженість шкали, що застосовується
при експертному оцінюванні.
Т. Сааті та К. Пеніветі [8] описують процес розбиття альтернатив на групи
(кластеризацію), який є складовою методу аналізу ієрархій, і є необхідним для за-
безпечення однорідності об’єктів, що порівнюються експертами. Так, автори у [8,
с. 55] зазначають, що людина, в тому числі експерт, має труднощі при встанов-
В. В. Циганок
94
ленні співвідношень між об’єктами, коли відношення (перевага одного над ін-
шим) більша ніж у 9 разів. Фактично цією умовою обмежується числове значення,
що відповідає максимальній перевазі в шкалах експертного оцінювання.
Огляд джерел, що пов’язані з проблемою
Проблеми класифікації та вибору шкал експертного оцінювання досить ши-
роко висвітлені в науковій літературі. Серед останніх робіт хочеться виділити
низку статей, які найбільше наблизилися до вказаних проблем.
Деякі шкали і їхні властивості охарактеризовані в роботах В. Кушербаєвої та
Ю. Сушкова [9], де було запропоновано альтернативний варіант шкали для експе-
ртного оцінювання (т.зв. логістична шкала), яка, за словами авторів, переважно
може застосовуватися, коли задача прийняття рішень — це ранжирування альтер-
натив.
Серед вітчизняних авторів питання вибору шкали нещодавно торкнулися
Н. Яремчук та О. Сікоза [10], вирішуючи задачу побудови лінгвістичних шкал при
експертному оцінюванні властивостей складних об’єктів.
Особливо слід відзначити експериментальне дослідження, яке нещодавно
проведено М. Елліоттом [11], в якому досліджувався вплив вибраної числової
шкали на відповідність результатів експертного оцінювання внутрішнім уявлен-
ням експерта. В результаті такого дослідження було з’ясовано, що вибір шкали
має значний вплив на результуючу оцінку варіанта рішення. Було проаналізовано
три різновиди числових шкал, значення поділок яких призначалися лінгвістичним
змінним шкали Сааті [12] двох видів — з 5-ма та з 9-ма градаціями. Серед розгля-
нутих числових шкал наступні: цілочислова (англ. — integer), збалансована (bal-
anced) та степенева (power) шкали.
Найбільш популярна і проста це — цілочислова шкала, в якій стандартним
лінгвістичним фразам, що використовуються експертом при парних порівняннях і
визначені ступеня преваги, поставлені у відповідність цілі числа від 1 до 9 (табл. 1).
Таблиця 1. Фрази, що використовуються експертом для визначення ступеня переваги пари
альтернатив і відповідники їм у цілочисловій шкалі
Лінгвістична фраза Фраза англійською
Число, що
поставлене
у відповідність
Немає переваги (рівнозначні) Equally 1
Слабка або незначна перевага Weakly or slightly preferred 2
Середня перевага Moderately preferred 3
Більше ніж середня перевага Moderately plus preferred 4
Сильна перевага Strongly preferred 5
Більше ніж сильна перевага Strongly plus preferred 6
Дуже сильна перевага Very strongly preferred 7
Дуже, дуже сильна перевага Very, very strongly preferred 8
Надзвичайна перевага Extremely preferred 9
При застосуванні шкали з 5-ма градаціями, замість 9-ти, використовуються
Вибір шкали оцінювання експертом у процесі
виконання ним парних порівнянь у системах підтримки прийняття рішень
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 3 95
виключно тільки лінгвістичні фрази, яким поставлені у відповідність непарні чис-
ла (1, 3, 5, 7, 9).
Слід зазначити, що фрази, які представлені в табл. 1 (англійською мовою)
введені у широкий вжиток Т. Сааті, і, часто в літературі їх, разом з їхніми число-
вими відповідниками, називають фундаментальною шкалою, або шкалою Сааті.
Оскільки, із самого початку, пропонувалася для використання шкала з 5-ма града-
ціями, тому більшість доданих фраз, що відповідають градаціям шкали 2, 4, 6 та 8,
відображають проміжні ступені переваги між тими, що існували спочатку. На
перший погляд здається, що багатими мовними засобами можна сформулювати
більш лаконічні, точні та милозвучні фрази або, принаймні, зробити більш вдалий
переклад на українську мову, але тут річ у тому, що фрази, які використовуються,
мають абсолютно однозначно відображати різницю (відмінність) між ступенями
переваги. Так, наприклад, в уявленні людини однозначно сформувалася думка, що
«слабка» перевага слабша за «середню», «середня» слабша за «сильну» і т.п., але
далеко не очевидно, як співвідносяться між собою, наприклад, «надзвичайна»,
«незаперечна», «абсолютна» і «безумовна» переваги, або, наприклад, «досить си-
льна», «помірна» та «значна» переваги? Отже, наразі, будемо використовувати са-
ме таку множину фраз (набір лінгвістичних змінних), як представлено в табл. 1.
Цілі числа, що поставлені у відповідність лінгвістичним фразам, показують
«у скільки разів» одна з пари альтернатив перевершує іншу за деяким показником
(критерієм). Оскільки, це припущення є досить суперечливим і далеко не безсум-
нівним, тому в деяких дослідників виникло бажання поставити множині лінгвіс-
тичних змінних інші, більш відповідні уявленню експерта, числа. Рядом дослід-
ників було помічено, що використання цілочислових шкал призводить до нерів-
номірного розподілу обчислених на їхній основі ваг альтернатив. Дійсно, зміна
переваги на одну поділку шкали, наприклад, зі «слабкої» переваги (2) до «серед-
ньої» (3) має значно більший ефект на результуючі ваги альтернатив ніж зміна
переваги на одну поділку, наприклад, із «дуже, дуже сильної» переваги (8) до
«надзвичайної» (9). Щоб уникнути такої нерівномірності А. Сало та Р. Хамалай-
нен [13] запропонували збалансовану шкалу, де зміна ваг є постійною при зміні
ступенів переваги шкали.
У так званій збалансованій шкалі ваги альтернатив, що обчислені на основі
парних порівнянь, є рівномірно розподіленими залежно від вихідних даних (пар-
них порівнянь). Числові значення, які відповідають лінгвістичним фразам для
збалансованої шкали, обчислені, виходячи з виразу
w
wa
-
=
1
, де w — вага альтер-
нативи, що переважає в парі, і наведені в табл. 2.
Слід зазначити, що у такому вигляді дана шкала є повністю «збалансованою»
тільки для випадку наявності лише 2-х альтернатив.
Третьою серед розглянутих шкал є степенева, яка запропонована декількома
авторами, в тому числі Стівенсом [14] та Луцмою [15, 16]. Числові значення, що
відповідають лінгвістичним фразам для степеневої шкали знайдені, виходячи з
виразу 1 19- -= y xa , де x — це ціле число із табл. 1, що відповідає тій самій фразі, y
— кількість градацій шкали. Для кількості градацій 9, числові еквіваленти для
степеневої шкали наведені в табл. 3.
В. В. Циганок
96
Таблиця 2. Числові еквіваленти для збалансованої шкали
Лінгвістична фраза
Число, що поставлене
у відповідність
Немає переваги (рівнозначні) 0,5/0,5 = 1
Слабка або незначна перевага 0,55/0,45 = 11/9
Середня перевага 0,6/0,4 = 3/2
Більше ніж середня перевага 0,65/0,35 = 13/7
Сильна перевага 0,7/0,3 = 7/3
Більше ніж сильна перевага 0,75/0,25 = 3
Дуже сильна перевага 0,8/0,2 = 4
Дуже, дуже сильна перевага 0,85/0,15 = 17/3
Надзвичайна перевага 0,9/0,1 = 9
Таблиця 3. Числові еквіваленти для степеневої шкали
Лінгвістична фраза
Число, що поставлене
у відповідність
Немає переваги (рівнозначні) 8 09 1=
Слабка або незначна перевага 8 19 1,316»
Середня перевага 8 29 1,732»
Більше ніж середня перевага 8 39 2, 280»
Сильна перевага 8 49 3=
Більше ніж сильна перевага 8 59 3,948»
Дуже сильна перевага 8 69 5,196»
Дуже, дуже сильна перевага 8 79 6,839»
Надзвичайна перевага 8 89 9=
Важливо, що ваги альтернатив, що знайдені на основі оцінок у степеневій
шкалі, мають рівномірний розподіл за будь-якої кількості альтернатив.
Одним із результатів досліджень, що проведені М. Елліоттом і зазначені в
[11], є аналіз інформації від 64-х експертів про їхнє відношення до запропонова-
ної їм шкали для оцінювання. В конкретному експериментальному дослідженні
варіанти відповідей на запитання: «Для Вас кількість варіантів для вибору переваг
була: а) Занадто велика; б) У самий раз; в) Занадто малою?» розподілились, як зо-
бражено в табл. 4.
Таблиця 4. Відсотковий вміст думок експертів, яким була запропонована
для оцінювання шкала з 5-ма або з 9-ма градаціями щодо кількості градацій шкали
Занадто велика У самий раз Занадто мала
5 ступенів переваги 43,8 % 53,1 % 3,1 %
9 ступенів переваги 84,4 % 15,6 % 0 %
Вибір шкали оцінювання експертом у процесі
виконання ним парних порівнянь у системах підтримки прийняття рішень
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 3 97
Висновок, який було зроблено на основі даних табл. 4 про віддання переваги
у використанні шкали з 5-ма градаціями, на думку автора, може мати місце тільки
для даної конкретної групи експертів і, крім того, для даного конкретного питання
експертизи. Наведені у табл. 4 результати дослідження підтверджують наступні
положення, які, до речі, не були відмічені в [11]: 1) питання про вибір кількості
градацій для шкали експертного оцінювання є актуальним; 2) той факт, що думки
експертів відносно комфортної кількості градацій у шкалах оцінювання розділи-
лись, є підтвердженням того, що варто пропонувати вибір шкали кожному експе-
ртові окремо, замість того, щоб вибрати єдину шкалу для проведення експертного
оцінювання; 3) для кожного питання експертизи експерт може вибрати деяку
шкалу оцінювання з оптимальною для цього випадку кількістю градацій; 4) такою
оптимальною кількістю градацій шкали не обов’язково має бути 5 або 9.
До того ж, слід відмітити огляд і порівняння п’яти основних шкал оцінюван-
ня, представлений у роботі [17]. Крім згаданих вище шкал, до огляду увійшли
шкала Ма–Чженга [18] та шкала Донеган–Додд–МакМастера [19]. Числові зна-
чення, які відповідають лінгвістичним фразам для шкали Ма–Чженга, обчислю-
ються виходячи з виразу
xy
ya
-+
=
1
, де x — це ціле число із табл. 1, що відпові-
дає тій самій фразі; y — кількість градацій шкали. Числові значення наведені в
табл. 5.
Таблиця 5. Числові еквіваленти для шкали Ма–Чженга
Лінгвістична фраза
Число, що поставлене
у відповідність
Немає переваги (рівнозначні) 9/9 = 1
Слабка або незначна перевага 9/8
Середня перевага 9/7
Більше ніж середня перевага 9/6 = 3/2
Сильна перевага 9/5
Більше ніж сильна перевага 9/4
Дуже сильна перевага 9/3 = 3
Дуже, дуже сильна перевага 9/2
Надзвичайна перевага 9/1 = 9
Шкала, що запропонована в [19], — більш складна для розуміння. Числові
значення, які відповідають лінгвістичним фразам для шкали Донеган–Додд–
МакМастера, обчислюються, виходячи з виразу: ú
û
ù
ê
ë
é
÷
ø
ö
ç
è
æ
-
-
= -
1
1tanhexp 1
h
xa , де x — це
ціле число із табл. 1, що відповідає тій самій фразі; h — параметр, що обчислює-
ться, як показано далі. Щоб отримати параметр h, автори пропонують визначити
так званий 8-ковий або 7-ковий горизонт (діапазон). Обчислення 8-кового гори-
зонту 3141+=h базується на припущенні, що для альтернатив A, B та C має
місце наступне транзитивне відношення: A переважає C зі ступенем переваги
В. В. Циганок
98
9( 9=ACa ), якщо 8== BCAB aa , тобто «8 • 8 = 9». А обчислення 7-кового горизон-
ту 261+=h базується на припущенні, що 9=ACa , якщо 7== BCAB aa , тобто
«7 • 7 = 9». Числові значення для шкали Донеган–Додд–МакМастера наведені в
табл. 6.
Таблиця 6. Числові еквіваленти для шкали Донеган–Додд–МакМастера
Лінгвістична фраза
Число, що поставлене
у відповідність
Немає переваги (рівнозначні) 1
Слабка або незначна перевага 1,132
Середня перевага 1,287
Більше ніж середня перевага 1,477
Сильна перевага 1,720
Більше ніж сильна перевага 2,060
Дуже сильна перевага 2,600
Дуже, дуже сильна перевага 3,732
Надзвичайна перевага 9
Порівняльне дослідження наведених вище шкал та оптимізаційна модель ви-
бору шкали для використання експертом наведені в роботі [20]. Систематизація та
загальна класифікація шкал відношень представлена в роботі [21].
Мотивація
У всіх перелічених дослідженнях присутнє розуміння про необхідність вибо-
ру шкали для експертного оцінювання. Часом спостерігається прагнення дослід-
ників обрати деяку оптимальну, але, все-таки, єдину, універсальну шкалу для пе-
вного класу експертного оцінювання. Тобто проглядається прагнення знайти
шкалу, що буде найбільш повно відповідати предмету експертизи загалом і задо-
вольняти вимоги усіх експертів.
У даній роботі пропонується інший підхід до вибору шкали для оцінювання.
Одне із базисних тверджень цього підходу полягає в тому, що спроби підбору
універсальних шкал для експертного оцінювання є недоцільними, оскільки рівень
інформації, яким володіє експерт стосовно кожного окремого питання експертизи,
є різним. Тобто, є різним рівень знань експерта (його компетенція) стосовно кож-
ного окремого питання. Тому, для того, щоб якомога повніше, але без тиску на
експерта, отримати інформацію про його власні уявлення про предмет експерти-
зи, потрібно передбачити для експерта можливість вибору відповідної шкали для
кожного окремого акту проведення ним відносного оцінювання.
З досвіду експертного оцінювання було зроблено висновок, що для адекват-
ного, повного, без тиску на експерта, отримання від нього знань у деякій предме-
тній області, потрібно, щоб шкала, в якій експертові пропонується проводити оці-
нювання, найбільшій мірі відповідала його рівню компетентності про предмет
експертизи. Зазначимо, що процес оцінювання для експерта є еквівалентним ви-
бору на конкретній шкалі деякої однієї з наявних поділок, яка, на його думку,
Вибір шкали оцінювання експертом у процесі
виконання ним парних порівнянь у системах підтримки прийняття рішень
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 3 99
найбільш відповідає вагомості оцінюваної альтернативи, або перевазі одної аль-
тернативи над іншою [2]. Отже, у випадках, навіть коли експерт не схильний ви-
бирати або не упевнений у виборі конкретної поділки шкали, він усе ж змушений
такий вибір зробити, тому що це зумовлено перебігом експертного оцінювання в
існуючих СППР. Тим самим, фактично, спричиняється тиск на експерта під час
оцінювання. Такий тиск призводить до невідповідності між уявленнями експерта
про предметну область і моделлю предметної області, що створюється на основі
оцінок цього експерта.
Окрім того, можуть траплятися випадки, коли через недостатню докладність
(детальність) шкали, що застосовується у процесі оцінювання, експерт надає свої
знання про предметну область не повною мірою, що теж є істотним недоліком та-
кого традиційного підходу. Тому, задля уникнення цих суттєвих недоліків, про-
понується технологія експертного оцінювання, що дозволяє експертові самостій-
но вибирати для здійснення кожного оцінювання таку шкалу, яка найбільш адек-
ватно відповідає його рівню знань і досвіду про конкретний предмет експертизи.
Звичайно, при проведенні експертного оцінювання, покладати на експерта
вибір шкали в прямому сенсі слова (наприклад, вибір зі списку шкал) не є доціль-
ним, оскільки експерт, як вузький спеціаліст у конкретній галузі, зазвичай, не є
спеціалістом у самому процесі експертного оцінювання та шкалах. Тому, наразі,
пропонується розробити технологію експертного оцінювання, яка дозволяє про-
водити оцінювання в різних за детальністю шкалах, з можливістю поступового
збільшення деталізації інформації, яку надає експерт про предмет експертизи.
Сутність методу експертного оцінювання
Значимість методу, що покладений в основу технології, полягає у найбільш
повному отриманні інформації від експерта про предмет експертизи стосовно
кожного конкретного питання. Метод призначений забезпечити найбільшу відпо-
відність внутрішніх уявлень експерта про це питання до поділки шкали, яка виб-
рана ним як результат оцінювання. Так, наприклад, при використанні методу пар-
них порівнянь альтернатив, експертові спершу пропонується оцінити перевагу
однієї альтернативи над іншою в ординальній (порядковій) — найменш деталізо-
ваній шкалі, тобто експертові пропонується визначити тільки наявність переваги
між альтернативами. Після цього, експертові пропонується поступово збільшува-
ти деталізацію наданих ним знань про перевагу альтернатив шляхом оцінювання
у все більш деталізованих шкалах, аж поки експерт не досягне свого рівня компе-
тенції у питанні експертизи і відмовиться від подальшої деталізації.
Умовою застосування методу, що побудований на викладених принципах, є
зацікавленість експерта в найповнішому наданні своїх знань про предмет експер-
тизи, інакше експерт вийде з процесу оцінювання на початковому етапі процесу і,
тим самим, знання експерта про предмет будуть отримані не повною мірою. За-
значимо, що ця умова є необхідною для організації будь-яких експертиз і є досить
природною, так само, як і умова, що експертові немає сенсу надавати недостовір-
ну інформацію або дані про предмет експертизи, в яких він не впевнений.
В основі технології, що пропонується, покладено ідею більш гнучкого засто-
сування шкал експертного оцінювання з метою найбільш повного відображення
В. В. Циганок
100
знань експертів про предметну область у базі знань СППР. При експертному порі-
внянні альтернатив вважатимемо, що у випадку, коли у експерта недостатньо
знань і/або досвіду, щоб розрізнити деякі альтернативи, він оцінює ці альтернати-
ви як рівнозначні або відмовляється їх оцінювати. В основі цієї евристики лежить
положення, що двох однакових альтернатив при порівнянні бути не може. Такий
випадок буде трактуватись як недостатність знань і досвіду експерта про альтер-
нативи, що пропонуються для порівняння, тобто недостатність компетентності
експерта в питанні, що розглядається. Дане положення особливо стосується екс-
пертного оцінювання альтернатив у, так званій, слабкоформалізованій предметній
області, коли, фактично, еталонів для оцінювання не існує, і вимір (оцінювання)
«невідчутних» властивостей альтернатив можливий тільки за допомогою експер-
та. Якщо розглядати експерта, як деякий метрологічний прилад, що вимірює ва-
гомість альтернатив, то недостатність знань експерта для розрізнення альтернатив
відповідає недостатньому класу точності такого метрологічного приладу. На про-
тивагу, у предметних областях, що не є слабкоформалізованими, та коли маємо
справу з «відчутними» властивостями альтернатив, які, зазвичай, можливо вимі-
ряти або обчислити, фактично, немає необхідності у проведенні експертизи взагалі.
Технологія експертного оцінювання
Пропонується наступна технологія експертного оцінювання в процесі вико-
нання експертом парних порівнянь альтернатив, для чого розроблено програмний
інтерфейс, який дозволяє експертові в інтерактивному режимі вибирати шкалу
оцінювання, що найбільш відповідає його компетенції у даному питанні, та про-
водити в ній попарні порівняння альтернатив.
Будемо описувати технологію експертного оцінювання на прикладі викорис-
тання експертом розробленого програмного інтерфейсу, загальний вигляд якого
показано на рис. 1.
Рис. 1. Загальний вигляд інтерфейсу для попарного порівняння альтернатив експертом
Запропонована технологія передбачає на початковому етапі попарного порів-
няння деяких альтернатив визначитись, яка з альтернатив краща (яка з альтерна-
тив має перевагу над іншою за деяким відомим критерієм). Початковий діалог з
експертом починається з діалогового вікна, що зображене на рис. 2.
Вибір шкали оцінювання експертом у процесі
виконання ним парних порівнянь у системах підтримки прийняття рішень
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 3 101
Рис. 2. Початковий діалог з експертом
Зазначимо, що діалог з експертом підтримується інформативними підказка-
ми, які дають можливість експерту краще зрозуміти сутність лінгвістичних термі-
нів, що використовуються при порівнянні, будуючи у своїй уяві аналогію до про-
цесу зважування на терезах (рис. 3).
Рис. 3. Приклади інформативних підказок
Слід відмітити, що на будь-якому етапі процесу порівняння пари альтерна-
тив, експерт має можливість вибрати пункт діалогу «Не можу визначитись», при
виборі якого, процес порівняння даної пари альтернатив завершується. Результа-
том такого завершення діалогу з експертом може бути:
1) відсутність інформації про співвідношення пари альтернатив (якщо екс-
перт вийшов з діалогу на початковому етапі — рис. 2). Фактично, за відсутності
інформації про співвідношення пари альтернатив, експерт не в змозі визначити
кращу з альтернатив. Причому, варіанту вибору «рівнозначні» — не передбачає-
ться, такий варіант вважається рівносильним «не можу визначити». В подальшо-
му для цього випадку в СППР будуть працювати алгоритми обробки неповної
матриці парних порівнянь;
2) інформація виключно про наявність переваги однієї з альтернатив (якщо
після вибору на початковому етапі серед двох варіантів «Гірша» або «Краща»,
експерт вийшов з діалогу, не визначившись зі ступенем переваги). У такому ви-
падку в систему поступає ординальна (порядкова) експертна оцінка, і в подаль-
шому обробка цієї інформації буде проводитися відповідними методами (метода-
ми обробки ординальної експертної інформації);
В. В. Циганок
102
3) інформація про ступінь переваги однієї з альтернатив над іншою (залежно
від того, на якому саме етапі діалогу відбувся вихід). Цей випадок пов’язаний з
наданням експертом кардинальної (кількісної) інформації. Ступінь переваги буде
визначатися залежно від вибраних на поточний момент типу та кількості градацій
шкали експертного оцінювання.
Технологія передбачає, що експерт може у будь-який момент на етапі вве-
дення кардинальної інформації змінити поточний тип шкали оцінювання. Усі,
згадані у цій статті, типи шкал можуть бути обрані експертом. Зміна типу шкали
оцінювання може знадобитись експертові для більш адекватного відображення у
числовій формі свого уявлення про перевагу однієї альтернативи над іншою. Для
наглядного подання властивостей шкали кожного із типів, програмний діалоговий
засіб передбачає інформаційну підказку експертові у вигляді гістограми (рис. 4).
Така гістограма наглядно характеризує числові співвідношення між різними гра-
даціями в шкалі і, тим самим, дозволяє експертові зробити обґрунтований вибір
типу шкали для подальшого оцінювання, причому, не вдаючись до числових екві-
валентів градацій.
Рис. 4. Підказка у вигляді гістограми, що характеризує властивість типу шкали
Аналогічно, не вдаючись до числових еквівалентів ваг альтернатив, запропо-
нована технологія дозволяє експертові підібрати найбільш відповідне його уяв-
ленням співвідношення між вагами в парі альтернатив, що порівнюються. Як
можна побачити зі знімків екрану, що зображені на рис. 5, за допомогою інтерак-
тивної підказки у вигляді терезів, є можливість знайти відповідники між відно-
шенням ваг (розмірами, об’ємами) об’єктів на терезах, а тим самим, і між відно-
шенням ваг альтернатив, що порівнюються, та лінгвістичними фразами, які харак-
теризують це відношення.
Вибір шкали оцінювання експертом у процесі
виконання ним парних порівнянь у системах підтримки прийняття рішень
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 3 103
Рис. 5. Візуальна підказка у вигляді зображення терезів наглядно відображає
вибрану перевагу для заданого типу шкали
У представленому діалоговому програмному засобі відношення між розміра-
ми об’єктів на терезах для показу експертові розраховується відповідно до вибра-
ного на поточний момент типу шкали. Згідно до сказаного, лінійний розмір
об’ємного об’єкта (більшого з двох, що зображені на терезах) визначається через
розмір меншого об’єкта, що виступає як еталон, за наступним співвідношенням:
EB lal ×= 3 , де Bl — лінійний розмір більшого об’єкта (наприклад, висота); El —
однойменний лінійний розмір еталона; a — числовий еквівалент визначеної гра-
дації вибраного типу шкали.
За відсутності такого засобу візуалізації переваг технологія експертного оці-
нювання дуже сильно втрачає за рахунок того, що експерт часто не уявляє, або
уявляє хибно, числові співвідношення, що закладені в лінгвістичні фрази, якими
він змушений користуватися при оцінюванні.
Експериментальне оцінювання запропонованої технології
Для оцінки ефективності розробленої технології немає змоги застосувати
аналітичні методи в силу відсутності еталонів при експертному оцінюванні. В та-
кому випадку можливим залишається лише експеримент із залученням експертів.
Мета експерименту — отримати підтвердження, що інформація, яку надає екс-
перт, застосовуючи запропоновану технологію, що дозволяє експертові вибирати
шкалу оцінювання при кожному порівнянні альтернатив, більше відповідає уяв-
ленням експерта, ніж без застосування згаданої технології.
Експериментальне дослідження проводиться наступним чином.
1. Кожному учаснику експерименту (експерту) пропонується зробити парні
порівняння множини 7 альтернатив.
2. Процес парних порівнянь заданої множини альтернатив повторюється для
трьох випадків використання шкал експертного оцінювання: 1) використання
В. В. Циганок
104
шкали з 5-ма лінгвістичними фразами, що відповідають непарним значенням ці-
лочислової шкали (див. табл. 1); 2) використання цілочислової шкали з 9-ма по-
ділками; 3) використання запропонованої технології.
3. Після того, як сформовані 3 матриці парних порівнянь, для кожної з них за-
стосовується метод розрахунку ваг альтернатив. Для даного експерименту було
вирішено застосовувати комбінаторний метод [22, 23], як такий, що може оброб-
ляти як повні, так і неповні матриці парних порівнянь.
4. На заключному етапі, експерту пропонуються три розраховані вектори ваг
альтернатив, що розміщені у випадковому порядку і без зазначення назви і ва-
ріанта матриці парних порівнянь, з якої вони отримані. Ці результати видаються у
вигляді стовпчикових діаграм із позначками числових еквівалентів стовпчиків.
Експерт має оцінити, який з варіантів найбільше відповідає його уявленням про
відношення між альтернативами.
Докладні результати цього дослідження планується опублікувати в подаль-
шому. На даний час можна відмітити, що у більшості випадків експерти на завер-
шальній стадії експерименту відмічають вектор ваг альтернатив, що отриманий з
використанням запропонованої технології як такий, що найкращим чином відпо-
відає їхнім уявленням, чим підтверджують ефективність запропонованої техно-
логії.
Висновки
Отже, в даній роботі запропоновано технологію отримання експертної інфор-
мації в СППР, яка базується на використанні методу парних порівнянь і дозволяє
підвищити ефективність отримання інформації від експертів. Метод, який покла-
дено в основу запропонованої технології, дозволяє підвищити відповідність нада-
ної експертом інформації до його особистих уявлень про предмет експертизи. Та-
ке підвищення ефективності стало можливим за рахунок надання експертові про-
грамно-інтерфейсних інструментів для вибору шкали оцінювання, яка найкраще
відповідає його компетентності в питанні, що розглядається.
Результати цих досліджень були використані при розробці СППР, що мають
змогу адаптуватися до рівня компетентності експертів.
1. Циганок В.В. Концепція створення систем підтримки прийняття рішень, що адаптивні до
рівня компетентності експертів / В.В. Циганок // Реєстрація, зберігання і оброб. даних. — 2011. —
Т. 13, № 2. — С. 106–114.
2. Saaty T.L. Scales from Measurement Not Measurement from Scales! [Electronic resource] / Pro-
ceedings of MCDM 2004. — Whistler, B.C., Canada. — Aug. 6-11 / T.L. Saaty. — Access mode:
http://www.bus.sfu.ca/events/mcdm/MCDMProgram/Papers/AP168 CF Saaty Scales.pdf
3. Devid H.A. The Method of Paired Comparisons / H.A. Devid. — N.Y.: Oxford Univ. Press, 1988.
4. Saaty T.L. Relative Measurement and its Generalization in Decision Making. Why Pairwise
Comparisons are Central in Mathematics for the Measurement of Intangible Factors. The Analytic
Hierarchy/Network Process / T.L Saaty // Statistics and Operations Research. — 2008. — 102(2). —
P. 251–318.
http://www.bus.sfu.ca/events/mcdm/MCDMProgram/Papers/AP168 CF Saaty Scales.pdf
Вибір шкали оцінювання експертом у процесі
виконання ним парних порівнянь у системах підтримки прийняття рішень
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2011, Т. 13, № 3 105
5. Saaty T.L. A Scaling Method for Priorities in Hierarchical Structures / T.L. Saaty // J. of Mathe-
matical Psychology. — 1977. — 15. — P. 234–281.
6. Saaty T.L. The Analytic Hierarchy Process / T.L. Saaty. — N.Y.: McGraw-Hill. — 1980.
7. Vargas L.G. An Overview of the Analytic Hierarchy Process and Its Applications / L.G. Vargas //
European J. of Operational Research. — 1990. — 48. — P. 2–8.
8. Saaty T. Group Decision Making: Drawing out and Reconciling Differences / T. Saaty, K.
Peniwati. — Pittsburgh. PA: RWS Publications.— 2008.
9. Кушербаева В.Т. Шкалы и их свойства в методе анализа иерархий / В.Т. Кушербаева, Ю.А.
Сушков // Известия Кабардино-Балкарского центра РАН. — 2010. — Т. 5(37). — С. 15–23.
10. Яремчук Н.А. Побудова лінгвістичних шкал при експертному оцінюванні властивостей
складних об’єктів / Н.А. Яремчук, О.М. Сікоза // Системи обробки інформації. — 2010. — 5(86).
— С. 153–157.
11. Elliott M.A. Selecting Numerical Scales for Pairwise Comparisons / M.A. Elliott // Reliability
Engineering and System Safety. — 2010. — 95. — P. 750–763.
12. Saaty T.L. Fundamentals of Decision Making and Priority Theory with the Analytic Hierarchy
Process / T.L. Saaty. — Pittsburgh. PA: RWS Publications. — 2006.
13. Salo A.A. On the Measurement of Preferences in the Analytic Hierarchy Process / A.A. Salo,
R.P. Hamalainen // J. of Multi-Criteria Decision Analysis. — 1997. — 6. — P. 309–319.
14. Stevens S.S. On the Psychophysical Law / S.S. Stevens // Psychology Review. — 1957. — 64.
— P. 153–181.
15. Lootsma F.A. Conflict Resolution via Pairwise Comparisons of Concessions / F.A. Lootsma //
European J. of Operational Research. — 1989. — 40. — P. 109–116.
16. Lootsma F.A. Scale Sensitivity and Rank Preservation in a Multiplicative Variant of the AHP
and SMART / F.A. Lootsma // Report 91-67. Faculty TWI. Delft University of Technology. Delft. The
Netherlands. — 1991.
17. Ji P. Scale Transitivity in the AHP / P. Ji and R. Jiang // J. of the Operational Research Society.
— 2003. — Vol. 54, N 8. — P. 896–905.
18. Ma D. 9/9-9/1 Scale Method of AHP / D. Ma, X. Zheng // Proc. of the Second Internat. Symp.
on the AHP. — University of Pittsburgh. — Pittsburgh, PA. — 1991. — Vol. 1. — P. 197–202.
19. Dodd F.J. Scale Horizons in Analytic Hierarchies / F.J. Dodd, H.A. Donegan, T.B.M. McMaster
// J. Multi-Criteria Decis. Anal. — 1995. — 4. — P. 177–188.
20. Dong Y. A Comparative Study of the Numerical Scales and the Prioritization Methods in AHP /
Yucheng Dong, Yinfeng Xu, Hongyi Li, Min Dai // European J. of Operational Research. — 2008. —
186. — P. 229–242.
21. Wedley W.C. A Taxonomy of Ratio Scales / William C. Wedley & Eng Ung Choo // OR-52
Keynotes and Extended Abstracts, Operational Research Society Ltd. — Royal Holloway University of
London, UK 7-9/09/2010 // ISBN 0 903440 47 4, P.199-203.
22. Циганок В.В. Комбінаторний алгоритм парних порівнянь зі зворотним зв’язком з експер-
том / В.В. Циганок // Реєстрація, зберігання і оброб. даних. — 2000. — Т. 2, № 2. — С. 92–102.
23. Циганок В.В. Визначення ефективності методів агрегації експертних оцінок при викорис-
танні парних порівнянь / В.В. Циганок // Реєстрація, зберігання і оброб. даних. — 2009. — Т. 11,
№ 2. — С. 83–89.
Надійшла до редакції 09.09.2011
|
| id | nasplib_isofts_kiev_ua-123456789-50532 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1560-9189 |
| language | Ukrainian |
| last_indexed | 2025-12-07T17:36:42Z |
| publishDate | 2011 |
| publisher | Інститут проблем реєстрації інформації НАН України |
| record_format | dspace |
| spelling | Циганок, В.В. 2013-10-23T00:02:55Z 2013-10-23T00:02:55Z 2011 Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень / В.В. Циганок // Реєстрація, зберігання і обробка даних. — 2011. — Т. 13, № 3. — С. 92-105. — Бібліогр.: 23 назв. — укр. 1560-9189 https://nasplib.isofts.kiev.ua/handle/123456789/50532 519.816 У наявних системах підтримки прийняття рішень (СППР) для проведення експертного оцінювання, експертові пропонується деяка, наперед визначена, шкала. Це негативно впливає на ефективність отримання інформації від експерта, оскільки вигляд шкали, що застосовується, має відповідати рівню компетентності експерта в конкретному питанні. Запропоновано технологію експертного оцінювання, яка позбавлена такого недоліку. В основу запропонованої технології покладено метод парних порівнянь, який дозволяє експертові вибирати шкалу експертного оцінювання з кількістю градацій, що адекватно відображає його компетентність у питанні, що розгляддається. Тим самим метод дозволяє експертові зробити обдуманий вибір відповідної лінгвістичної фрази (поділки шкали), яка найбільш повно відповідає його уявленням про співвідношення в парі альтернатив. В существующих системах поддержки принятия решений (СППР) для проведения экспертного оценивания эксперту предлагается некоторая, заранее определенная, шкала. Это негативно влияет на эффективность получения информации от эксперта, поскольку вид применяемой шкалы, должен соответствовать уровню компетентности эксперта в конкретном вопросе. Предложена технология экспертного оценивания, которая лишена такого недостатка. В основу предлагаемой технологии положен метод парных сравнений, позволяющий эксперту выбирать шкалу экспертного оценивания с количеством градаций, которое адекватно отражает его компетентность в рассматриваемом вопросе. Тем самым, метод позволяет эксперту сделать обдуманный выбор соответствующей лингвистической фразы (деления шкалы), наиболее полно соответствующей его представлениям о соотношении в паре альтернатив. In the existing decision support systems (DSS) to conduct expert estimating some pre-defined scale is offered to the expert. This badly affects the efficiency of getting information from an expert, because the used scale should correspond to the level of competence of the expert in a particular issue. Technology of expert estimating devoid of this shortcoming is proposed. The method of paired comparisons, as the basis of the proposed technology, allows the expert to choose the estimating scale with the number of gradations that adequately reflect his competence in the issue under consideration. Thus, the method allows the expert to make a deliberate choice of the linguistic phrase (scale divisions), which most fully corresponds to his notion of the relationship between the pair of alternatives. uk Інститут проблем реєстрації інформації НАН України Реєстрація, зберігання і обробка даних Експертні системи та підтримка прийняття рішень Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень Выбор шкалы оценивания экспертом в процессе выполнения им парных сравнений в системах поддержки принятия решений A Choice of Scale Estimation by Expert during the Performance of Pairwise Comparisons in Decision Support Systems Article published earlier |
| spellingShingle | Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень Циганок, В.В. Експертні системи та підтримка прийняття рішень |
| title | Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень |
| title_alt | Выбор шкалы оценивания экспертом в процессе выполнения им парных сравнений в системах поддержки принятия решений A Choice of Scale Estimation by Expert during the Performance of Pairwise Comparisons in Decision Support Systems |
| title_full | Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень |
| title_fullStr | Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень |
| title_full_unstemmed | Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень |
| title_short | Вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень |
| title_sort | вибір шкали оцінювання експертом у процесі виконання ним парних порівнянь у системах підтримки прийняття рішень |
| topic | Експертні системи та підтримка прийняття рішень |
| topic_facet | Експертні системи та підтримка прийняття рішень |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/50532 |
| work_keys_str_mv | AT ciganokvv vibírškaliocínûvannâekspertomuprocesívikonannânimparnihporívnânʹusistemahpídtrimkipriinâttâríšenʹ AT ciganokvv vyborškalyocenivaniâékspertomvprocessevypolneniâimparnyhsravneniivsistemahpodderžkiprinâtiârešenii AT ciganokvv achoiceofscaleestimationbyexpertduringtheperformanceofpairwisecomparisonsindecisionsupportsystems |