Consistency index evaluation for estimates of experts, taking into account their competence for group decision making
The issue of assessment of expert estimates’ consistency in cases of group polling taking into ac-count experts’ competence has been considered. The development of an appropriate method should proceed from a range of particular basic postulates. Namely, it is taken into consideration that expert est...
Gespeichert in:
| Datum: | 2018 |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
Інститут проблем реєстрації інформації НАН України
2018
|
| Schlagworte: | |
| Online Zugang: | http://drsp.ipri.kiev.ua/article/view/158509 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Data Recording, Storage & Processing |
Institution
Data Recording, Storage & Processing| id |
drspiprikievua-article-158509 |
|---|---|
| record_format |
ojs |
| spelling |
drspiprikievua-article-1585092019-12-27T02:31:23Z Consistency index evaluation for estimates of experts, taking into account their competence for group decision making Визначення індексу узгодженості оцінок експертів з урахуванням їхньої компетентності при підтримці прийняття групових рішень Roik, P. D. decision support systems expert estimates expert estimates consistency index spectral approach consistency threshold expert competence підтримка прийняття групових рішень експертне оцінювання індексузгодженості експертних оцінок спектральний підхід поріг узгодженості компетентність експертів The issue of assessment of expert estimates’ consistency in cases of group polling taking into ac-count experts’ competence has been considered. The development of an appropriate method should proceed from a range of particular basic postulates. Namely, it is taken into consideration that expert estimates always assume the existence of a «true» estimate corresponding to the average value of an array of individual expert estimates. Such an array can be presented on a continuous or a discrete numerical scale limited on both sides. The maximum level of consistency (1.0) can be achieved only if all experts provide the same estimate. The consistency index shouldn’t be dependent on estimate shifts along the axis. For the same set of estimates, increasing the scale leads to an increased consistency index, and vice versa. If a set of estimates has a higher level of consistency compared to another on a certain scale, it also has greater consistency on any other scale. In case of linear changes (simultaneous proportional increase/decrease) in scale parameters and the values of all estimates, the consistency index remains unchanged. So, the index should be scalable. The higher the level of an expert’s relative competence, the higher this estimate’s impact on the aggregate level of consistency is. The article considers two approaches, when analyzing the level of experts’ competence is reduced to calculating the consistency index without taking into consideration experts’ competence, and when the index is to be calculated as the normalized value of the amount of distances between expert estimates for all possible estimate pairs multiplied by the product of respective experts’ weight coefficients. Imitation modeling has been carried out, and an evaluation has been offered for a threshold consistency value above which aggregation of expert estimates becomes possible. The proposed method has been practically implemented and tested within a system of distributed collection and processing of expert data for decision support systems. Розглянуто задачу визначення рівня узгодженості оцінок при груповій експертизі з урахуванням компетентності експертів. Вбачається, що така розробка відповідного методу має виходити із низки сформульованих базових постулатів. Розглянуто два підходи: коли врахування компетентності експертів зводиться до випадку визначення індексу узгодженості без урахування компетентності експертів, і коли індекс запропоновано обчислювати як нормоване значення суми відстаней між оцінками експертів для усіх можливих пар оцінок, помножених на добуток ваг відповідних експертів. Проведено імітаційне моделювання та запропоновано визначення порогового значення узгодженості, вище якого стає допустимою агрегація експертних оцінок. Запропонований метод було практично реалізовано і апробовано в рамках системи розподіленого збору і обробки експертної інформації для систем підтримки прийняття рішень. Інститут проблем реєстрації інформації НАН України 2018-09-18 Article Article application/pdf http://drsp.ipri.kiev.ua/article/view/158509 10.35681/1560-9189.2018.20.3.158509 Data Recording, Storage & Processing; Vol. 20 No. 3 (2018); 131–138 Регистрация, хранение и обработка данных; Том 20 № 3 (2018); 131–138 Реєстрація, зберігання і обробка даних; Том 20 № 3 (2018); 131–138 1560-9189 uk http://drsp.ipri.kiev.ua/article/view/158509/157865 Авторське право (c) 2021 Реєстрація, зберігання і обробка даних |
| institution |
Data Recording, Storage & Processing |
| baseUrl_str |
|
| datestamp_date |
2019-12-27T02:31:23Z |
| collection |
OJS |
| language |
Ukrainian |
| topic |
decision support systems expert estimates expert estimates consistency index spectral approach consistency threshold expert competence |
| spellingShingle |
decision support systems expert estimates expert estimates consistency index spectral approach consistency threshold expert competence Roik, P. D. Consistency index evaluation for estimates of experts, taking into account their competence for group decision making |
| topic_facet |
decision support systems expert estimates expert estimates consistency index spectral approach consistency threshold expert competence підтримка прийняття групових рішень експертне оцінювання індексузгодженості експертних оцінок спектральний підхід поріг узгодженості компетентність експертів |
| format |
Article |
| author |
Roik, P. D. |
| author_facet |
Roik, P. D. |
| author_sort |
Roik, P. D. |
| title |
Consistency index evaluation for estimates of experts, taking into account their competence for group decision making |
| title_short |
Consistency index evaluation for estimates of experts, taking into account their competence for group decision making |
| title_full |
Consistency index evaluation for estimates of experts, taking into account their competence for group decision making |
| title_fullStr |
Consistency index evaluation for estimates of experts, taking into account their competence for group decision making |
| title_full_unstemmed |
Consistency index evaluation for estimates of experts, taking into account their competence for group decision making |
| title_sort |
consistency index evaluation for estimates of experts, taking into account their competence for group decision making |
| title_alt |
Визначення індексу узгодженості оцінок експертів з урахуванням їхньої компетентності при підтримці прийняття групових рішень |
| description |
The issue of assessment of expert estimates’ consistency in cases of group polling taking into ac-count experts’ competence has been considered. The development of an appropriate method should proceed from a range of particular basic postulates. Namely, it is taken into consideration that expert estimates always assume the existence of a «true» estimate corresponding to the average value of an array of individual expert estimates. Such an array can be presented on a continuous or a discrete numerical scale limited on both sides. The maximum level of consistency (1.0) can be achieved only if all experts provide the same estimate. The consistency index shouldn’t be dependent on estimate shifts along the axis. For the same set of estimates, increasing the scale leads to an increased consistency index, and vice versa. If a set of estimates has a higher level of consistency compared to another on a certain scale, it also has greater consistency on any other scale. In case of linear changes (simultaneous proportional increase/decrease) in scale parameters and the values of all estimates, the consistency index remains unchanged. So, the index should be scalable. The higher the level of an expert’s relative competence, the higher this estimate’s impact on the aggregate level of consistency is. The article considers two approaches, when analyzing the level of experts’ competence is reduced to calculating the consistency index without taking into consideration experts’ competence, and when the index is to be calculated as the normalized value of the amount of distances between expert estimates for all possible estimate pairs multiplied by the product of respective experts’ weight coefficients. Imitation modeling has been carried out, and an evaluation has been offered for a threshold consistency value above which aggregation of expert estimates becomes possible. The proposed method has been practically implemented and tested within a system of distributed collection and processing of expert data for decision support systems. |
| publisher |
Інститут проблем реєстрації інформації НАН України |
| publishDate |
2018 |
| url |
http://drsp.ipri.kiev.ua/article/view/158509 |
| work_keys_str_mv |
AT roikpd consistencyindexevaluationforestimatesofexpertstakingintoaccounttheircompetenceforgroupdecisionmaking AT roikpd viznačennâíndeksuuzgodženostíocínokekspertívzurahuvannâmíhnʹoíkompetentnostípripídtrimcíprijnâttâgrupovihríšenʹ |
| first_indexed |
2025-07-17T10:57:16Z |
| last_indexed |
2025-07-17T10:57:16Z |
| _version_ |
1850411292036169728 |