Підходи до оцінки ефективності експертних методів
Показано, що визначення точності експертних методів становить суттєву проблему внаслідок відсутності еталонних значень оцінок об’єктів в умовах реальних експертиз. Натомість, запропоновано використовувати показник ефективності методів, заснований на їхній стійкості до збурень вихідних даних. На прик...
Saved in:
| Published in: | Реєстрація, зберігання і обробка даних |
|---|---|
| Date: | 2019 |
| Main Authors: | , |
| Format: | Article |
| Language: | Ukrainian |
| Published: |
Інститут проблем реєстрації інформації НАН України
2019
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/169104 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Підходи до оцінки ефективності експертних методів / С.Б. Каденко, В.В. Циганок // Реєстрація, зберігання і обробка даних. — 2019. — Т. 21, № 2. — С. 56–71. — Бібліогр.: 24 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-169104 |
|---|---|
| record_format |
dspace |
| spelling |
Каденко, С.Б. Циганок, В.В. 2020-06-04T14:36:11Z 2020-06-04T14:36:11Z 2019 Підходи до оцінки ефективності експертних методів / С.Б. Каденко, В.В. Циганок // Реєстрація, зберігання і обробка даних. — 2019. — Т. 21, № 2. — С. 56–71. — Бібліогр.: 24 назв. — укр. 1560-9189 DOI: https://doi.org/10.35681/1560-9189.2019.21.2.180456 https://nasplib.isofts.kiev.ua/handle/123456789/169104 519.816 Показано, що визначення точності експертних методів становить суттєву проблему внаслідок відсутності еталонних значень оцінок об’єктів в умовах реальних експертиз. Натомість, запропоновано використовувати показник ефективності методів, заснований на їхній стійкості до збурень вихідних даних. На прикладі порівняння комбінаторного методу агрегації експертних оцінок з урахуванням і без урахування ваг покривних дерев досліджено два підходи до оцінки ефективності експертних методів. Один підхід ґрунтується на використанні даних реального експертного оцінювання заданих еталонних об’єктів; другий — на імітаційному моделюванні усього циклу експертизи, в тому числі, й самих експертних оцінок. У ході дослідження ефективності двох указаних методів агрегації експертних оцінок імітаційний підхід показав себе як більш коректний і репрезентативний. Отримано експериментальні результати, які емпірично підтверджують перевагу комбінаторного методу з урахуванням ваг покривних дерев над комбінаторним методом без урахування ваг (і, відповідно, над методами геометричного середнього по рядках і логарифмічним методом найменших квадратів). Показано, что определение точности экспертных методов представляет существенную проблему вследствие отсутствия эталонных значений оценок объектов в условиях реальных экспертиз. Предложено использовать показатель эффективности методов, основанный на их устойчивости к искажениям исходных данных. На примере сравнения комбинаторного метода агрегации экспертных оценок с учетом и без учета весов покрывающих деревьев исследованы два подхода к оценке эффективности экспертных методов. Один подход основан на использовании реальных данных экспертного оценивания заданных эталонных объектов, другой — на имитационном моделировании всего цикла экспертизы, в том числе, и самих экспертных оценок. В ходе исследования эффективности двух указанных методов, имитационный подход показал себя как более корректный и репрезентативный. Получены экспериментальные результаты, эмпирически подтверждающие преимущество комбинаторного метода с учетом весов покрывающих деревьев над методом без учета весов (и. соответственно, над методами геометрического среднего по строкам и логарифмических наименьших квадратов). It is shown that definition of accuracy of expert methods represents a significant problem due to unavailability of benchmark values of object estimates in real expert examinations. It is suggested to use the efficiency indicator based on the stability of results of aggregation methods under deviations of input data. It has been studied two approaches to expert method efficiency evaluation on the example of comparison of two modifications of combinatorial aggregation method (in one modification spanning tree weights are taken into consideration, while in the other they are not). The first approach is based on analysis of real data of expert estimation of special benchmark objects, while the second one is based on simulation of the whole expert examination cycle, including the estimates themselves. In the process of efficiency evaluation of the two specified methods, the simulation-based approach turned out to be more suitable and representative. The obtained experimental results empirically prove the advantage of combinatorial method, taking spanning tree weights into account, over the method where these weights are not considered (and, consequently, over row geometric mean and logarithmic least squares methods). uk Інститут проблем реєстрації інформації НАН України Реєстрація, зберігання і обробка даних Експертні системи та підтримка прийняття рішень Підходи до оцінки ефективності експертних методів Подходы к оценке эффективности экспертных методов Approaches to еfficiency еvaluation of еxpert methods Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Підходи до оцінки ефективності експертних методів |
| spellingShingle |
Підходи до оцінки ефективності експертних методів Каденко, С.Б. Циганок, В.В. Експертні системи та підтримка прийняття рішень |
| title_short |
Підходи до оцінки ефективності експертних методів |
| title_full |
Підходи до оцінки ефективності експертних методів |
| title_fullStr |
Підходи до оцінки ефективності експертних методів |
| title_full_unstemmed |
Підходи до оцінки ефективності експертних методів |
| title_sort |
підходи до оцінки ефективності експертних методів |
| author |
Каденко, С.Б. Циганок, В.В. |
| author_facet |
Каденко, С.Б. Циганок, В.В. |
| topic |
Експертні системи та підтримка прийняття рішень |
| topic_facet |
Експертні системи та підтримка прийняття рішень |
| publishDate |
2019 |
| language |
Ukrainian |
| container_title |
Реєстрація, зберігання і обробка даних |
| publisher |
Інститут проблем реєстрації інформації НАН України |
| format |
Article |
| title_alt |
Подходы к оценке эффективности экспертных методов Approaches to еfficiency еvaluation of еxpert methods |
| description |
Показано, що визначення точності експертних методів становить суттєву проблему внаслідок відсутності еталонних значень оцінок об’єктів в умовах реальних експертиз. Натомість, запропоновано використовувати показник ефективності методів, заснований на їхній стійкості до збурень вихідних даних. На прикладі порівняння комбінаторного методу агрегації експертних оцінок з урахуванням і без урахування ваг покривних дерев досліджено два підходи до оцінки ефективності експертних методів. Один підхід ґрунтується на використанні даних реального експертного оцінювання заданих еталонних об’єктів; другий — на імітаційному моделюванні усього циклу експертизи, в тому числі, й самих експертних оцінок. У ході дослідження ефективності двох указаних методів агрегації експертних оцінок імітаційний підхід показав себе як більш коректний і репрезентативний. Отримано експериментальні результати, які емпірично підтверджують перевагу комбінаторного методу з урахуванням ваг покривних дерев над комбінаторним методом без урахування ваг (і, відповідно, над методами геометричного середнього по рядках і логарифмічним методом найменших квадратів).
Показано, что определение точности экспертных методов представляет существенную проблему вследствие отсутствия эталонных значений оценок объектов в условиях реальных экспертиз. Предложено использовать показатель эффективности методов, основанный на их устойчивости к искажениям исходных данных. На примере сравнения комбинаторного метода агрегации экспертных оценок с учетом и без учета весов покрывающих деревьев исследованы два подхода к оценке эффективности экспертных методов. Один подход основан на использовании реальных данных экспертного оценивания заданных эталонных объектов, другой — на имитационном моделировании всего цикла экспертизы, в том числе, и самих экспертных оценок. В ходе исследования эффективности двух указанных методов, имитационный подход показал себя как более корректный и репрезентативный. Получены экспериментальные результаты, эмпирически подтверждающие преимущество комбинаторного метода с учетом весов покрывающих деревьев над методом без учета весов (и. соответственно, над методами геометрического среднего по строкам и логарифмических наименьших квадратов).
It is shown that definition of accuracy of expert methods represents a significant problem due to unavailability of benchmark values of object estimates in real expert examinations. It is suggested to use the efficiency indicator based on the stability of results of aggregation methods under deviations of input data. It has been studied two approaches to expert method efficiency evaluation on the example of comparison of two modifications of combinatorial aggregation method (in one modification spanning tree weights are taken into consideration, while in the other they are not). The first approach is based on analysis of real data of expert estimation of special benchmark objects, while the second one is based on simulation of the whole expert examination cycle, including the estimates themselves. In the process of efficiency evaluation of the two specified methods, the simulation-based approach turned out to be more suitable and representative. The obtained experimental results empirically prove the advantage of combinatorial method, taking spanning tree weights into account, over the method where these weights are not considered (and, consequently, over row geometric mean and logarithmic least squares methods).
|
| issn |
1560-9189 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/169104 |
| citation_txt |
Підходи до оцінки ефективності експертних методів / С.Б. Каденко, В.В. Циганок // Реєстрація, зберігання і обробка даних. — 2019. — Т. 21, № 2. — С. 56–71. — Бібліогр.: 24 назв. — укр. |
| work_keys_str_mv |
AT kadenkosb pídhodidoocínkiefektivnostíekspertnihmetodív AT ciganokvv pídhodidoocínkiefektivnostíekspertnihmetodív AT kadenkosb podhodykocenkeéffektivnostiékspertnyhmetodov AT ciganokvv podhodykocenkeéffektivnostiékspertnyhmetodov AT kadenkosb approachestoefficiencyevaluationofexpertmethods AT ciganokvv approachestoefficiencyevaluationofexpertmethods |
| first_indexed |
2025-12-07T13:32:23Z |
| last_indexed |
2025-12-07T13:32:23Z |
| _version_ |
1850856537426231296 |