Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений
Запропоновано метод імітаційного моделювання оцінок експертів при опитуванні в процесі формування баз знань систем підтримки прийняття рішень у слабоформалізованих предметних областях. Описано характерні особливості моделювання експертних оцінок ординального та кардинального типів. Експертні оцінки...
Saved in:
| Published in: | Проблемы управления и информатики |
|---|---|
| Date: | 2011 |
| Main Authors: | , , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2011
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/207380 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений / В.В. Цыганок, С.В. Каденко, О.В. Андрейчук // Проблемы управления и информатики. — 2011. — № 6. — С. 84–95. — Бібліогр.: 20 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859769803623890944 |
|---|---|
| author | Цыганок, В.В. Каденко, С.В. Андрейчук, О.В. |
| author_facet | Цыганок, В.В. Каденко, С.В. Андрейчук, О.В. |
| citation_txt | Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений / В.В. Цыганок, С.В. Каденко, О.В. Андрейчук // Проблемы управления и информатики. — 2011. — № 6. — С. 84–95. — Бібліогр.: 20 назв. — рос. |
| collection | DSpace DC |
| container_title | Проблемы управления и информатики |
| description | Запропоновано метод імітаційного моделювання оцінок експертів при опитуванні в процесі формування баз знань систем підтримки прийняття рішень у слабоформалізованих предметних областях. Описано характерні особливості моделювання експертних оцінок ординального та кардинального типів. Експертні оцінки моделюються як випадкові величини, розподілені за одним із двох характерних законів: експоненційним чи напівнормальним. Застосування запропонованого методу дозволяє уникнути витратних процедур тестування з залученням реальних експертних груп.
A method is suggested for simulation of estimates provided by experts during decision-making support systems’ knowledge base formation in weakly-structured subject domains. Characteristic features of ordinal and cardinal expert estimates modeling are shown. Expert estimates are modeled as random values distributed according to either exponential or half-normal laws. Implementation of the suggested method provides an opportunity to avoid costly testing procedures involving real expert groups.
|
| first_indexed | 2025-12-02T06:26:47Z |
| format | Article |
| fulltext |
© В.В. ЦЫГАНОК, С.В. КАДЕНКО, О.В. АНДРЕЙЧУК, 2011
84 ISSN 0572-2691
УДК 519.816
В.В. Цыганок, С.В. Каденко, О.В. Андрейчук
ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ
ЭКСПЕРТНЫХ ОЦЕНОК
ДЛЯ ТЕСТИРОВАНИЯ МЕТОДОВ
ОБРАБОТКИ ИНФОРМАЦИИ В СИСТЕМАХ
ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ
Введение
Суждения экспертов (экспертные оценки — ЭО) являются неотъемлемым
элементом построения баз знаний для моделей слабоструктурированных пред-
метных областей в системах поддержки принятия решений (СППР). При построе-
нии такого класса систем часто используются решения, которые базируются на
интуитивных фактах и эвристических предположениях разработчиков. Для полу-
чения научного обоснования желательно, чтобы любое конструктивное решение
подтверждалось теоретическими или практическими доказательствами его необ-
ходимости. Поскольку при экспертном оценивании в СППР не существует этало-
нов для сравнения альтернатив, для обоснования выводов, касающихся их постро-
ения, а также для определения характеристических параметров систем (точности,
обоснованности, эффективности решений, принимаемых с помощью СППР) един-
ственным способом остается проведение экспериментальных исследований.
При построении новых типов СППР, а также при попытке улучшения харак-
теристик имеющихся систем возникает ряд задач; например, необходимость учета
компетентности экспертов при групповом оценивании; определение и сравнение
достоверности и точности методов агрегации экспертных суждений; исследование
особенностей применения разных шкал для экспертного оценивания и т.д.
Привлечение экспертов как источников информации к процессу эксперимен-
тального исследования — дорогостоящая, а зачастую и вовсе невыполнимая про-
цедура. В такой ситуации, если это возможно, следует заменять реальное участие
экспертов моделированием их суждений. Учитывая, что во время исследований
такие модели экспертных суждений обычно нужно «проигрывать» (повторять)
много раз, наиболее пригодным для этого является метод имитационного модели-
рования.
Модели поведения экспертов, как правило, строятся на основе предполо-
жения, что эксперты дают оценки с некоторыми ошибками, и эксперта рас-
сматривают как некий особый «прибор» с присущими ему метрологическими
характеристиками. Оценки группы экспертов рассматривают как совокупность
независимых одинаково распределенных случайных величин со значениями
в соответствующем пространстве объектов числовой или нечисловой природы.
Справедливо предположение, что эксперт выбирает правильное (т.е. адекватное
реальности) решение чаще, чем неправильное. В математических моделях это вы-
ражается в том, что плотность распределения случайной величины — ответа экс-
перта — монотонно убывает с увеличением расстояния от центра распределе-
ния — истинного значения оцениваемого параметра. Разные варианты моделей
поведения экспертов описаны и изучены в [1–8] и в других публикациях.
Законы распределения моделируемых ЭО
Предлагается задавать ЭО в виде случайной величины, распределенной по
некоторому закону. Будем придерживаться непараметрического подхода к моде-
лированию ЭО [1], поскольку определить единый закон распределения ЭО в об-
Международный научно-технический журнал
«Проблемы управления и информатики», 2011, № 6 85
щем случае проблематично. Это можно объяснить зависимостью распределения
ЭО от значительного количества факторов, влияющих на конкретную экспертизу,
это уровень осведомленности эксперта в заданном вопросе, вариант возможной
постановки вопроса эксперту, психологическое и физическое состояние эксперта
в момент ответа и др.
В связи с этим при решении задач моделирования экспертных суждений
(имитации ЭО) предлагается придерживаться предположения о невозможности
задания универсального закона распределения ЭО и соответственно моделировать
эти оценки как случайные величины с некоторыми заданными законами распре-
деления. Для обеспечения адекватности смоделированных ЭО заданному множе-
ству возможных реальных экспертных суждений в процессе эксперимента пред-
лагается задавать несколько законов распределения ЭО, которые наиболее полно
отображают аспекты этого множества. Соответствующие законы распределения
нужно подбирать, исходя из предъявляемых к ним требований, которые базиру-
ются на особенностях конкретной задачи моделирования. Следует различать та-
кие задачи моделирования ЭО:
1) непосредственное оценивание;
2) оценивание в ординальной (порядковой) шкале;
3) моделирование при задании оценок в виде матриц кардинальных парных
сравнений [9] (например, в фундаментальной шкале сравнений Саати [10] и т.д.).
Задача первого типа решалась при определении значимости учета компетентно-
сти источников информации при групповом непосредственном оценивании в [11, 12].
В этом случае, простейшем из трех, считалось, что каждый эксперт из группы дает
одну единственную оценку, которая моделировалась как случайная величина, распре-
деленная по равномерному, нормальному или экспоненциальному закону.
Отметим, что для имитации ординальных и большинства видов кардиналь-
ных ЭО равномерное распределение не подходит, поскольку при достаточно
большом количестве повторений (имитаций оценок) из-за наличия многочислен-
ных «противоположных» мнений/суждений экспертов получаем очень неустой-
чивые агрегированные оценки альтернатив. Поэтому будем считать экспертную
группу достаточно компетентной и, следовательно, предполагать, что ее оценки
приближаются к некоторым «истинным» оценкам. В данном случае истинными
оценками можно считать математические ожидания множества сымитированных
случайных оценок.
Сформулируем основные требования к результирующим законам распреде-
ления моделируемых ЭО, а именно, к функции плотности их распределения.
Функция плотности распределения случайной величины должна быть:
1) определенной на всем диапазоне возможных оценок экспертов;
2) непрерывной во всей области определения;
3) с единственным максимумом в точке, соответствующей некоторой задан-
ной истинной оценке.
Рассмотрев ряд законов рас-
пределения случайных величин,
предлагаем исследовать случаи, ко-
гда отклонение индивидуальных
ЭО от заданной истинной оценки
распределено по экспоненциаль-
ному (кривая 1) и полунормально-
му (Half-normal) (кривая 2) законам
(рис. 1) в диапазоне допустимых
отклонений от некоторого выбран-
ного математического ожидания —
истинных оценок.
0 0,2 0,4 0,6 0,8 1,0 1,2
0
0,5
1,0
1,5
2,0
2,5
3,0
1
2
Рис. 1
86 ISSN 0572-2691
Функция плотности распределения вероятностей для экспоненциального за-
кона имеет вид
,)( xexf ,0x (1)
где 0 — параметр распределения, его часто называют интенсивностью, или
обратным коэффициентом масштаба.
Полунормальное распределение является частным случаем модуль-нормаль-
ного (Folded-normal) закона и получается из нормального закона распределения,
имеющего функцию плотности распределения вероятностей, известную как
функция Гаусса:
,
2
1
)( )2/()(
2
22
xexf ),;( x (2)
где параметр μ — среднее/ожидаемое значение (положение максимума/пика),
а 2 — дисперсия, характеризующая меру разброса случайной величины.
Таким образом, функция плотности распределения вероятностей для перво-
начального (не сдвинутого) полунормального закона распределения (при )0
имеет следующий вид:
,
2
2
)( )2/(
2
22
xexf ).;0[ x (3)
Кроме того, параметры распределений и подбираются так, чтобы урав-
нять математические ожидания обоих распределений и приблизительно уравнять
разброс результирующих ЭО, которые имитируются на основе этих распределе-
ний. На рис. 1 математические ожидания обоих распределений — это абсциссы то-
чек пересечения графиков функций распределения с вертикальной тонкой пунктир-
ной линией. Известно, что математическое ожидание экспоненциального закона
распределения равно ,/1 а для полунормального закона — ./2 Для того
чтобы разброс моделируемых ЭО удовлетворял требованию, по которому вероятная
экспертная погрешность не превысит 100 %, приравняем соответствующие матема-
тические ожидания обоих законов: из того что интегральная функция распределе-
ния для экспоненциального закона )05,0(ln//195,01 xe x
(в данном
случае )1x и приблизительно равняется 0,3338 (33,38 %). Итак, по соотношени-
ям 3338,0/2/1 можем вычислить параметры для обоих распределений.
Остановимся на задачах второго и третьего типов, с которыми мы впервые
столкнулись при решении вопроса значимости учета компетентности экспертов
во время группового ординального оценивания и группового оценивания в фун-
даментальной шкале Саати. В отличие от задач первого типа, где ЭО альтернати-
вы (объекта) представляют одно единственное значение (а множество оценок всех
имеющихся альтернатив может быть представлено как вектор действительных
чисел), при ординальном оценивании ЭО множества альтернатив представляют
собой их ранжирование, а при кардинальном оценивании с использованием мето-
да парных сравнений, например в фундаментальной шкале, это множество оценок
уже будет представлять собой матрицу парных сравнений, элементами которой
являются значения соответствующей шкалы.
Возникает вопрос, как смоделировать такие экспертные суждения.
Моделирование ординальных ЭО
Сначала изложим предложенный нами вариант решения данной проблемы
относительно ординальных ЭО. Было отмечено и экспериментально подтвержде-
но, что подход, согласно которому ранги строгих индивидуальных ранжирований
Международный научно-технический журнал
«Проблемы управления и информатики», 2011, № 6 87
экспертов задаются в виде равномерно распределенных случайных величин, при-
водит к невозможности определения обобщенного ранжирования. Это объясняет-
ся следующим:
1) общее количество возможных ранжирований ограничено и зависит от ко-
личества оцениваемых альтернатив;
2) существуют противоположные суждения экспертов при ранжировании;
3) при агрегации противоположные суждения взаимно компенсируются
(«взаимно уничтожаются»).
Во избежание неопределенности при обобщении индивидуальных ранжиро-
ваний предлагается смоделировать их путем имитации — случайного выбора
ранжирования, отдаленного от некоторого произвольно заданного ранжирования
(эталонной ЭО) на выбранное случайным образом расстояние. Для ординальных
оценок таким расстоянием будет расстояние Кемени и задавать его будем как
случайную величину, распределенную по экспоненциальному или полунормаль-
ному закону.
Расстояние Кемени между двумя отношениями (ранжированиями) вычисля-
ется по формуле
,),(),(),(
,
jijiBAD
ji
K (4)
где ),( BADK — расстояние Кемени между отношениями A и B, принимающее
значения из диапазона )];1(2;0[ mm ),( ji и ),( ji — элементы матриц отно-
шений A и B соответственно. Например, если отношения предпочтений на
множестве из четырех альтернатив 41 AA представляют собой ранжирования
),,,( 4321 AAAAA и ),,,,( 2341 AAAAB то матрицы этих отношений имеют
вид
0111
1011
1101
1110
и ,
0111
1011
1101
1110
а расстояние Кемени будет равняться .12),(),(),(
,
jijiBAD
ji
K
Расстояние Кемени определяется количеством перестановок альтернатив, не-
обходимых для преобразования одного ранжирования в другое, и в четыре раза
превосходит это количество.
Законы распределения случайной величины и их параметры выбираются та-
ким образом, чтобы обеспечить соответствие свойствам расстояния Кемени и об-
щим свойствам оценок экспертов, а именно:
расстояние — неотрицательная величина;
расстояние Кемени не превосходит 2/)1( mm (т.е. ),4/)1(2 mm где m —
количество альтернатив в ранжировании;
вероятность получения (моделирования) ЭО, близкой к эталонной, больше,
чем вероятность получения более отдаленной оценки (мы исходим из предположе-
ния, что эксперт чаще выбирает правильное решение, чем неправильное);
вероятность задання любой из возможных ЭО не является нулевой;
количество всех возможных значений ординальных ЭО конечно и равняется m!.
Итак, расстояние Кемени, как случайную величину, смоделированную по
описанному закону распределения, целесообразно принять за основу для получе-
ния случайной ЭО (ранжирования). Для этого нужно определить множество всех
88 ISSN 0572-2691
возможных ранжирований, отдаленных от эталонного на это заданное расстояние,
и случайным образом выбрать ранжирование из этого множества. Для 4m
множество возможных ранжирований удобно изобразить в виде графа (рис. 2).
Вершины графа обозначены ранжированиями (последовательностями рангов аль-
тернатив), а дуги соответствуют перестановкам соседних альтернатив в ранжирова-
ниях.
1234
2134 1324 1243
2314 2143 3124 1342 1423
4321
3421 4231 4312
4132 3241 2431 4213 3412
3214 2341 2413 1432 3142 4123
Рис. 2
При 4m такое представление слишком громоздко для графического изоб-
ражения. Поскольку расстояние Кемени между двумя ранжированиями прямо
пропорционально количеству перестановок соседних альтернатив в одном ранжи-
ровании, необходимых для превращения его в другое, множество равноотстоящих
ранжирований можно определить алгоритмически, базируясь на этом свойстве.
Без потери общности можно считать, что исходное эталонное ранжирование явля-
ется ранжированием, которое обозначено на графе, «1234» (альтернативы всегда
можно перенумеровать так, чтобы они размещались в ранжировании именно в
этой последовательности). Тогда равноотстоящие от «1234» ранжирования будут
находиться на одном из горизонтальных уровней изображенного на рисунке графа
(при 4m таких уровней шесть).
Итак, имитацию экспертного ранжирования как некоторой случайной инди-
видуальной ЭО предлагается осуществлять в несколько этапов:
1) генерирование эталонного ранжирования;
2) генерирование расстояния Кемени (количества перестановок) как случайной
величины, распределенной по экспоненциальному или полунормальному закону;
3) формирование множества возможных ранжирований с заданным расстоя-
нием от произвольно выбранного ранжирования;
4) случайный выбор ранжирования из сформированного множества.
Международный научно-технический журнал
«Проблемы управления и информатики», 2011, № 6 89
Моделирование ЭО, задаваемых в виде матриц парных сравнений
в шкале предпочтений Саати
Рассмотрим моделирование ЭО при кардинальном оценивании по фундамен-
тальной шкале с использованием метода парных сравнений. В данном случае пред-
лагается задать набор так называемых эталонных весов ,iw ,,1 mi для m аль-
тернатив и на базе этого набора построить идеально согласованную эталонную
матрицу парных сравнений (МПС).
Как отмечает Саати в [13], веса альтернатив должны принадлежать одному
порядку (альтернативы не могут быть слишком близкими или отдаленными, ина-
че эксперт не сможет их адекватно сравнить, пользуясь диапазоном фундамен-
тальной шкалы предпочтений). Не теряя общности, а также исходя из соображе-
ний удобства, можно предположить, что веса альтернатив пересортированы в по-
рядке убывания и альтернативы перенумерованы соответствующим образом.
Присвоим вес (например, )101 w первой альтернативе и зададим веса других
альтернатив, исходя из предположения, что они должны отличаться хотя бы
на 5 % (результаты экспериментальных исследований способностей человека раз-
личать близкие объекты приведены, в частности, в [13], впрочем строгие обосно-
вания относительно того, какой должна быть минимально допустимая разность
между весами соседних альтернатив, в источниках не приводятся). С другой сто-
роны, веса альтернатив должны принадлежать одному порядку. Множество весов,
которое соответствовало бы заданным требованиям, можно построить по следу-
ющей рекурсивной формуле:
,10;05,1random )(
1
1
1
1 /
im
i
k k
k
ii
w
w
ww (5)
где random — функция, которая возвращает случайное значение из заданного
диапазона, m — количество альтернатив, .1,,1 mi Например, на основе ука-
занной формулы можно сгенерировать наборы ненормированных весов для раз-
ного количества альтернатив m. Эталонные ненормированные значения весов аль-
тернатив для разного количества альтернатив m приведены в таблице.
На основе построенного таким образом множества эталонных весов сформи-
руем идеально согласованную матрицу парных сравнений (МПС) А, исходя из со-
отношения ./ jiij wwa Будем считать МПС обратно симметричной, т.е. такой,
что ,/1 jiij aa и тогда можем рассматривать лишь элементы, лежащие над ее
главной диагональю ).( ji Поскольку альтернативы различимы, а их веса пере-
сортированы в порядке убывания, все элементы МПС, лежащие над главной диа-
гональю, больше единицы: .1 jiaij Кроме того, при определении «эталон-
ных», или «истинных» соотношений весов мы считаем фундаментальную шкалу
парных сравнений непрерывной, т.е. элементы идеально согласованной МПС мо-
гут быть не только целыми, но и действительными числами ).( ija
Для моделирования ЭО экспертов предлагается зашумлять построенную
МПС соответствующим образом, а именно: множить или делить каждый эле-
мент МПС на некоторую случайную величину (конкретное из двух указанных
арифметических действий определяется также случайно).
Таблица
Количество
альтернатив, m 1w
2w
3w
4w
5w
6w
7w
8w
9w
3 10 7,5826 1,2476
4 10 5,3495 4,7273 1,5106
90 ISSN 0572-2691
5 10 8,9470 7,7068 5,4742 1,3742
6 10 7,6739 6,5496 4,4959 3,0977 1,1034
7 10 7,3787 6,7863 5,5722 4,4722 3,5430 1,1577
8 10 7,2015 5,4130 4,0386 3,4689 2,6224 1,6240 1,0927
9 10 8,4819 6,9407 6,3836 5,0463 3,4231 2,3741 2,0969 1,1204
Заметим, что отклонения от эталонных значений (обозначим их ) должны за-
даваться в шкале отношений, т.е. должно выполняться равенство )/( eaa
),/( aae где ea — элемент идеально согласованной матрицы, который под-
вергается флюктуации, a — значение того же элемента в случае увеличения,
а a — значение после уменьшения. Случайное значение выбирается соглас-
но одному из указанных выше законов распределения (экспоненциальному или
полунормальному). Поскольку функция распределения вероятности в обоих слу-
чаях определена в положительном диапазоне (справа от нуля), а отклонение муль-
типликативно, нужно увеличить сгенерированное случайное значение на единицу
).1( Фактически функции плотности распределения вероятностей, изоб-
раженные на рис. 1, должны быть сдвинуты на единицу вправо, чтобы использо-
вать сгенерированные согласно данным законам случайные величины как множи-
тели при формировании результирующих значений моделируемых ЭО. (Значения
этих множителей в большинстве близкие к единице.)
Направление отклонения, как уже отмечалось (положительное )( eaa
или отрицательное )),/( eaa избирается случайно. Следовательно, на осно-
ве вышеупомянутых распределений, определенных на положительной полуоси,
получаем симметричные законы распределения. А поскольку элементы смодели-
рованных индивидуальных экспертных МПС должны принадлежать множеству
значений фундаментальной шкалы предпочтений Саати, аппроксимируем дей-
ствительные значения, полученные указанным способом, ближайшими делениями
фундаментальной шкалы. Таким образом, элементы индивидуальных МПС могут
принимать значения из множества }.9,8,,2,1,2/1,,8/1,9/1{
Итак, распределение случайной величины выбирается аналогично распре-
делению расстояния Кемени для ординальных ЭО с тем отличием, что ,1 по-
этому функции законов распределения должны быть сдвинуты на единицу впра-
во, и математические ожидания смоделированной случайной величины для за-
конов распределения приведены к единому заданному значению.
Моделирование ЭО для определения необходимости
учета компетентности экспертов во время групповой экспертизы
На основе ЭО, смоделированных способом, приведенным выше, в ходе экс-
периментального исследования получен ответ на вопрос о необходимости учета
компетентности экспертов при групповом оценивании.
Описание эксперимента для случая ординальных оценок. Для определе-
ния размера экспертной группы, при котором целесообразно учитывать индиви-
дуальную относительную компетентность каждого эксперта во время построения
группового ранжирования альтернатив, был проведен модельный эксперимент.
Он повторялся для различного количества n «экспертов» в группе, где ]200;3[n
(для 3n групповая процедура оценивания согласно условиям Эрроу [14] некор-
ректна), и различного количества m оцениваемых альтернатив, где ]9;3[m (зна-
чение m ограничено согласно психофизическим возможностям человека-эксперта,
который способен одновременно адекватно оценивать не больше 27 объек-
тов [15]). Эксперимент включал процедуру подсчета количества совпадений двух
Международный научно-технический журнал
«Проблемы управления и информатики», 2011, № 6 91
итоговых ранжирований, полученных с учетом и без учета компетентности экс-
пертов. Если ранжирования совпадают, можно говорить, что значимость учета
компетентности теряется и нет необходимости определять индивидуальную ком-
петентность каждого члена экспертной группы.
Для обеспечения статистической достоверности результатов моделирования
эксперимент необходимо повторять не меньше N раз ( ),/( PDN где D — дис-
персия смоделированной случайной величины KD [16].
В рамках данного исследования при значении дисперсии смоделированной
случайной величины 15 % для обеспечения статистической достоверности ре-
зультатов моделирования эксперимент повторялся триста раз )).05,0/95,0(15( N
Для определения обобщенного группового ранжирования на основе ранжи-
рований экспертов существует несколько широко известных методов и ряд менее
распространенных методов. Можно выделить методы Борда, Кондорсе [17], меди-
ану Кемени [18] и др. [19]. Поскольку ряд методов агрегации отличается значи-
тельной вычислительной сложностью, агрегация ранжирований экспертов в данном
эксперименте проводилась только двумя методами: Борда — ранжирование взве-
шенных сумм рангов индивидуальных экспертных ранжирований, и Кондорсе —
поэлементное нахождение результирующей (групповой) матрицы доминирования
по большинству предпочтений среди одноименных элементов индивидуальных
экспертных матриц доминирования.
Затем находили процент числа расхождений (несовпадений) от общего коли-
чества повторов эксперимента между групповыми ранжированиями, определен-
ными методом Борда, с учетом и без учета компетентности экспертов. Аналогич-
но находили процент несовпадений в общем количестве итоговых ранжирований,
полученных методом Кондорсе, с учетом и без учета индивидуальной относитель-
ной компетентности экспертов. Краткое описание эксперимента для случая орди-
нальных оценок можно найти в [20]. Результаты расчетов процента отличий при аг-
регации методом Кондорсе для экспоненциального (а) и полунормального (б) зако-
нов распределения приведены на рис. 3 и рис. 4. Каждый график иллюстрирует
убывание относительного количества несовпадений ранжирований для заданного
числа альтернатив ]9;3[m (показанного на всех рисунках в столбике слева в ).
0
10
20
30
40
50
60
70
80
90
100
0 20 40 60 80 100 120 140 160 180 200
3
4
5
6
7
8
9
а
92 ISSN 0572-2691
0
10
20
30
40
50
60
70
80
90
100
0 20 40 60 80 100 120 140 160 180 200
3
4
5
6
7
8
9
б
Рис. 3
0
10
20
30
40
50
60
70
80
90
100
0 20 40 60 80 100 120 140 160 180 200
3
4
5
6
7
8
9
а
0
10
20
30
40
50
60
70
80
90
100
0 20 40 60 80 100 120 140 160 180 200
3
4
5
6
7
8
9
б
Рис. 4
Описание эксперимента для случая парных сравнений в шкале Саати
Аналогичный эксперимент проведен для случаев, когда ЭО задаются в виде
МПС, элементами которых являются значения из фундаментальной шкалы пред-
почтений Саати.
Для агрегации индивидуальных МПС мы воспользовались методом среднего
геометрического. Как и в случае ординальных оценок, подсчитывались две итого-
вые МПС: с учетом и без учета компетентности экспертов. Компетентность i-го
эксперта ic моделировалась как равномерно распределенная случайная величина.
Таким образом, элементы итоговой (агрегированной) МПС вычислялись по сле-
дующим правилам:
n ijk
n
k
ij aa
1
— без учета компетентности экспертов (все эксперты считают-
ся равнокомпетентными);
,,
11
n
x
x
S c
ijk
n
k
ij cSaa k — с учетом компетентности экспертов.
На основе двух полученных агрегированных матриц методом собственного век-
тора подсчитывались относительные веса альтернатив: iw и ,iw .,1 mi Величина
Международный научно-технический журнал
«Проблемы управления и информатики», 2011, № 6 93
отношения )),(min),((maxmax iiii
i
wwww отражает разность в результатах аг-
регации ЭО, полученных с учетом и без учета компетентности экспертов.
Зависимость процента несовпадений в экспертных оценках (ξ) от количества
экспертов в группе (n) для экспоненциального (a) и полунормального законов (б)
распределения приведены на рис. 5 (в столбике слева показано количество аль-
тернатив ]9;3[m .
Результаты экспериментов подтверждают, что в групповом экспертном оце-
нивании с малым количеством экспертов при агрегации любых известных ЭО
необходимо учитывать компетентность членов экспертной группы.
0
5
10
15
20
25
3 20 37 54 71 88 105 122 139 156 173
3
4
5
6
7
8
9
n 190
a
0
5
10
15
20
25
3 20 37 54 71 88 105 122 139 156 173
3
4
5
6
7
8
9
n 190
б
Рис. 5
Заключение
В настоящей статье подтверждена целесообразность моделирования ЭО в це-
лях экспериментального исследования методов экспертного оценивания. Имита-
ционное моделирование процесса экспертного оценивания позволяет исследовать
и тестировать методы экспертной поддержки принятия решений без проведения
дорогостоящих экспертиз и привлечения реальных экспертов.
Предложен математический аппарат для моделирования экспертных ранжи-
рований альтернатив и ЭО, заданных в виде матриц парных сравнений в фунда-
ментальной шкале Саати.
На основе предложенного подхода проведен эксперимент, в ходе которого
определены размеры экспертных групп, при этом во время групповых экспертиз
целесообразно учитывать индивидуальную компетентность каждого эксперта.
Показано, что если группы экспертов малочисленны, существует необходимость
учета компетентности ее членов; в то же время если группа насчитывает несколь-
ко десятков экспертов, то тратить ресурсы на определение индивидуальной ком-
петентности каждого из них нецелесообразно.
94 ISSN 0572-2691
В.В. Циганок, С.В. Каденко, О.В. Андрiйчук
ІМІТАЦІЙНЕ МОДЕЛЮВАННЯ
ЕКСПЕРТНИХ ОЦІНОК ДЛЯ ТЕСТУВАННЯ
МЕТОДІВ ОБРОБКИ ІНФОРМАЦІЇ
В СИСТЕМАХ ПІДТРИМКИ ПРИЙНЯТТЯ РІШЕНЬ
Запропоновано метод імітаційного моделювання оцінок експертів при опиту-
ванні в процесі формування баз знань систем підтримки прийняття рішень в
слабоформалізованих предметних областях. Описано характерні особливості
моделювання експертних оцінок ординального та кардинального типів. Екс-
пертні оцінки моделюються як випадкові величини, розподілені за одним з
двох характерних законів: експоненційним чи напівнормальним. Застосування
запропонованого методу для вирішення питань, що виникають при побудові
нових типів систем підтримки прийняття рішень та при аналізі роботи наявних
систем, часто дозволяє уникати високовартісних процедур тестування з залу-
ченням експертних груп.
V.V. Tsyganok, S.V. Kadenko, O.V. Andriichuk
SIMULATION OF EXPERT ESTIMATES
FOR DATA PROCESSING METHODS TESTING
IN DECISION-MAKING SUPPORT SYSTEMS
A method is suggested for simulation of estimates provided by experts during deci-
sion-making support systems’ knowledge base formation in weakly-structured sub-
ject domains. Characteristic features of ordinal and cardinal expert estimates model-
ing are shown. Expert estimates are modeled as random values distributed according
to either exponential or half-normal laws. Implementation of the suggested method
for solving the issues, arising while building new decision-making support system
types and while analyzing the functioning of existing systems provides an opportuni-
ty to avoid costly testing procedures involving real expert groups.
1. Орлов А.И. Современный этап развития теории экспертных оценок. — 1996. — http://www.
antorlov.chat.ru/expertoc.htm.
2. Статистические методы анализа экспертных оценок / Под ред. Т.В. Рябушкина. — М. :
Наука, 1977. — 384 с.
3. Современные проблемы кибернетики: прикладная статистика. — М. : Знание, 1981. — 64 с.
4. Анализ нечисловой информации в социологических исследованиях. — М. : Наука, 1985. —
221 с.
5. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой
информации / Препр. / Научный совет АН СССР по комплексной проблеме «Кибернети-
ка». — М., 1981 . — 80 с.
6. Анализ нечисловой информации / Ю.Н. Тюрин, Б.Г. Литвак, А.И. Орлов, Г.А. Сатаров,
Д.С. Шмерлинг // Заводская лаборатория. — 1980. — 46, № 10. — С. 931–935.
7. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. — М. :
Сов. радио, 1972. — 192 с.
8. Orlov A.I. Design of experiments and data analysis: new trends and results / Ed. by prof.
E.K. Letzky. — Moscow : ANTAL, 1993. — P. 52–90.
9. David H.A. The method of paired comparisons. — New York : Oxford Un-ty Press, 1988. —
188 p.
10. Saaty T.L. The analytic hierarchy process. — N.Y. : McGraw-Hill, 1980. — 287 p.
11. Загоруйко Н.Г. Доверие к информации и ее источнику в экспертных системах // Эксперт.
системы и распознавание образов. — 1988. — Вып. 126. — С. 3–23.
12. Любченко В.В. Исследование значимости учета коэффициентов компетентности в групп-
повой экспертной оценке. — http://storage.library.opu.ua/online/periodic/opu_2005_1(23)/5/
5_2.pdf.
13. Saaty T.L. The AnalyticHierarchy/NetworkProcess // RACSAM. — 2008. — 102(2). — 251 р.
14. Arrow J. Social choice and individual values: 2-nd ed. — New York : Wiley, 1963. — 123 p.
http://storage.library.opu.ua/online/periodic/opu_2005_1(23)/5/%0b5_2.pdf
http://storage.library.opu.ua/online/periodic/opu_2005_1(23)/5/%0b5_2.pdf
Международный научно-технический журнал
«Проблемы управления и информатики», 2011, № 6 95
15. Миллер Г. Магическое число семь плюс или минус два: в некоторых пределах нашей спо-
собности перерабатывать информацию. — М. : Инженерная психология. Прогресс, 1964.
— С. 192–225.
16. Соболь И.М. Метод Монте-Карло. — М. : Наука, 1968. — 64 с.
17. Тоценко В.Г. Методы определения групповых многокритериальных ординальных оценок
с учетом компетентности экспертов // Проблемы управления и информатики. — 2005. —
№ 5. — С. 84–89.
18. Kemeny J.G. Mathematical models in the social sciences. — Cambridge, MA : MIT Press, 1972.
— 145 p.
19. Гнатієнко Г.М., Снитюк В.Є. Експертні технології прийняття рішень. — К. : ТОВ «Макла-
ут», 2008. — 444 с.
20. Циганок В.В., Андрійчук О.В. Врахування компетентності експертів при визначенні групового
ранжування // Реєстрація, зберігання і обробка даних. — 2011. — 13, № 1. — С. 94–105.
Получено 19.05.2011
|
| id | nasplib_isofts_kiev_ua-123456789-207380 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Russian |
| last_indexed | 2025-12-02T06:26:47Z |
| publishDate | 2011 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Цыганок, В.В. Каденко, С.В. Андрейчук, О.В. 2025-10-06T18:17:19Z 2011 Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений / В.В. Цыганок, С.В. Каденко, О.В. Андрейчук // Проблемы управления и информатики. — 2011. — № 6. — С. 84–95. — Бібліогр.: 20 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/207380 519.816 10.1615/JAutomatInfScien.v43.i12.30 Запропоновано метод імітаційного моделювання оцінок експертів при опитуванні в процесі формування баз знань систем підтримки прийняття рішень у слабоформалізованих предметних областях. Описано характерні особливості моделювання експертних оцінок ординального та кардинального типів. Експертні оцінки моделюються як випадкові величини, розподілені за одним із двох характерних законів: експоненційним чи напівнормальним. Застосування запропонованого методу дозволяє уникнути витратних процедур тестування з залученням реальних експертних груп. A method is suggested for simulation of estimates provided by experts during decision-making support systems’ knowledge base formation in weakly-structured subject domains. Characteristic features of ordinal and cardinal expert estimates modeling are shown. Expert estimates are modeled as random values distributed according to either exponential or half-normal laws. Implementation of the suggested method provides an opportunity to avoid costly testing procedures involving real expert groups. ru Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Методы обработки информации Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений Імітаційне моделювання експертних оцінок для тестування методів обробки інформації в системах підтримки прийняття рішень Simulation of Expert Estimates for Data Processing Methods Testing in Decision-Making Support Systems Article published earlier |
| spellingShingle | Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений Цыганок, В.В. Каденко, С.В. Андрейчук, О.В. Методы обработки информации |
| title | Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений |
| title_alt | Імітаційне моделювання експертних оцінок для тестування методів обробки інформації в системах підтримки прийняття рішень Simulation of Expert Estimates for Data Processing Methods Testing in Decision-Making Support Systems |
| title_full | Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений |
| title_fullStr | Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений |
| title_full_unstemmed | Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений |
| title_short | Имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений |
| title_sort | имитационное моделирование экспертных оценок для тестирования методов обработки информации в системах поддержки принятия решений |
| topic | Методы обработки информации |
| topic_facet | Методы обработки информации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/207380 |
| work_keys_str_mv | AT cyganokvv imitacionnoemodelirovanieékspertnyhocenokdlâtestirovaniâmetodovobrabotkiinformaciivsistemahpodderžkiprinâtiârešenii AT kadenkosv imitacionnoemodelirovanieékspertnyhocenokdlâtestirovaniâmetodovobrabotkiinformaciivsistemahpodderžkiprinâtiârešenii AT andreičukov imitacionnoemodelirovanieékspertnyhocenokdlâtestirovaniâmetodovobrabotkiinformaciivsistemahpodderžkiprinâtiârešenii AT cyganokvv ímítacíinemodelûvannâekspertnihocínokdlâtestuvannâmetodívobrobkiínformacíívsistemahpídtrimkipriinâttâríšenʹ AT kadenkosv ímítacíinemodelûvannâekspertnihocínokdlâtestuvannâmetodívobrobkiínformacíívsistemahpídtrimkipriinâttâríšenʹ AT andreičukov ímítacíinemodelûvannâekspertnihocínokdlâtestuvannâmetodívobrobkiínformacíívsistemahpídtrimkipriinâttâríšenʹ AT cyganokvv simulationofexpertestimatesfordataprocessingmethodstestingindecisionmakingsupportsystems AT kadenkosv simulationofexpertestimatesfordataprocessingmethodstestingindecisionmakingsupportsystems AT andreičukov simulationofexpertestimatesfordataprocessingmethodstestingindecisionmakingsupportsystems |