О достаточности степени согласованности групповых ординальных оценок
Запропоновано метод визначення достатності ступеня узгодженості множини суворих індивідуальних ранжувань при груповому експертному оцінюванні. Основа методу — перевірка, чи зберігається властивість транзитивності підсумкового відношення. Застосування методу в системах підтримки прийняття рішень орди...
Збережено в:
| Опубліковано в: : | Проблемы управления и информатики |
|---|---|
| Дата: | 2010 |
| Автори: | , |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2010
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/210751 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | О достаточности степени согласованности групповых ординальных оценок / В.В. Цыганок, С.В. Каденко // Проблемы управления и информатики. — 2010. — № 4. — С. 107-112. — Бібліогр.: 8 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859551919749464064 |
|---|---|
| author | Цыганок, В.В. Каденко, С.В. |
| author_facet | Цыганок, В.В. Каденко, С.В. |
| citation_txt | О достаточности степени согласованности групповых ординальных оценок / В.В. Цыганок, С.В. Каденко // Проблемы управления и информатики. — 2010. — № 4. — С. 107-112. — Бібліогр.: 8 назв. — рос. |
| collection | DSpace DC |
| container_title | Проблемы управления и информатики |
| description | Запропоновано метод визначення достатності ступеня узгодженості множини суворих індивідуальних ранжувань при груповому експертному оцінюванні. Основа методу — перевірка, чи зберігається властивість транзитивності підсумкового відношення. Застосування методу в системах підтримки прийняття рішень ординального типу можливе при агрегації індивідуальних ранжирувань групи експертів різними способами.
A method for determining consistency of a strict individual rankings set while group expert estimation is suggested. The method is based on the check whether the aggregate relation preserves the transitivity property. The method can be used in ordinal-type decision-making support systems, where various individual rankings’ aggregation procedures are implemented.
|
| first_indexed | 2026-03-13T13:01:45Z |
| format | Article |
| fulltext |
© В.В. ЦЫГАНОК, С.В. КАДЕНКО, 2010
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 4 107
МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ
УДК 519.816
В.В. Цыганок, С.В. Каденко
О ДОСТАТОЧНОСТИ СТЕПЕНИ
СОГЛАСОВАННОСТИ ГРУППОВЫХ
ОРДИНАЛЬНЫХ ОЦЕНОК
Подход к оцениванию степени согласованности индивидуальных ранжирова-
ний (ординальных оценок) описан во многих работах, некоторые из них известны
еще с XVIII века [1, 2]. Среди рассмотренных методов оценивания согласованности
широкую известность получили коэффициенты ранговой корреляции, которые
применимы для двух ранжирований (например, коэффициенты ранговой корреля-
ции Кендэла [3] и Спирмена [4]), а также коэффициенты конкордации [3], исполь-
зуемые для множеств, содержащих более двух индивидуальных ранжирований.
При создании систем поддержки принятия решений (СППР), в которых могут
применяться ординальные оценки, данные разными экспертами, СППР ординаль-
ного типа, возникает необходимость определения возможности обобщения (агре-
гации) индивидуальных ранжирований. Другими словами, необходимо определить,
достаточна ли степень согласованности индивидуальных ординальных оценок
группы экспертов. Ведь если индивидуальные ранжирования сильно рассогласо-
ваны, строить обобщенное ранжирование на их основании не совсем корректно.
Следует отметить, что количество экспертов в группах при проведении оце-
ночных процедур в СППР обычно малó. Также малó и количество данных ими
оценок, что делает неприемлемым применение аппарата математической стати-
стики для проверки степени согласованности экспертных мнений в группах.
В работе [5] рассматривается вопрос о пороговых значениях коэффициентов
конкордации и ранговой корреляции. Достаточность согласованности ранжирова-
ний здесь рассматривается в контексте требований лица, принимающего решение
(ЛПР), к точности определения обобщенного ранжирования, т.е. предлагается
узнать о допустимом значении отклонений индивидуальных ранжирований от
обобщенного ранжирования. Такие отклонения (их можно назвать мерой близости
ранжирований) измеряются величиной, равной минимальному количеству переста-
новок соседних объектов/альтернатив в индивидуальном ранжировании, необходи-
мых для преобразования его в обобщенное ранжирование. Следует отметить, что
такого рода вопросы (например, «Какое, по Вашему мнению, количество пере-
становок соседних альтернатив допустимо для сохранения достаточной степени
согласованности индивидуальных ранжирований?») не всегда понятны ЛПР,
и поэтому в реальных СППР таких вопросов нужно, по возможности, избегать.
Критерием достаточности степени согласованности считается сохранение ре-
зультирующего (обобщенного) ранжирования, полученного при агрегации полно-
стью согласованных (в данном случае полностью совпадающих) индивидуальных
ранжирований. Для агрегации индивидуальных ранжирований в этой работе рас-
сматривается использование метода Борда [1, 6].
108 ISSN 0572-2691
Экспериментальный анализ изменений значений порога применения коэф-
фициента конкордации указывает на отсутствие монотонной зависимости между
количеством перестановок соседних альтернатив в любом из индивидуальных
ранжирований и значением данного коэффициента. Этот факт можно показать на
простом примере.
Пример 1. Дано множество из пяти полностью согласованных (совпадаю-
щих) ранжирований трех альтернатив }.,,;,,;,,;,,;,,{ cbacbacbacbacba
Коэффициент конкордации данного множества индивидуальных ранжирований
равен 1. Он определяется по известной формуле: )],([)12( 32 nnm/SW = где m —
количество ранжирований, n — число альтернатив, S — сумма квадратов откло-
нений сумм рангов от среднего значения этих сумм.
Определим значения коэффициента конкордации при разном числе переста-
новок соседних альтернатив в индивидуальных ранжированиях. В этом примере
будем переставлять первую пару альтернатив в ранжированиях из заданного
множества.
Результаты изменений во множестве индивидуальных ранжирований и зна-
чения коэффициента конкордации, соответствующие полученным множествам,
сведены в табл. 1. Жирным шрифтом в таблице выделены альтернативы, подверг-
нутые перестановке.
Таблица 1
Число перестановок
соседних альтернатив
Множество индивидуальных ранжирований Коэффициент
конкордации
0 {a, b, c; a, b, c; a, b, c; a, b, c; a, b, c} 1
1 {b, a, c; a, b, c; a, b, c; a, b, c; a, b, c} 0,84
2 {b, a, c; b, a, c; a, b, c; a, b, c; a, b, c} 0,76
3 {b, a, c; b, a, c; b, a, c; a, b, c; a, b, c} 0,76
4 {b, a, c; b, a, c; b, a, c; b, a, c; a, b, c} 0,84
5 {b, a, c; b, a, c; b, a, c; b, a, c; b, a, c} 1
Как видно из примера, величина коэффициента конкордации не уменьшается
с ростом числа перестановок соседних альтернатив в индивидуальных ранжиро-
ваниях.
Кроме того, из результатов эксперимента видно, что степень согласованности
ранжирований, выраженная в виде коэффициента конкордации, не отображает
устойчивость (неизменность) итогового обобщенного ранжирования. Монотонная
зависимость между величиной коэффициента конкордации и числом перестано-
вок в итоговом ранжировании отсутствует, что показано в следующем примере.
Пример 2. Даны исходные условия примера 1. В табл. 2, кроме числа пере-
становок соседних альтернатив в индивидуальных ранжированиях и коэффициента
конкордации, отображено еще и итоговое ранжирование, полученное методом Бор-
да на основе индивидуальных ранжирований. Фактически сущность метода Борда
заключается в подсчете сумм рангов каждой альтернативы, входящей в индивиду-
альное ранжирование, и последующем ранжировании найденных сумм.
Таблица 2
Число перестановок
соседних альтернатив
Множество индивидуальных
ранжирований
Итоговое
ранжирование
Коэффициент
конкордации
0 {a, b, c; a, b, c; a, b, c; a, b, c; a, b, c} a, b, c 1
3 {b, a, c; b, a, c; b, a, c; a, b, c; a, b, c} b, a, c 0,76
7 {c, b, a; b, a, c; b, a, c; a, c, b; a, c, b} a, b, c 0,04
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 4 109
Из табл. 2 видно, что при трех перестановках альтернатив и коэффициенте
конкордации 0,76 итоговое ранжирование изменилось по сравнению с исходным
итоговым ранжированием (пять совпадающих индивидуальных ранжирований
a, b, c). В то время как при семи перестановках и коэффициенте конкордации
0,04 итоговое ранжирование осталось прежним.
Из сказанного выше следует, что необходимо искать новые способы провер-
ки достаточности степени согласованности индивидуальных ранжирований, при
этом в процесс подобной проверки не следует вовлекать ЛПР или экспертов. Про-
граммная реализация такой проверки в СППР ординального типа необходима для
определения целесообразности агрегирования индивидуальных ранжирований
или (если степень согласованности ранжирований недостаточна) для организации
обратной связи с экспертами. В последнем случае организатор экспертизы сможет
обратиться к экспертам с предложениями об изменении индивидуальных ранжи-
рований (ординальных оценок) альтернатив для улучшения согласованности.
Далее предлагается метод определения достаточности степени согласованно-
сти множества строгих индивидуальных ранжирований. Будем считать множество
индивидуальных ранжирований достаточно согласованным для их агрегации
в том случае, если полученное на их основе итоговое отношение также является
ранжированием (т.е. отношением линейного порядка). Такое требование кажется
естественным при групповом принятии решений, поскольку исключает появление
противоречий в итоговом отношении (нарушение его транзитивности). Тем самым
исключается возможность проявления так называемого парадокса Кондорсе [2],
вследствие которого может ставиться под сомнение возможность осуществления
однозначного и конструктивного группового выбора.
Формальная постановка задачи в этом случае может быть следующей.
Дано: ),1(},{)( mirR i
m — множество m индивидуальных ранжирований
экспертами n объектов, т.е. ),,1(},{ njrr
j
ii где ,l
i
k
i rrlk
j
ir —
ранг j-го объекта в i-м ранжировании.
Определить: достаточен ли уровень согласованности множества ранжирова-
ний R
(m)
для построения на его основе агрегированного ранжирования.
Ход решения.
1. Индивидуальные ранжирования ),,1(, miri представляются в виде мат-
риц отношений )),,1(),,1(),,1((},{ njnimkaA k
ij
k способом, предложен-
ным Кондорсе [2, 6]:
.если,1
,если,0
,если,1
k
j
k
i
k
j
k
i
k
j
k
i
k
ij
rr
rr
rr
a
Здесь символ обозначает отношение «быть более предпочтительным»,
а символ — «быть менее предпочтительным». Предполагается, что более пред-
почтительная альтернатива в ранжировании предшествует менее предпочтитель-
ной, и соответственно ей присваивается меньший порядковый номер или ранг.
Отметим, что построенные таким образом отношения являются отношениями
линейного порядка (или ранжированиями) и, следовательно, удовлетворяют свойс-
твам рефлективности, антисимметричности, транзитивности и связности.
2. Итоговая матрица отношения }~{
~
ijaA строится по правилу Кондорсе
а именно: .sign~
1
m
k
k
ijij aaji В этом случае каждую индивидуальную мат-
рицу можно считать множеством неких индивидуальных элементарных решений
110 ISSN 0572-2691
эксперта, отражающих результаты ординальных парных сравнений объектов. Каж-
дое такое элементарное решение соответствует недиагональному элементу мат-
рицы. При этом итоговая матрица содержит множество элементарных групповых
решений, сформированных по принципу большинства, т.е. ,1~ ija если большинст-
во из ,1k
ija и ,1~ ija если большинство из .1k
ija
3. Итоговая матрица A
~
анализируется на непротиворечивость. Непротиво-
речивость в данном случае подразумевает отсутствие нарушений транзитивности
между элементами матрицы. Из способа построения матриц отношений индиви-
дуальных ранжирований
kA и построения итоговой матрицы A
~
видно, что
для нее всегда выполняются три свойства отношения линейного порядка (а имен-
но, свойства рефлективности, антисимметричности и связности). Таким образом,
наличие нарушений транзитивности в A
~
свидетельствует о противоречиях
в суждениях членов группы экспертов, и уровень согласованности множества
ранжирований R
(m)
предлагается считать недостаточным для построения агреги-
рованного ранжирования на основе данного множества индивидуальных ранжи-
рований. Логичным подтверждением данного положения является тот факт, что
при нарушении транзитивности в матрице A
~
соответствующее ей отношение
фактически не является отношением линейного порядка (т.е. не ранжирование).
Способы анализа матриц отношений на наличие в них такого рода противо-
речий хорошо известны [3]. Для определения количества нарушений транзитив-
ности (количества соответствующих триад элементов матрицы) в A
~
можно
предварительно рассчитать строчные суммы ее положительных (в данном случае
равных единице) элементов: ,~
0~,
jiaj
jii as и, зная число объектов n, произвести
расчет по формуле
i
sn
i
CCt 23 или эквивалентной
.
2
)1(
6
)2)(1(
i
ii ssnnn
t
В ходе решения можно утверждать, что при условии 0t достигается доста-
точный уровень согласованности множества ранжирований R
(m)
, и на основе это-
го множества можно строить агрегированное ранжирование. Для агрегации инди-
видуальных ранжирований можно воспользоваться известными методами [7, 8].
В случае невыполнения условия (при 0t ) предлагается организовать обратную
связь с экспертами для приведения t к нулю.
Следует отметить, что при четных значениях m может возникать ситуация,
когда принцип большинства при формировании элементов итоговой матрицы
A
~
не выполняется из-за паритета мнений, тогда предлагается добиваться вы-
полнения этого принципа также посредством обратной связи с экспертами (обра-
щения к некоторым из них с предложением изменить первоначальную оценку).
В данной работе не будем рассматривать методы организации обратной связи
с экспертами и агрегации ранжирований, а ограничимся рассмотрением числового
примера, демонстрирующего определение достаточности степени согласованно-
сти множества строгих индивидуальных ранжирований.
Международный научно-технический журнал
«Проблемы управления и информатики», 2010, № 4 111
Пример 3. Даны индивидуальные ранжирования пяти объектов, произведен-
ные 5-ю экспертами: ;,,,,{5 ebcdaR ;,,,, cdeba badce ,,,, ;,,,, debac
}.,,,, ebacd Номер ранжирования соответствует присвоенному эксперту номе-
ру: ;,,,,1 ebcdar ;,,,,2 cdebar ;,,,,3 badcer ;,,,,4 debacr
.,,,,5 ebacdr
Определим, достаточна ли степень согласованности данного множества ран-
жирований.
1. Допустим, объектам соответствуют следующие номера, используемые для
индексирования элементов матриц отношений: a ~1, b ~ 2, c ~ 3, d ~ 4, e ~ 5, тогда
индивидуальные ранжирования будут представлены в виде следующих матриц:
;
01111
10111
11011
11101
11110
1
A ;
01111
10111
11011
11101
11110
2
A ;
01111
10111
11011
11101
11110
3
A
;
01111
10111
11011
11101
11110
4
A .
01111
10111
11011
11101
11110
5
A
2. Итоговая матрица отношения имеет вид
.
01111
10111
11011
11101
11110
~
A
3. Строчные суммы равных единице элементов матрицы A
~
следующие:
;31 s ;12 s ;33 s ;24 s .15 s В результате, воспользовавшись приведен-
ной выше формулой, получим количество нарушений транзитивности в итоговом
отношении t 3. Поскольку значение ,0t степень согласованности заданного
множества ранжирований недостаточна, чтобы на его основе получить обобщен-
ное ранжирование.
Разработан метод определения достаточности степени согласованности мно-
жества строгих индивидуальных ранжирований. Степень согласованности пред-
лагается считать достаточной, если полученное на основе множества индивиду-
альных ранжирований итоговое отношение также является ранжированием, а это
возможно при выполнении условия транзитивности этого отношения.
Предложенный принцип также приемлем для анализа согласованности не-
строгих индивидуальных ранжирований, однако проверка итоговой матрицы
на отсутствие противоречий будет отличаться от изложенной выше.
Данный метод — неотъемлемая составляющая математического обеспечения
СППР, которые предполагают использование групповых ординальных эксперт-
ных оценок. Возможность применения метода не зависит от того, каким из из-
вестных методов агрегации индивидуальных ранжирований эксперты, ЛПР или
организаторы экспертизы планируют воспользоваться в дальнейшем.
Статья посвящена памяти доктора технических наук, профессора, заведую-
щего отделом аналитических методов информационных технологий Института
проблем регистрации информации НАН Украины В.Г. Тоценко.
112 ISSN 0572-2691
В.В. Циганок, С.В. Каденко
ПРО ДОСТАТНІСТЬ СТУПЕНЯ УЗГОДЖЕНОСТІ
ГРУПОВИХ ОРДИНАЛЬНИХ ОЦІНОК
Запропоновано метод визначення достатності ступеня узгодженості множини
суворих індивідуальних ранжувань при груповому експертному оцінюванні.
Основа методу — перевірка, чи зберігається властивість транзитивності під-
сумкового відношення. Застосування методу в системах підтримки прийняття
рішень ординального типу можливе при агрегації індивідуальних ранжирувань
групи експертів різними способами.
V.V. Tsyganok, S.V. Kadenko
ON SUFFICIENT CONSISTENCY LEVEL
OF GROUP ORDINAL ESTIMATES
A method for determining consistency of a strict individual rankings set while group
expert estimation is suggested. The method is based on the check whether the
aggregate relation preserves the transitivity property. The method can be used in
ordinal-type decision-making support systems, where various individual rankings’
aggregation procedures are implemented.
1. Borda J.C. Mémoire sur les elections au scrutin. Historie de de l’académie Royale des Sciences.
— Paris, 1781. — 657 p.
2. De Condorcet M. Essai sur l'application de l'analyse á la probabilité des décisions rendues á la
pluralité des voix. — http://gallica.bnf.fr/ark:/12148/bpt6k417181.
3. Кендэл М. Ранговые корреляции — М. : Статистика, 1975. — 214 с.
4. Spearman C. The proof and measurement of association between two things // Amer. J.
Psychol. — 1904. — 15. — P. 72–101.
5. Тоценко В.Г. Метод определения достаточности согласованности индивидуальных ранжи-
рований при принятии групповых решений // Проблемы управления и информатики. —
2006. — № 4. — С. 82–88.
6. Тоценко В.Г. Методы определения групповых многокритериальных ординальных оценок
с учетом компетентности экспертов // Там же. — 2005. — № 5. — С. 84–89.
7. Литвак Б.Г. Экспертная информация. Методы получения и анализа — М. : Радио и связь,
1982. — 185 с.
8. Гнатієнко Г.М. Експертні технології прийняття рішень. — К. : ТОВ «Маклаут», 2008. —
444 с.
Получено 24.12.2009
|
| id | nasplib_isofts_kiev_ua-123456789-210751 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Russian |
| last_indexed | 2026-03-13T13:01:45Z |
| publishDate | 2010 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Цыганок, В.В. Каденко, С.В. 2025-12-17T11:56:17Z 2010 О достаточности степени согласованности групповых ординальных оценок / В.В. Цыганок, С.В. Каденко // Проблемы управления и информатики. — 2010. — № 4. — С. 107-112. — Бібліогр.: 8 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/210751 519.816 10.1615/JAutomatInfScien.v42.i8.50 Запропоновано метод визначення достатності ступеня узгодженості множини суворих індивідуальних ранжувань при груповому експертному оцінюванні. Основа методу — перевірка, чи зберігається властивість транзитивності підсумкового відношення. Застосування методу в системах підтримки прийняття рішень ординального типу можливе при агрегації індивідуальних ранжирувань групи експертів різними способами. A method for determining consistency of a strict individual rankings set while group expert estimation is suggested. The method is based on the check whether the aggregate relation preserves the transitivity property. The method can be used in ordinal-type decision-making support systems, where various individual rankings’ aggregation procedures are implemented. ru Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Методы обработки информации О достаточности степени согласованности групповых ординальных оценок Про достатність ступеня узгодженості групових ординальних оцінок On sufficient consistency level of group ordinal estimates Article published earlier |
| spellingShingle | О достаточности степени согласованности групповых ординальных оценок Цыганок, В.В. Каденко, С.В. Методы обработки информации |
| title | О достаточности степени согласованности групповых ординальных оценок |
| title_alt | Про достатність ступеня узгодженості групових ординальних оцінок On sufficient consistency level of group ordinal estimates |
| title_full | О достаточности степени согласованности групповых ординальных оценок |
| title_fullStr | О достаточности степени согласованности групповых ординальных оценок |
| title_full_unstemmed | О достаточности степени согласованности групповых ординальных оценок |
| title_short | О достаточности степени согласованности групповых ординальных оценок |
| title_sort | о достаточности степени согласованности групповых ординальных оценок |
| topic | Методы обработки информации |
| topic_facet | Методы обработки информации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/210751 |
| work_keys_str_mv | AT cyganokvv odostatočnostistepenisoglasovannostigruppovyhordinalʹnyhocenok AT kadenkosv odostatočnostistepenisoglasovannostigruppovyhordinalʹnyhocenok AT cyganokvv prodostatnístʹstupenâuzgodženostígrupovihordinalʹnihocínok AT kadenkosv prodostatnístʹstupenâuzgodženostígrupovihordinalʹnihocínok AT cyganokvv onsufficientconsistencylevelofgroupordinalestimates AT kadenkosv onsufficientconsistencylevelofgroupordinalestimates |