Групповые ранжирования с обратной связью с экспертами и учетом их компетентности
Пропонується підхід до обчислення групових узгоджених ранжувань об’єктів з урахуванням відносної компетентності експертів у групі із застосуванням зворотного зв’язку з експертами для досягнення достатньої узгодженості множини індивідуальних ранжувань. Запропоновано методи обчислення коефіцієнта ко...
Saved in:
| Published in: | Проблемы управления и информатики |
|---|---|
| Date: | 2006 |
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2006
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/206896 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Групповые ранжирования с обратной связью с экспертами и учетом их компетентности / В.Г. Тоценко // Проблемы управления и информатики. — 2006. — № 5. — С. 92-99. — Бібліогр.: 9 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859775175169409024 |
|---|---|
| author | Тоценко, В.Г. |
| author_facet | Тоценко, В.Г. |
| citation_txt | Групповые ранжирования с обратной связью с экспертами и учетом их компетентности / В.Г. Тоценко // Проблемы управления и информатики. — 2006. — № 5. — С. 92-99. — Бібліогр.: 9 назв. — рос. |
| collection | DSpace DC |
| container_title | Проблемы управления и информатики |
| description | Пропонується підхід до обчислення групових узгоджених ранжувань об’єктів з урахуванням відносної компетентності експертів у групі із застосуванням зворотного зв’язку з експертами для досягнення достатньої узгодженості множини індивідуальних ранжувань. Запропоновано методи обчислення коефіцієнта конкордації множини індивідуальних ранжувань з урахуванням компетентності експертів і граничних значень цього коефіцієнта, а також процедуру обчислення рекомендацій експертам, виконання яких призводить до поліпшення узгодженості множини індивідуальних ранжувань, та процедуру обчислення групового ранжування за достатньо узгодженою множиною індивідуальних ранжувань.
An approach is suggested to the calculation of group consistent rankings of alternatives with account of relative competence of experts within the group and using the feedback to experts in order to achieve a sufficient consistency of the individual ranking set. The methods to calculate the concordation coefficients for the individual ranking set taking into account the expert competence, and the threshold values of this coefficient, the procedure of determination of recommendations for experts, fulfilment of which leads to better consistency of the individual ranking set, and the technique to calculate the group ranking from the sufficiently consistent set of individual rankings are suggested.
|
| first_indexed | 2025-12-02T07:59:08Z |
| format | Article |
| fulltext |
© В.Г. ТОЦЕНКО, 2006
92 ISSN 0572-2691
МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ
УДК 519.816
В.Г. Тоценко
ГРУППОВЫЕ РАНЖИРОВАНИЯ
С ОБРАТНОЙ СВЯЗЬЮ С ЭКСПЕРТАМИ
И УЧЕТОМ ИХ КОМПЕТЕНТНОСТИ
Введение
Групповые ранжирования широко применяются при проведении различного
рода конкурсов, когда достаточно определить место объекта в ряду предпочтений
по некоторому качественному критерию, не заботясь об определении степени его
преимущества перед другими. Определение такого группового ранжирования
может быть целью экспертизы, когда критерий один. Если критериев несколько,
то отыскание однокритериального ранжирования — частная задача.
Проблема определения групповых ординальных оценок (ранжирований) по
одному критерию рассматривалась еще в ХVIII веке в трудах французских мате-
матиков Кондорсе [1] и Борда [2]. При этом компетентность экспертов не учиты-
валась, все эксперты считались одинаково компетентными. Методы определения
индивидуальных мультикритериальных ординальных оценок предложены в рабо-
тах [3–5].
Попытка учета компетентности экспертов и неодинаковой значимости крите-
риев при определении группового ранжирования предпринята в [6]. Однако при
применении описанного в [6] метода отыскания группового ранжирования по
многим критериям предполагалось, что множество индивидуальных ранжирова-
ний по каждому критерию достаточно согласовано, в то время как на практике ча-
сто дело обстоит иначе. Рассогласования ранжирований могут быть вызваны как
принципиальными позициями экспертов, так и случайными факторами: невнима-
тельностью, усталостью, рассеянностью того или иного эксперта. В то же время
вычислять групповое ранжирование по недостаточно согласованным индивиду-
альным было бы неправильно. Таким образом, для повышения степени доверия к
результатам экспертизы следует указать, какому эксперту и в каком направлении
следует изменить свою оценку, чтобы повысить согласованность множества ин-
дивидуальных ранжирований. При этом каждый эксперт должен иметь право от-
казаться изменить свою оценку, так как, вполне возможно, это принципиально
для него. Следует также предусмотреть возможность того, что вследствие отказов
экспертов корректировать свои оценки множество индивидуальных ранжирова-
ний останется недостаточно согласованным и вычислять групповое ранжирование
на его основании не будет иметь смысла.
Для решения этой общей задачи необходимо решить ряд частных. Первая из
них — задача количественной оценки степени согласованности множества инди-
видуальных ранжирований с учетом компетентности экспертов. В качестве вто-
рой задачи следует назвать определение достаточнсти согласованности этого
множества. Далее требуется разработать метод вычисления содержания диалога с
экспертами, т.е. определения рекомендаций: какому эксперту и в каком направле-
Проблемы управления и информатики, 2006, № 5 93
нии желательно изменить свою оценку, чтобы согласованность множества инди-
видуальных ранжирований повысилась. Наконец, последняя задача — вычисле-
ние группового ранжирования по множеству достаточно согласованных индиви-
дуальных.
В настоящей статье излагаются методы решения сформулированных задач.
1. Определение степени согласованности множества индивидуальных
ранжирований с учетом компетентности экспертов
В качестве количественной оценки степени согласованности множества ин-
дивидуальных ранжирований используем коэффициент конкордации [7], так как
он применим при произвольном количестве экспертов. Задача вычисления этого
коэффициента с учетом компетентности экспертов формулируется следующим
образом.
Дано: множество ),,1(},{ mjrR j == индивидуальных ранжирований объек-
тов ),,1(, niAai = данных m экспертами с коэффициентами компетентности
.1,
1
=
=
m
j
jj cCс
Требуется: вычислить коэффициент конкордации )(Rw множества R c уче-
том компетентности экспертов.
Для учета компетентности экспертов используем подход, предложенный в [6].
Выберем наибольший общий делитель для коэффициентов компетентности
экспертов ,Cc j давших ранжирования. Тогда jc для любого mj 1 можно
представить в виде ,= jj kc где jk — целое число. Число jk можно рассматри-
вать как количество экспертов с равной компетентностью , которые в совокуп-
ности эквивалентны эксперту с компетентностью .jc Поэтому множество
}{ jrR = индивидуальных ранжирований объектов Aai можно заменить мно-
жеством kR ранжирований, в котором вместо одного ранжирования jr записано
jk его копий. При этом задача вычисления коэффициента конкордации множе-
ства индивидуальных ранжирований, данных m экспертами разной компетентно-
сти, сводится к задаче определения коэффициента конкордации множества kR
ранжирований, данных равнокомпетентными экспертами
,
1
=
=
m
j
je km (1)
каждый из которых имеет коэффициент компетентности . Учитывая, что
,/= jj ck ,1
1
=
=
m
j
jс (2)
выражение (1) преобразуем к виду
./1 =em (3)
Известно [7], что коэффициент конкордации W множества индивидуальных ран-
жирований n объектов, выполненных m равнокомпетентными экспертами, опре-
деляется выражением
),(/12 32 nnmSW −= (4)
где S — сумма квадратов отклонений сумм рангов объектов от среднего значения
этих сумм.
94 ISSN 0572-2691
Доказано, что значение S для любого множества индивидуальных ранжиро-
ваний не может быть больше величины ,12/)( 32 nnm − причем S имеет это зна-
чение, лишь когда множество индивидуальных ранжирований полностью согла-
совано. При этом, как следует из (4), коэффициент конкордации принимает мак-
симальное значение, равное 1.
Среднее значение суммы рангов объектов 0 выражается соотношением
,2/)1(2/)1(0 +=+= nnme (5)
сумма рангов i-го объекта по множеству ранжирований R с учетом (2) — соот-
ношением
,)/1(
1
ij
m
j
ji rc
=
= (6)
где ijr — ранг i-го объекта в индивидуальном ранжировании, данном j-м
экспертом.
С учетом (3)–(6) после несложных преобразований получаем
.)1(
2
1
12)( 2
1
2
1
/ −
−
+
=
= =
nnrc
n
Rw
n
i
ij
m
j
j (7)
Пример 1. Множество )},,,,();,,,,();,,,,{( eabcdabcdeedcbaR = сфор-
мировано множеством экспертов ),3,1(},{ == jeE j с коэффициентами компе-
тентности .5,0;3,0;2,0 321 === ccc Вычислить коэффициент конкордации )(Rw
без учета компетентности экспертов и коэффициент )(Rwk с учетом коэффициен-
тов относительной компетентности экспертов.
На основании (4) получаем .1111,0)( =Rw При помощи (7) вычисляем
.2375,0)( =Rwk Этот пример показывает, что учет компетентности экспертов
существенно изменяет количественную оценку степени согласованности множе-
ства индивидуальных ранжирований.
2. Определение достаточности степени согласованности
множества индивидуальных ранжирований
Для определения достаточности степени согласованности множества экс-
пертных оценок сравним значение количественной меры согласованности (коэф-
фициента конкордации) с пороговыми значениями [8].
Использование статистического подхода для определения пороговых значе-
ний этого коэффициента не представляется возможным вследствие небольшого
количества индивидуальных ранжирований (единицы), имеющего место на прак-
тике. Поэтому воспользуемся подходом, аналогичным предложенному в [8] под-
ходу к определению пороговых значений коэффициента согласованности мно-
жества кардинальних оценок, согласно которому определяются два пороговых
значения. Первое, называемое порогом обнаружения ,0T определяет условия
наличия полезной информации во множестве экспертных оценок. Превышение
второго порогового значения, называемого порогом применения ,uT означает до-
статочную с точки зрения лица, принимающего решения (ЛПР), точность резуль-
тирующего группового ранжирования. В качестве порогов обнаружения и приме-
нения используются коэффициенты согласованности специальным образом по-
Проблемы управления и информатики, 2006, № 5 95
строенных множеств экспертных оценок. Понятно, что структура этих множеств
существенно зависит от алгоритмов вычисления соответствующих количествен-
ных показателей согласованности.
Порог обнаружения. Полностью согласованным называется множество R
0
индивидуальных ранжирований, если ранг каждого объекта, определенный по
каждому индивидуальному ранжированию ,)0(Rr j одинаков.
Полному отсутствию информации во множестве индивидуальных ранжиро-
ваний соответствует случай, когда все объекты имеют одинаковые суммы рангов,
что может быть только тогда, когда сумма рангов каждого объекта равна сред-
нему значению суммы рангов объектов. При этом для всех объектов отклонения
суммы рангов от среднего значения суммы рангов равны 0, поэтому ,0=S
,0)( =RW т.е. множество индивидуальных ранжирований полностью рассогласо-
вано. Примером может быть следующее множество индивидуальных ранжирова-
ний: );,,,,(1 edcbar = );,,,,(2 abcder = );,,,,(3 ecdabr = ).,,,,(4 badcer = Не-
трудно убедиться в том, что для данного случая сумма рангов каждого объекта
равна 12.
Очевидно, множество индивидуальных ранжирований несет минимальную
информацию тогда, когда величина S имеет минимальную, отличную от среднего
значения, величину. Это может быть следствием изменения на минимальную,
отличную от 0, величину суммы квадратов отклонений сумм рангов объектов от
среднего. Очевидно, что способом такого изменения может быть следующий:
в одном и только в одном из индивидуальных ранжирований полностью несогла-
сованного множества два объекта, стоящие на соседних позициях, поменяются
местами. Например, рассмотренное выше полностью рассогласованное множе-
ство индивидуальных ранжирований будет преобразовано к виду
);,,,,(1 edcbar = );,,,,(2 abcder = );,,,,(3 ecdabr = ).,,,,(4 abdcer = При
этом сумма рангов одного из объектов увеличится на 1, а второго — на столько
же уменьшится. Так как суммы рангов непереставленных объектов, а также сред-
нее значение суммы рангов остались такими же, как и в полностью несогласован-
ном множестве, то 2=S и, как следует из (4), порог обнаружения коэффициента
конкордации определяется соотношением
).(/24 32
00 nnmwT −==
Порог применения uT используем для определения достаточности степени
согласованности множества индивидуальных ранжирований с целью определения
результирующего ранжирования с требуемой точностью. Особенность определе-
ния точности экспертной информации состоит в принципиальном отсутствии эта-
лона, сравнение с которым позволило бы определить точность результатов как
при обычных измерениях, поскольку экспертная оценка сугубо индивидуальна и
не может быть определена внешним наблюдателем.
При определении порога применения воспользуемся подходом, предложен-
ным в [8], который заключается в том, что в качестве этого порога применяется
коэффициент конкордации множества uR ранжирований, отражающего взгляды
ЛПР на требования к точности определения заключительного ранжирования. При
формировании множества uR будем исходить из следующих соображений.
Самые высокие требования к степени согласованности, состоят, очевидно,
в полном совпадении индивидуальных ранжирований. При этом .1)( =uRw Такой
случай редко встречается на практике. Поэтому естественно формулировать тре-
96 ISSN 0572-2691
бования к степени согласованности в виде количества объектов, имеющих в раз-
ных ранжированиях разные ранги. Существенно, что при этом результирующее
ранжирование, определенное выбранным методом, должно совпадать с тем, кото-
рое было бы определено по полностью согласованному множеству индивидуаль-
ных ранжирований.
Характерная особенность ординальных оценок (рангов) объектов состоит
в том, что ранг не может измениться только у одного объекта. Ранг объекта ia в
некотором ранжировании может измениться только благодаря перестановке его с
объектом ,ja в результате чего эти объекты поменяются рангами.
Пусть эксперты ранжируют n объектов. Для дальнейшего изложения нам по-
требуется понятие расстояния ),( ji rrl между ранжированиями ,, ji rr данными
одним экспертом. В [9] предложен способ определения расстояния между ранжи-
рованиями, основанный на представлении их матрицами отношений. Для опреде-
ления группового ранжирования используем метод Борда, оперирующий поняти-
ями рангов объектов. В связи с этим в дальнейшем изложении для задания ран-
жирования удобнее использовать ранги объектов вместо матрицы отношений.
Излагаемый метод определения достаточности степени согласованности
множества индивидуальных ранжирований важен в связи с необходимостью ор-
ганизации обратной связи с экспертами для улучшения согласованности этого
множества. Поэтому при определении расстояния между ранжированиями ис-
пользуем понятие перестановки объектов.
Определение 1. Расстоянием ),( ji rrl между ранжированиями ji rr , называ-
ется количество перестановок объектов ,, ikih aa имеющих в ранжировании ir
ранги 1, += ihikih соответственно, которые нужно выполнить, чтобы преоб-
разовать ранжирование ir в ранжирование .jr
Пример 2. Пусть .,,,,;,,,, deabcredcbar ji == Преобразование ji rr →
осуществляется следующим образом: →→→ ),,,,(),,,,(),,,,( decabdecbaedcba
).,,,,(),,,,( deabcdeacb →→ Поэтому .4),( =ji rrl
Определение 2. Множеством )(lR
ir
ранжирований, порожденным ранжиро-
ванием ir и расстоянием l, называется множество ранжирований, у каждого из ко-
торых расстояние от ir равно l.
В частности, для edcbari ,,,,= имеем );,,,,();,,,,{()1( edbcaedcabR
ir
=
)};,,,,();,,,,( decbaecdba )};,,,,();,,,,();,,,,{()2( cdebaebcdaedabcR
ir
= =)3(
ir
R
)};,,,,();,,,,{( bdceaeacbd= )}.,,,,{()4( adcbeR
ir
=
Нетрудно убедиться, что .)( lnlR
ir
−=
Возникает вопрос: каким должно быть l, чтобы результирующее ранжирова-
ние, полученное методом Борда, совпадало с вычисленным по полностью согла-
сованному множеству ранжирований?
В полностью согласованном множестве ранжирований каждый объект имеет
во всех m ранжированиях одинаковые ранги. Следовательно, суммы рангов объ-
ектов отличаются точно на m от суммы рангов объектов — их непосредственных
соседей, т.е. имеющих ранги, отличающиеся на 1. Результирующее ранжирование
объектов при использовании метода Борда совпадает с ранжированием их сумм
рангов. Перестановка соседних объектов увеличивает сумму рангов одного и на
столько же уменьшает сумму рангов другого. Поэтому изменение результирую-
Проблемы управления и информатики, 2006, № 5 97
щего ранжирования по сравнению с тем, которое получено по полностью согла-
сованному множеству, будет тогда и только тогда, когда изменения сумм рангов
объектов превысят половину разности сумм рангов соседних объектов, т.е. .2/m
Поэтому величина l при формировании множества )(lR
ir
должна удовлетво-
рять условию [.2/]ml
Определение 3. Порогом применения множества )(lTu индивидуальных ран-
жирований n объектов, порожденного ранжированием ir и расстоянием l, называ-
ется значение коэффициента конкордации множества ir rlR
i
)( ранжирований
для 1+−= lnm экспертов.
Пример 3. Пусть ;5=n ;1=l ).,,,,( edcbari = Тогда );,,,,{()( edcablR
ir
=
)};,,,,();,,,,();,,,,( decbaecdbaedbca .848,0)1( =uT При тех же исходных дан-
ных, но для ,2=l получаем )};,,,,();,,,,();,,,,{()2( cdebaebcdaedabcR
ir
=
.575,0)2( =uT
Очевидно, что значение )(lTu определяется величинами l и m и не зависит от
конкретного вида ранжирования .ir
3. Определение содержания диалога с экспертами
Приведем предварительные соображения. Следует заметить, что, если мно-
жество индивидуальных ранжирований содержит m одинаковых ранжирований,
то это множество — полностью согласованное, т.е. его коэффициент конкордации
равен 1. Понятно, что таких множеств может быть не более m, причем i-е множе-
ство содержит m копий ранжирования, данного экспертом .ie Следовательно, су-
ществует m путей из начального множества ранжирований в m конечных полно-
стью согласованных множеств ранжирований. Возникает вопрос: по какому пути
идти? Если эксперты имеют разную компетентность, то естественно равняться на
наиболее компетентного эксперта, так как надежда на получение достоверного
результата тем больше, чем выше компетентность эксперта. Таким образом, цель
согласования мнений экспертом — достижение такого множества индивидуаль-
ных ранжирований, когда каждое из них совпадает с ранжированием, данным
наиболее компетентным экспертом; назовем его .kr Следовательно, необходимо
давать рекомендации изменить свое ранжирование оставшимся )1( −m экспертам.
Это нужно делать последовательно, по очереди, пока ранжирование, данное оче-
редным экспертом, не совпадет с .kr В какой же последовательности следует
формировать рекомендации? Опыт подсказывает, что с уменьшением относи-
тельной компетентности эксперта его сопротивление следовать рекомендациям
уменьшается. Поэтому целесообразно формировать рекомендации по коррекции
индивидуальных ранжирований, начиная с наименее компетентных из оставших-
ся экспертов.
Рассмотрим наиболее характерные варианты.
В случае, когда множество R ранжирований не несет информации, т.е.
,)( 0TRw всем экспертам следует пересмотреть свои индивидуальные ранжи-
рования.
Если множество ранжирований несет информацию, но достоверность ре-
зультирующего ранжирования ниже требований, предъявляемых ЛПР, т.е. мно-
жество R удовлетворяет условию
,)(0 uTRwT (8)
98 ISSN 0572-2691
нужно выбрать наименее компетентного эксперта ie и для ранжирования ,Rri
данного им, определить множество )1(
ir
R ранжирований, порожденных ранжиро-
ванием Rri и расстоянием .1=l Было показано, что .1)1( −= nR
ir
Образуем
)1( −n множеств 121 ,,, −nRRR путем замены ранжирования Rri ранжирова-
ниями ),1(
ir
Rr )1(,),1( )1( ii rnr RrRr − соответственно. Для каждого из
полученных множеств 121 ,,, −nRRR рассчитаем коэффициент конкордации
и выберем множество ,R которое имеет наибольшее значение этого коэффи-
циента. Преобразование → RR достигается перестановкой объектов ik ra и
.iр ra Это дает основание сформулировать предложение эксперту :ie «Для по-
вышения согласованности множества индивидуальных ранжирований не согласи-
тесь ли вы переставить объекты ka и ah?» Если эксперт согласился, то проверяет-
ся выполнение условия
.)( uTRw (9)
Если оно выполнено, то множество индивидуальных ранжирований считает-
ся достаточно согласованным и по нему можно вычислять групповое ранжирова-
ние методом, описанным в следующем разделе. Если же по-прежнему выполняет-
ся условие (8) или эксперт ie отказался переставлять объекты ka и ,ha то выби-
рают эксперта ,je компетентность которого выше компетентности эксперта ,ie
но ниже, чем компетентность всех остальных (кроме ),ie и повторяют описанную
процедуру. Если же все эксперты отказались переставлять объекты в рекомендуе-
мых парах и по-прежнему выполняется условие (8), то делается вывод о невоз-
можности получения достоверной информации с этой бригадой экспертов и она
подлежит замене.
4. Вычисление согласованного группового ранжирования
После того как в результате диалога с экспертами достигнуто выполнение
условия (9), т.е. множество индивидуальных ранжирований достаточно согласо-
вано, есть основания вычислить результирующее групповое ранжирование. Его
можно назвать согласованным. Алгоритм вычисления этого ранжирования изло-
жен в [6].
Заключение
В процессе получения согласованного множества индивидуальных ранжиро-
ваний участвуют эксперты. Согласие или несогласие того или иного эксперта из-
менить данное им ранжирование зависит от целого ряда психофизиологических
факторов, не поддающихся формальному описанию. В связи с этим правило вы-
бора эксперта, к которому обращаются в ходе получения согласованного множе-
ства индивидуальных ранжирований, является эмпирическим. Эксперименталь-
ные исследования предложенного метода показали его сходимость и достаточно
высокую эффективность.
В.Г. Тоценко
ГРУПОВІ РАНЖУВАННЯ ЗІ ЗВОРОТНИМ
ЗВ’ЯЗКОМ З ЕКСПЕРТАМИ І ВРАХУВАННЯМ
ЇХНЬОЇ КОМПЕТЕНТНОСТІ
Пропонується підхід до обчислення групових узгоджених ранжувань об’єктів з
урахуванням відносної компетентності експертів у групі із застосуванням зво-
Проблемы управления и информатики, 2006, № 5 99
ротного зв’язку з експертами для досягнення достатньої узгодженості множини
індивідуальних ранжувань. Запропоновано методи обчислення коефіцієнта
конкордації множини індивідуальних ранжувань з урахуванням компетентності
експертів і граничних значень цього коефіцієнта, а також процедуру обчис-
лення рекомендацій експертам, виконання яких призводить до поліпшення
узгодженості множини індивідуальних ранжувань, та процедуру обчислення
групового ранжування за достатньо узгодженою множиною індивідуальних
ранжувань.
V.G. Totsenko
GROUP RANKINGS WITH FEEDBACK TO EXPERTS
AND ACCOUNT OF THEIR COMPETENCE
An approach is suggested to the calculation of group consistent rankings of alterna-
tives with account of relative competence of experts within the group and using the
feedback to experts in order to achieve a sufficient consistency of the individual
ranking set. The methods to calculate the concordation coefficients for the individual
ranking set taking into account the expert competence, and the threshold values of
this coefficient, the procedure of determination of recommendations for experts, ful-
filment of which leads to better consistency of the individual ranking set, and the
technique to calculate the group ranking from the sufficiently consistent set of indi-
vidual rankings are suggested.
1. Condorset I.A. Exposition des motifs et des principes du plan de constitution. Ar. XIII. 1793 //
Mathematiques et sciences humaines. — Paris : Centre de Mathe’matique Sociale. Ecole des
Hautes Etudes en Sciences Sociales, 1976. — 181 p.
2. Borda J.C. Memoire sur le se’lections au scrutiny : Historia de l’acade’mie des sciences pour. —
Paris, 1781. — 657 p.
3. Руа Б. Классификация и выбор при наличии нескольких критериев (метод ЭЛЕКТРА) //
Вопросы анализа и процедуры принятия решений : Сб. переводов. — М. : Мир, 1976. —
С. 80–107.
4. Roy B. ELECTRE III: Un Algorithme de Classement Fonde sur une Representation Floue des
Preferences en Presence de Criteres Multiple // Cah. Cent. Etud. Recherce Oper. — 1978. —
20. — P. 3–24.
5. Ларичев О.И., Зуев Ю.А., Гнеденко Л.С. Метод ЗАПРОС (ЗАмкнутые ПРоцедуры у Опор-
ных Ситуаций) решения слабо структурированных проблем выбора при многих критери-
ях / АН СССР. ВНИИСИ. — Препр. — М., 1979. — 75 с.
6. Тоценко В.Г. Методы определения групповых многокритериальных ординальных оценок с
учетом компетентности экспертов // Проблемы управления и информатики. — 2005. —
№ 5. — С. 84–89. (Totsenko V.G. Method of determination of group multicriteria ordinal esti-
mates with account of expert competence // J. of Autom. and Inform. Sci. — 2005. — 37,
N 10. — P. 19–23).
7. Литвак Б.Г. Экспертная информация. Методы получения и анализа. — М. : Радио и связь,
1982. — 184 с.
8. Totsenko V.G. The agreement degree of estimations set with regard of experts competency //
Proc. of the 4-th International Symposium on the Analytic Hierarchy Process, Simon Fraser Uni-
versity, Vancouver, Canada,1996. — P. 229–241.
9. Кемени Дж., Снелл Дж. Кибернетическое моделирование / Пер. с англ. Б.Г. Миркина. —
М. : Сов. радио, 1972. — 192 c.
Получено 31.05.2006
http://www.begellhouse.com/journals/2b6239406278e43e,34f942fb0b2ef7c6,561cd5f51766c527.html
http://www.begellhouse.com/journals/2b6239406278e43e,34f942fb0b2ef7c6,561cd5f51766c527.html
|
| id | nasplib_isofts_kiev_ua-123456789-206896 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Russian |
| last_indexed | 2025-12-02T07:59:08Z |
| publishDate | 2006 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Тоценко, В.Г. 2025-09-26T10:36:38Z 2006 Групповые ранжирования с обратной связью с экспертами и учетом их компетентности / В.Г. Тоценко // Проблемы управления и информатики. — 2006. — № 5. — С. 92-99. — Бібліогр.: 9 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/206896 519.816 Пропонується підхід до обчислення групових узгоджених ранжувань об’єктів з урахуванням відносної компетентності експертів у групі із застосуванням зворотного зв’язку з експертами для досягнення достатньої узгодженості множини індивідуальних ранжувань. Запропоновано методи обчислення коефіцієнта конкордації множини індивідуальних ранжувань з урахуванням компетентності експертів і граничних значень цього коефіцієнта, а також процедуру обчислення рекомендацій експертам, виконання яких призводить до поліпшення узгодженості множини індивідуальних ранжувань, та процедуру обчислення групового ранжування за достатньо узгодженою множиною індивідуальних ранжувань. An approach is suggested to the calculation of group consistent rankings of alternatives with account of relative competence of experts within the group and using the feedback to experts in order to achieve a sufficient consistency of the individual ranking set. The methods to calculate the concordation coefficients for the individual ranking set taking into account the expert competence, and the threshold values of this coefficient, the procedure of determination of recommendations for experts, fulfilment of which leads to better consistency of the individual ranking set, and the technique to calculate the group ranking from the sufficiently consistent set of individual rankings are suggested. ru Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Методы обработки и защиты информации Групповые ранжирования с обратной связью с экспертами и учетом их компетентности Групові ранжування зі зворотним зв’язком з експертами і врахуванням їхньої компетентності Group rankings with feedback to experts and account of their competence Article published earlier |
| spellingShingle | Групповые ранжирования с обратной связью с экспертами и учетом их компетентности Тоценко, В.Г. Методы обработки и защиты информации |
| title | Групповые ранжирования с обратной связью с экспертами и учетом их компетентности |
| title_alt | Групові ранжування зі зворотним зв’язком з експертами і врахуванням їхньої компетентності Group rankings with feedback to experts and account of their competence |
| title_full | Групповые ранжирования с обратной связью с экспертами и учетом их компетентности |
| title_fullStr | Групповые ранжирования с обратной связью с экспертами и учетом их компетентности |
| title_full_unstemmed | Групповые ранжирования с обратной связью с экспертами и учетом их компетентности |
| title_short | Групповые ранжирования с обратной связью с экспертами и учетом их компетентности |
| title_sort | групповые ранжирования с обратной связью с экспертами и учетом их компетентности |
| topic | Методы обработки и защиты информации |
| topic_facet | Методы обработки и защиты информации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/206896 |
| work_keys_str_mv | AT tocenkovg gruppovyeranžirovaniâsobratnoisvâzʹûsékspertamiiučetomihkompetentnosti AT tocenkovg grupovíranžuvannâzízvorotnimzvâzkomzekspertamiívrahuvannâmíhnʹoíkompetentností AT tocenkovg grouprankingswithfeedbacktoexpertsandaccountoftheircompetence |