Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений

Запропоновано методи обчислення коефіцієнта конкордації з урахуванням компетентності експертів, а також порогових значень коефіцієнтів конкордації і рангової кореляції при визначенні результуючого ранжування методом Борда. Поріг визначення використовується для встановлення наявності корисної інфор...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Veröffentlicht in:Проблемы управления и информатики
Datum:2006
1. Verfasser: Тоценко, В.Г.
Format: Artikel
Sprache:Russisch
Veröffentlicht: Інститут кібернетики ім. В.М. Глушкова НАН України 2006
Schlagworte:
Online Zugang:https://nasplib.isofts.kiev.ua/handle/123456789/206880
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений / В.Г. Тоценко // Проблемы управления и информатики. — 2006. — № 4. — С. 82-88. — Бібліогр.: 6 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
_version_ 1859741499102593024
author Тоценко, В.Г.
author_facet Тоценко, В.Г.
citation_txt Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений / В.Г. Тоценко // Проблемы управления и информатики. — 2006. — № 4. — С. 82-88. — Бібліогр.: 6 назв. — рос.
collection DSpace DC
container_title Проблемы управления и информатики
description Запропоновано методи обчислення коефіцієнта конкордації з урахуванням компетентності експертів, а також порогових значень коефіцієнтів конкордації і рангової кореляції при визначенні результуючого ранжування методом Борда. Поріг визначення використовується для встановлення наявності корисної інформації у множині індивідуальних ранжувань, поріг застосування використовується для визначення відповідності множини індивідуальних ранжувань уявленням особи, що приймає рішення, щодо припустимих відмінностей оцінок, даних різними експертами. Methods of calculation of threshold values of concordation factors and rank correlation are offered at determination of resulting ranking by Borda method. The threshold of detection serves for determination of the presence of useful information in a set of individual rankings. The threshold of application is used for definition of conformity of a set of individual rankings to the ideas of decision making person about admissible distinctions of the estimates given by different experts.
first_indexed 2025-12-01T18:46:41Z
format Article
fulltext © В.Г. ТОЦЕНКО, 2006 82 ISSN 0572-2691 МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ УДК 519.816 В.Г. Тоценко МЕТОД ОПРЕДЕЛЕНИЯ ДОСТАТОЧНОСТИ СОГЛАСОВАННОСТИ ИНДИВИДУАЛЬНЫХ РАНЖИРОВАНИЙ ПРИ ПРИНЯТИИ ГРУППОВЫХ РЕШЕНИЙ Введение. Одна из задач поддержки принятия групповых решений — нахож- дение результирующего ранжирования Σr множества },{ iaA = ),1( ni = альтер- натив на основе множества },{ jrR = ),,1( mj = индивидуальных ранжирований, данных m экспертами. При этом необходимо решить следующие частные задачи: 1) вычислить количественные показатели степени согласованности множества R индивидуальных ранжирований; 2) определить достаточность степени согласо- ванности множества R индивидуальных ранжирований; 3) найти групповое ран- жирование Σr (при условии, что степень согласованности множества R индивиду- альных ранжирований достаточна). В настоящее время известны методы решения задач 1) и 3). Для количествен- ной оценки степени согласованности двух индивидуальных ранжирований можно вычислить коэффициент ранговой корреляции Кендэла [1]. При 2>m экспертов, выполнивших индивидуальные ранжирования, можно использовать коэффици- ент конкордации [2], для решения задачи 3) — методы Кондорсе, Борда [3] или Кемени [4]. Знание значений количественных показателей степени согласованности мно- жества R индивидуальных ранжирований необходимо, но недостаточно для обос- нованного определения группового решения. Действительно, что можно сказать о том, достаточно ли согласовано множество ранжирований, если коэффициент ранговой корреляции равен 0,2 (его значения лежат в пределах (−1, 1)) или коэф- фициент конкордации равен 0,4 (изменяется в пределах (0, 1)? Очевидно, для обоснованной оценки достаточности степени согласованности множества R ран- жирований необходимо каким-то образом определить пороговое значение коли- чественных показателей степени согласованности ранжирований, превышение ко- торого означает возможность использования множества индивидуальных ранжи- рований для определения согласованного группового. В настоящей статье вначале предлагается метод определения коэффициента конкордации с учетом компетентности экспертов, а затем — пороговых значений коэффициентов конкордации и ранговой корреляции множеств строгих индиви- дуальных ранжирований. 1. Вычисление коэффициента конкордации с учетом компетентности экспертов 1.1. Постановка задачи. Задача вычисления коэффициента конкордации с учетом компетентности экспертов формулируется следующим образом. Проблемы управления и информатики, 2006, № 4 83 Дано: множество ),,1(},{ mjrR j == индивидуальных ранжирований аль- тернатив ,Aai ∈ ),,1( ni = определенных m экспертами с коэффициентами ком- петентности ,Cс j ∈ .1 1 =∑ = m j jc Требуется: вычислить коэффициент конкордации )(Rw множества R c учетом компетентности экспертов. 1.2. Сущность подхода. Для учета компетентности экспертов используем подход, предложенный в [4]. Выберем наибóльший общий делитель η для коэффициентов компетентности экспертов ,Cc j ∈ давших ранжирования. Тогда jc для любого mj ≤≤1 можно представить в виде ,η= jj kc где jk — целое число. Число jk можно рассматри- вать как количество экспертов с равной компетентностью η, в совокупности экви- валентных эксперту с компетентностью .jc Поэтому множество }{ jrR = инди- видуальных ранжирований альтернатив Aai ∈ можно заменить множеством kR ранжирований, в котором вместо одного ранжирования jr записано jk его ко- пий. При этом задача вычисления коэффициента конкордации множества индиви- дуальных ранжирований, данных m экспертами разной компетентности, сводится к задаче определения коэффициента конкордации множества kR ранжирований, данных ∑ = = m j je km 1 (1) равнокомпетентными экспертами, каждый из которых имеет коэффициент компе- тентности η. Учитывая, что ,/η= jj ck (2) а ∑ = = m j jс 1 1, выражение (1) преобразуется к виду ./1 η=em (3) Известно [2], что коэффициент конкордации W множества индивидуальных ранжирований n альтернатив, выполненных m равнокомпетентными экспертами, определяется выражением ),(/12 32 nnmSW −= (4) где S — сумма квадратов отклонений сумм рангов альтернатив от их (сумм ран- гов альтернатив) среднего значения. Доказано, что значение S для любого множества индивидуальных ранжиро- ваний не может быть больше величины ,12/)( 32 nnm − причем S имеет это зна- чение лишь тогда, когда множество индивидуальных ранжирований полностью согласовано. При этом, как следует из (4), коэффициент конкордации принимает максимальное значение, равное 1. Среднее значение суммы рангов альтернатив 0θ равно .2/)1(2/)1(0 η+=+=θ nnme (5) 84 ISSN 0572-2691 Сумма рангов i-й альтернативы по множеству ранжирований R с учетом (2) равна ,)/1( 1 ij m j ji rc∑ = η=θ (6) где ijr — ранг i-й альтернативы в индивидуальном ранжировании, данном j-м экспертом. С учетом (3)–(6) после несложных преобразований получаем .)1(/ 2 112)( 2 1 2 1 −                   − + = ∑ ∑ = = nnrcnRw n i ij m j j (7) Пример 1. Множество )},,,,();,,,,();,,,,{( eabcdabcdeedcbaR = сфор- мировано множеством экспертов },{ jeE = ),3,1(=j с коэффициентами компе- тентности ;2,01 =c ;3,02 =c .5,03 =c Необходимо вычислить коэффициент кон- кордации )(Rw без учета компетентности экспертов и коэффициент )(Rwk с уче- том коэффициентов относительной компетентности экспертов. Используя (4), получаем .1111,0)( =Rw С помощью (7) вычисляем .2375,0)( =Rwk Этот пример свидетельствует о том, что учет компетентности экспертов существенно изменяет количественную оценку степени согласованно- сти множества индивидуальных ранжирований. 2. Пороговые значения коэффициента конкордации 2.1. Сущность подхода. Использование статистического подхода для опре- деления пороговых значений этого коэффициента не представляется возможным вследствие небольшого количества индивидуальных ранжирований (единицы), имеющих место на практике. Поэтому воспользуемся подходом, аналогичным предложенному в [6] к определению пороговых значений коэффициента согласованности множества кардинальних оценок, согласно которому определяются два пороговых значения. Первое, называемое порогом обнаружения ,0T определяет условия наличия по- лезной информации во множестве экспертных оценок. Превышение второго поро- гового значения, называемого порогом применения ,uT означает достаточную с точки зрения лица, принимающего решения (ЛПР), точность результирующего группового ранжирования. В качестве порогов обнаружения и применения ис- пользуются коэффициенты согласованности специальным образом построенных множеств экспертных оценок. Понятно, что структура этих множеств существен- но зависит от алгоритмов вычисления соответствующих количественных показа- телей согласованности. 2.2. Порог обнаружения. Полностью согласованным называется множество 0R индивидуальных ранжирований, если ранг каждой альтернативы, определен- ный по каждому индивидуальному ранжированию ,)0(Rrj ∈ одинаков. Полному отсутствию информации во множестве индивидуальных ранжиро- ваний соответствует случай, когда все альтернативы имеют одинаковые суммы рангов, что может быть только тогда, когда сумма рангов каждой альтернативы равна среднему значению суммы рангов альтернатив. При этом для всех альтер- натив отклонения суммы рангов от среднего значения суммы рангов равны 0, поэтому ,0=S ,0)( =Rw т.е. множество индивидуальных ранжирований полно- Проблемы управления и информатики, 2006, № 4 85 стью рассогласовано. Примером может быть следующее множество индивиду- альных ранжирований: );,,,,(1 edcbar = );,,,,(2 abcder = );,,,,(3 ecdabr = ).,,,,(4 badcer = Нетрудно убедиться, что для данного примера сумма рангов каждой альтернативы равна 12. Очевидно, множество индивидуальных ранжирований будет нести мини- мальную информацию тогда, когда S будет иметь минимальную, отличную от среднего значения, величину. Это может быть результатом изменения на мини- мальную, отличную от нуля величину суммы квадратов отклонений сумм рангов альтернатив от среднего значения вследствие того, что в одном, и только одном из индивидуальных ранжирований полностью несогласованного множества две альтернативы, стоящие на соседних позициях, поменяются местами. Например, рассмотренное выше полностью рассогласованное множество индивидуальных ранжирований будет преобразовано к виду );,,,,(1 edcbar = );,,,,(2 abcder = );,,,,(3 ecdabr = ).,,,,(4 abdcer = При этом сумма рангов одной из них увели- чится на 1, а второй на столько же уменьшится. Так как суммы рангов непере- ставленных объектов, а также среднее значение суммы рангов остались такими же, как и в полностью несогласованном множестве, то 2=S и, как следует из (4), порог обнаружения равен ).(/24 32 00 nnmwT −== (8) 2.3. Порог применения. Порог применения uT используем для определения достаточности согласованности пары индивидуальных ранжирований в целях определения результирующего ранжирования с требуемой точностью. Особен- ность определения точности экспертной информации состоит в принципиальном отсутствии эталона, сравнение с которым позволило бы определить точность ре- зультатов, как это имеет место при обычных измерениях. Это вызвано тем, что экспертная оценка сугубо индивидуальна и не может быть определена внешним наблюдателем. При определении порога применения используем подход, предложенный в [5], заключающийся в том, что в качестве этого порога применяется коэффици- ент конкордации множества uR ранжирований, которое выражает взгляды ЛПР на требования к точности определения заключительного ранжирования. При фор- мировании множества uR будем исходить из следующих соображений. Самые высокие требования к степени согласованности очевидно состоят в полном совпадении индивидуальных ранжирований. При этом .1)( =uRw Такой случай редко встречается на практике. Поэтому естественно формулировать тре- бования к степени согласованности в виде количества объектов, имеющих в раз- ных ранжированиях разные ранги. Существенно, что при этом результирующее ранжирование, определенное выбранным методом, должно совпадать с тем, кото- рое было бы определено по полностью согласованному множеству индивидуаль- ных ранжирований. Характерная особенность ординальных оценок (рангов) объектов заключает- ся в том, что ранг не может измениться только у одного объекта. Ранг объекта ia в некотором ранжировании может измениться только благодаря перестановке его с объектом ,ja в результате эти объекты поменяются рангами. Пусть эксперты ранжируют n объектов. Будем полагать, что для определения группового ранжирования используется метод Борда, оперирующий понятиями рангов объектов. Для дальнейшего изложения нам потребуется понятие расстоя- ния ),( ji rrl между ранжированиями ,, ji rr данными одним экспертом. В [4] 86 ISSN 0572-2691 предложен способ определения расстояния между ранжированиями, основанный на представлении ранжирований матрицами отношений. В связи с этим для за- дания ранжирования удобнее использовать ранги объектов вместо матрицы от- ношений. Метод определения достаточности степени согласованности множества ин- дивидуальных ранжирований не самоцель, а излагается в связи с необходимостью организации обратной связи с экспертами для улучшения согласованности этого множества. Поэтому при определении расстояния между ранжированиями ис- пользуем понятие перестановки объектов. Определение 1. Расстоянием ),( ji rrl между ранжированиями ji rr , называ- ется количество перестановок объектов ,, ikih aa имеющих в ранжировании ir ранги 1, +ρ=ρρ ihikih соответственно, которые нужно выполнить, чтобы преоб- разовать ранжирование ir в ранжирование .jr Пример 2. ;,,,, edcbari = .,,,, deabcr j = Преобразование ji rr → осу- ществляется следующим образом: →→→ ),,,,(),,,,(),,,,( decabdecbaedcba ),,,,,(),,,,( deabcdeacb →→ поэтому .4),( =ji rrl Определение 2. Множеством )(lR ir ранжирований, порожденным ранжиро- ванием ir и расстоянием l, называется множество ранжирований, у каждого из ко- торых расстояние от ir равно l. Так, для edcbari ,,,,= имеем );,,,,();,,,,();,,,,{()1( ecdbaedbcaedcabR ir = )};,,,,( decba )};,,,,();,,,,();,,,,{()2( cdebaebcdaedabcR ir = );,,,,{()3( eacbdR ir = )};,,,,( bdcea )}.,,,,{()4( adcbeR ir = Нетрудно убедиться, что .)( lnlR ir −= Возникает вопрос, каким должно быть l, чтобы результирующее ранжирова- ние, полученное методом Борда, совпадало с вычисленным по полностью согла- сованному множеству ранжирований? В полностью согласованном множестве ранжирований каждый объект имеет во всех m ранжированиях одинаковые ранги. Следовательно, суммы рангов объ- ектов отличаются точно на m от суммы рангов объектов, являющихся их непо- средственными соседями, т.е. имеющих ранги, отличающиеся на 1. Ранжирование объектов в результирующем ранжировании при использовании метода Борда сов- падает с ранжированием их сумм рангов. Перестановка соседних объектов увели- чивает сумму рангов одного и на столько же уменьшает сумму рангов другого. Поэтому изменение результирующего ранжирования по сравнению с полученным по полностью согласованному множеству будет тогда и только тогда, когда изме- нения сумм рангов объектов превысят половину разности сумм рангов соседних объектов, т.е. .2/m Следовательно, величина l при формировании множества )(lR ir должна удовлетворять условию [.2/]ml ≤ Определение 3. Порогом применения )(lTu множества индивидуальных ран- жирований n объектов называется значение коэффициента конкордации множе- ства ir rlR i ∪)( ранжирований для 1+−= lnm экспертов. Пример 3. ;5=n ;1=l );,,,,( edcbari = );,,,,();,,,,{()( edbcaedcablR ir = )};,,,,();,,,,( decbaecdba .848,0)1( =uT При тех же исходных данных, но для 2=l имеем )};,,,,();,,,,();,,,,{()2( cdebaebcdaedabcR ir = .575,0)2( =uT Не- трудно видеть, что значение )(lTu определяется величинами l и m и не зависит от конкретного вида ранжирования .ir Проблемы управления и информатики, 2006, № 4 87 3. Пороговые значения коэффициента ранговой корреляции 3.1. Порог обнаружения. Для определения порога обнаружения построим пару ранжирований ),,( ττ ji rr несущую минимально возможное количество ин- формации, которое может быть зарегистрировано внешним наблюдателем. Пару ),( ττ ji rr естественно строить на основе полностью рассогласованной пары ),,( 00 ji rr не несущей поэтому никакой информации. Приведем пример такой пары ранжи- рований: );,,,(0 cadbri = ).,,,(0 bdacr j = Используя метод Борда, можно убе- диться, что при этом ранги всех альтернатив одинаковы. В качестве порога обнаружения примем коэффициент τ ранговой корреляции пары ранжирований ),,( ττ ji rr отличающейся от полностью несогласованной па- ры ),,( 00 ji rr которая имеет коэффициент ранговой корреляции ,10 −=τ на мини- мально возможную величину, вызывающую изменение ранга одной альтернативы. Известно [1], что для определения коэффициента τ ранговой корреляции двух строгих ранжирований следует представить индивидуальные ранжирования в ви- де матриц, определенных следующим образом:     − = .тпревосходиесли,1 ,тпревосходиесли,1 hu uh hu aa aa d При этом коэффициент ранговой корреляции определяется выражением ),1(/ 11 −        =τ ∑∑ == nndd j hu i hu n u n h (9) где ,i hud j hud — элементы матриц, задающих индивидуальные ранжирования ,ir jr соответственно. Нетрудно видеть, что для пары ),( 00 ji rr полностью несогласованных инди- видуальных ранжирований все произведения j hu i hu dd равны –1, поэтому для этой пары .1−=τ Очевидно, что минимальное отличие пары ),( ττ ji rr от пары ),( 00 ji rr полностью несогласованных индивидуальных ранжирований будет иметь место, если в одном из ранжирований 0 ir или 0 jr поменять местами две альтернативы. Тогда пара ранжирований );,,,(0 cdabri = ),,,(0 bdacrj = преобразуется, напри- мер, в пару );,,,( cadbri =τ ).,,,( dbacrj = τ При этом два произведения j hu i hu dd (в нашем примере ji dd 2424 и )4242 ji dd поменяют знак, вследствие чего, как следует из (9), .1)]1(/4[0 −−=τ= nnT (10) 3.2. Порог применения. В качестве порога применения uT примем коэффи- циент ранговой корреляции пары ранжирований ),,( u j u i rr отличающейся от пол- ностью согласованной пары ранжирований ),( 11 ji rr рангами u пар альтернатив (обычно ).2,1=u Из способа построения матриц, задающих индивидуальные ранжирования, следует что если индивидуальное ранжирование отличается от полностью согласованного рангами u пар альтернатив, например, полностью 88 ISSN 0572-2691 согласованную пару );,,,(( 1 cadbri = )),,,(1 cadbr j = преобразовать в пару );,,,(( 1 cadbru i = )),,,(1 cabdru j = при 1=u или в пару );,,,(( 2 cadbru i = )),,,(2 acbdru j = при ,2=u то 2u произведений j hu i hu dd поменяют знак, в ре- зультате, как следует из (9), ).1(/41 −−= nnuTu Заключение. Предложенные подходы могут использоваться при решении родственных задач: определения пороговых значений коэффициентов конкорда- ции и ранговой корреляции Кендэла при применении метода Кондорсе или Кеме- ни, при наличии связанных рангов, а также пороговых значений коэффициента ранговой корреляции Спирмена. В.Г. Тоценко МЕТОД ВИЗНАЧЕННЯ ДОСТАТНОСТІ УЗГОДЖЕНОСТІ ІНДИВІДУАЛЬНИХ РАНЖУВАНЬ ПРИ ПРИЙНЯТТІ ГРУПОВИХ РІШЕНЬ Запропоновано методи обчислення коефіцієнта конкордації з урахуванням компетентності експертів, а також порогових значень коефіцієнтів конкордації і рангової кореляції при визначенні результуючого ранжування методом Борда. Поріг визначення використовується для встановлення наявності корисної ін- формації у множині індивідуальних ранжувань, поріг застосування використо- вується для визначення відповідності множини індивідуальних ранжувань уяв- ленням особи, що приймає рішення, щодо припустимих відмінностей оцінок, даних різними експертами. V.G. Totsenko METHOD OF DETERMINATION OF SUFFICIENCY OF THE CONSISTENCY OF INDIVIDUAL RANKINGS WHILE MAKING GROUP DECISIONS Methods of calculation of threshold values of concordation factors and rank correla- tion are offered at determination of resulting ranking by Borda method. The threshold of detection serves for determination of the presence of useful information in a set of individual rankings. The threshold of application is used for definition of conformity of a set of individual rankings to the ideas of decision making person about admissi- ble distinctions of the estimates given by different experts. 1. Кендэл М. Ранговые корреляции. — М. : Статистика, 1975. — 214 с. 2. Литвак Б.Г. Экспертная информация. Методы получения и анализа. — М. : Радио и связь, 1982. — 184 с. 3. Гюйбо Д.Т. Теории общего интереса и логическая проблема агрегирования: Пер. с англ. // Мат. методы в социальных науках. — М. : Прогресс, 1973. — 167 с. 4. Kemeny J. Mathematics without numbers // Daedalus. — 1959. — 88. — Р. 17–31. 5. Тоценко В.Г. Методы определения групповых многокритериальных ординальных оценок с учетом компетентности экспертов // Проблемы управления и информатики. — 2005. — № 5. — С. 84–89 (Totsenko V.G. Methods to determine group multicriterIa ordinal estimates with account of expert competence // Journ. of Automat. and Inform. Sci. — 2005. — 37, N 10. — P. 19–23). 6. Totsenko V.G. The agreement degree of estimations set with regard of experts competency // Proc. Fourth Int. Symp. on the Analytic Hierarchy Process. Vancouver, Canada : Simon Fraser University, July 12–15, 1996. — Р. 229–242. Получено 23.02.2006 1. Вычисление коэффициента конкордации с учетом компетентности экспертов 2. Пороговые значения коэффициента конкордации 3. Пороговые значения коэффициента ранговой корреляции
id nasplib_isofts_kiev_ua-123456789-206880
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn 0572-2691
language Russian
last_indexed 2025-12-01T18:46:41Z
publishDate 2006
publisher Інститут кібернетики ім. В.М. Глушкова НАН України
record_format dspace
spelling Тоценко, В.Г.
2025-09-26T08:08:26Z
2006
Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений / В.Г. Тоценко // Проблемы управления и информатики. — 2006. — № 4. — С. 82-88. — Бібліогр.: 6 назв. — рос.
0572-2691
https://nasplib.isofts.kiev.ua/handle/123456789/206880
519.816
Запропоновано методи обчислення коефіцієнта конкордації з урахуванням компетентності експертів, а також порогових значень коефіцієнтів конкордації і рангової кореляції при визначенні результуючого ранжування методом Борда. Поріг визначення використовується для встановлення наявності корисної інформації у множині індивідуальних ранжувань, поріг застосування використовується для визначення відповідності множини індивідуальних ранжувань уявленням особи, що приймає рішення, щодо припустимих відмінностей оцінок, даних різними експертами.
Methods of calculation of threshold values of concordation factors and rank correlation are offered at determination of resulting ranking by Borda method. The threshold of detection serves for determination of the presence of useful information in a set of individual rankings. The threshold of application is used for definition of conformity of a set of individual rankings to the ideas of decision making person about admissible distinctions of the estimates given by different experts.
ru
Інститут кібернетики ім. В.М. Глушкова НАН України
Проблемы управления и информатики
Методы обработки и защиты информации
Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений
Метод визначення достатності узгодженості індивідуальних ранжувань при прийнятті групових рішень
Method of determination of sufficiency of the consistency of individual rankings while making group decisions
Article
published earlier
spellingShingle Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений
Тоценко, В.Г.
Методы обработки и защиты информации
title Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений
title_alt Метод визначення достатності узгодженості індивідуальних ранжувань при прийнятті групових рішень
Method of determination of sufficiency of the consistency of individual rankings while making group decisions
title_full Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений
title_fullStr Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений
title_full_unstemmed Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений
title_short Метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений
title_sort метод определения достаточности согласованности индивидуальных ранжирований при принятии групповых решений
topic Методы обработки и защиты информации
topic_facet Методы обработки и защиты информации
url https://nasplib.isofts.kiev.ua/handle/123456789/206880
work_keys_str_mv AT tocenkovg metodopredeleniâdostatočnostisoglasovannostiindividualʹnyhranžirovaniipriprinâtiigruppovyhrešenii
AT tocenkovg metodviznačennâdostatnostíuzgodženostííndivídualʹnihranžuvanʹpripriinâttígrupovihríšenʹ
AT tocenkovg methodofdeterminationofsufficiencyoftheconsistencyofindividualrankingswhilemakinggroupdecisions