Формування підгруп експертів із узгодженими думками й визначення групової узагальненої оцінки багатознакових об’єктів
New algorithms for handling expert estimates of multiattribute objects are considered and used for estimation of the competences of students estimated by several experts using many criteria. The application of the developed algorithms helps to make a more adequate decision to preferences of the PMD...
Gespeichert in:
| Datum: | 2010 |
|---|---|
| Hauptverfasser: | , , |
| Format: | Artikel |
| Sprache: | Russisch |
| Veröffentlicht: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2010
|
| Online Zugang: | https://journal.iasa.kpi.ua/article/view/106965 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | System research and information technologies |
| Завантажити файл: |  |
Institution
System research and information technologies| _version_ | 1867334295643750400 |
|---|---|
| author | Krapuhina, N. V. Pronichkin, S. V. Rykov, A. S. |
| author_facet | Krapuhina, N. V. Pronichkin, S. V. Rykov, A. S. |
| author_institution_txt_mv | [
{
"author": "N. V. Krapuhina",
"institution": null
},
{
"author": "S. V. Pronichkin",
"institution": null
},
{
"author": "A. S. Rykov",
"institution": null
}
] |
| author_sort | Krapuhina, N. V. |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2018-04-06T12:29:48Z |
| description | New algorithms for handling expert estimates of multiattribute objects are considered and used for estimation of the competences of students estimated by several experts using many criteria. The application of the developed algorithms helps to make a more adequate decision to preferences of the PMD compared to the existing algorithms. |
| first_indexed | 2025-07-17T10:21:57Z |
| format | Article |
| fulltext |
© Н.В. Крапухина, С.В. Проничкин, А.С. Рыков, 2010
72 ISSN 1681–6048 System Research & Information Technologies, 2010, № 2
TIДC
МЕТОДИ АНАЛІЗУ ТА УПРАВЛІННЯ
СИСТЕМАМИ В УМОВАХ РИЗИКУ І
НЕВИЗНАЧЕНОСТІ
УДК 519.8
ФОРМИРОВАНИЕ ПОДГРУПП ЭКСПЕРТОВ
С СОГЛАСОВАННЫМИ МНЕНИЯМИ
И ОПРЕДЕЛЕНИЕ ГРУППОВОЙ ОБОБЩЕННОЙ ОЦЕНКИ
МНОГОПРИЗНАКОВЫХ ОБЪЕКТОВ
Н.В. КРАПУХИНА, С.В. ПРОНИЧКИН, А.С. РЫКОВ
Рассмотрены новые алгоритмы обработки экспертных оценок многопризнако-
вых объектов. Алгоритмы применены для решения практической задачи оцен-
ки компетенций студентов, оцененных несколькими экспертами по многим
критериям. Применение разработанных алгоритмов позволило получить ре-
шение более адекватное предпочтениям ЛПР (лицо принимающее решение),
чем в случае применения существующих алгоритмов.
ВВЕДЕНИЕ
Оценка на основе компетентностного подхода, активно использующаяся
в астоящее время при оценке персонала предприятия, нашла свое отра-
жение и в высшем образовании. Например, источником информации о
социальных и личностных качествах (компетенциях) студентов являются
преподаватели, а оценки по компетенциям используются для вычисления
рейтинга студента. Рейтинговая оценка позволяет получить обобщенную
оценку объекта по всем применяемым критериям, а также сравнить объек-
ты [1]. Рейтинг вычисляется по многим критериям, но не все критерии мо-
гут быть получены в результате измерений. Источником информации по
многим критериям являются эксперты.
Основная цель обработки экспертных оценок — получение обобщен-
ных данных и выявление новой информации, содержащейся в скрытой фор-
ме в экспертных оценках. Эксперты обычно расходятся во мнениях по этому
поводу. При отсутствии согласованности экспертов в существующих рабо-
тах принято разбивать их на группы сходные по мнению. В связи с этим,
возникают две важные задачи обработки экспертных оценок [2, 3, 4, 5]:
• выделение подгрупп экспертов с согласованными мнениями;
• определение групповой обобщенной оценки объектов на основе ин-
дивидуальных оценок экспертов в выделенных подгруппах.
Пусть m экспертов произвели оценку n объектов по s критериям,
используя одну и ту же шкалу интервалов (оценка в баллах). Результаты
Формирование подгрупп экспертов с согласованными мнениями …
Системні дослідження та інформаційні технології, 2010, № 2 73
оценки представим в виде величин ijlx , где i — номер эксперта
),,1( mi …= , j — номер объекта ),,1( nj …= , l — номер критерия
),,1( sl …= . Величины ijlx представляют собой баллы. Известна относи-
тельная важность критериев lw , sl ,,1…= , 1
1
=∑
=
s
l
lw .
Для получения разбиения исходной группы экспертов на подгруппы
со сходными мнениями для заданного критерия принято использовать дис-
персионный коэффициент конкордации [3, 6]. Данный показатель вычис-
ляется на рангах, и позволяет оценивать согласованность мнений экспертов
в группе. Так как исходные индивидуальные оценки экспертов даны в шкале
интервалов, то их надо перевести в шкалу порядка, приписывая лучшим
оценкам в баллах более высокие ранги, чем худшим. В результате получа-
ются матрицы рангов
lijr , mi ,,1…= , nj ,,1…= , sl ,,1…= , размерность
каждой матрицы составляет nm× .
Дисперсионный коэффициент конкордации при наличии связанных
рангов для заданного l вычисляется по следующей формуле:
∑
=
−−
= m
i
iTmnnm
SW
1
32 )(
12 , (1)
где
2
1 1
∑ ∑
= =
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
−=
n
j
m
i
ij rrS ,
2
)1(1 +
==
∑
= nm
n
r
r
n
j
j
, ∑
=
=
m
i
ijj rr
1
; ∑
=
−=
iH
k
kki hhT
1
3 )( —
показатель связанных рангов в i -й ранжировке; iH — число групп равных
рангов в i -й ранжировке; kh — число равных рангов в k -й группе связан-
ных рангов в i -й ранжировке.
Если связанных рангов нет, то 0=iH , 0=kh , следовательно 0=iT .
Коэффициент конкордации W равен единице, если все ранжировки
экспертов одинаковы, и равен нулю, если все ранжировки различны, т.е. со-
вершенно нет совпадения.
Коэффициент конкордации, вычисляемый по формуле (1), является
оценкой истинного значения коэффициента, представляя собой случайную
величину. Для оценки значимости W выбирают вероятность ошибки ошp ,
определяют ТW , и если ТWW ≥ , то W считается статистически значимым.
В работе [2] предлагается алгоритм, в котором последовательно исклю-
чаются подгруппы с согласованными мнениями из исходной группы, и тем
самым исходная группа разбивается на подгруппы с согласованными мне-
ниями для заданного критерия. Данный алгоритм не лишен недостатков:
1. Поиск подгруппы экспертов с согласованными мнениями прекра-
щается, как только максимальное значение коэффициента конкордации для
текущего числа экспертов в подгруппе оказывается значимым. Это приво-
дит к тому, что подгруппа экспертов с согласованными мнениями, получен-
Н.В. Крапухина, С.В. Проничкин, А.С. Рыков
ISSN 1681–6048 System Research & Information Technologies, 2010, № 2 74
ная первой, будет больше, чем остальные подгруппы, и в общем случае раз-
биение исходной группы экспертов на подгруппы с согласованными мне-
ниями не будет оптимальным, в смысле совместной максимизации коэффи-
циентов конкордации для подгрупп экспертов с согласованными мнениями
для заданного критерия.
2. Учитывается только значение дисперсионного коэффициента кон-
кордации для подгрупп экспертов, но не учитывается диапазон изменения
значений коэффициента конкордации, разброс его значений для заданного
критерия, что приводит к неудовлетворительным решениям. Согласован-
ность одной подгруппы экспертов может сильно отличаться от согласован-
ности другой.
3. Разбиение исходной группы экспертов на подгруппы с согласован-
ными мнениями осуществляется для заданного (одного) критерия. В общем
случае получается, что для каждого объекта в зависимости от критерия на-
бор экспертов его оценивших будет разным, причем количество экспертов в
подгруппе со сходными мнениями для одного критерия может сильно отли-
чаться от количества экспертов в подгруппе со сходными мнениями для
другого критерия.
В данной работе предлагается совместно использовать значения коэф-
фициентов конкордации для подгрупп экспертов, и стремиться к их суммар-
ной максимизации. В то же время, желательно, чтобы согласованность в
подгруппах несильно отличалась. Каждый объект оценивается каждым экс-
пертом по многим критериям, поэтому целесообразно выделение подгрупп
экспертов с согласованными мнениями по всем критериям с учетом их важ-
ности.
Для преодоления первого и второго недостатка предлагается построить
целевую функцию. Проведем объединение (свертку) среднего значения
коэффициентов конкордации и среднего квадратического отклонения коэф-
фициентов конкордации для заданного критерия l . В результате получаем
следующую целевую функцию:
1
))()(()(
)1()( 1
2
1)(
−
−
−−=
∑∑
==
t
mWtW
t
mW
Wf
t
j
jll
l
t
j
jl
l
t
l λλ , (2)
где ))(,),(( 1
)(
tll
t
l mWmWW …= — вектор коэффициентов конкордации по-
лученных для разбиения исходной группы экспертов на t подгрупп
( )
tt mmm
t ЭЭЭЭЭ ,,,,,, 11
)(
11
……… +−
= для l -го критерия (количество и со-
став экспертов в подгруппах одинаковый для всех критериев); )( jl mW —
коэффициент конкордации, подсчитанный для оценок jm экспертов, вхо-
дящих в j -ю подгруппу для l -го критерия;
t
mW
tW
t
j
jl
l
∑
== 1
)(
)( — среднее
значение коэффициентов конкордации для l -го критерия; lλ — параметр
(весовой коэффициент) для l -го критерия.
Формирование подгрупп экспертов с согласованными мнениями …
Системні дослідження та інформаційні технології, 2010, № 2 75
Необходимо найти такое )(tЭ , которому соответствует )(t
lW для (2),
при котором среднее значение коэффициентов конкордации будет больше, а
значение среднего квадратического отклонения коэффициентов конкорда-
ции будет меньше. Варьирование значений параметра ]1,0[∈lλ изменяет
свойства целевой функции (2) для l -го критерия, позволяя в большей или в
меньшей степени в зависимости от величины lλ учитывать величины сред-
него значения коэффициентов конкордации и среднего квадратического от-
клонения коэффициентов конкордации, включенных в целевую функцию.
Для преодоления третьего недостатка предлагается построить целевую
функцию. Проведем объединение (свертку) среднего значения и среднего
квадратического отклонения значений целевой функции (2) с учетом
важности критериев. В результате получаем следующую целевую функцию:
1
))()(()(
)1()( 1
2)()(2
1
)(
)(
−
−
−−=
∑∑
==
s
WfWfw
s
Wfw
WF
s
l
t
l
t
ll
s
l
t
ll
t λλ , (3)
где
),,( )()(
1
)( t
s
tt WWW …= — векторы коэффициентов конкордации полу-
ченные для разбиения исходной группы экспертов на t подгрупп
( )
tt mmm
t ЭЭЭЭЭ ,,,,,, 11
)(
11
……… +−
= ;
s
Wfw
Wf
s
l
t
ll
t
l
∑
== 1
)(
)(
)(
)( — средневзвешенное значение функций (2);
lw — важность критериев, sl ,,1…= , 1
1
=∑
=
s
l
lw ; λ — параметр (весовой
коэффициент).
Цель задачи заключается в нахождении решения )(
опт
tЭ , которому со-
ответствует )(
опт
tW из условия:
)(max)( )()(
опт )(
знач
)(
t
WW
t WFWF
tt ∈
= , (4)
где )(
знач
tW — множество значимых коэффициентов конкордации, =)(
знач
tW
{ }sltqmWmWmW qTlqlql ,,1,,,1),()()( …… ==≥= .
Дадим формальное описание алгоритма решения поставленной задачи (4).
1. Задать )(ош lp , lλ , sl ,,1…= .
2. 0=λ , 11 =t .
3. Полные матрицы рангов
lijr , mi ,,1…= , nj ,,1…= , sl ,,1…= по-
следовательно в разных сочетаниях делить на 1t групп строк. Строк в груп-
пе )1(2,,2 1 −−= tmmq … , 1,,1 tq …= , если 12 1 ≥− tm , то mmm
t
q
q ,1
1
1
−=∑
=
,
Н.В. Крапухина, С.В. Проничкин, А.С. Рыков
ISSN 1681–6048 System Research & Information Technologies, 2010, № 2 76
иначе mm
t
q
q =∑
=
1
1
. Для каждого набора строк следует вычислить
))(,),((
1
1
1
)(
tll
t
l mWmWW …= , sl ,,1…= и сравнить )( ql mW с )( qТl mW . Если
)()( qТlql mWmW ≥ , 1,,1 tq …= , sl ,,1…= , то вычислить )( )( 1tWF . Найти
)( )( 1tWF с максимальным значением )( )(
опт
1tWF .
4. 111 += tt .
5. Проверить условие ⎥⎦
⎥
⎢⎣
⎢≤
21
mt . Если условие выполнено — перейти к
п. 3.
6. Найти )( )(
опт
1tWF с максимальным значением ).( )(
опт
tWF Запомнить λ ,
t , ),,( *)(*)(
1
)(
опт
t
s
tt WWW …= и соответствующие матрицы рангов
lijr1 ,
l
t
ijrmi ,,,,1 1 ……= , tmi ,,1…= , nj ,,1…= , sl ,,1…= с согласованными
мнениями экспертов.
7. 1,0+= λλ .
8. Проверить условие 1≤λ . Если условие выполнено — перейти к
п. 3.
9. В случае если решение не найдено — перейти к п. 1.
В предложенном алгоритме значения параметров lλ , sl ,,1…= можно
задать непосредственно перед вычислением )( )( 1tWF (см. п. 3). В качестве
примера шаг изменения параметра λ выбран 0,1. Величину шага изменения
параметра λ , λh задает ЛПР, затем ЛПР изучает полученные решения (4)
при }1;;;0{ …λλ h= и выбирает λ соответствующие его представлению о
качестве решения.
Такая наглядность позволяет ЛПР изучать полученное множество ре-
шений и более ясно формулировать свои требования, сравнивая различные
решения.
После решения задачи выделения подгруппы экспертов с согласован-
ными мнениями. Необходимо решать задачу определения групповой обоб-
щенной оценки объектов для каждой из выделенных подгрупп.
Для получения групповой оценки объекта используются средневзве-
шенные оценки [2, 3]:
∑
=
=
m
i
ijliljl xKx
1
, (5)
где ilK — коэффициент компетентности i -го эксперта для l -го критерия,
коэффициенты являются нормализованными величинами 1
1
=∑
=
m
i
ilK ,
sl ,,1…= .
Формирование подгрупп экспертов с согласованными мнениями …
Системні дослідження та інформаційні технології, 2010, № 2 77
Выбор величин коэффициентов компетентности экспертов носит субъ-
ективный характер. В работе [2] предлагаются алгоритмы, основной идеей
которых является предположение о том, что компетентность экспертов
должна оцениваться по степени согласованности их индивидуальных оце-
нок с групповой оценкой объектов по заданному критерию. Данные алго-
ритмы имеют ряд недостатков, поскольку каждый объект оценивается по
многим критериям.
В данной работе предлагается оценивать компетентность эксперта,
учитывая оценки по всем критериям. Для этого предлагаются алгоритмы,
основанные на итеративной процедуре корректировки коэффициентов ком-
петентности r
ilK , sl ,,1…= , umi ,,1…= , …,2,1,0=r — номер итерации,
um — количество экспертов в подгруппе u ),,1( tu …= , полученной из ре-
шения задачи (4). На каждой итерации r вычисляется взвешенная группо-
вая оценка r
jlx каждого объекта ),,1( nj …= по всем критериям ),,1( sl …= .
Затем вычисляются специальные поправочные коэффициенты r
ilK∆ , вели-
чина которых обратно пропорциональна значению целевой функции сконс-
труированной на основе принципа оптимальности или комбинации принци-
пов оптимальности [3, 7]. Значение целевой функции зависит от вектора r
ild ,
компонентами которого являются значения llp
1
-нормы ),,(
1111 llil
r
ll pxxd
определяющей величину отклонения вектора экспертных оценок =
1ilx
),,(
111 inlli xx …= от вектора средних групповых оценок объектов =r
lx
1
),,(
111
r
nl
r
l xx …= по 1l критерию ),,1( 1 sl …= на r -й итерации (6), (7).
llll pn
j
p
ijl
r
jlllil
r
ll xxpxxd
11
111111
1
1
),,(
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
−= ∑
=
, 1
1
≥llp . (6)
111111
max),,( ijl
r
jl
j
llil
r
ll xxpxxd −= , ∞=llp
1
. (7)
После вычисления поправочных коэффициентов с их помощью кор-
ректируются коэффициенты компетентности. Корректировка возможна в
аддитивной или в мультипликативной форме [2]. После корректировки про-
водится нормализация коэффициентов и проверка правила останова проце-
дуры корректировки коэффициентов компетентности. Вычисления прекра-
щаются, когда значения коэффициентов перестают меняться.
В зависимости от выбора норм, способа корректировки коэффициента
компетентности и принципа оптимальности или их комбинации порождает-
ся соответствующий вариант алгоритма.
В качестве примера в предлагаемом нами алгоритме целевая функция
),( pdD r
il сконструирована на основе принципа идеальной точки. Согласно
принципу идеальной точки лучшим считается вектор, расположенный бли-
же всего (в смысле p -нормы) к идеальной точке. Идеальная точка берется
формально как вектор компоненты которого равны нулю, т.е. отклонения
индивидуальных оценок эксперта от групповой оценки объектов по всем
Н.В. Крапухина, С.В. Проничкин, А.С. Рыков
ISSN 1681–6048 System Research & Information Technologies, 2010, № 2 78
критериям ),,1( 1 sl …= равны нулю. В зависимости от выбора нормы целе-
вая функция принимает следующий вид (8), (9).
ps
l
p
llil
r
ll
p
l
r
il pxxdwpdD
1
11
11111
)),,((),(
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
= ∑
=
, 1≥p . (8)
( )),,(max),(
11111
1
llil
r
lll
l
r
il pxxdwpdD ⋅= , ∞=p . (9)
Дадим формальное описание алгоритма получения групповых оце-
нок (5).
1. Задать p , 0>ε , 0≥lε , llp
1
, sl ,,11 …= , sl ,,1…= .
2. 1=u .
3. 0=r , начальные значения коэффициентов компетентности:
u
il m
K 10 = , umi ,,1…= , sl ,,1…= .
4. 1+= rr .
5. Вычислить средние групповые оценки: ∑
=
−=
um
i
ijl
r
il
r
jl xKx
1
1 , nj ,,1…= ,
sl ,,1…= .
6. Вычислить поправочные коэффициенты:
),(
1
pdD
K r
il
r
il
+
=∆
ε
,
umi ,,1…= , sl ,,1…= .
7. Скорректировать коэффициенты компетентности для аддитивного
варианта r
il
r
il
r
il KKK ∆+= −1* , umi ,,1…= , sl ,,1…= ; для мультипликативно-
го варианта r
il
r
il
r
il KKK ∆= −1* , umi ,,1…= , sl ,,1…= .
8. Нормализовать коэффициенты компетентности:
∑
=
=
um
i
r
il
r
ilr
il
K
KK
1
*
*
,
umi ,,1…= , sl ,,1…= .
9. Проверить выполнение условий останова: l
r
il
r
il
i
KK ε≤− −1max ,
sl ,,1…= . Если условия не выполнены, то перейти к п. 4
10. Запомнить полученные значения коэффициентов компетентности
r
ilK , umi ,,1…= , sl ,,1…= и средние групповые оценки r
jlx , nj ,,1…= ,
sl ,,1…= .
11. 1+= uu .
12. Проверить условие tu ≤ , условие выполнено, то перейти к п. 3.
Свойства алгоритма, включая его сходимость, зависят от целевой
функции, параметров и способа корректировки коэффициентов компетент-
Формирование подгрупп экспертов с согласованными мнениями …
Системні дослідження та інформаційні технології, 2010, № 2 79
ности. Выбирая значения llp
1
, sl ,,11 …= , sl ,,1…= , можно по-разному
описывать понятие расстояния между оценками.
ВЫВОДЫ
Рассмотренные алгоритмы использовались при обработке оценок компетен-
ций студентов [8]. Источником информации о социальных и личностных
качествах (компетенциях) студентов являются преподаватели. Применение
разработанных алгоритмов обработки экспертных оценок многопризнако-
вых объектов в сочетании с алгоритмами многокритериального принятия
решений [3, 4, 7] позволило вычислить рейтинг студентов более адекватный
предпочтениям ЛПР, чем в случае применения существующих алгоритмов.
ЛИТЕРАТУРА
1. Федоренко З.Н. Основные подходы к созданию рейтинговых систем //
Прикладная математика и информатика. Сборник научных трудов. —
Петрозаводск: ПетрГУ, 2000. — С. 123–130.
2. Рыков А.А., Рыков А.С. Алгоритмы обработки экспертной информации для
оценки качества информационных систем // Экономика, информационные
технологии и управление в металлургии. Сборник научных трудов. — М.:
МИСиС, 2003. — C. 86–90.
3. Рыков А.С. Модели и методы системного анализа: принятие решений и опти-
мизация: Учебное пособие для вузов. — М.: МИСиС, Издательский дом
«Руда и металлы», 2005. — 352 с.
4. Орлов А.И. Теория принятия решений. — М.: «Экзамен», 2005. — 656 с.
5. Тоценко В.Г. Методы и системы поддержки принятия решений. — Киев: Наук.
думка, 2002. — 381 с.
6. Прикладная статистика: Исследование зависимостей: Справ. изд. / С.А. Айвазян,
И.С. Енюков, Л.Д. Мешалкин; Под ред. С.А. Айвазяна. — М.: Финансы и
статистика, 1985. — 487 с.
7. Черноруцкий И.Г. Методы принятия решений. — СПб.: БХВ-Петербург, 2005.
— 416 с.
8. Разработка организационного, методического и математического обеспечения
независимой системы оценки и мониторинга качества образования. Отчет о
НИР (заключит.) / Московский институт стали и сплавов (МИСиС). — М.:
МИСиС, 2007. — 1240 с.
Поступила 02.07.2008
|
| id | journaliasakpiua-article-106965 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Russian |
| last_indexed | 2025-07-17T10:21:57Z |
| publishDate | 2010 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/ec/ed369e6eacbed4e23beb972b0ff5a5ec.pdf |
| spelling | journaliasakpiua-article-1069652018-04-06T12:29:48Z Formation of expert subgroups based on consensus and deriving generalized estimate of multiattribute objects Формирование подгрупп экспертов с согласованными мнениями и определение групповой обобщенной оценки многопризнаковых объектов Формування підгруп експертів із узгодженими думками й визначення групової узагальненої оцінки багатознакових об’єктів Krapuhina, N. V. Pronichkin, S. V. Rykov, A. S. New algorithms for handling expert estimates of multiattribute objects are considered and used for estimation of the competences of students estimated by several experts using many criteria. The application of the developed algorithms helps to make a more adequate decision to preferences of the PMD compared to the existing algorithms. Рассмотрены новые алгоритмы обработки экспертных оценок многопризнаковых объектов. Алгоритмы применены для решения практической задачи оценки компетенций студентов, оцененных несколькими экспертами по многим критериям. Применение разработанных алгоритмов позволило получить решение более адекватное предпочтениям ЛПР (лицо принимающее решение), чем в случае применения существующих алгоритмов. Розглянуто нові алгоритми обробки експертних оцінок багатоознакових об’єктів. Алгоритми застосовано для вирішення практичного завдання оцінки компетенцій студентів, які оцінені декількома експертами за багатьма критеріями. Застосування розроблених алгоритмів дозволило отримати рішення адекватніше перевагам ОПР (особа, яка приймає рішення), ніж у випадку вживання існуючих алгоритмів. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2010-06-21 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/106965 System research and information technologies; No. 2 (2010); 72-79 Системные исследования и информационные технологии; № 2 (2010); 72-79 Системні дослідження та інформаційні технології; № 2 (2010); 72-79 2308-8893 1681-6048 ru https://journal.iasa.kpi.ua/article/view/106965/101966 Copyright (c) 2021 System research and information technologies |
| spellingShingle | Krapuhina, N. V. Pronichkin, S. V. Rykov, A. S. Формування підгруп експертів із узгодженими думками й визначення групової узагальненої оцінки багатознакових об’єктів |
| title | Формування підгруп експертів із узгодженими думками й визначення групової узагальненої оцінки багатознакових об’єктів |
| title_alt | Formation of expert subgroups based on consensus and deriving generalized estimate of multiattribute objects Формирование подгрупп экспертов с согласованными мнениями и определение групповой обобщенной оценки многопризнаковых объектов |
| title_full | Формування підгруп експертів із узгодженими думками й визначення групової узагальненої оцінки багатознакових об’єктів |
| title_fullStr | Формування підгруп експертів із узгодженими думками й визначення групової узагальненої оцінки багатознакових об’єктів |
| title_full_unstemmed | Формування підгруп експертів із узгодженими думками й визначення групової узагальненої оцінки багатознакових об’єктів |
| title_short | Формування підгруп експертів із узгодженими думками й визначення групової узагальненої оцінки багатознакових об’єктів |
| title_sort | формування підгруп експертів із узгодженими думками й визначення групової узагальненої оцінки багатознакових об’єктів |
| url | https://journal.iasa.kpi.ua/article/view/106965 |
| work_keys_str_mv | AT krapuhinanv formationofexpertsubgroupsbasedonconsensusandderivinggeneralizedestimateofmultiattributeobjects AT pronichkinsv formationofexpertsubgroupsbasedonconsensusandderivinggeneralizedestimateofmultiattributeobjects AT rykovas formationofexpertsubgroupsbasedonconsensusandderivinggeneralizedestimateofmultiattributeobjects AT krapuhinanv formirovaniepodgruppékspertovssoglasovannymimneniâmiiopredeleniegruppovojobobŝennojocenkimnogopriznakovyhobʺektov AT pronichkinsv formirovaniepodgruppékspertovssoglasovannymimneniâmiiopredeleniegruppovojobobŝennojocenkimnogopriznakovyhobʺektov AT rykovas formirovaniepodgruppékspertovssoglasovannymimneniâmiiopredeleniegruppovojobobŝennojocenkimnogopriznakovyhobʺektov AT krapuhinanv formuvannâpídgrupekspertívízuzgodženimidumkamijviznačennâgrupovoíuzagalʹnenoíocínkibagatoznakovihobêktív AT pronichkinsv formuvannâpídgrupekspertívízuzgodženimidumkamijviznačennâgrupovoíuzagalʹnenoíocínkibagatoznakovihobêktív AT rykovas formuvannâpídgrupekspertívízuzgodženimidumkamijviznačennâgrupovoíuzagalʹnenoíocínkibagatoznakovihobêktív |