Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов
Предложена методика получения комплексной количественной оценки эффективности представленных на экспертизу проектов на основе обработки мнений группы независимых экспертов и построения ранжировочных рядов на основе предлагаемых в работе комплексных критериев эффективности. В качестве важных показате...
Збережено в:
| Опубліковано в: : | Системні дослідження та інформаційні технології |
|---|---|
| Дата: | 2011 |
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України
2011
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/50098 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов / Ю.А. Зак // Систем. дослідж. та інформ. технології. — 2011. — № 2. — С. 47-61. — Бібліогр.: 6 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-50098 |
|---|---|
| record_format |
dspace |
| spelling |
Зак, Ю.А. 2013-10-04T22:17:47Z 2013-10-04T22:17:47Z 2011 Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов / Ю.А. Зак // Систем. дослідж. та інформ. технології. — 2011. — № 2. — С. 47-61. — Бібліогр.: 6 назв. — рос. 1681–6048 https://nasplib.isofts.kiev.ua/handle/123456789/50098 519.24 Предложена методика получения комплексной количественной оценки эффективности представленных на экспертизу проектов на основе обработки мнений группы независимых экспертов и построения ранжировочных рядов на основе предлагаемых в работе комплексных критериев эффективности. В качестве важных показателей результатов экспертизы учитывается рассогласованность мнений отдельных экспертов. Сформулированы ограничения, позволяющие исключить из дальнейшего рассмотрения проекты, не отвечающие заданным требованиям. Предложены модели нелинейного булевого программирования с целью подбора наиболее компетентной группы экспертов для каждого конкретного проекта. Запропоновано методику отримання комплексної кількісної оцінки ефективності поданих на експертизу проектів на основі обробки поглядів групи незалежних експертів та побудови ранжированих рядів на основі запропонованих в роботі комплексних критеріїв ефективності. В якості важливих показників результатів експертизи враховується неузгодженість поглядів окремих експертів. Сформульовано обмеження, що дозволяють виключити із подальшого розгляду проекти, які не відповідають заданим вимогам. Запропоновано моделі нелінійного булевого програмування з метою підбору найбільш компетентної групи експертів для кожного конкретного проекту. The methodology of obtaining the complex quantitative assessment of the efficiency of the submitted for the examination projects, based on processing the views of independent expert group and building the ranking series on the basis of proposed complex criteria of efficiency is proposed. Inconsistent views of individual experts are considered as important indicators of examination results. Restrictions, which allow to exclude the projects, that do not meet the specified requirements from the further consideration, are formulated. The models of nonlinear boolean programming are proposed in order to recruit the most competent group of experts for each projects.. ru Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України Системні дослідження та інформаційні технології Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов Кількісні методи обробки поглядів експертів під час оцінки якості та перспективність поданих для фінансування інноваційних проектів Quantitative methods of the expert views processing, while assessing the quality and availability submitted for financing innovative projects Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов |
| spellingShingle |
Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов Зак, Ю.А. Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах |
| title_short |
Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов |
| title_full |
Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов |
| title_fullStr |
Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов |
| title_full_unstemmed |
Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов |
| title_sort |
количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов |
| author |
Зак, Ю.А. |
| author_facet |
Зак, Ю.А. |
| topic |
Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах |
| topic_facet |
Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах |
| publishDate |
2011 |
| language |
Russian |
| container_title |
Системні дослідження та інформаційні технології |
| publisher |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| format |
Article |
| title_alt |
Кількісні методи обробки поглядів експертів під час оцінки якості та перспективність поданих для фінансування інноваційних проектів Quantitative methods of the expert views processing, while assessing the quality and availability submitted for financing innovative projects |
| description |
Предложена методика получения комплексной количественной оценки эффективности представленных на экспертизу проектов на основе обработки мнений группы независимых экспертов и построения ранжировочных рядов на основе предлагаемых в работе комплексных критериев эффективности. В качестве важных показателей результатов экспертизы учитывается рассогласованность мнений отдельных экспертов. Сформулированы ограничения, позволяющие исключить из дальнейшего рассмотрения проекты, не отвечающие заданным требованиям. Предложены модели нелинейного булевого программирования с целью подбора наиболее компетентной группы экспертов для каждого конкретного проекта.
Запропоновано методику отримання комплексної кількісної оцінки ефективності поданих на експертизу проектів на основі обробки поглядів групи незалежних експертів та побудови ранжированих рядів на основі запропонованих в роботі комплексних критеріїв ефективності. В якості важливих показників результатів експертизи враховується неузгодженість поглядів окремих експертів. Сформульовано обмеження, що дозволяють виключити із подальшого розгляду проекти, які не відповідають заданим вимогам. Запропоновано моделі нелінійного булевого програмування з метою підбору найбільш компетентної групи експертів для кожного конкретного проекту.
The methodology of obtaining the complex quantitative assessment of the efficiency of the submitted for the examination projects, based on processing the views of independent expert group and building the ranking series on the basis of proposed complex criteria of efficiency is proposed. Inconsistent views of individual experts are considered as important indicators of examination results. Restrictions, which allow to exclude the projects, that do not meet the specified requirements from the further consideration, are formulated. The models of nonlinear boolean programming are proposed in order to recruit the most competent group of experts for each projects..
|
| issn |
1681–6048 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/50098 |
| citation_txt |
Количественные методы обработки мнений экспертов при оценке качества и перспективности представленных для финансирования инновационных проектов / Ю.А. Зак // Систем. дослідж. та інформ. технології. — 2011. — № 2. — С. 47-61. — Бібліогр.: 6 назв. — рос. |
| work_keys_str_mv |
AT zakûa količestvennyemetodyobrabotkimneniiékspertovpriocenkekačestvaiperspektivnostipredstavlennyhdlâfinansirovaniâinnovacionnyhproektov AT zakûa kílʹkísnímetodiobrobkipoglâdívekspertívpídčasocínkiâkostítaperspektivnístʹpodanihdlâfínansuvannâínnovacíinihproektív AT zakûa quantitativemethodsoftheexpertviewsprocessingwhileassessingthequalityandavailabilitysubmittedforfinancinginnovativeprojects |
| first_indexed |
2025-11-27T02:02:30Z |
| last_indexed |
2025-11-27T02:02:30Z |
| _version_ |
1850792610910699520 |
| fulltext |
© Ю.А. Зак, 2011
Системні дослідження та інформаційні технології, 2011, № 2 47
TIДC
ПРОБЛЕМИ ПРИЙНЯТТЯ РІШЕНЬ І
УПРАВЛІННЯ В ЕКОНОМІЧНИХ, ТЕХНІЧНИХ,
ЕКОЛОГІЧНИХ І СОЦІАЛЬНИХ СИСТЕМАХ
УДК 519.24
КОЛИЧЕСТВЕННЫЕ МЕТОДЫ ОБРАБОТКИ МНЕНИЙ
ЭКСПЕРТОВ ПРИ ОЦЕНКЕ КАЧЕСТВА И
ПЕРСПЕКТИВНОСТИ ПРЕДСТАВЛЕННЫХ ДЛЯ
ФИНАНСИРОВАНИЯ ИННОВАЦИОННЫХ ПРОЕКТОВ
Ю.А. ЗАК
Предложена методика получения комплексной количественной оценки эффек-
тивности представленных на экспертизу проектов на основе обработки мнений
группы независимых экспертов и построения ранжировочных рядов на основе
предлагаемых в работе комплексных критериев эффективности. В качестве
важных показателей результатов экспертизы учитывается рассогласованность
мнений отдельных экспертов. Сформулированы ограничения, позволяющие
исключить из дальнейшего рассмотрения проекты, не отвечающие заданным
требованиям. Предложены модели нелинейного булевого программирования с
целью подбора наиболее компетентной группы экспертов для каждого кон-
кретного проекта.
ВВЕДЕНИЕ
Задача экспертизы инновационного проекта состоит в оценке его научного
и технического уровня, эффективности использования полученных ре-
зультатов в экономике и социальной сфере, а также возможностей его вы-
полнения в установленные заданием сроки. На основании экспертизы
принимаются решения о целесообразности его выполнения и объемах фи-
нансирования. Основной недостаток экспертизы заключается в том, что
она в ряде случаев не позволяет объективно и корректно сопоставить и вы-
нести заключение об эффективности и объемах финансирования различных
альтернативных проектов.
Данная работа посвящена разработке комплексных подходов и
комплексных критериев эффективности оценки качества инновационных
проектов, а также математических методов принятия решений в случаях
рассогласованности мнений отдельных экспертов.
ПОСТАНОВКА ЗАДАЧИ
Как правило, качество представленных для финансирования проектов под-
вергается экспертизе и оценивается по нескольким независимым критериям.
Ю.А. Зак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 48
Такими критериями являются:
• научный и инновационный уровни, технологическая новизна, слож-
ность и перспективность разработки;
• перспективы приложения полученных результатов в социальной,
политической и экономической сферах, в создании новых рабочих мест, вы-
ходе новых видов продукции или услуг на внешний и внутренний рынки;
• соответствие объема разработки, ожидаемой эффективности полу-
ченных результатов запрашиваемым объемам финансирования;
• имеющийся научный задел и реальность выполнения разработки на
должном научно-техническом уровне и в установленные сроки;
• предлагаемая организация планирования, методов контроля и управ-
ления разработкой, распределения работ между соисполнителями, манипу-
лирования денежными, материальными и людскими ресурсами.
Каждый из этих критериев характеризует качество представленного
проекта с различных сторон, определяется некоторой совокупностью пока-
зателей, отражающих эту сторону и в комплексной оценке качества учиты-
вается с различными весовыми коэффициентами. Структура формирования
комплексной оценки может быть представлена некоторым деревом (рисунок).
С помощью весовых коэффициентов nRir ββββ ,..,,...,, 1211 учитываются
веса различных показателей в каждом из частных критериев, а с помощью
весовых коэффициентов ni αααα ,...,,...,, 21 — значимость каждого из ло-
кальных критериев в комплексном показателе качества проектов.
Введем следующие обозначения: irb — некоторая количественная
оценка r -го показателя в i -м частном критерии; iB — некоторая количест-
венная оценка значения i -го частного критерия; E — комплексная оценка
качества проекта.
В практике экспертизы несколько независимых экспертов Kk ,...,1=
на основе своих субъективных мнений выставляют оценки )(kbir по каж-
дому из показателей, на основе которых по принятым заранее правилам, ал-
горитмам и формульным выражениям вычисляются частные показатели ка-
Комплексный показатель
качества проекта
Частный критерий №1 Частный критерий № i Частный критерий № n
Показатель
1.1.
Показатель
1.R.
Показатель
i.1.
Показатель
i.R.
Показатель
n.1.
Показатель
n.R.
Рисунок. Структура формирования комплексной оценки качества проектов
Количественные методы обработки мнений экспертов при оценке качества …
Системні дослідження та інформаційні технології, 2011, № 2 49
чества проектов ,)(kBi а, затем, также средневзвешенный комплексный по-
казатель эффективности проекта ,)(kE отражающий мнение k -го эксперта.
В качестве помощи экспертам часто устанавливаются также диапазоны
возможных значений каждого из показателей ,],[)( 21
iiir bbkb ∈ а также диа-
пазоны возможных значений каждого из частных критериев ∈)(kBi
],[ 21
ii BB∈ . В случае нормированных значений весовых коэффициентов
10 ≤≤ irβ , Rr ,...,1= ; 1
1
=∑
=
R
r
irβ , ni ,...,1= , (1)
10 ≤≤ iα , ni ,...,1= ; 1
1
=∑
=
n
i
iα (2)
устанавливается также диапазон изменения средневзвешенного комплекс-
ного показателя эффективности проекта :)(kE
22
1
1
1
1 max)(min EBkEBE i
ni
ini
=≤≤=
≤≤≤≤
, ],[)( 21 EEkE ∈ , Kk ,...,1= . (3)
Заметим, что в случае выбора весовых коэффициентов в соответствии с
условиями (1) и (2) необходимость в установлении диапазона возможных
значений для каждого из частных критериев отпадает.
Если k -й эксперт установил значения каждого из показателей всех ча-
стных критериев равными ,],[)( 21
iiir bbkb ∈ то количественная оценка сред-
невзвешенного комплексного показателя эффективности проекта )(kE вы-
числяется по формуле:
∑∑
==
=
R
r
irir
n
i
i kbkE
11
)()( βα , Kk ,...,1= . (4)
В качестве частных случаев выбора весовых коэффициентов могут рас-
сматриваться случаи равенства всех весовых коэффициентов
i
ir R
1
=β , iRr ,...,1= , либо 1=irβ , iRr ,...,1= ; ni ,...,1= ; (5)
ni
1
=α , ni ,...,1= , либо 1=iα , ni ,...,1= , (6)
т.е. частные критерии определяются как сумма отдельных показателей, а
комплексный средневзвешенный показатель эффективности проекта — в
виде суммы нормированных значений частных критериев. В некоторых
частных случаях значения ],[)( 21
iii BBkB ∈ должны быть представлены
только в целых числах и после вычисления по формуле:
∑
=
=
R
r
iriri kbkB
1
)()( β , ni ,...,1= , Kk ,...,1= , (7)
и на основе выставленных значений )(kbir округляются субъективно экс-
пертом до ближайшего целого.
Ю.А. Зак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 50
Подобная процедура получения комплексной оценки эффективности
проекта эксперта принята при экспертизе научных проектов, финансируе-
мых Европейским Союзом. Эти методики отражены в большом количестве
публикаций по данной тематике [1–6].
После получения комплексных оценок ,)(kE Kk ,...,1= в виде (4),
представляющих в количественной форме мнения отдельных экспертов,
должна быть сформирована результирующая обобщенная комплексная
оценка эффективности проекта, отражающая общее мнение экспертизы. Эта
оценка в настоящее время формируется на совместном совещании всех не-
зависимых экспертов в результате обсуждения и анализа принятых ими ре-
шений. В процессе такого обсуждения происходят корректировки некото-
рых индивидуальных субъективных решений и усреднение после этого
индивидуальных, и зачастую уже скорректированных количественных пока-
зателей )(kE , ,,...,1 Kk = с учетом весов ,)(kγ отражающих авторитет от-
дельных экспертов
∑
=
=
K
k
kEkF
1
)(*)(γ , 0)( >kγ , ,,...,1 Kk = ∑
=
=
K
k
k
1
1)(γ . (8)
В формуле (8), как и в предыдущих выкладках, K — это количество
экспертов принимающих участие в оценке эффективности проекта.
На основе вычисленных согласно выражению (8) значений, а в ряде
случаев и обобщенных оценок значений частных критериев
)(*)(
1
kBkB
K
k
ii ∑
=
= γ , ni ,...,1= , (9)
сравнение их с некоторыми граничными (пороговыми) значениями ,
0
F а
также 0
iB делаются дальнейшие выводы об исключении проекта из даль-
нейшего рассмотрения, как неудовлетворяющего минимальному уровню
поставленных требований. То есть, проект подлежит дальнейшему рас-
смотрению в случае, если
0
iiB Β≥ , ni ,...,1= ,
0
FF ≥ . (10)
В соответствии с убыванием вычисленного по формуле (8) значения F
происходит ранжирование всех удовлетворяющих требованиям дальнейше-
го рассмотрения проектов по падению уровня их эффективности и приори-
тета.
Только в частных случаях возможны ситуации, когда ,1)( Kk =γ
,,...,1 Kk = т.е. мнения всех экспертов равнозначны. В большинстве же слу-
чаев значения этих весовых коэффициентов формируются на основе проце-
дуры обсуждения поставленной проблемы и устранения разногласий во
мнениях экспертов на совещании.
Этап формирования общего мнения и выражения его в некоторой ко-
личественной форме носит субъективный характер и является наиболее сла-
бым местом в принятой процедуре коллективной экспертизы проектов. В
процессе совещания преимущество очень часто получает не мнение наибо-
Количественные методы обработки мнений экспертов при оценке качества …
Системні дослідження та інформаційні технології, 2011, № 2 51
лее компетентного в данном частном вопросе специалиста (эксперта), а лица
обладающие наибольшим авторитетом, способностями убеждения и наибо-
лее заинтересованного в отстаивании своего мнения. Повышению уровня
эффективности принятия решений на этом этапе, в основном, и посвящена
данная работа.
Очень часто мнения отдельных независимых экспертов могут сущест-
венно расходиться, и значения )(kBi , ni ,...,1= , и )(kE , Kk ,...,1= отли-
чаться друг от друга в очень значительных пределах. Такое часто бывает и в
следствии того, что не все эксперты являются специалистами одинаковой
квалификации, способными одинаково правильно оценить различные по
своему направлению стороны проекта. Так, например, ученый в даной кон-
кретной области знаний может правильно оценить научную и технологиче-
скую новизну, сложность и перспективность разработки, реальность выпол-
нения ее в установленные сроки в условиях выделенных материальных
ресурсов. Специалист по менеджменту наиболее силен в оценке организа-
ции планирования; методов контроля и управления разработкой; правильно-
сти распределения работ между соисполнителями; манипулированием во
времени денежными, материальными и людскими ресурсами. Экономист,
социолог и специалист по маркетингу наиболее компетентен в оценке соот-
ветствия предполагаемых материальных и трудовых затрат запрашиваемым
объемом финансирования, перспективах приложения полученных результа-
тов в социальной, политической и экономической сфере, а также перспек-
тивности создания новых рабочих мест, выхода новых видов продукции или
услуг на внешний и внутренний рынки. Именно эти сильные стороны от-
дельных экспертов с помощью соответствующего подбора весовых коэффи-
циентов целесообразно было бы учесть при формировании на основе вы-
численных значений )(kBi , ni ,...,1= , ,,...,1 Kk = обобщенного показателя
эффективности проектов. Может быть, в ряде случаев целесообразно при-
влекать таких специалистов для оценки лишь отдельных сторон разработки.
Важным показателем при принятии заключительных решений является
также величина, характеризующая разброс мнений отдельных независимых
экспертов, как в значении комплексного показателя эффективности )(kE ,
так и в значениях отдельных частных критериев )(kBi . Именно этот показа-
тель характеризует устойчивость и надежность вычисленного по формуле
(8) значения обобщенного показателя эффективности F и степень доверия к
его значению.
Представляет также интерес учет особых случаев, когда некоторый
проект имеет отдельные чрезвычайно высокие показатели по определенным
частным критериям, но не удовлетворяет установленным ограничениям по
другим показателям. Так, например, проект открывает совершенно новое
направление в отдельной области фундаментальных исследований, но соци-
ально-политические результаты этих исследований сегодня оценить очень
трудно. В качестве второго примера может быть приведен проект, не содер-
жащий большую научною новизну и не предполагающий развитие новых
инновационных технологий, но результаты полученные в нем, имеют боль-
шое значение для социально-экономической и политической сферы или ох-
раны окружающей среды, и связаны с расширением рынка, повышением
Ю.А. Зак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 52
уровня занятости, а также появлением нового вида услуг и т.п. В методах
объективной оценки эффективности и конкурентоспособности проектов
должны быть предусмотрены механизмы, препятствующие возможностям
исключения таких проектов из дальнейшего рассмотрения.
МЕТОДИКА РАСЧЕТА ОБОБЩЕННОГО КОМПЛЕКСНОГО
ПОКАЗАТЕЛЯ ЭФФЕКТИВНОСТИ ПРОЕКТОВ.
ДЕТЕРМИНИРОВАННЫЕ МЕТОДЫ ОЦЕНКИ
Каждый s -й проект, ,,...,1 Ss = рассматривается всеми независимыми друг
от друга K экспертами .,...,1 Kk = Каждый из экспертов имеет определен-
ный вес )(kγ в данной тематике. Все весовые коэффициенты удовлетво-
ряют условиям 1)(0 ≤< kγ .
Кроме того, известны значения весовых коэффициентов 1)(0 ≤< kiλ ,
определяющие уровень компетентности k -го эксперта в оценках каждого i -
го частного показателя.
Значения весовых коэффициентов ),(kγ )(kλ
определяются органами,
принимающими решение и размещающими заказы на экспертизу проектов,
в зависимости от уровня компетентности экспертов в соответствующей об-
ласти, характеризуемой их ученой степенью, научным званием, занимаемой
должностью, количеством публикаций, количеством и значимостью выпол-
ненных проектов, качеством выполненных прошлом экспертиз и другими
показателями.
После преобразований, обеспечивающих выполнение условий норми-
ровки всех весовых коэффициентов, получаем
∑
=
= K
k
k
kk
1
)(
)()(
γ
γγ , Kk ,...,1= ; (11)
∑
=
= n
i
i
i
i
k
kk
1
)(
)()(
λ
λλ , ni ,...,1= , Kk ,...,1= . (12)
Обозначим
∑∑
= =
= n
i
K
k
i
i
i
kk
kk
k
1
)()(
)()(
)(
γλ
γλ
µ , ni ,...,1= , Kk ,...,1= . (13)
В процессе экспертизы каждый из независимых экспертов Kk ,...,1=
определяет значения каждого из iRr ,...,1= показателей ],[)( 21
iiir bbkb ∈
частных критериев ni ,...,1= , которые должны принадлежать установленно-
му ранее диапазону их возможных значений. Далее в соответствии с выра-
жением (7) вычисляются значения частных критериев )(kBi , ,,...,1 ni = по
мнению каждого из экспертов .,...,1 Kk =
Количественные методы обработки мнений экспертов при оценке качества …
Системні дослідження та інформаційні технології, 2011, № 2 53
Если k -й эксперт определит, что некоторый s -й проект имеет очень
высокие показатели по определенном частному критерию j , которые суще-
ственно превышают предусмотренный принятой стандартной оценкой уро-
вень 2
jB , он может увеличить значение этого частного критерия на ве-
личину )(kD j , лежащую в диапазоне ],0[)( jj DkD ∈ , где jD —
установленная максимальная величина для i -го частного критерия. При
этом такое увеличение значения частного критерия должно быть обоснова-
но письменным заключением этого эксперта.
В этом случае значение i -го частного критерия в оценке k -го эксперта
вычисляются по формуле:
⎩
⎨
⎧
>+
=
=
.0)()],()([
,0)(),(
)(
kDifkDkB
kDifkB
kB
iii
ii
i ϕ
(14)
Здесь )]()([ kDkB ii +ϕ — некоторая неубывающая функция аргумента
)]()([ kDkB ii + , производная от которой в диапазоне ])(),([ iii DkBkB +
больше единицы («if» в (14) и в других формулах следует понимать как «ес-
ли»).
В качестве примеров таких функций могут быть приведены выражения
m
iiii kDkBkDkB )]([)()]()([ +=+ϕ , где m — некоторое положительное
число,
⎪
⎪
⎩
⎪
⎪
⎨
⎧
=≤<
−−−−−−−−−−−−−−−−−−
≤<
≤<
+=+
−
,)(),(*
,)(),(*
,)(0),(*
)()]()([
1
212
11
i
V
ii
V
ii
V
i
iiiii
iiii
iii
DDkDDifkDa
DkDDifkDa
DkDifkDa
kBkDkBϕ
а также другие виды функциональных зависимостей.
Средневзвешенное значение i -го частного критерия, усредняющее
мнение всех экспертов, вычисляется по формуле:
∑
=
=
K
k
iii kBkB
1
)(*)(µ , .,...,1 Kk = (15)
Следует отметить, что возможны случаи привлечения некоторых экс-
пертов только для оценки некоторых частных критериев 1
~Ii∈ комплексной
оценки эффективности проекта. В этом случае значения весовых коэффи-
циентов )(kiλ у данного k -го эксперта для остальных оценок 1
~Ii∉ пола-
гаются равными 0.
Ограничения, в соответствии с которыми производится исключение из
рассмотрения проектов, не обеспечивающих установленный минимальный
уровень качества по отдельным частным критериям (или по группам част-
ных критериев), могут иметь вид:
ii dB ≥ , ni ,...,1= , (16)
Ю.А. Зак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 54
1min li
Ii
GB
l
≥
∈
, 2max li
Ii
GB
l
≥
∈
, Ll ,...,1= , (17)
m
Ji
i QB
m
≥∑
∈
, .,...,1 Mm = (18)
В случае учета особых случаев (14) ограничения (16)–(18) могут быть
представлены в виде:
iii
n
i
ii dBBB ≥−+ ∑
=
),0max( 2
1
ρ , ni ,...,1= , (19)
12
1
)],0[max(max{min lii
ni
li
Ii
GBBB
l
≥−+
≤≤∈
ϑ , (20)
12
1
)],0[max(max{max lii
ni
li
Ii
GBBB
l
≥−+
≤≤∈
ϑ , Ll ,...,1= ,
mii
n
i
m
Ji
i QBBB
m
≥−+ ∑∑
=∈
),0max( 2
1
ν , Mm ,...,1= . (21)
Ограничения (16) требуют, чтобы оценка по каждому i -му частному
критерию была не ниже заданной величины id . Ограничения (17) наклады-
вают дополнительные требования, предусматривающие наличие одного из
частных критериев из каждой l -й группы, по которому наихудшая (или
наилучшая) средневзвешенная оценка должна быть выше минимального
допустимого уровня 1
lG или 2
lG . Ограничения (18) накладывают требова-
ния, чтобы средневзвешенная сумма частных критериев каждой m -й груп-
пы была не ниже заданного уровня mQ . В особых случаях (19)–(21) невы-
полнение этих условий может компенсироваться очень высоким значением
некоторого другого j -го частного критерия, существенно превышающего
принятые значения. Заметим, что для некоторых частных критериев такие
ограничения могут отсутствовать. В определенных случаях экспертизы
проектов такие ограничения могут отсутствовать как для всех частных кри-
териев, так и для любых их подмножеств, составляющих различные группы.
Для проектов, у которых выполняется вся система ограничений
(16)–(18) (или в общем случае (19)–(21)), вычисляется средневзвешенное
значение обобщенного показателя эффективности проекта
)()(
1
sBsE
n
i
ii∑
=
= α , (22)
где
⎪
⎪
⎪
⎩
⎪⎪
⎪
⎨
⎧
>
++
∈≤
= ∑ ∑
∑
∈ ∈
∈
.
)],,(),([*)(),(*)(
,,),(,),(*)(
)(
),( ),(/1 1
ii
isKk isKKk
iiiiii
ii
Kk
ii
i
DBif
ksDksBkksBk
KkDksBifksBk
sB ϕµµ
µ
(23)
Количественные методы обработки мнений экспертов при оценке качества …
Системні дослідження та інформаційні технології, 2011, № 2 55
В формуле (23) K — множество всех экспертов; ),(1 isK — подмноже-
ство экспертов, которые определили, что значение i -го частного критерия
по s -му проекту находится в установленном экспертизой диапазоне и су-
щественно не превышает предусмотренный уровень; ),(/),( 12 isKKisK =
— подмножество экспертов, по мнению которых уровень i -го частного
критерия по s -му проекту существенно (на величину )(kDi ) превышает
предусмотренный уровень, что требует учета этого обстоятельства в общей
оценке эффективности этого s -го проекта.
Все рассматриваемые и соответствующие установленной системе огра-
ничений (19)–(21) проекты 0,...,1 Ss = , где SS ≤0 , выстраиваются в ранжи-
ровочный ряд в порядке убывания значения комплексного показателя эф-
фективности :)(sE
00 11 .... SSs ϑϑϑϑ − ,
)()(....)()(if
00 11 SSs EEEE ϑϑϑϑ ≥≥≥≥ − . (24)
СТОХАСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ПРОЕКТА
Во многих случаях мнения экспертов, как в оценке отдельных показателей и
частных критериев, так и в определении комплексной оценки эффективно-
сти проекта существенно различаются. Вследствие этого становится трудно
сделать объективный и обоснованный вывод об исключении проекта из рас-
смотрения как не соответствующего некоторой системе ограничений и тре-
бований, а также сформировать окончательную обоснованную и устойчи-
вую оценку его эффективности, отражающую общее мнение всей группы
экспертов.
Ниже рассматриваются некоторые стохастические подходы в решении
данной задачи.
Средневзвешенное значение каждого в i -го частного критерия в s -м
проекте, определяемое k -м экспертом ),( ksBi , может рассматриваться как
некоторая случайная величина. Значение этой случайной величины, опреде-
ляемое группой экспертов, характеризуется математическим ожиданием
(средним значением)
),(*)()(
1
ksBksA i
K
k
ii ∑
=
= γ , ni ,...,1= , Ss ,...,1= , (25)
и дисперсией
∑
=
−
−
=
K
k
iiiri ksBsAk
K
sA
1
22 )],()([*)(
1
1)]([ γσ , ni ,...,1= , .,...,1 Ss = (26)
Определим диапазон возможных значений случайной величины
)](),([)( 21 sAsAsA iii ∈ ,
где
),(min)(
1
1 ksBsA i
Kki
≤≤
= , ),(max)(
1
2 ksBsA i
Kk
i
≤≤
= , ni ,...,1= , .,...,1 Ss = (27)
Ю.А. Зак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 56
Предположим, что случайные величины ),( ksBi являются независи-
мыми и равновероятными с вероятностями каждого из возможных значений
равными
K
pk
1
= , .,...,1 Kk = Тогда функция распределения значений слу-
чайной величины )(sAi может быть представлена в виде:
⎪
⎩
⎪
⎨
⎧
∈
−
+
∉
=
)].(),([)(if,
)()(
)(
)(
)],(),([)(,0
)}({ 21
12
1
21
sAsAsA
sAsA
sA
sA
sAsAsAif
sAp
iii
ii
i
i
iii
i (28)
На основе формулы (28) могут быть вычислены следующие значения:
• )(
1
siΑ — удовлетворяющие условиям вероятности того, что значе-
ние случайной величины )(sAi будет меньше заданного значения, меньше
или равна некоторого наперед заданного значения )(1 spi ;
• )(
2
siΑ — удовлетворяющие условиям вероятности того, что значе-
ние случайной величины )(sAi будет больше заданного значения, больше
или равна некоторого наперед заданного значения )(2 spi ,
)()(
)](),([*)(
)()( 12
11
11
sAsA
sAksEsp
sAs
ii
ii
ii
−
−
+=Α ,
)()(
)](),([*)(
)()( 12
12
12
sAsA
sAksEsp
sAs
ii
ii
ii
−
−
+=Α , (29)
а также вероятности )(1 sPi того, что значение случайной величины )(sAi
будет больше или равно некоторому установленному значению ,)(
1
siΒ либо
вероятности )(2 sPi того, что значение случайной величины )(sAi будет не
меньше некоторого установленного значения )(
2
siΒ
)()(
)()(
)( 12
11
1
sAsA
sAs
sP
ii
ii
i
−
−Β
= ,
)()(
)()(
)( 12
12
2
sAsA
sAs
sP
ii
ii
i
−
−Β
= . (30)
Несогласованность мнений независимых экспертов при оценке i -го ча-
стного критерия в s -м проекте характеризуется величиной дисперсии этой
оценки )]([2 sAiσ , и диапазоном различных значений этой величины
)](),([ 21 sAsA ii , а также значениями )(
1
siΑ и )(
2
siΑ , и вероятностями )(1 sPi и
)(2 sPi .
Аналогичным образом могут быть определены математическое ожида-
ние )(sF , дисперсия )}({2 sFσ , диапазон возможных значений ∈)(sF
,)](),([ 21 sFsF∈ соответствующие пороговые значения )(),( 21 ss ΦΦ , а
Количественные методы обработки мнений экспертов при оценке качества …
Системні дослідження та інформаційні технології, 2011, № 2 57
также )(),(
21
ss ΦΦ и граничные вероятности )(
1
sP , )(
2
sP для значений
случайной величины )(sF обобщенного показателя эффективности s -го
проекта:
∑
=
=
K
k
ksEksF
1
),(*)()( γ , (31)
,)](),([
1
1)}({
1
22 ∑
=
−
−
=
K
k
sFksE
K
sFσ (32)
),(min)(
1
1 ksEsF
Kk≤≤
= , ,),(max)(
1
2 ksEsF
Kk≤≤
= (33)
)()(
)](),([*)()()( 12
11
11
sFsF
sFksEspsFs
−
−
+=Φ ,
)()(
)](),([*)()()( 12
12
12
sFsF
sFksEspsFs
−
−
+=Φ , (34)
)()(
)()(
)( 12
11
1
sAsA
sAs
sP
ii
i
−
−Φ
= ,
)()(
)()(
)( 12
12
2
sAsA
sAs
sP
ii
i
−
−Φ
= . (35)
В задачах стохастической оценки качества проектов детерминирован-
ные ограничения (16)–(18) могут быть заменены вероятностными ограниче-
ниями вида:
iii pdsBp ≥≥ })({ 1 , ni ,...,1= , Ss ,...,1= ; (36)
11})(min{ lli
Ii
PGsBp
l
≥≥
∈
,
22})(max{ lli
Ii
PGsBp
l
≥≥
∈
, Ll ,...,1= , Ss ,...,1= ; (37)
3
})({ mm
Ji
i PQsBp
m
≥≥∑
∈
, ,,...,1 Mm = .,...,1 Ss = (38)
Для подмножества проектов },...,1{ 0
0 SS = , где ,0 SS ≤ удовлетво-
ряющих системе ограничений (36)–(38), построение ранжировочного ряда
производится по убыванию значения
)}({*)( 2 sFsFWs σω+= , (39)
где 10 ≤<ω — некоторый коэффициент, учитывающий рассогласования
мнений экспертов (на практике целесообразно выбирать 3,01,0 ≤≤ω ), либо
по убыванию показателя sH , определяемого по формуле:
η≥≥ }{ ss HFp , (40)
Ю.А. Зак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 58
где 5,0>η — некоторое установленное заранее пороговое значение вероят-
ности, либо по возрастанию значения вероятности sp , определяемой по
формуле:
ss pFFp ≥≥ }{ , (41)
где F — некоторое установленное граничное значение обобщенного пока-
зателя эффективности проектов.
Понятно, что при равных значениях математического ожидания обоб-
щенного показателя эффективности для проектов 1s и 2s , т.е. при
)()( 21 sFsF = , значения sH и sp будут большими и, следовательно, пред-
почтение получит тот проект, у которого значение среднеквадратического
отклонения обобщенного показателя эффективности )}({2 sFσ будет мень-
ше, т.е. проект, у которого мнения экспертов при оценке отдельных показа-
телей и частных критериев более согласованы. То есть, проект 1s будет
предпочтительнее проекта 2s , если
)()( 21 sFsF ≥ , и )}({)}({ 2
2
1
2 sFsF σσ ≤ . (42)
При этом условия )()( 21 sFsF > и )}({)}({ 2
2
1
2 sFsF σσ ≤ , либо
)()( 21 sFsF ≥ и )}({)}({ 2
2
1
2 sFsF σσ < могут рассматриваться как условия
явного предпочтения проекта 1s проекту 2s .
ЗАДАЧА ОПТИМАЛЬНОГО ПОДБОРА ЭКСПЕРТОВ
В банке данных экспертов, кроме персональных данных, содержится сле-
дующая количественная информация о каждом k -м эксперте: kgt — пока-
затель, определяющий уровень компетентности k -го эксперта в g -й облас-
ти знаний. Дифференциация области знаний может осуществляться с любой
наперед заданной точностью. Значение kgt может измеряться, например, в
диапазоне ]0,1;0[∈kgt . Самому высокому уровню компетентности соответ-
ствует значение 1,0, а отсутствие компетентности в данном вопросе — зна-
чение 0; kiθ , ni ,...,1= , — некоторый вектор, компоненты которого суть
действительные положительные числа в диапазоне ]0,1;0[∈kgθ , опреде-
ляющие относительную компетентность данного эксперта в оценке каждого
частного критерия эффективности проекта. Значения kiθ нормированы, т.е.
0≥kiθ , ni ,...,1= , ∑
=
=
n
i
ki
1
1θ ; kgC — стоимость привлечения k -го эксперта
к экспертизе проекта из g -й области знаний.
Пусть заданы значения весовых коэффициентов iα , ni ,...,1= , удовле-
творяющие условиям нормировки (2) и определяющие вес каждого из част-
ных критериев в комплексном показателе эффективности проекта. Задача
Количественные методы обработки мнений экспертов при оценке качества …
Системні дослідження та інформаційні технології, 2011, № 2 59
выбора из банка данных оптимального состава группы, состоящей из K
экспертов )( KM > , обеспечивающей наиболее правильную и объективную
экспертизу данного проекта, может быть сформулирована в виде следую-
щей задачи нелинейного булевого программирования
min),...,,...,(
2
11
1 →⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
−= ∑∑
==
M
k
kki
n
i
iMk x
n
Kxxx θαψ (43)
в условиях следующей системы ограничений:
Если 1=kx , то необходимо, чтобы
gkkg Txt ≥ . (44)
Здесь g — индекс различных показателей в частных критериях оценки
эффективности проектов.
10 =∨= kk xx , Mk ,...,1= , ∑
=
=
M
k
k Kx
1
, (45)
0
1
CxC
M
k
kkg ≤∑
=
, (46)
ikkiMk
Lx ≥
≤≤
θ
1
min , ni ,...,1= . (47)
Неравенство (46) определяет ограничение на максимальную стоимость
проведения экспертизы, а выражение (47) — ограничение на требуемый
уровнеь компетентности при выборе экспертов для оценки i -го частного
критерия.
В математической модели (43)–(47) приняты следующие обозначения:
kx — булевая переменная, определяющая, привлекается ли k -й эксперт к
экспертизе данного проекта ( 1=kx ) или нет ( 0=kx ); M — количество
экспертов, информация о которых содержится в банке данных; gT — мини-
мальное значение уровня компетентности в g -й области знаний, при кото-
ром эксперт может быть включен в данную группу (некоторое число
]100,0[∈gT ); 0C — допускаемая (граничная) стоимость экспертизы; iL —
минимальное значение уровня компетентности группы экспертов, необхо-
димое для оценки i -го частного критерия (некоторое число ]0,1;0[∈iL ).
Это число определяет количество экспертов в группе.
Ограничение (44) не допускает возможности включения в состав груп-
пы экспертов, уровень компетентности которых в данной области знаний
ниже заданного. Это позволяет уже на предварительном этапе решения за-
дачи на основе отсева некомпетентных в данной области знаний экспертов
сократить количество рассматриваемых булевых переменных до величины
MM ≤1 . Ограничение (46) предусматривает недопустимость превышения
стоимости экспертизы проекта выше некоторого уровня 0С . С помощью
ограничения (47) удается включить в состав группы экспертов специали-
Ю.А. Зак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 60
стов, способных с заданным уровнем компетентности оценить каждый ча-
стный критерий эффективности проекта. Так, например, не допустимыми
являются такие ситуации, когда в составе группы есть только такие специа-
листы, которые способны компетентно оценить только научную, технологи-
ческую и иновационную сторону проекта. Однако они не в состоянии сде-
лать правильных выводов о возможности и перспективах выхода
полученных в проекте результатов на внутренние и внешние рынки, влия-
ние полученных результатов на социальную и политическую сферы. Эти
эксперты также не могут дать объективное заключение о структуре и орга-
низации управления разработкой, правильности манипулирования матери-
альными, стоимостными и трудовыми ресурсами.
В качестве критерия оптимальности (43) выбран некоторый квадратич-
ный функционал, учитывающий относительную средневзвешенную (в зави-
симости от весов отдельных частных критериев в комплексом показателе
эффективности проекта и компетентности экспертов в оценке каждого част-
ного критерия) равномерность распределения компетентности экспертов в
оценке всех сторон проекта (т.е. каждого из частных критериев). Выражение
(43) должно обеспечить при формировании коллективного мнения экспер-
тов приблизительно с равной компетентностью (с учетом выбранных весо-
вых коэффициентов важности частных критериев в обобщенном показателе
эффективности) оценить все стороны и показатели проекта.
Сформулированная задача (43)–(47) является задачей квадратического
булевого программирования большого размера. Получение достаточно эф-
фективного приближенного решения этой задачи не входит в рамки данной
работы и может быть получено, например, генетическими алгоритмами.
ВЫВОДЫ
1. Предложена методика получения количественной комплексной
оценки эффективности представленных на экспертизу проектов на основе
обработки мнений независимых экспертов. Эта оценка формируется в виде
некоторой функции количественных оценок значений отдельных показате-
лей и частных критериев эффективности проекта, выставленных эксперта-
ми. Сформулированы ограничения, позволяющие исключить из дальнейше-
го рассмотрения проекты, не отвечающие заданным требованиям.
2. В отличие от используемых в практике методик, в качестве важных
показателей результатов экспертизы учитывается рассогласованность мне-
ний отдельных экспертов как в оценке отдельных частных критериев, так и
в комплексной оценке эффективности проекта. Предложено давать опреде-
ленные дополнительные преимущества проектам, имеющим высокие и пре-
восходящие установленный уровень по отдельным частным критериям по-
казатели, и в ряде случаев не исключать их из дальнейшего рассмотрения
даже в условиях, когда они не соответствуют установленному по отдельным
другим показателям граничному уровню.
3. Предложены стохастические алгоритмы обработки отличающихся
друг от друга мнений экспертов, позволяющие получить устойчивые и на-
дежные выводы относительно эффективности проекта, целесообразности
Количественные методы обработки мнений экспертов при оценке качества …
Системні дослідження та інформаційні технології, 2011, № 2 61
исключения проектов из дальнейшего рассмотрения и построения ранжиро-
вочных рядов эффективности представленных на экспертизу проектов.
4. Сформулирована в виде модели нелинейного булевого программи-
рования задача подбора наиболее компетентной группы экспертов каждого
конкретного проекта.
ЛИТЕРАТУРА
1. Инновационная деятельность МП: учеб. пособ. — http://www.dist-cons.ru/
modules/innova/section7.html.
2. Грановский Ю.В. Об оценке эффективности научных исследований // Науко-
ведческие исследования, 2008: сб. науч. тр. — М.: РАН. ИНИОН. 2008. —
С. 193–210.
3. Азгальдов Г.Г., Костин А.В. К вопросу о термине «инновация» // Труды лабо-
ратории В.Н. Лившица. — М.: Изд. ЦЭМИ РАН, 2009. — С. 62–71.
4. Методические рекомендации по оценке эффективности инвестиционных про-
ектов (вторая редакция). — М.: Экономика, 2000. — 193 с.
5. Heesen M. Innovationsportfoliomanagement. Bewertung von Innovationsprojekten
in kleinen und mittelgroßen Unternehmen der Automobilzulieferindustrie. —
Gabler, 2009. — 303 p.
6. Сойфер В.Н. Новый механизм экспертизы научных проектов. — http://www.
rfbr.ru/old/pub/vestnik/V6_96/SOIFER.ru.html.
Поступила 16.01.2010
|