Метод визначення інтегративного показника компетентності експерта
Визначено особливу універсальну роль експертних процедур у прийняті рішень і забезпеченні функціонування гуманістичних систем. З використанням методів нечіткої математики розроблено і запропоновано якісну шкалу оцінювання компетентності експертів, яка уявляється як терм-множина лінгвістичної змінної...
Saved in:
| Published in: | Наука, технології, інновації |
|---|---|
| Date: | 2018 |
| Main Authors: | , |
| Format: | Article |
| Language: | Ukrainian |
| Published: |
Інститут досліджень науково-технічного потенціалу та історії науки ім. Г.М. Доброва НАН України
2018
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/162637 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Метод визначення інтегративного показника компетентності експерта / О.М. Рева, В.В. Камишин // Наука, технології, інновації. — 2018. — № 3 (7). — С. 27-38. — Бібліогр.: 35 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-162637 |
|---|---|
| record_format |
dspace |
| spelling |
Рева, О.М. Камишин, В.В. 2020-01-12T20:34:49Z 2020-01-12T20:34:49Z 2018 Метод визначення інтегративного показника компетентності експерта / О.М. Рева, В.В. Камишин // Наука, технології, інновації. — 2018. — № 3 (7). — С. 27-38. — Бібліогр.: 35 назв. — укр. 2520-6524 https://nasplib.isofts.kiev.ua/handle/123456789/162637 303.732.4 Визначено особливу універсальну роль експертних процедур у прийняті рішень і забезпеченні функціонування гуманістичних систем. З використанням методів нечіткої математики розроблено і запропоновано якісну шкалу оцінювання компетентності експертів, яка уявляється як терм-множина лінгвістичної змінної “Рівень компетентності експертів”, що охоплює п’ять термів: “дуже високий”, “високий”, “середній (звичайний, як у більшості)”, “низький”, “дуже низький”. За допомогою математичного методу розстановки пріоритетів, відомого також як “задача про лідера”, здійснено дефазифікацію лінгвістичних оцінок рівнів компетентності експертів шляхом надання їм відповідних “зважених” коефіцієнтів бажаності, які нелінійно змінюються. Проведено порівняльний аналіз загальної методології агрегації частинних показників рівнів компетентності у інтегративну (цілісну) оцінку, якій і лише якій притаманна системна властивість емерджентності. Обґрунтовано вибір мультиплікативного підходу до агрегації окремих оцінок компетентності, який на відміну від адитивного, припускає лише часткову компенсацію невеликих значень одних показників рівнів компетентності великими значеннями інших. Наведено приклад ефективності мультиплікативного підходу. Доведено, що реалізація запропонованих процедур дозволяє запобігти статистичним помилкам І–ІІ роду, коли оцінка реальної компетенції або занижується (помилка І роду), або завищується (помилка ІІ роду). Выявлено особую универсальную роль экспертных процедур в принятии решений и обеспечении функционирования гуманистических систем. Методами нечеткой математики разработана и предложена качественная шкала оценивания компетентности экспертов, которая представляется как терм-множество лингвистической переменной “Уровень компетентности экспертов” и охватывает пять термов: “очень высокий”, “высокий”, “средний (обычный, как у большинства)”, “низкий”, “очень низкий”. С помощью математического метода расстановки приоритетов, известного также как “задача о лидере”, осуществлено дефаззификацию лингвистических оценок уровней компетентности экспертов путем предоставления им соответствующих, нелинейно изменяющихся “взвешенных” коэффициентов желательности. Проведен сравнительный анализ общей методологии агрегации частных показателей уровней компетентности в интегративную (целостную) оценку, которой и только которой присуще системное свойство эмерджентности. Обоснован выбор мультипликативного подхода к агрегации частных оценок компетентности, который, в отличие от аддитивного, допускает лишь частичную компенсацию небольших значений одних показателей уровней компетентности большими значениями других. Приведен пример эффективности мультипликативного подхода. Доказано, что реализация предложенных процедур позволяет избежать статистических ошибок І — ІІ рода, когда оценка реальной компетенции или занижается (ошибка І рода), или завышается (ошибка ІІ рода). A special universal role of expert procedures in a decision-making process and functioning of humanistic systems has been obtained. By methods of fuzzy mathematics, a qualitative scale for assessing the competence of experts has been developed and proposed. The scale is a term-set of the linguistic variable “Expert competence level” and covers five terms: “very high”, “high”, “average (normal)”, “low”, “very low”. Using mathematical method of prioritization, which is also called as “the task of the leader”, defuzzification of linguistic assessments of expert competence levels was carried out. This happens through providing them with appropriate, non-linearly changing “weighted” coefficients of desirability. A comparative analysis of the general methodology of aggregation of particular indicators of competency levels into an integrative (integral) assessment, which alone is inherent in the system property of emergence, is carried out. The choice of the multiplicative approach to the aggregation of private competency assessments is justified, which, unlike the additive one, allows only partial compensation of small values of some indicators of competence levels by large values for others. An example of the effectiveness of the multiplicative approach is given. It is proved that the implementation of the proposed procedures makes it possible to avoid statistical errors of the І–ІІ kind when the evaluation of real competence is either underestimated (error of the first kind) or overestimated (error of the second kind). uk Інститут досліджень науково-технічного потенціалу та історії науки ім. Г.М. Доброва НАН України Наука, технології, інновації Проблеми науково-технічної діяльності Метод визначення інтегративного показника компетентності експерта Метод определения интегр ативного показателя компетентности эксперта Determination method for integrative indicator of expert competence Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Метод визначення інтегративного показника компетентності експерта |
| spellingShingle |
Метод визначення інтегративного показника компетентності експерта Рева, О.М. Камишин, В.В. Проблеми науково-технічної діяльності |
| title_short |
Метод визначення інтегративного показника компетентності експерта |
| title_full |
Метод визначення інтегративного показника компетентності експерта |
| title_fullStr |
Метод визначення інтегративного показника компетентності експерта |
| title_full_unstemmed |
Метод визначення інтегративного показника компетентності експерта |
| title_sort |
метод визначення інтегративного показника компетентності експерта |
| author |
Рева, О.М. Камишин, В.В. |
| author_facet |
Рева, О.М. Камишин, В.В. |
| topic |
Проблеми науково-технічної діяльності |
| topic_facet |
Проблеми науково-технічної діяльності |
| publishDate |
2018 |
| language |
Ukrainian |
| container_title |
Наука, технології, інновації |
| publisher |
Інститут досліджень науково-технічного потенціалу та історії науки ім. Г.М. Доброва НАН України |
| format |
Article |
| title_alt |
Метод определения интегр ативного показателя компетентности эксперта Determination method for integrative indicator of expert competence |
| description |
Визначено особливу універсальну роль експертних процедур у прийняті рішень і забезпеченні функціонування гуманістичних систем. З використанням методів нечіткої математики розроблено і запропоновано якісну шкалу оцінювання компетентності експертів, яка уявляється як терм-множина лінгвістичної змінної “Рівень компетентності експертів”, що охоплює п’ять термів: “дуже високий”, “високий”, “середній (звичайний, як у більшості)”, “низький”, “дуже низький”. За допомогою математичного методу розстановки пріоритетів, відомого також як “задача про лідера”, здійснено дефазифікацію лінгвістичних оцінок рівнів компетентності експертів шляхом надання їм відповідних “зважених” коефіцієнтів бажаності, які нелінійно змінюються. Проведено порівняльний аналіз загальної методології агрегації частинних показників рівнів компетентності у інтегративну (цілісну) оцінку, якій і лише якій притаманна системна властивість емерджентності. Обґрунтовано вибір мультиплікативного підходу до агрегації окремих оцінок компетентності, який на відміну від адитивного, припускає лише часткову компенсацію невеликих значень одних показників рівнів компетентності великими значеннями інших. Наведено приклад ефективності мультиплікативного підходу. Доведено, що реалізація запропонованих процедур дозволяє запобігти статистичним помилкам І–ІІ роду, коли оцінка реальної компетенції або занижується (помилка І роду), або завищується (помилка ІІ роду).
Выявлено особую универсальную роль экспертных процедур в принятии решений и обеспечении функционирования гуманистических систем. Методами нечеткой математики разработана и предложена качественная шкала оценивания компетентности экспертов, которая представляется как терм-множество лингвистической переменной “Уровень компетентности экспертов” и охватывает пять термов: “очень высокий”, “высокий”, “средний (обычный, как у большинства)”, “низкий”, “очень низкий”. С помощью математического метода расстановки приоритетов, известного также как “задача о лидере”, осуществлено дефаззификацию лингвистических оценок уровней компетентности экспертов путем предоставления им соответствующих, нелинейно изменяющихся “взвешенных” коэффициентов желательности. Проведен сравнительный анализ общей методологии агрегации частных показателей уровней компетентности в интегративную (целостную) оценку, которой и только которой присуще системное свойство эмерджентности. Обоснован выбор мультипликативного подхода к агрегации частных оценок компетентности, который, в отличие от аддитивного, допускает лишь частичную компенсацию небольших значений одних показателей уровней компетентности большими значениями других. Приведен пример эффективности мультипликативного подхода. Доказано, что реализация предложенных процедур позволяет избежать статистических ошибок І — ІІ рода, когда оценка реальной компетенции или занижается (ошибка І рода), или завышается (ошибка ІІ рода).
A special universal role of expert procedures in a decision-making process and functioning of humanistic systems has been obtained. By methods of fuzzy mathematics, a qualitative scale for assessing the competence of experts has been developed and proposed. The scale is a term-set of the linguistic variable “Expert competence level” and covers five terms: “very high”, “high”, “average (normal)”, “low”, “very low”. Using mathematical method of prioritization, which is also called as “the task of the leader”, defuzzification of linguistic assessments of expert competence levels was carried out. This happens through providing them with appropriate, non-linearly changing “weighted” coefficients of desirability. A comparative analysis of the general methodology of aggregation of particular indicators of competency levels into an integrative (integral) assessment, which alone is inherent in the system property of emergence, is carried out. The choice of the multiplicative approach to the aggregation of private competency assessments is justified, which, unlike the additive one, allows only partial compensation of small values of some indicators of competence levels by large values for others. An example of the effectiveness of the multiplicative approach is given. It is proved that the implementation of the proposed procedures makes it possible to avoid statistical errors of the І–ІІ kind when the evaluation of real competence is either underestimated (error of the first kind) or overestimated (error of the second kind).
|
| issn |
2520-6524 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/162637 |
| citation_txt |
Метод визначення інтегративного показника компетентності експерта / О.М. Рева, В.В. Камишин // Наука, технології, інновації. — 2018. — № 3 (7). — С. 27-38. — Бібліогр.: 35 назв. — укр. |
| work_keys_str_mv |
AT revaom metodviznačennâíntegrativnogopokaznikakompetentnostíeksperta AT kamišinvv metodviznačennâíntegrativnogopokaznikakompetentnostíeksperta AT revaom metodopredeleniâintegrativnogopokazatelâkompetentnostiéksperta AT kamišinvv metodopredeleniâintegrativnogopokazatelâkompetentnostiéksperta AT revaom determinationmethodforintegrativeindicatorofexpertcompetence AT kamišinvv determinationmethodforintegrativeindicatorofexpertcompetence |
| first_indexed |
2025-11-24T20:47:51Z |
| last_indexed |
2025-11-24T20:47:51Z |
| _version_ |
1850493105078272000 |
| fulltext |
ПроБЛЕМИ НАУКово-ТЕХНІЧНоЇ ДІЯЛЬНоСТІ
ProblemS of Scientific and technological activitieS 27
information aboUt the aUthorS
Popov m.v. — Researcher of Ukrainian Institute fоr Scientific Technical Expertise and Information, 180, Antonovycha Str.,
Kyiv, Ukraine, 03680; +38 (044) 521-00-07; popov@ukrintei.ua
bohatel n.v. — Head of the Department of UkrISTEI, 180, Antonovycha Str., Kyiv, Ukraine, 03680; +38 (044)
521-00-07; bogatel@ukrintei.ua
ИНФорМАЦИЯ оБ АвТорАХ
Попов Н.в. — н.с., Украинский институт научно-технической экспертизы и информации, ул. Антоновича, 180,
г. Киев, Украина, 03680; +38 (044) 521-00-07; popov@ukrintei.ua
Богатель Н.в. — завсектором, УкрИНТЕИ, ул. Антоновича, 180, г. Киев, Украина, 03680; +38 (044) 521-00-07;
bogatel@ukrintei.ua
УДК 303.732.4
о. М. рЕвА, д-р техн. наук, професор
в. в. КАМИшИН, д-р пед. наук
МЕТоД вИЗНАЧЕННЯ ІНТЕгрАТИвНого
ПоКАЗНИКА КоМПЕТЕНТНоСТІ ЕКСПЕрТА
Резюме. Визначено особливу універсальну роль експертних процедур у прийняті рішень і забезпеченні
функціонування гуманістичних систем. З використанням методів нечіткої математики розроблено і запро-
поновано якісну шкалу оцінювання компетентності експертів, яка уявляється як терм-множина лінгвістичної
змінної “Рівень компетентності експертів”, що охоплює п’ять термів: “дуже високий”, “високий”, “середній
(звичайний, як у більшості)”, “низький”, “дуже низький”. За допомогою математичного методу розстановки
пріоритетів, відомого також як “задача про лідера”, здійснено дефазифікацію лінгвістичних оцінок рівнів
компетентності експертів шляхом надання їм відповідних “зважених” коефіцієнтів бажаності, які нелінійно
змінюються. Проведено порівняльний аналіз загальної методології агрегації частинних показників рівнів
компетентності у інтегративну (цілісну) оцінку, якій і лише якій притаманна системна властивість емер-
джентності. Обґрунтовано вибір мультиплікативного підходу до агрегації окремих оцінок компетентності,
який на відміну від адитивного, припускає лише часткову компенсацію невеликих значень одних показників
рівнів компетентності великими значеннями інших. Наведено приклад ефективності мультиплікативного
підходу. Доведено, що реалізація запропонованих процедур дозволяє запобігти статистичним помилкам
І–ІІ роду, коли оцінка реальної компетенції або занижується (помилка І роду), або завищується (помилка
ІІ роду).
Ключові слова: експертні процедури, компетентність експертів, якісна шкала вимірювань, лінгвістична
змінна, дефазифікація, коефіцієнти бажаності, мультиплікативна агрегація.
вСТУП
Наразі функціонування будь-яких гуманіс-
тичних систем (у розумінні Л. Заде [1]) забез-
печується послідовним розробленням, прийнят-
тям і реалізацією низки управлінських рішень,
методологію яких ілюструє рис. 1 [2]. Як можна
з нього побачити, більш універсальними, неза-
лежно від класифікаційних ознак задач прий-
няття рішень (ПР), є методи експертних про-
цедур (ЕП). Тому їх удосконалення, як з позицій
покращення безпосередньо технологій вибору,
так і з позицій відбору більш кваліфікованих
і компетентних експертів, є перманентно акту-
альною науковою задачею.
ПоСТАНовКА ПроБЛЕМИ
Активне поширення ЕП почалося на тере-
нах ще колишнього СРСР у 60-х рр. ХХ ст. після
того, як відомий український учений, академік
В. Глушков, усвідомивши їх значущість та перс-
пективність, активно сприяв розповсюдженню
відповідної методології.
Оскільки застосовувати ЕП мають компетент-
ні фахівці, то визначимося, що компетентність —
це ступінь наявності у фахівця, залученого до
експертизи, відповідного теоретичного і мето-
дологічного потенціалу, реалізація якого вказує
на його здатність (суб’єктивну можливість) ви-
рішувати поставлені завдання експертизи.
НАУКА, ТЕХНоЛогІЇ, ІННовАЦІЇ • 2018, № 3
Science, technologieS, innovationS • 2018, № 328
Зазначена “суб’єктивна можливість” й ви-
значає загалом компетентність експерта, проб-
леми якої розглядалися у широкому спектрі дос-
ліджень [3–14 та ін.]. Основні способи їх вирі-
шення замикаються на проведенні спеціальних
організаційних заходів: тестування (застосову-
ється рідко, оскільки украй непопулярне серед
експертів); самооцінка і взаємне оцінювання
компетентності експертів (отримані результа-
ти можуть виявитися вельми суб’єктивними,
тому відповідна процедура має бути спеціаль-
но організованою і включати непрямі завдання
оцінювання компетентності); документаційний
метод (ґрунтується на об’єктивних докумен-
тально підтверджуваних характеристиках екс-
перта як фахівця, процедура “згортання” яких
у показник компетентності може реалізовува-
тися украй суб’єктивно) [14].
Вкажемо на загальні сучасні проблеми ме-
тодів оцінювання компетентності експертів.
По-перше, це недостатня увага до особливос-
тей кваліметричних шкал, що застосовуються
для визначення рівня компетентності експерта
(РКЕ). Внаслідок чого РКЕ зазвичай надаються
якісні (переважно — рангові) оцінки, над якими
потім здійснюються математичні перетворен-
ня, нібито вони є кількісними. Тобто, виника-
ють вади методу Борда, що може призвести,
до речі, і до парадоксу Кондорсе, якщо визна-
чаються системи переваг експертів. По-друге,
необґрунтованість підходу до згортання частин-
них показників компетентності у інтегративний
(цілісний) показник, якому і лише якому при-
таманна системна властивість емерджентності
[2; 15; 16 та ін.]. Як наслідок — застосовується
лише адитивний підхід, який припускає мож-
ливість майже абсолютної компенсації скільки
завгодно малих значень одних частинних по-
казників РКЕ скільки завгодно великими зна-
ченнями по іншим. По-третє, не враховуються
показники впливу людського чинника на ПР
у процесі проведення експертиз. По-четверте,
результати досліджень РКЕ не мають проактив-
ного характеру тощо.
Виходячи з наведеного, метою публікації
є дослідження і розроблення підходів до роз-
в’язання двох перших із перелічених проблем.
АНАЛІЗ ДоСЛІДЖЕНЬ І ПУБЛІКАЦІЙ
Для оцінювання РКЕ введемо, користуючись
методологією нечіткої математики [1; 2; 15; 17
та ін.], таку якісну шкалу, яка розглядається як
рис. 1. Методи вирішення різноманітних задач прийняття рішень
ЗАДАЧІ
ПрИЙНЯТТЯ
рІшЕНЬ
– теорія багатокритеріальних задач прийняття рішень
– нечітка логіка
– експертні процедури
БАГАТОКРИТЕРІАЛЬНІ
(ВЕКТОРНІ)
ОДНОКРИТЕРІАЛЬНІ
(СКАЛЯРНІ)
С
ТА
Т
И
Ч
Н
І
– теорія математичного програмування
– експертні процедури
В умовах
визначеності
– теорія ймовірностей
– теорія математичного програмування
– експертні процедури
В умовах
ризику
– теорія ігор
– теорія статистичних рішень
– експертні процедури
В умовах
невизначеності
Д
И
Н
А
М
ІЧ
Н
І
– теорія диференціальних ігор
– теорія можливостей
– експертні процедури
В умовах
невизначеності
– варіаційне обчислення
– теорія оптимальних систем
– методи обробки лінгвістичної інформації
– експертні процедури
В умовах
визначеності
– теорія випадкових процесів
– статистична динаміка систем управління
– теорія передбачення
– експертні процедури
В умовах
ризику
ПроБЛЕМИ НАУКово-ТЕХНІЧНоЇ ДІЯЛЬНоСТІ
ProblemS of Scientific and technological activitieS 29
терм-множина (множина термінів, назв) відпо-
відної лінгвістичної змінної (ЛЗ):
T PKE дyжe виcoкий
виcoкий
cepeднiй звичaйний, як y
M
ДB
B
( )= +
+ +
+
R
R
ббiльшocтi
низький дyжe низький
C
H ДH
( )+
+ +
R
R R
, (1)
де ТМ(·) — позначка терм-множини ЛЗ “РКЕ”;
“+” — позначка логічного поєднання окремих
термів (оцінок РКЕ) у шкалу; R~i — позначка і-ї
лінгвістичної оцінки (і-го терма) шкали.
Якщо, застосовуючи шкалу (1), провести
групове експертне оцінювання РКЕ окремого
фахівця, то, спираючись на особливості квалі-
метрічних шкал [2; 15], для подальшої адекват-
ної математичної обробки відповідних резуль-
татів необхідно, враховуючи досвід досліджень
[18], здійснити дефазифікацію якісних оцінок
цієї шкали шляхом:
• або побудови і аналізу функцій належності
ЛЗ “РКЕ”;
• або надання якісним оцінкам відповідних ко-
ефіцієнтів бажаності відповідно до схеми на
рис. 2.
Розглянемо другий із вказаних шляхів. А са-
ме, аналіз наукових джерел [2; 3; 5–12; 19–26
та ін.] вказує, що більш поширеними методами
визначення коефіцієнтів бажаності (значущості,
важливості тощо) є такі:
М1 — безпосередньої чисельної оцінки;
М2 — бального оцінювання;
М3 — відносної частоти рангів;
М4 — попарного порівняння з градаціями;
М5 — послідовних порівнянь (переваг);
М6 — графоаналітичний;
М7 — згортки;
М8 — Терстоуна;
М9 — попарного порівняння.
При виборі конкретного методу визначен-
ня коефіцієнтів відносної ваги оцінок РКЕ слід
враховувати такі чинники.
По-перше, обмеження за допустимим часом
спілкування з експертами. Орієнтуючись на цей
показник, перелічені методи можна упорядку-
вати так:
M M M M M M M M M3 3 9 2 4 1 6 5 7≈ ≈ . (2)
По-друге, потрібну надійність оцінок, що
отримуються. Тоді ряд переваг перелічених ме-
тодів виглядає так:
M M M M M M M M M7 5 6 4 9 3 2 8 1 ≈ . (3)
По-третє, наявність ПЕОМ і математичного
забезпечення, що визначає складність обробки
результатів. Тоді методи впорядковуються:
M M M M M M M M M1 2 3 4 6 8 9 5 7≈ ≈ ≈ ≈ ≈ ≈ . (4)
Методи M3 і M8 застосовують тільки при гру -
повій експертизі, тоді як інші можна застосо-
вувати і при індивідуальному експертному опи-
туванні.
Отже, враховуючи, що людському мислен-
ню притаманні саме порівняльні якісні, а не кіль-
кісні оцінки [1; 2; 15; 27; 28 та ін.], а ранжиру-
вання оцінок шкали (1) очевидне і тривіальне:
R R R R RДB
й paнг
B
й paнг
З
й paнг
H
й paнг
ДH
й paнг1 2 3 4 5
, (5)
зосередимося на методі, що базується на ран-
гах [21], та методі розстановки пріоритетів
(МРП) [6], які відповідають цій вимозі.
Отже, спираючись на ранжирування (5),
“цінність” окремої лінгвістичної оцінки шкали
(1) отримується так [21]:
C
r
nR
R
i
i
= −
−
1
1
, (6)
де n=5 — кількість оцінок шкали РКЕ (1); rR
~
i
—
ранг і-ї оцінки відповідно до ранжируван-
ня (5).
Далі тривіально знаходиться сумарна “цін-
ність” оцінок шкали (1):
C C
r
nR
i
n
R
i
n
i
i= = −
−
=
=
=
=
∑ ∑
1
5
1
5
1
1
(7)
і відповідні “зважені” коефіцієнти їх бажа-
ності:
a a
R
R
R
R
i
n R
i
n
i
i
i
i
i
C
C
r
n
r
n
= =
−
−
−
−
=
=
=∑
1
1
1
1
1
5
1
;
==
∑ =
5
1. (8)
рис. 2. Схема визначення коефіцієнтів бажа-
ності лінгвістичних оцінок шкали “рівень ком-
петентності експертів”
R R R R R
C C C C C C
C
C
C
C
C
C
ДB B C H ДH
ДB B C H ДH
ДB B C
⇓ ⇓ ⇓ ⇓ ⇓
+ + + + =
⇓ ⇓ ⇓ ⇓ ⇓
+ + +
CC
C
C
C
H ДH
ДB B C H ДH
+ =
⇓ ⇓ ⇓ ⇓ ⇓
+ + + + =
1
1a a a a a
НАУКА, ТЕХНоЛогІЇ, ІННовАЦІЇ • 2018, № 3
Science, technologieS, innovationS • 2018, № 330
Але з виразу (7) і, як результат, з виразу (8)
витікає лінійна залежність і “цінностей” оцінок
РКЕ CR
~
i
від їх рангу, і, відповідно, коефіцієнтів
бажаності цих оцінок aR
~
i
, що не відповідає, як
зазначалося вище, особливостям людського
мислення. Тому більш прийнятним слід вважати
застосування МРП, який усуває недоліки по-
переднього методу, що застосовує ранги, шля-
хом математичного формулювання “задачі про
лідера” [6; 29].
У процесі застосування МРП кожна оцін-
ка R~i досліджуваної шкали (1) уявляється для
наочності вершиною деякого графа (рис. 3).
Зв’язок між вершинами у нашому випадку, вра-
ховуючи особливості шкали (1) та ранжирування
(5), відповідає правилу суворого впорядкування
оцінок.
Якщо оцінка R~i має перевагу над іншою R~j
(R~i R
~
j ), то на графі існує дуга (i→j), і навпаки,
якщо (R~i ≺ R
~
j ), то на графі існує дуга (j→i).
Розглянемо спосіб розв’язання задачі.
Спочатку будується матриця С “цінностей”
оцінок:
C
c c c c
c c c c
c c c
j n
j n
i i ij
=
11 12 1 1
21 22 2 2
1 2
... ...
... ...
. . . . . .
... ....
. . . . . .
... ...
c
c c c c
in
n n nj nn1 2
, (9)
елементи якої cij визначаються згідно з пра-
вилом, що є реалізацією такого способу ви-
явлення переваг під час попарного порівняння
альтернатив, як “частина сумарної інтенсив-
ності” [2]:
c
R R
R R
ij
i j
i j
=
2
0
,
,
якщo
якщo
≺
. (10)
Розглянемо, спираючись на [6; 18; 29; 30 та
ін.], конкретні процедури застосування МРП.
Для цього спочатку вводиться поняття ітера-
ційної “цінності” порядку k оцінки R~i, що відо-
бражає її досліджувану “цінність”. Ітераційна
цінність 1-го порядку оцінки R~i позначається як
Ci(1) і обчислюється як сума балів, властивих
цій оцінці:
C ci ij
j
n
( )1
1
=
=
∑ . (11)
Як бачимо, при цьому не враховується “цін-
ність” інших оцінок:
Розподіл балів серед n оцінок задається
вектором:
C C C Cn( ) ( ), ( ), , ( )1 1 1 11 2=[ ]… . (12)
На 2-й ітерації за “цінність” оцінки шкали (1)
приймається ітераційна “цінність” 1-го порядку.
Обчислення здійснюються уже із врахуванням
“цінностей” інших оцінок:
C c Ci ij
j
n
( ) ( )2 1
1
= ⋅
=
∑ . (13)
Вона записується таким вектором:
C C C Cn( ) ( ), ( ), , ( )2 2 2 21 2=[ ]… . (14)
Подальші ітерації здійснюються анало-
гічно:
C A C kk = ⋅ −( )1 . (15)
При цьому:
C( ) , , ,0 0 0 0=( )… . (16)
Процес обчислення полягає в послідовному
застосуванні перетворення, що задається ма-
трицею A, до початкового вектора С(0).
Позначимо через aі(k) нормовану ітерацій-
ну “вагу” k-го порядку і-ї оцінки, що має сенс
коефіцієнта “ваги”:
a ai
i
i
i
n i
i
n
k
C k
C k
k( )= ( )
( )
( )=
=
=∑
∑
1
1
1; . (17)
Процес обчислення нормованої ітераційної
“ваги” оцінки шкали (1) можна остаточно уявити
у вигляді такої формули:
a
λ
ak
k
C k( )=
( )
⋅ ⋅ −( )1
1 , (18)
де λ ak c kij i
i
n
j
n
( )= ⋅ −( )
==
∑∑ 1
11
— сума компонентів
вектора C·C(k–1); k=1, 2, ... .
рис. 3. Граф розстановки пріоритетів на кон-
тинуумі оцінок шкали “рівень компетентності
експертів”
ПроБЛЕМИ НАУКово-ТЕХНІЧНоЇ ДІЯЛЬНоСТІ
ProblemS of Scientific and technological activitieS 31
Якщо матриця C не розкладається, то роз-
глянута процедура, згідно з теоремою Перрона-
Фробеніуса [6; 22; 31], призводить до межово-
го значення максимального числа λ = ( )
→∞
lim
k
C k
матриці C з відповідним вектором:
C C k
k
= ( )
→∞
lim . (19)
Отже, процес обчислення нормованої ітера-
ційної “ваги” оцінки R~i є таким, що сходиться.
Зауважимо, що застосування процесу об-
числення за формулою (18) відрізняється від
простого підсумовування балів тим, що дозво-
ляє врахувати побічні (непрямі, сховані) пере-
ваги однієї оцінки перед іншою.
рЕЗУЛЬТАТИ ДоСЛІДЖЕНЬ
Проведення дефазифікації якісних оці
нок шкали РКЕ. Застосовуючи МРП, розіб’ємо
ранжирування (5) на такі парні порівняння:
R R R R R R R R
R R R R R R
R
ДB B ДB C ДB H ДB ДH
B C B H B ДH
C
R R R
R R
H C ДH
H ДH.
(20)
За допомогою виразу (10) побудуємо відпо-
відну квадратну матрицю суміжності пріорите-
тів цих оцінок (графи 1–6 табл. 1). Обчис-
лення показників CR
~
i
(1) і aR
~
i
(1) на 1-й ітерації
тривіальне і подано в графах 7, 8 табл. 1. Як
бачимо, результатом 1-ї ітерації є лінійні “цін-
ності” і, відповідно, лінійні коефіцієнти бажа-
ності якісних оцінок шкали РКЕ (1), що є непри-
йнятним і вимагає реалізації наступної ітерації
МРП.
Обчислення CR
~
i
(2) на 2-й ітерації застосу-
вання МРП таке:
C
C
C
R
R
R
ДB
C
B
( ) ;
( ) ;
( )
2 1 9 2 7 5 3 1 41
2 1 5 2 3 1 13
2
= ⋅ + ⋅ + + +( )=
= ⋅ + ⋅ +( )=
== ⋅ + ⋅ + +( )=
= ⋅ + ⋅ =
= ⋅ =
1 7 2 5 3 1 25
2 1 3 2 1 5
2 1 1 1
;
( ) ;
( ) .
C
C
R
R
H
ДH
Отримані результати заносяться у графу 9
табл. 1.
Знайшовши сумарну “цінність” усіх п’яти
якісних оцінок РКЕ на 2-й ітерації застосування
МРП
C C C C
C C C
R
i
n
R R
R R R
i
( ) ( ) ( )
( ) ( ) (
2 2 2
2 2 2
1
5
= = + +
+ + +
=
=
∑
ДB B
C H ДH
))
,
=
= + + + + =41 25 13 5 1 85
та користуючись формулами (17), (18), несклад -
но отримати кількісні коефіцієнти бажаності
якісних оцінок шкали РКЕ (графа 10 табл. 1):
a
a
R
R
R
R
C
C
C
C
ДB
ДB
C
З
( )
( )
( )
, ;
( )
( )
( )
2
2
2
41
85
0 4824
2
2
2
13
85
= = =
= = ==
= = =
=
0 1529
2
2
2
25
85
0 2941
2
2
, ;
( )
( )
( )
, ;
( )
( )
(
a
a
R
R
R
R
C
C
C
C
B
B
H
H
22
5
85
0 0588
2
2
2
1
85
0 0118
)
, ;
( )
( )
( )
, .
= =
= = =a
R
RC
CДH
ДH
У табл. 2 подано розрахунки показника
aR
~
i
(k), отримані для наступних ітерацій застосу-
вання МРП. Як бачимо з цієї таблиці, на кожній
Таблиця 1
Квадратна матриця суміжності оцінок шкали рівнів компетентності експертів
R
~
i R
~
Дв R
~
в R
~
З R
~
Н R
~
ДН
І ітерація ІІ ітерація
∑1 α1(1) ∑2 α2
1 2 3 4 5 6 7 8 9 10
R~ДВ 1 2 2 2 2 9 0,36 41 0,4824
R~В 0 1 2 2 2 7 0,28 25 0,2941
R~З 0 0 1 2 2 5 0,20 13 0,1529
R~Н 0 0 0 1 2 3 0,12 5 0,0588
R~ДН 0 0 0 0 1 1 0,04 1 0,0118
Σ 25 1 85 1
НАУКА, ТЕХНоЛогІЇ, ІННовАЦІЇ • 2018, № 3
Science, technologieS, innovationS • 2018, № 332
наступній ітерації значення aR
~
i
(k) уточнюються,
диференціюються і набувають все більшої не-
лінійності.
Вважаємо доцільним рекомендувати для по -
дальшого застосування значення коефіцієнтів
бажаності лінгвістичних оцінок шкали РКЕ (1),
отримані на п’ятій ітерації застосування МРП.
Оскільки, з одного боку, забезпечується дос-
татня точність обчислень, а з іншого боку, нелі-
нійсть зміни коефіцієнтів бажаності. Порівняльні
значення відповідних коефіцієнтів бажаності,
отриманих саме на п’ятій ітерації застосування
МРП, наочно ілюструє рис. 4.
Розроблення рекомендацій щодо агре
гації значень окремих оцінок рівнів компе
тентності експертів у інтегративний показник.
Нехай у оцінюванні рівня компетентності пев-
ного фахівця бере участь m експертів. Від-
разу ж порушується питання щодо об’єднан-
ня їх думок у інтегративний (цілісний) показник,
якому і лише якому відповідно до методології
системного аналізу і теорії ПР [2; 15; 16; 32]
притаманна системна властивість емерджент-
ності. Цей показник у подальшому називати-
мемо індексом компетентності експерта ЕСІ
(Expert Competence Index).
Отримання ЕСІ зводиться до розв’язання
однокрокової задачі ПР (ЗПР) з векторним по-
казником ефективності, в якій головний акцент
робиться на обґрунтуванні та виборі відповідної
функції агрегації окремих оцінок РКЕ.
Загальна функція агрегації має такий вид
[2; 32]:
ECI
mk kij
p
j i
m n p
=
= =
∑1
1 1
1
a
,
,
, (21)
де ЕСІі — позначка індексу компетентності і-го
фахівця; р — показник, що відображає допус-
тимий ступінь компенсації невеликих значень
одних показників РКЕ великими значеннями ін-
ших; akij — коефіцієнт бажаності якісної оцінки
зі шкали (1), наданої j-м експертом k-му фа-
хівцеві; m — кількість експертів, залучених до
оцінювання компетентності і-го фахівця.
Спираючись на вираз (21), розглянемо і
адаптуємо для потреб досліджень більш відо-
мі частинні функції агрегації.
Отже, якщо р=1, то отримуємо адитивну
функцію виду:
ECI
m
k kij
j i
m n
=
= =
∑1
1 1
a
,
,
. (22)
Таблиця 2
результати послідовного застосовування перших дев’яти ітерацій
методу розстановки пріоритетів для встановлення коефіцієнтів бажаності
якісних оцінок шкали рівнів компетентності експертів
R
~
i
Ітерації застосування методу розстановки пріоритетів
i ii iii iv v vi vii viii ix
1 2 3 4 5 6 7 8 9 10
R~ДВ 0,36 0,4824 0,5734 0,6407 0,6914 0,7303 0,7610 0,7856 0,8058
R~В 0,28 0,2941 0,2800 0,2575 0,2345 0,2136 0,1952 0,1793 0,1655
R~З 0,20 0,1529 0,1111 0,0818 0,0619 0,0482 0,0384 0,0312 0,0259
R~Н 0,12 0,0588 0,0311 0,0180 0,0112 0,0074 0,0051 0,0037 0,0027
R~ДН 0,04 0,0118 0,0044 0,0020 0,0010 0,0005 0,0003 0,0002 0,0001
Σ 1 1 1 1 1 1 1 1 1
рис. 4. Номограма, що ілюструє нелінійність
коефіцієнтів бажаності оцінок рівнів компе-
тентності експертів
ПроБЛЕМИ НАУКово-ТЕХНІЧНоЇ ДІЯЛЬНоСТІ
ProblemS of Scientific and technological activitieS 33
Функція агрегації виду (22) — проста і над-
звичайно популярна, наприклад, у практиці
досліджень в економіці, проте її застосування
для інтегративного оцінювання РКЕ викликає
сумніви. Адже, по-перше, щоб показник (22)
дійсно характеризував реальний рівень ком-
петентності певного фахівця, необхідно, аби
спрацював закон великих чисел Чебишева [31].
Але цього неможливо досягти, оскільки суттєве
збільшення чисельного складу експертної групи
можливе, зі зрозумілих обставин, лише за ра-
хунок включення до неї недостатньо кваліфіко-
ваних осіб, що ілюструє наочно рис. 5.
По-друге, адитивна функція агрегації при-
пускає можливість абсолютної компенсації
скільки завгодно малих значень одних оцінок
РКЕ скільки завгодно великими значеннями ін-
ших (безумовно, у межах прийнятої шкали), що
у загальному випадку є неприпустимим.
Якщо потрібне забезпечення приблизно од-
накових рівнів окремих показників РКЕ (р → 0),
то отримуємо такий граничний мультиплікатив-
ний вид функції агрегації:
ECIk kij
j
m
m
* =
=
∏a
1
. (23)
Мультиплікативний підхід, що реалізується
виразом (23), простий і широко поширений за-
вдяки коефіцієнтам і шкалі бажаності Харрінг-
тона в практиці досліджень і “чисто” технічних,
і гуманістичних систем [32–35 та ін.].
Якщо із сутності ЗПР витікає абсолютна не-
припустимість компенсації одних показників
іншими (р → – ∞), тобто необхідно забезпечити
рівномірне “підтягування” усіх показників РКЕ
до їх найкращих значень (скажімо, слід відібра-
ти не просто компетентніших, а найкомпетент-
ніших фахівців), то з виразу (21) отримуємо
функцію агрегації виду:
ECIi
j
ij=mina , (24)
яка характеризує так зване “планування за
вузь ким місцем”.
Якщо ЗПР припускає абсолютну припус-
тимість збільшення одного з показників РКЕ
ціною абсолютного зменшення значень інших
(наприклад, як наслідок суперечливості думок
експертів), тобто р → + ∞, то:
ECIk
j
kij=maxa . (25)
Перевіримо ефективність отриманих ре-
зультатів на такому віртуальному прикладі. Не-
хай експертна група з чисельним складом m=9
осіб експлікує, користуючись шкалою (1), свої
думки щодо компетентності двох фахівців, А і В.
Відповідні результати у вигляді рангів оцінок,
встановлених відповідно до їх ранжирування у
виразі (5), подані у графах 2 і 4 табл. 3.
Отже, з вихідних даних витікає, що обидва
фахівці мають однакову суму рангів, тому нібито
мають однакову компетентність, що підтвер-
джується через застосування функцій агрегації
виду (24) (25). А саме, якщо застосувати таку
функцію агрегації, як “планування за вузьким
місцем” (24), то обидва фахівці мають однаково
“низький РКЕ”:
ECI R
ECI R
A
j
Aj
B
j
Bj
= = ⇒( )=
= = = ⇒( )
min ,
min , .
a
a
0 0112
0 0112
H
H
З іншого боку, якщо звернутися до функції
агрегації (25), то обидва фахівці мають однако-
во “дуже високий РКЕ”:
ECI R
ECI R
A
j
Aj
B
j
Bj
= = ⇒( )=
= = = ⇒( )
max ,
max , .
a
a
0 6914
0 6914
ДB
ДB
Ситуація з визначенням РКЕ для віртуальних
фахівців А і В кардинально змінюється, якщо
перейти до застосування коефіцієнтів бажаності
оцінок. А саме, показник ЕСІ, встановлений для
фахівця А шляхом реалізації адитивного підходу
до агрегації частинних оцінок експертів, в 1,44
разу перебільшує аналогічний показник фахів-
ця В: ECIB=0,2931>ECIA=0,2029. Причому і по-
казник ECIA, і показник ECIB, як бачимо з рис. 4,
відповідають “високому РКЕ R~B”, однак віртуаль-
ний фахівець В усе-таки має перевагу перед фа-
хівцем А. З іншого боку, якщо перейти від “ризи-
кованого” адитивного (22) до більш “обережно-
го” мультиплікативного (23) підходу до агрегації
частинних оцінок РКЕ, то ситуація змінюється
рис. 5. Залежність вірогідності оцінки від чи-
сельності групи
НАУКА, ТЕХНоЛогІЇ, ІННовАЦІЇ • 2018, № 3
Science, technologieS, innovationS • 2018, № 334
і вже фахівець А в 1,15 разу має кращі показ-
ники за фахівця В: ECIA*=0,1210>ECIB*=0,1052.
Причому фахівець В за оцінками експертів має
“звичайний РКЕ R~З”, а показник фахівця А хай
трохи, але вже перейшов до “високого РКЕ R~B”.
Отже, з наведених міркувань витікає, що з двох
фахівців А і В для залучення до праці у складі
експертної групи має бути обраний саме фа-
хівець А.
Так, доведено ефективність застосування
функції агрегації виду (23) для отримання інте-
гративної оцінки РКЕ.
Запропонована методологія сприяє запобі-
ганню так званих у статистиці помилок І–ІІ роду,
коли хороший показник РКЕ відхиляється як
поганий (помилка І роду), а, навпаки, гірший
може бути визначений як прийнятний (помилка
ІІ роду).
вИСНовКИ
Узагальнюючи отримані та подані в цій пу-
блікації нові наукові результати, вкажемо на такі
найбільш важливі положення.
1. Визначено особливу універсальну роль
ЕП у ПР і забезпеченні функціонування гума-
ністичних систем.
2. Методами нечіткої математики розроб-
лено якісну шкалу оцінювання РКЕ, яка уявля-
ється як терм-множина ЛЗ “Рівень компетент-
ності експертів”, що охоплює п’ять термів: “дуже
високий”, “високий”, “середній (звичайний, як
у більшості)”, “низький”, “дуже низький”.
3. За допомогою математичного МРП, відо-
мого також як “задача про лідера”, здійснено
дефазифікацію лінгвістичних оцінок РКЕ шляхом
надання їм відповідних “зважених” коефіцієнтів
бажаності, які нелінійно змінюються. Обґрунто-
вано доцільність подальшого застосування кое-
фіцієнтів бажаності, отриманих на п’ятій ітерації
застосування МРП.
4. Здійснено порівняльний аналіз загаль-
ної методології агрегації частинних показників
рівнів компетентності у інтегративну (цілісну)
оцінку, якій і лише якій притаманна системна
властивість емерджентності. Обґрунтований ви -
бір мультиплікативного підходу до агрегації
окремих оцінок РКЕ, який, на відміну від ади-
тивного, припускає лише часткову компенсацію
невеликих значень одних показників РКЕ вели-
кими значеннями інших.
5. Доведено, що реалізація запропонованої
методології дозволяє запобігти статистичним
помилкам І–ІІ роду, коли оцінка реальної ком-
петенції або занижується (помилка І роду), або
завищується (помилка ІІ роду). Що свідчить про
ефективність такої методології.
Таблиця 3
Ілюстрація ефективності застосування коефіцієнтів бажаності рівнів компетентності
експертів і мультиплікативного підходу для їх агрегації
Експерт
№
оцінювані фахівці
фахівець А фахівець в
ранг оцінки, R
~
i
коефіцієнт
бажаності, αR
~
i
ранг оцінки, R
~
i
коефіцієнт
бажаності, αR
~
i
1 2 3 4 5
1 3 0,0619 5 0,6914
2 3 0,0619 5 0,6914
3 4 0,2345 2 0,0112
4 4 0,2345 2 0,0112
5 5 0,6914 2 0,0112
6 3 0,0619 5 0,6914
7 2 0,0112 3 0,0619
8 4 0,2345 4 0,2345
9 4 0,2345 4 0,2345
Σ 32 1,8263 32 2,6387
ECIi — 0,2029 — 0,2931
ECIi
* — 0,1210 — 0,1052
ПроБЛЕМИ НАУКово-ТЕХНІЧНоЇ ДІЯЛЬНоСТІ
ProblemS of Scientific and technological activitieS 35
6. Подальші дослідження слід проводити в
напрямах розроблення проактивної методоло-
гії оцінювання РКЕ, спираючись на показники
людського чинника, що проявляються у про-
цесах ПР.
СПИСоК вИКорИСТАНИХ ДЖЕрЕЛ
1. Заде Л. Понятие лингвистической переменной и
его применение к принятию приближенных ре-
шений [Текст] / Л. Заде ; под ред. Н. Н. Моисее-
ва, С. А. Орловского ; пер. с англ. Н. И. Ринго. —
М. : Мир, 1976. — 165 с.
2. Надежность и эффективность в технике : спра-
вочник в 10 т. — Т. 3: Эффективность техниче-
ских систем [Текст] / под общ. ред. В. Ф. Уткина,
Ю. В. Крючкова. — М. : Машиностроение, 1988. —
328 с.
3. Миркин Б. Г. Проблема группового выбора
[Текст] / Б. Г. Миркин. — М. : Наука, 1974. —
256 с.
4. Китаев Н. Н. Групповые экспертные оценки
[Текст] / Н. Н. Китаев. — М. : Знание, 1975. —
64 с.
5. Бешелев С. Д. Математико-статистические мето-
ды экспертных оценок [Текст] / С. Д. Бешелев,
Ф. Г. Гурвич. — М. : Статистика, 1980. — 263 с.
6. Блюмберг В. А. Какое решение лучше? Метод
расстановки приоритетов [Текст] / В. А. Блюм-
берг, В. Ф. Глущенко. — Л. : Лениздат, 1982. —
160 с.
7. Панкова Л. А. Организация экспертизы и анализ
экспертной информации [Текст] / Л. А. Панко-
ва, А. М. Петровский, М. В. Шнейдерман. — М. :
Наука, 1984. — 117 с.
8. Принятие решений на основе экспертного оце-
нивания [Текст] : метод. пособ. / Е. Н. Ваpакин,
В. А. Желудов, В. Н. Бганцов, С. С. Ибнеев. — Л. :
ВИКИ им. А. Ф. Можайского, 1988. — 88 с.
9. Литвак Б. Г. Экспертные оценки и принятие
решений [Текст] / Б. Г. Литвак. — М. : Патент,
1996. — 272 с.
10. Самохвалов Ю. Я. Экспертное оценивание: ме-
тодический аспект [Текст] / Ю. Я. Самохвалов,
Е. М. Науменко. — К. : ДУIКТ, 2007. — 362 c.
11. Гнатієнко Г. М. Експертні технології прийняття
рішень [Текст] : Монографія / Г. М. Гнатієнко,
В. Є. Снитюк. — К. : ТОВ “Маклаут”, — 2008. —
444 с.
12. Орлов А. И. Организационно-экономическое моде-
лирование. Экспертные оценки : учебник в 3-х ч. —
М. : Изд-во МТУ им. Н. Э. Баумана, 2009. —
Ч. 2: Экспертные оценки [Текст] / А. И. Орлов. —
2011. — 486 с.
13. Насіров Ш. Ш. Багатокрокова процедура вияв-
лення статистично-узгодженої системи переваг
авіадиспетчерів на множині характерних поми-
лок їх діяльності [Текст] / Ш. Ш. Насіров // Ко-
мунальне господарство міст: науково-технічний
збірник. — Вип. 105. — Сер. Технічні науки і
архітектура. — Х. : ХНАМГ, 2012. — С. 461–475.
14. Архипов А. Е. Оценивание уровня компетентно-
сти экспертов по результатам многообъектной
экспертизы [Текст] / А. Е. Архипов, С. А. Архипо-
ва // Економiка та держава. — 2015. — № 6. —
С. 29–33.
15. Перегудов Ф. И. Введение в системный анализ
[Текст] : учеб. пособ. / Ф. И. Перегудов, Ф. П. Та-
расенко. — М. : Высшая школа, 1989. — 367 с.
16. Анфилатов В. С. Системный анализ в управлении
[Текст] : учеб. пособ. / В. С. Анфилатов, А. А. Еме -
льянов, А. А. Кукушкин. — М. : Финансы и стати-
стика, 2002. — 368 с.
17. Кофман А. Введение в теорию нечетких множеств
[Текст] / А. Кофман ; под ред. С. И. Травкина ;
пер. с франц. В. Б. Кузьмина. — М. : Радио и
связь, 1982. — 432 с.
18. Процедура фазифікації / дефазифікації балів шкал
оцінювання [Текст] / В. В. Камишин, О. М. Ре-
ва, Л. М. Макаренко, О. М. Медведенко // Елек-
троніка та системи управління : наук. журн. — К. :
НАУ, 2012. — № 3. — С. 53–62.
19. Черчмен У. Введение в исследование операций
[Текст] / У. Черчмен, Р. Акофф, Л. Арноф ; пер.
с англ. — М. : Наука, 1968. — 486 с.
20. Евланов Л. Г. Экспертные оценки в управлении
[Текст] / Л. Г. Евланов, В. А. Кутузов. — М. : Эко-
номика, 1978. — 133 с.
21. Денисов А. А. Теория больших систем управления
[Текст] : учеб. пособ. / А. А. Денисов, Д. Н. Ко-
лесников. — Л. : Энергоиздат, 1981. — 238 с.
22. Батищев Д. И. Методы оптимального проектиро-
вания [Текст] : учеб. пособ. для вузов / Д. И. Ба-
тищев. — М. : Радио и связь, 1984. — 248 с.
23. Лакин Г. Ф. Биометрия [Текст] / Г. Ф. Лакин. — М. :
Высшая школа, 1990. — 352 с.
24. Саати Т. Принятие решений. Метод анализа ие-
рархий [Текст] / Т. Саати. — М. : Радио и связь,
1993. — 314 с.
25. Герасимов Б. М. Системы поддержки принятия
решений: проектирование, применение, оцен-
ка эффективности [Текст] / Б. М. Герасимов,
М. М. Дивизинюк, И. Ю. Субач. — Севастополь,
2004. — 320 с.
26. Рева О. М. Комплексне визначення кількісних ха-
рактеристик недисциплінованої поведінки сту-
дентів [Текст] / О. М. Рева, І. А. Добрянський,
А. А. Чабак // Рідна школа : щомісяч. наук.-
пед. журн. — К. : Деміур, 2004. — № 12. —
С. 63–66.
27. Козелецкий Ю. Психологическая теория реше-
ний [Текст] / Ю. Козелецкий ; под ред. Б. В. Би-
рюкова ; пер. с польск.: Г. Е. Минца, В. Н. По-
руса. — М. : Прогресс, 1979. — 504 с.
28. Скотт П. Психологические оценки и принятие ре-
шений [Текст] / Плаус Скотт. — М. : ИИД “Фи-
линъ”, 1998. — 368 с.
29. Берж К. Теория графов и ее применение [Текст] /
К. Берж ; пер. с. франц. — М. : ИЛ, 1962. — 320 с.
30. Камишин В. В. Методи системного аналізу у ква-
ліметрії навчально-виховного процесу [Текст] :
Монографія. — К. : ТОВ “Інформаційні системи”,
2012. — 270 с.
31. Бронштейн И. Н. Справочник по математике (для
инженеров и учащихся вузов) [Текст] / И. Н. Брон-
штейн, К. А. Семендяев ; пер. с нем. ; под ред.:
Г. Гроше, В. Циглера. — Лейпциг : Тойбнер ; М. :
Наука, 1981. — 719 с.
32. Мультипликативный подход к интегральной оценке
уровня профессиональной подготовки авиацион-
ных операторов [Текст] / А. Н. Рева, В. А. Шуль-
гин, С. П. Борсук [и др.] // Elmi m cmu l r :
Jurnal Milli Aviasiya Akademiyasinin, — Baki, Iyul —
Sentyabr 2014. — Child. 16. — C. 42-53.
33. Harrington E. C. Industr. Qualitu control / E. C. Har-
rington. — 1965. Vol. 21, № 10.
34. Адлер Ю. П. Планирование эксперимента при
поиске оптимальных условий [Техt] / Ю. П. Ад-
лер, Е. В. Маркова, Ю. В. Грановский. — М. :
Наука, 1976. — 278 с.
35. Камышин В. В. Совершенствование шкалы Хар-
рингтона для интегральной оценки академи-
ческой одаренности [Текст] / В. В. Камышин,
НАУКА, ТЕХНоЛогІЇ, ІННовАЦІЇ • 2018, № 3
Science, technologieS, innovationS • 2018, № 336
А. Н. Рева // Обдаровані діти — інтелектуальний
потенціал держави: м-ли Міжнар. наук.-практ.
конф., 26–30 вересня 2013 року, смт Гаспра, АР
Крим. — К. : Інститут обдарованої дитини НАПН
України, 2013 — С. 23–33.
reference
1. Zade L. (1976) Ponyatie lingvisticheskoy peremen-
noy i ego primenenie k prinyatiyu priblizhennykh
resheniy [The concept of a linguistic variable and
its application to the adoption of approximate solu-
tions]. Ed. N. N. Moiseeva, S. A. Orlovskogo. Transl.
from English N. I. Ringo. Moscow (in Russ.): Mir
Publ., 165 р.
2. Nadezhnost i effektivnost v tekhnike: Effektivnost
tekhnicheskikh sistem [Reliability and efficiency
in technology: a guidebook of 10 volumes. Vol. 3:
Efficiency of technical systems] Ed. V. F. Utkina,
Yu. V. Kryuchkova. Moscow (in Russ.): Mashino-
stroenie Publ., 1988, 328 р.
3. Mirkin B. G. (1974) Problema gruppovogo vybora
[The problem of group choice]. Moscow (in Russ.):
Nauka Publ., 256 р.
4. Kitaev N. N. (1975) Gruppovye ekspertnye otsenki
[Group expert assessments]. Moscow (in Russ.):
Znanie Publ., 64 р.
5. Beshelev S. D., Gurvich F. G. (1980) Matematiko-
statisticheskie metody ekspertnykh otsenok [Mathe -
matical and statistical methods of expert evalua-
tion]. Moscow (in Russ.): Statistika Publ., 263 р.
6. Blyumberg V. A., Glushchenko V. F. (1982) Kakoe
reshenie luchshe? Metod rasstanovki prioritetov
[What is the best solution? Method of arrangement
of priorities]. Leningrad (in Russ.): Lenizdat Publ.,
160 р.
7. Pankova L. A., Petrovskiy A. M., Shneyderman M. V.
(1984) Organizatsiya ekspertizy i analiz ekspert-
noy informatsii [Organization of examination and
analysis of expert information]. Moscow (in Russ.):
Nauka Publ., 117 р.
8. Vapakin Ye. N., Zheludov V. A., Bgantsov V. N., Ib-
neev S. S. Prinyatie resheniy na osnove ekspert-
nogo otsenivaniya [Decision-making on the basis
of expert evaluation]. Toolkit. Leningrad (in Russ.):
VIKI im. A. F. Mozhayskogo Publ., 1988. — 88 р.
9. Litvak B. G. (1996) Ekspertnye otsenki i prinyatie
resheniy [Expert assessments and decision-ma-
king]. Moscow (in Russ.): Patent Publ., 272 р.
10. Samokhvalov Yu. Ya., Naumenko Ye. M. (2007) Eks-
pertnoe otsenivanie: metodicheskiy aspekt [Expert
evaluation: the methodological aspect]. — Kyiv
(in Ukr.): DUIKT Publ., 362 р.
11. Hnatiienko H. M., Snytiuk V. Ye. (2008) Ekspertni
tekhnolohii pryiniattia rishen [Expert Decision-
Making Technologies]. Monograph. Kyiv (in Ukr.):
TOV “Maklaut” Publ., 444 р.
12. Orlov A. I. (2011) Organizatsionno-ekonomicheskoe
modelirovanie. Еkspertnye otsenki [Organizational-
economic modeling. Expert assessments]. A text-
book in 3 volumes. Moscow (in Russ.): Izd-vo MTU
im. N. E. Baumana Publ., 486 р.
13. Nasirov Sh. Sh. (2012) Bahatokrokova protsedura
vyiavlennia statystychno-uzghodzhenoi systemy
perevah aviadyspetcheriv na mnozhyni kharak-
ternykh pomylok yikh diialnosti [Multi-year proce-
dure for the identification of the statistically harmo-
nized system of advantages of air traffic controllers
on a set of characteristic errors of their activities].
Komunalne hospodarstvo mist: naukovo-tekhnich-
nyi zbirnyk [Municipal economy of cities: scientific
and technical collection]. Iss. 105, Series of Engi-
neering Sciences and Architecture. Khmelnytskyi
(in Ukr.): KhNAMH Publ., рр. 461–475.
14. Arkhipov A. Ye., Arkhipova S. A. (2015) Otsenivanie
urovnya kompetentnosti ekspertov po rezultatam
mnogoobektnoy ekspertizy [Evaluation of the level
of competence of experts based on the results of
multi-subject expertise]. Yekonomika ta derzhava
[Economy and state]. Vol. 6, рр. 29–33.
15. Peregudov F. I., Tarasenko F. P. (1989) Vvedenie v
sistemnyy analiz [Introduction to system analysis].
Tutorial. Moscow (in Russ.): Vysshaya shkola Publ.,
367 р.
16. Anfilatov V. S., Yemelyanov A. A., Kukushkin A. A.
(2002) Sistemnyy analiz v upravlenii [System analy-
sis in management]. Tutorial. Moscow (in Russ.):
Finansy i statistika Publ., 368 р.
17. Kofman A. (1982) Vvedenie v teoriyu nechetkikh
mnozhestv [Introduction to the theory of fuzzy sets].
Ed. S. I. Travkina. Transl. from French. V. B. Kuz-
mina. Moscow (in Russ.): Radio i svyaz Publ., 432 р.
18. Kamyshyn V. V., Reva O. M., Makarenko L. M., Med -
vedenko O. M. (2012) Protsedura fazyfikatsii /de-
fazyfikatsii baliv shkal otsiniuvannia [The procedure
of phasification / dephasing of scoring scoring
points]. Elektronika ta systemy upravlinnia [Elec-
tronics and control systems]. Kyiv (in Ukr.): NAU
Publ., Vol. 3, рр. 53–62.
19. Cherchmen U., Akoff R., Arnof L. (1968) Vvede-
nie v issledovanie operatsiy [Introduction to the
study of operations]. Transl. from English. Moscow
(in Russ.): Nauka Publ., 486 р.
20. Yevlanov L. G., Kutuzov V. A. (1978) Ekspertnye
otsenki v upravlenii [Expert assessments in mana-
gement]. Moscow (in Russ.): Ekonomika Publ.,
133 р.
21. Denisov A. A., Kolesnikov D. N. (1981) Teoriya bol-
shikh sistem upravleniya [The Theory of Large Cont -
rol Systems]. Tutorial. Leningrad (in Russ.): Ener-
goizdat Publ., 238 р.
22. Batishchev D. I. (1984) Metody optimalnogo proek-
tirovaniya [Methods of Optimal Design]. Tutorial.
Moscow (in Russ.): Radio i svyaz Publ., 248 р.
23. Lakin G. F. (1990) Biometriya [Biometrics]. Moscow
(in Russ.): Vysshaya shkola Publ., 352 р.
24. Saati T. (1993) Prinyatie resheniy. Metod analiza
ierarkhiy [Decision-making. The method of analyz-
ing hierarchies]. Moscow (in Russ.): Radio i svyaz
Publ., 314 р.
25. Gerasimov B. M., Divizinyuk M. M., Subach I. Yu.
(2004) Sistemy podderzhki prinyatiya resheniy: pro -
ektirovanie, primenenie, otsenka effektivnosti [Deci-
sion Support Systems: Projecting, Application, Eva-
luation of Efficiency]. Sevastopol (in Ukr.), 320 р.
26. Reva O. M., Dobrianskyi I. A., Chabak A. A. (2004)
Kompleksne vyznachennia kilkisnykh kharakterys-
tyk nedystsyplinovanoi povedinky studentiv [Comp -
lex definition of quantitative characteristics of
non-disciplined student behavior] Ridna shkola:
shchomisiach. nauk.-ped. zhurn. Kyiv (in Ukr.):
Demiur Publ., Vol. 12, рр. 63–66.
27. Kozeletskyi Yu. (1979) Psykholohycheskaia teo-
ryia reshenyi [Psychological Theory of Solutions].
Ed. B. V. Byriukova. Transl. from Poland: H. E. Myn-
tsa, V. N. Porusa. Moscow (in Russ.): Prohress
Publ., 504 р.
28. Skott P. (1998) Psikhologicheskie otsenki i prinya-
tie resheniy [Psychological evaluation and deci-
sion-making]. Moscow (in Russ.): IID “Filin” Publ.,
368 р.
29. Berzh K. (1962) Teoriya grafov i ee primenenie [The
theory of graphs and its application]. Transl. from
French. Moscow (in Russ.): IL Publ., 320 р.
ПроБЛЕМИ НАУКово-ТЕХНІЧНоЇ ДІЯЛЬНоСТІ
ProblemS of Scientific and technological activitieS 37
30. Kamyshyn V. V. (2012) Metody systemnoho analizu
u kvalimetrii navchalno-vykhovnoho protsesu [Me-
thods of system analysis in the qualimetry of the
educational process]. Monohrafiia. Kyiv (in Ukr.):
TOV “Informatsiini systemy” Publ., 270 р.
31. Bronshteyn I. N., Semendyaev K. A. (1981) Spra-
vochnik po matematike (dlya inzhenerov i ucha-
shchikhsya vuzov) [Handbook on mathematics (for
engineers and students of universities)]. Transl.
from German. Ed. G. Groshe, V. Tsiglera. — Leyptsig:
Toybner; Moscow (in Russ.): Nauka Publ., 719 р.
32. Reva A. N., Shulgin V. A., Borsuk S. P. et al. Bor-
suk Multiplikativnyy podkhod k integralnoy otsenke
urovnya professionalnoy podgotovki aviatsionnykh
operatorov [A multiplicative approach to the inte-
grated assessment of the level of training of aviation
operators] Elmi m cmu l r : Jurnal Milli Aviasiya
Akademiyasinin, Baki, Iyul — Sentyabr 2014. —
Child. 16. рр. 42–53.
33. Harrington E. C. (1965) Industr. Qualitu control. Vol.
21, no. 10.
34. Adler Yu. P., Markova Ye. V., Granovskiy Yu. V.
(1976) Planirovanie eksperimenta pri poiske opti-
malnykh usloviy [Planning an experiment in search
of optimal conditions]. Moscow (in Russ.): Nauka
Publ., 278 p.
35. Kamyshуn V. V., Reva A. N. (2013) Sovershenstvo-
vanie shkaly Kharringtona dlya integralnoy otsenki
akademicheskoy odarennosti [Improving the Har-
rington Scale for Integral Assessment of Academ-
ic Giftedness] Obdarovanі dіty — іntelektualnyi
potentsіal derzhavy [Gifted Children is Intellectual
Potential of the State] materials of the Interna-
tional Scientific and Practical Conference, Septem-
ber 26–30, Gaspra, Crimea, Kyiv (in Ukr.): Gifted
Child Institute of National Academy of Sciences of
Ukraine, pp. 23–33.
o. m. reva, Doctor of Science in Engineering, Professor
v. v. Kamyshyn, Doctor of Science in Pedagogy
determination method for integrative indicator of exPert comPetence
Abstract. A special universal role of expert procedures in a decision-making process and functioning of hu-
manistic systems has been obtained. By methods of fuzzy mathematics, a qualitative scale for assessing the
competence of experts has been developed and proposed. The scale is a term-set of the linguistic variable “Ex-
pert competence level” and covers five terms: “very high”, “high”, “average (normal)”, “low”, “very low”. Using
mathematical method of prioritization, which is also called as “the task of the leader”, defuzzification of linguistic
assessments of expert competence levels was carried out. This happens through providing them with appropriate,
non-linearly changing “weighted” coefficients of desirability. A comparative analysis of the general methodology
of aggregation of particular indicators of competency levels into an integrative (integral) assessment, which alone
is inherent in the system property of emergence, is carried out. The choice of the multiplicative approach to the
aggregation of private competency assessments is justified, which, unlike the additive one, allows only partial
compensation of small values of some indicators of competence levels by large values for others. An example
of the effectiveness of the multiplicative approach is given. It is proved that the implementation of the proposed
procedures makes it possible to avoid statistical errors of the І–ІІ kind when the evaluation of real competence is
either underestimated (error of the first kind) or overestimated (error of the second kind).
Keywords: expert procedures, expert competence, qualitative measurement scale, linguistic variable, defuzzifi-
cation, desirability coefficients, multiplicative aggregation.
А. Н. рева, д-р техн. наук, професор
в. в. Камишин, д-р пед. наук
МЕТоД оПрЕДЕЛЕНИЯ ИНТЕгрАТИвНого ПоКАЗАТЕЛЯ КоМПЕТЕНТНоСТИ ЭКСПЕрТА
Резюме. Выявлено особую универсальную роль экспертных процедур в принятии решений и обеспечении
функционирования гуманистических систем. Методами нечеткой математики разработана и предложена
качественная шкала оценивания компетентности экспертов, которая представляется как терм-множество
лингвистической переменной “Уровень компетентности экспертов” и охватывает пять термов: “очень вы-
сокий”, “высокий”, “средний (обычный, как у большинства)”, “низкий”, “очень низкий”. С помощью ма-
тематического метода расстановки приоритетов, известного также как “задача о лидере”, осуществле-
но дефаззификацию лингвистических оценок уровней компетентности экспертов путем предоставления
им соответствующих, нелинейно изменяющихся “взвешенных” коэффициентов желательности. Проведен
сравнительный анализ общей методологии агрегации частных показателей уровней компетентности в
интегративную (целостную) оценку, которой и только которой присуще системное свойство эмерджентно-
сти. Обоснован выбор мультипликативного подхода к агрегации частных оценок компетентности, который,
в отличие от аддитивного, допускает лишь частичную компенсацию небольших значений одних показателей
уровней компетентности большими значениями других. Приведен пример эффективности мультиплика-
тивного подхода. Доказано, что реализация предложенных процедур позволяет избежать статистических
ошибок І — ІІ рода, когда оценка реальной компетенции или занижается (ошибка І рода), или завышается
(ошибка ІІ рода).
Ключевые слова: экспертные процедуры, компетентность экспертов, качественная шкала измерений,
лингвистическая переменная, дефаззификация, коэффициенты желательности, мультипликативная агре-
гация.
НАУКА, ТЕХНоЛогІЇ, ІННовАЦІЇ • 2018, № 3
Science, technologieS, innovationS • 2018, № 338
ІНФорМАЦІЯ Про АвТорІв
рева олексій Миколайович — д-р техн. наук, професор, завідувач кафедри “Організації авіаційних переве-
зень і послуг” Національного авіаційного університету, п-т Космонавта Комарова, 1, м. Київ, 03058, Україна;
ran54@meta.ua
Камишин володимир вікторович — д-р пед. наук, с.н.с., член-кореспондент НАПН України, в.о. директора
Українського інституту науково-технічної експертизи та інформації, вул. Антоновича, 180, м. Київ, Україна,
03680; +38 (044) 521-00-10
information aboUt the aUthorS
reva o.m.— Doctor of Science in Engineering, Professor, Head of department, National Aviation University, 1,
Kosmonavtа Komarova Av., Kyiv, 03058, Ukraine; ran54@meta.ua
Kamyshyn v. v. — Doctor of Science in Pedagogy, Corresponding member of the NAES of Ukraine, director of
Ukrainian Institute of Scientific and Technical Expertise and Information, 180, Antonovуchа Str., Kyiv, Ukraine, 03680;
+38 (044) 521-00-10
ИНФорМАЦИЯ оБ АвТорАХ
рева А.Н. — д-р техн. наук, профессор, заведующий кафедрой “Організации авиационніх перевозок и
услуг” Национального авиационного университета, п-т Космонавта Комарова, 1, г. Киев, 03058, Украина;
ran54@meta.ua
Камышин в.в. — д-р пед. наук, с.н.с., член-кореспондент НАПН Украины, в.о. директора Украинско-
го института научно-технической экспертизы и информации, ул. Антоновича, 180, г. Киев, Украина, 03680;
+38 (044) 521-00-10
До УвАгИ НАУКовЦІв!
УкрІНТЕІ ЗАПровАДИв ПоСЛУгУ
ДЛЯ ДИСТАНЦІЙНого оБСЛУговУвАННЯ СПоЖИвАЧІв
Комплексне інформаційне обслуговування — це створені в УкрІНТЕІ періодичні
інформаційні матеріали з найактуальніших питань наукового, науково-технічного та
інноваційного розвитку і трансферу технологій щомісячно в on-line режимі впродовж
року.
Пропонуємо вам інформаційні пакети:
• “Наука, технології, інновації” — 6 видань щомісячно;
• “Комплексний інформаційний пакет” — 9 видань щомісячно.
Детальніше на сайті УкрІНТЕІ: www.uintei.kiev.ua
КоНТАКТИ:
тел. (044) 521-00-39, 521-09-48, e-mail: uintei.ua@gmail.com,
uintei.info@gmail.com, sale@uintei.kiev.ua
Проблеми науково-технічної діяльності
Рева О.М., Камишин В.В.
Метод визначення інтегративного
показника компетентності експерта 27
|