Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок

Запропоновано методику з застосуванням когнітивної комп’ютерної графіки для визначення в групі експертів високоузгоджених підгруп та експертів-«єретиків» з суттєво відмінними думками. Розглянуто різні політики прийняття рішень з урахуванням результатів оброблення експертних оцінок....

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2013
Hauptverfasser:	Єршов, Ю.В., Пасько, С.П., Пасько, В.П.
Format:	Artikel
Sprache:	Ukrainian
Veröffentlicht:	Центр досліджень науково-технічного потенціалу та історії науки ім. Г.М. Доброва НАН України 2013
Schriftenreihe:	Наука та наукознавство
Schlagworte:	Методологія та соціологія науки
Online Zugang:	https://nasplib.isofts.kiev.ua/handle/123456789/49468
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:	Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок / Ю.В. Єршов, С.П. Пасько, В.П. Пасько // Наука та наукознавство. — 2013. — № 1. — С. 84-94. — Бібліогр.: 22 назв. — укр.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	nasplib_isofts_kiev_ua-123456789-49468
record_format	dspace
spelling	nasplib_isofts_kiev_ua-123456789-494682025-02-23T17:23:58Z Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок Когнитивная компютерная графика для анализа согласований экспертных оценок Cognitive Computer Graphics for Analysis of Coherence in Expert Assessments Єршов, Ю.В. Пасько, С.П. Пасько, В.П. Методологія та соціологія науки Запропоновано методику з застосуванням когнітивної комп’ютерної графіки для визначення в групі експертів високоузгоджених підгруп та експертів-«єретиків» з суттєво відмінними думками. Розглянуто різні політики прийняття рішень з урахуванням результатів оброблення експертних оцінок. Предложена методика с использованием когнитивной компьютерной графики для определения в группе экспертов высокосогласованных подгрупп и отдельных экспертов «еретиков» с существенно отличающимися мнениями. Рассмотрены различные политики принятия решений с учетом результатов обработки экспертных оценок. A method for distinguishing between highly cohered sub-groups and “heretic” experts with far distinct opinions by use of cognitive computer graphics is proposed. Various decision-making policies are analyzed in view of results from processing of expert opinions. 2013 Article Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок / Ю.В. Єршов, С.П. Пасько, В.П. Пасько // Наука та наукознавство. — 2013. — № 1. — С. 84-94. — Бібліогр.: 22 назв. — укр. 0374-3896 https://nasplib.isofts.kiev.ua/handle/123456789/49468 338.28 uk Наука та наукознавство application/pdf Центр досліджень науково-технічного потенціалу та історії науки ім. Г.М. Доброва НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Ukrainian
topic	Методологія та соціологія науки Методологія та соціологія науки
spellingShingle	Методологія та соціологія науки Методологія та соціологія науки Єршов, Ю.В. Пасько, С.П. Пасько, В.П. Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок Наука та наукознавство
description	Запропоновано методику з застосуванням когнітивної комп’ютерної графіки для визначення в групі експертів високоузгоджених підгруп та експертів-«єретиків» з суттєво відмінними думками. Розглянуто різні політики прийняття рішень з урахуванням результатів оброблення експертних оцінок.
format	Article
author	Єршов, Ю.В. Пасько, С.П. Пасько, В.П.
author_facet	Єршов, Ю.В. Пасько, С.П. Пасько, В.П.
author_sort	Єршов, Ю.В.
title	Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок
title_short	Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок
title_full	Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок
title_fullStr	Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок
title_full_unstemmed	Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок
title_sort	когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок
publisher	Центр досліджень науково-технічного потенціалу та історії науки ім. Г.М. Доброва НАН України
publishDate	2013
topic_facet	Методологія та соціологія науки
url	https://nasplib.isofts.kiev.ua/handle/123456789/49468
citation_txt	Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок / Ю.В. Єршов, С.П. Пасько, В.П. Пасько // Наука та наукознавство. — 2013. — № 1. — С. 84-94. — Бібліогр.: 22 назв. — укр.
series	Наука та наукознавство
work_keys_str_mv	AT êršovûv kognítivnakompûternagrafíkadlâanalízuuzgodženostíekspertnihocínok AT pasʹkosp kognítivnakompûternagrafíkadlâanalízuuzgodženostíekspertnihocínok AT pasʹkovp kognítivnakompûternagrafíkadlâanalízuuzgodženostíekspertnihocínok AT êršovûv kognitivnaâkompûternaâgrafikadlâanalizasoglasovanijékspertnyhocenok AT pasʹkosp kognitivnaâkompûternaâgrafikadlâanalizasoglasovanijékspertnyhocenok AT pasʹkovp kognitivnaâkompûternaâgrafikadlâanalizasoglasovanijékspertnyhocenok AT êršovûv cognitivecomputergraphicsforanalysisofcoherenceinexpertassessments AT pasʹkosp cognitivecomputergraphicsforanalysisofcoherenceinexpertassessments AT pasʹkovp cognitivecomputergraphicsforanalysisofcoherenceinexpertassessments
first_indexed	2025-11-24T03:27:42Z
last_indexed	2025-11-24T03:27:42Z
_version_	1849640733842079744
fulltext	Science and Science of Science, 2013, № 184 Застосування експертних оцінок у науково-технічному прогнозуванні має давню історію [1—16]. Нове дихання ме- тоди експертних оцінок отримали остан- нім часом у менеджменті, маркетингу, управлінні проектами, оцінці технологій (technology assessment), форсайтних дослі- дженнях та багатьох інших галузях [17, 18]. Методи визначення показників узагальненої думки експертів та ступе- ню узгодженості їхніх думок запропо- новано в працях [4—8]. Особливої уваги заслуговує питан- ня визначення в певній групі опитаних експертів високоузгоджених підгруп та поодиноких експертів (так званих «єретиків»), чиї оцінки суттєво відріз- няються від узагальненої (усередненої) оцінки всієї групи. Різні підходи до ви- рішення цього питання запропоновано в [5—8] і розвинуто в [19] як когнітивну графіку для аналізу узгодженості екс- пертних оцінок. Когнітивна графіка — це сукупність прийомів і методів обра- зної презентації умов задачі, що дозво- ляє побачити її рішення чи отримати підказку для його знаходження [20, 21]. Дану статтю присвячено комп’ю- терному втіленню одного з підходів до визначення високоузгоджених підгруп експертів і виявлення «єретиків» (ба- зова методика) [19] та його подальшій модернізації. Застосування комп’ютера дозволяє наочно зобразити розподіл взаємної узгодженості експертних оцінок, на- дає можливість визначати наявність високоузгоджених підгруп експертів і так званих «єретиків», чітко їх іденти- фікувати та розраховувати показники узагальненої думки і ступеню узгодже- ності їхніх оцінок для кожної підгрупи. Окремий інтерес має визначення сту- пеня узгодженості (або розбіжності) узагальнених оцінок різних підгруп. Із багатьох різновидів експертних оцінок обрано рангові експертні оцін- ки важливості (доцільності, актуально- сті, критичності тощо) певних об’єктів (напрямків розвитку, проблемних зон, задач, варіантів тощо). Застосування рангових методів ба- зується на тому, що кожному членові певної сукупності завжди можна надати ранг, відповідний його розташуванню на шкалі [22]. Ранжування — менш точ- ний, порівняно, наприклад, з оцінками в балах, спосіб відображення впорядко- ваного відношення між членами сукуп- ності — менш точний тому, що він не дає відомостей про те, наскільки близь- ко розташовані на шкалі різні члени су- купності. Проте, втрачаючи в точності, ранжування виграє в інваріантності щодо розтягування чи стиснення шка- ли, оскільки, якщо розтягнути чи стис- УДК 338.28 Ю.В. Єршов, С.П. Пасько, В.П. Пасько Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок Запропоновано методику з застосуванням когнітивної комп’ютерної графіки для визначення в групі експертів високоузгоджених підгруп та експертів-«єретиків» з суттєво відмінними думками. Розглянуто різні політики прийняття рішень з ура- хуванням результатів оброблення експертних оцінок. © Ю.В. Єршов, С.П. Пасько, В.П. Пасько, 2013 КОГНІТИВНА КОМП’ЮТЕРНА ГРАФІКА ДЛЯ АНАЛІЗУ УЗГОДЖЕНОСТІ ЕКСПЕРТНИХ ОЦІНОК Наука та наукознавство, 2013, № 1 85 нути шкалу (навіть розтягнути чи стис- нути по-різному в її різних областях), ранжування не зміниться. Ця властивість рангової оцінки є вельми важливою, оскільки при баль- ній оцінці вкрай важко забезпечити од- нозначне розуміння всіма експертами ціни бала. Зведення ж оцінок до рангів (ранжування бальних оцінок) завдяки вказаній інваріантності ранжування дозволяє усунути цю складність. Суть базової та модернізованої ме- тодик визначення високоузгоджених підгруп експертів і виявлення «єре- тиків» із застосуванням когнітивної комп’ютерної графіки продемонстро- вано на умовному прикладі оцінки двадцятьма експертами десяти про- блемних зон. Вихідними даними є оцінки кож- ного з m експертів (m = 20) важливості (доцільності, актуальності, критичності тощо) n проблемних зон (n = 10). Ран- гові оцінки представлені числами нату- рального ряду від 1 до 10. Ранг 1 відпові- дає найвищій важливості (доцільності, актуальності, критичності тощо) про- блемної зони, ранг 10 — найнижчий. Умовні вхідні дані представлено в таблиці 1. Визначення узагальненої оцінки експертів Знаходимо суми рангів по кожній проблемній зоні та ранжуємо їх. C ij — ранг, призначений i-тим експертом (1...i...m) j-тій проблемній зоні (1...j...n). Проблем- на зона, яка отримала найменшу суму рангів, є найбільш важлива (доцільна, актуальна, критична тощо), а проблемна Таблиця. 1. Вихідні дані — рангові оцінки 20-ма експертами 10-ти проблемних зон Зона 1 2 3 4 5 6 7 8 9 10 1 Експерт A 10 9 8 7 6 5 4 3 2 1 2 Експерт B 1 2 3 4 5 6 7 8 9 10 3 Експерт C 2 1 3 4 6 7 5 8 9 10 4 Експерт D 8 9 10 7 6 5 4 3 2 1 5 Експерт E 4 7 8 10 6 5 9 3 2 1 6 Експерт F 1 8 6 5 4 9 2 7 10 3 7 Експерт G 5 8 10 3 9 6 7 2 4 1 8 Експерт H 5 7 6 1 9 8 3 10 4 2 9 Експерт I 1 2 3 4 8 9 7 10 5 6 10 Експерт J 10 9 8 7 6 5 4 3 2 1 11 Експерт K 4 5 6 7 8 9 10 1 2 3 12 Експерт L 8 2 1 4 5 10 7 9 3 6 13 Експерт M 8 9 10 7 6 5 4 3 2 1 14 Експерт N 7 6 1 8 10 3 5 9 2 4 15 Експерт O 1 2 3 4 5 6 7 8 9 10 16 Експерт P 1 9 10 5 4 3 2 8 6 7 17 Експерт Q 5 9 1 3 4 6 10 2 8 7 18 Експерт R 1 2 3 4 5 6 7 8 9 10 19 Експерт S 1 2 3 4 5 6 10 9 7 8 20 Експерт T 6 7 9 10 3 4 5 8 2 1 Ю.В. Єршов, С.П. Пасько, В.П. Пасько Science and Science of Science, 2013, № 186 зона, яка отримала найбільшу суму ран- гів — найменш важлива (доцільна тощо). Для нашого прикладу отримаємо наступні результати (табл.2): Зрозуміло, що середніх показників недостатньо, бо вони не відображають особливостей міркувань експертів. Не- достатність середньостатистичної інфор- мації особливо проявляється у випадку, коли спеціалістів екстра-класу (експер- тів) відносно мало і вони вузькопрофіль- ні, їх функціональні обов’язки рідко охо- плюють більше 20% можливостей компа- нії. Тому потрібен подальший аналіз. Таблица 2. Ранги важливості проблемних зон Зона 1 2 3 4 5 6 7 8 9 10 Сума пріоритетів 89 115 112 108 120 123 119 122 99 93 Ранг критичності 1 6 5 4 8 10 7 9 3 2 Аналіз узгодженості оцінок групи експертів Коефіцієнт конкордації W характери- зує ступінь узгодженості оцінок експер- тів. Він змінюється в межах від 0 (повна неузгодженість) до 1 (повна узгодженість) і обраховується за формулою: n 2 jj=112 d W = K ∑ K = m2(n2 — n); m — кількість експертів; n — кількість проблемних зон; d j — відхилення суми рангів, призна- чених j-тій проблемній зоні всіма екс- пертами, від М — середнього арифме- тичного сум рангів, призначених усім проблемним зонам усіма експертами. М обраховується за формулою: ( 1) 2 m nM = + d j обраховується за формулою: Низьке значення коефіцієнта кон- кордації W свідчить про високу роз- біжність оцінок серед експертів усієї групи. Ця розбіжність може бути обу- мовлена наявністю підгруп експертів, всередині яких узгодженість оцінок, а отже й значення коефіцієнта W, висо- кі, але усереднена оцінка експертів од- нієї підгрупи протилежна усередненій оцінці експертів іншої підгрупи. Крім того, можлива значна розбіжність між оцінкою одного або кількох експертів і узагальненою оцінкою більшості екс- пертів. Важливо визначати підгрупи екс- пертів, всередині яких узгодженість оцінок висока, а також експертів, які мають оригінальну точку зору, що значною мірою відрізняється від оцін- ки більшості. На подальших етапах формування й оцінки проблемних зон, а також формування й оцінки варіантів їх вирішення це дозволить або підси- лити позицію більшості експертів, або приєднатися до підгрупи, а можливо і до окремого експерта, чиї оцінки сут- тєво відрізняються від позиції більшо- сті. Для виявлення таких підгруп або окремих експертів підраховуємо коефі- цієнти парної рангової кореляції ραβ для всіх пар експертів за формулою: 2 1 3 1 - 1 ( - ) 6 n jj ab n n = ψ ρ = ∑ КОГНІТИВНА КОМП’ЮТЕРНА ГРАФІКА ДЛЯ АНАЛІЗУ УЗГОДЖЕНОСТІ ЕКСПЕРТНИХ ОЦІНОК Наука та наукознавство, 2013, № 1 87 Тут jψ — різниця (по модулю) рангів, призначених експертами α і β j-тій проблемній зоні: \| \|j i jC Cα βψ = − Кількість усіх пар експертів дорів- нює m(m — 1)/2. Коефіцієнт парної рангової коре- ляції може приймати значення в межах: ─1 ≤ ραβ ≤ +1. Значення ραβ = +1 свідчить про пов- не співпадіння ранжувань, призначе- них експертами α і β (повна узгодже- ність оцінок цих експертів). Значення ραβ = ─1 свідчить про протилежність ранжувань, призначених експертами α і β (оцінка одного експерта прямо про- тилежна оцінці іншого). Наочне виявлення взаємної узгодженості кожної з усіх m(m — 1)/2 пар експертів можливе за допомогою матриці розмірністю m×m, комірки якої забарвлюються різними відтін- ками червоного кольору, якщо 0≤ ραβ ≤+1, та синього кольору, якщо ─1 ≤ ραβ ≤ 0. Колір тим темніший, чим ближче значення ραβ до +1 для червоного ко- льору і ραβ ближче до ─1 для синього кольору. Для значень +0,75≤ ραβ ≤+1 комірки забарвлюються у темно-чер- воний колір, для +0,50≤ ραβ ≤+0,74 — у червоний, для +0,25≤ ραβ ≤+0,49 — у світло-червоний, для +0,01≤ ραβ ≤+0,24 — у рожевий, для ─1≤ ραβ ≤ ─ 0,75 — у темно-синій, для ─ 0,74≤ ραβ ≤ ─ 0,50 у синій, для ─ 0,49≤ ραβ ≤ ─ 0,25 — у блакитний, для ─ 0,24≤ ραβ ≤ ─ 0,01 — у світло-блакитний кольори. У чорно-білому варіанті — чим темні- ший відтінок, тим \|ραβ\| ближче до +1, від’ємні значення виділені курсивом. Оскільки ραβ = ραβ, то матриця симе- трична відносно головної діагоналі. Для нашого випадку (табл.3), значення коефіцієнту конкордації між усіма експер- тами W= 0,042, що свідчить про значний рівень неузгодженості думок експертів. Виявлення високоузгоджених підгруп екс- пертів (базова методика) [19] 1) розглядаємо значення коефіцієн- тів парної рангової кореляції ραβ як „від- стані” між експертами у n-вимірному просторі (чим більше ραβ, тим „ближчі” експерти α і β один до одного); 2) обираємо в матриці коефіцієнтів парної рангової кореляції пару експер- тів α і β, „відстань” між якими міні- мальна (для якої ραβ максимальний); ці експерти утворюють перші два члени високоузгодженої підгрупи; 3) підраховуємо „відстані” всіх ін- ших (m ─ 2) експертів, як від експерта α, так і від експерта β; 4) приєднуємо до високоузгодженої підгрупи експерта γ, для якого „від- стань” з усіх підрахованих у пункті 3) „відстаней” є найменшою; 5) підраховуємо „відстані” всіх ін- ших (m ─ 3) експертів як від експерта α, так і від експерта β та експерта γ; 6) приєднуємо до високоузгодженої підгрупи експерта δ, для якого „від- стань” є найменшою з усіх підрахова- них у пункті 5) „відстаней”; 7) і так далі до останнього m-1 екс- перта; 8) виводимо на екран матрицю ви- явлення високоузгоджених підгруп, в якій послідовність рядків та стовпчиків відповідає послідовності формування високоузгоджених підгруп. Результати виявлення високоузго- джених підгруп експертів на онові ба- зової методики наведено в табл.4. Виявлення високоузгоджених підгруп екс- пертів (модернізована методика) Методика подібна до базової, проте пункти 4) — 7) опрацьовуються по ін- шому алгоритму: 4) приєднуємо до високоузгодже- ної підгрупи експерта γ, для якого сума Ю.В. Єршов, С.П. Пасько, В.П. Пасько Science and Science of Science, 2013, № 188 „відстаней” з усіх підрахованих у пунк- ті 3) „відстаней” є найменшою (макси- мум по сумі ραγ + ργβ); 5) підраховуємо „відстані” всіх ін- ших (m ─ 3) експертів як від експерта α, так і від експерта β та експерта γ; 6) приєднуємо до високоузгодже- ної підгрупи експерта δ, для якого сума „відстаней” є найменшою з усіх підра- хованих у пункті 5) „відстаней” (мак- симум по сумі ραδ + ρδγ + ρδβ); 7) і так далі до останнього m-1 експерта. Результати виявлення високоузго- джених підгруп експертів на основі модернізованої методики наведено в табл.5. Для полегшення сприйняття відмінності в обох методиках підкрес- лено подвійною лінією. Пояснення доцільності переходу до модер- нізованої методики У базовій методиці кожен наступний експерт приєднується до групи за прин- ципом мінімальної відстані (максималь- не ρ) у n-вимірному просторі до будь-яко- го з експертів цієї групи. Проте, мінімаль- на відстань до котрогось з експертів групи не означає, що цільовий експерт має дум- ки, найбільш подібні до думок групи. Цю думку відображено на рис. 1 для чотирьох експертів — α, β, γ, δ у випад- ку двох проблемних зон (двовимірний простір) з зазначенням відстаней. Основна перевага модернізованої ме- тодики — гарантовано високоузгоджені групи експертів з найбільш відмінними думками виявляться найбільш віддале- ними на основній діагоналі в матриці коефіцієнтів парної рангової кореляції з виявленими високоузгодженими група- ми експертів. У базовій методиці цю пару найбільш віддалених підгруп знаходять почерговим перебором значень функції кореляції між підгрупами. На етапах 1) — 3) узгодження за обо- ма методиками вибирається пара α, β так, що ραβ=max{ ραβ ; ραδ; ρδγ ; ρδβ; ραγ; ργβ }. На етапах 4) — 7) за базовою методи- кою вибирають експерта γ (α, β, γ), оскільки ραγ =max{ ραδ; ρδβ; ραγ; ργβ }, хоча в цілому розбіжність думок γ і (α, β) більше, ніж у δ і (α, β). На етапах 4) — 7) за модернізованою ме- тодикою вибирається експерт δ (α, β, δ), тому що (ραδ + ρδβ) = max{ ραδ + ρδβ; ραγ+ ργβ }. Аналіз результатів групування 9) у разі існування високоузгоджених підгруп на головній діагоналі матриці з’являться червоні прямокутники, ко- жен з яких представляє таку підгрупу; від верхніх лівих кутків цих червоних пря- мокутників до їхніх правих нижніх кутків колір комірок матриці змінюється послі- довно від темно-червоних до рожевих. У нашому випадку є дві висо- коузгоджені підгрупи. 10) визначаємо, які саме експерти належать до підгрупи, коефіцієнт кон- кордації W для неї та середнє арифме- тичне ранжування цієї підгрупи. Для нашого прикладу: — 1-а підгрупа (1. Експерт A — 10. Екс- перт J — 4. Експерт D — 13. Експерт M) W=0,976, що свідчить про практично од- накові думки всередині підгрупи; — 2-а підгрупа (19. Експерт S — 2.Експерт B — 15. Експерт O — 18. Екс- 1,1 1,0 2,2 1,21,2 Рис. 1. Пояснення доцільності переходу до модернізованої методики КОГНІТИВНА КОМП’ЮТЕРНА ГРАФІКА ДЛЯ АНАЛІЗУ УЗГОДЖЕНОСТІ ЕКСПЕРТНИХ ОЦІНОК Наука та наукознавство, 2013, № 1 89 Т аб ли ца . 3 . М ат ри ця к ое ф іц іє нт ів п ар но ї р ан го во ї к ор ел яц ії 1.Експерт A 2.Експерт B 3.Експерт C 4.Експерт D 5.Експерт E 6.Експерт F 7.Експерт G 8.Експерт H 9.Експерт I 10.Експерт J 11.Експерт K 12.Експерт L 13.Експерт M 14.Експерт N 15.Експерт O 16.Експерт P 17.Експерт Q 18.Експерт R 19.Експерт S 20.Експерт T 1. Е кс пе рт A -1 ,0 00 -0 ,9 52 0, 95 2 0, 55 2 -0 ,2 00 0, 57 6 0, 13 9 -0 ,6 73 1, 00 0 0, 27 3 -0 ,2 61 0, 95 2 0, 18 8 -1 ,0 00 -0 ,0 79 -0 ,2 36 -1 ,0 00 -0 ,8 91 0, 60 0 2. Е кс пе рт B -1 ,0 00 0, 95 2 -0 ,9 52 -0 ,5 52 0, 20 0 -0 ,5 76 -0 ,1 39 0, 67 3 -1 ,0 00 -0 ,2 73 0, 26 1 -0 ,9 52 -0 ,1 88 1, 00 0 0, 07 9 0, 23 6 1, 00 0 0, 89 1 -0 ,6 00 3. Е кс пе рт C -0 ,9 52 0, 95 2 -0 ,9 27 -0 ,6 73 0, 22 4 -0 ,6 00 -0 ,0 30 0, 69 7 -0 ,9 52 -0 ,3 21 0, 34 5 -0 ,9 27 -0 ,1 39 0, 95 2 0, 01 8 0, 06 7 0, 95 2 0, 77 0 -0 ,6 48 4. Е кс пе рт D 0, 95 2 -0 ,9 52 -0 ,9 27 0, 64 8 -0 ,0 79 0, 69 7 0, 16 4 -0 ,6 24 0, 95 2 0, 32 1 -0 ,4 30 1, 00 0 0, 04 2 -0 ,9 52 0, 13 9 -0 ,3 33 -0 ,9 52 -0 ,8 42 0, 67 3 5. Е кс пе рт E 0, 55 2 -0 ,5 52 -0 ,6 73 0, 64 8 -0 ,1 64 0, 55 2 -0 ,1 76 -0 ,2 24 0, 55 2 0, 72 1 -0 ,3 21 0, 64 8 0, 12 7 -0 ,5 52 -0 ,0 67 -0 ,1 03 -0 ,5 52 -0 ,2 61 0, 66 1 6. Е кс пе рт F -0 ,2 00 0, 20 0 0, 22 4 -0 ,0 79 -0 ,1 64 0, 03 0 0, 35 8 0, 21 2 -0 ,2 00 -0 ,2 24 -0 ,2 12 -0 ,0 79 -0 ,3 58 0, 20 0 0, 47 9 0, 00 6 0, 20 0 0, 04 2 0, 00 6 7. Е кс пе рт G 0, 57 6 -0 ,5 76 -0 ,6 00 0, 69 7 0, 55 2 0, 03 0 0, 35 8 -0 ,2 24 0, 57 6 0, 57 6 -0 ,4 18 0, 69 7 -0 ,1 52 -0 ,5 76 0, 05 5 -0 ,0 18 -0 ,5 76 -0 ,4 18 0, 17 6 8. Е кс пе рт H 0, 13 9 -0 ,1 39 -0 ,0 30 0, 16 4 -0 ,1 76 0, 35 8 0, 35 8 0, 43 0 0, 13 9 -0 ,0 79 0, 26 1 0, 16 4 0, 28 5 -0 ,1 39 0, 17 6 -0 ,3 09 -0 ,1 39 -0 ,0 55 0, 05 5 9. Е кс пе рт I -0 ,6 73 0, 67 3 0, 69 7 -0 ,6 24 -0 ,2 24 0, 21 2 -0 ,2 24 0, 43 0 -0 ,6 73 0, 12 7 0, 58 8 -0 ,6 24 0, 21 2 0, 67 3 -0 ,1 03 -0 ,0 79 0, 67 3 0, 78 2 -0 ,2 97 10 .Е кс пе рт J 1, 00 0 -1 ,0 00 -0 ,9 52 0, 95 2 0, 55 2 -0 ,2 00 0, 57 6 0, 13 9 -0 ,6 73 0, 27 3 -0 ,2 61 0, 95 2 0, 18 8 -1 ,0 00 -0 ,0 79 -0 ,2 36 -1 ,0 00 -0 ,8 91 0, 60 0 11 .Е кс пе рт K 0, 27 3 -0 ,2 73 -0 ,3 21 0, 32 1 0, 72 1 -0 ,2 24 0, 57 6 -0 ,0 79 0, 12 7 0, 27 3 0, 07 9 0, 32 1 -0 ,0 06 -0 ,2 73 -0 ,4 67 0, 17 6 -0 ,2 73 -0 ,0 18 0, 06 7 12 .Е кс пе рт L -0 ,2 61 0, 26 1 0, 34 5 -0 ,4 30 -0 ,3 21 -0 ,2 12 -0 ,4 18 0, 26 1 0, 58 8 -0 ,2 61 0, 07 9 -0 ,4 30 0, 29 7 0, 26 1 -0 ,6 12 0, 03 0 0, 26 1 0, 40 6 -0 ,2 12 13 .Е кс пе рт M 0, 95 2 -0 ,9 52 -0 ,9 27 1, 00 0 0, 64 8 -0 ,0 79 0, 69 7 0, 16 4 -0 ,6 24 0, 95 2 0, 32 1 -0 ,4 30 0, 04 2 -0 ,9 52 0, 13 9 -0 ,3 33 -0 ,9 52 -0 ,8 42 0, 67 3 14 .Е кс пе рт N 0, 18 8 -0 ,1 88 -0 ,1 39 0, 04 2 0, 12 7 -0 ,3 58 -0 ,1 52 0, 28 5 0, 21 2 0, 18 8 -0 ,0 06 0, 29 7 0, 04 2 -0 ,1 88 -0 ,2 48 -0 ,2 24 -0 ,1 88 -0 ,0 42 0, 21 2 15 .Е кс пе рт O -1 ,0 00 1, 00 0 0, 95 2 -0 ,9 52 -0 ,5 52 0, 20 0 -0 ,5 76 -0 ,1 39 0, 67 3 -1 ,0 00 -0 ,2 73 0, 26 1 -0 ,9 52 -0 ,1 88 0, 07 9 0, 23 6 1, 00 0 0, 89 1 -0 ,6 00 16 .Е кс пе рт P -0 ,0 79 0, 07 9 0, 01 8 0, 13 9 -0 ,0 67 0, 47 9 0, 05 5 0, 17 6 -0 ,1 03 -0 ,0 79 -0 ,4 67 -0 ,6 12 0, 13 9 -0 ,2 48 0, 07 9 -0 ,2 97 0, 07 9 -0 ,0 67 0, 28 5 17 .Е кс пе рт Q -0 ,2 36 0, 23 6 0, 06 7 -0 ,3 33 -0 ,1 03 0, 00 6 -0 ,0 18 -0 ,3 09 -0 ,0 79 -0 ,2 36 0, 17 6 0, 03 0 -0 ,3 33 -0 ,2 24 0, 23 6 -0 ,2 97 0, 23 6 0, 26 1 -0 ,5 52 18 .Е кс пе рт R -1 ,0 00 1, 00 0 0, 95 2 -0 ,9 52 -0 ,5 52 0, 20 0 -0 ,5 76 -0 ,1 39 0, 67 3 -1 ,0 00 -0 ,2 73 0, 26 1 -0 ,9 52 -0 ,1 88 1, 00 0 0, 07 9 0, 23 6 0, 89 1 -0 ,6 00 19 .Е кс пе рт S -0 ,8 91 0, 89 1 0, 77 0 -0 ,8 42 -0 ,2 61 0, 04 2 -0 ,4 18 -0 ,0 55 0, 78 2 -0 ,8 91 -0 ,0 18 0, 40 6 -0 ,8 42 -0 ,0 42 0, 89 1 -0 ,0 67 0, 26 1 0, 89 1 -0 ,3 94 20 .Е кс пе рт T 0, 60 0 -0 ,6 00 -0 ,6 48 0, 67 3 0, 66 1 0, 00 6 0, 17 6 0, 05 5 -0 ,2 97 0, 60 0 0, 06 7 -0 ,2 12 0, 67 3 0, 21 2 -0 ,6 00 0, 28 5 -0 ,5 52 -0 ,6 00 -0 ,3 94 Ю.В. Єршов, С.П. Пасько, В.П. Пасько Science and Science of Science, 2013, № 190 Т аб ли ца . 4 . М ат ри ця к ое ф іц іє нт ів п ар но ї р ан го во ї к ор ел яц ії з в ия вл ен им и ви со ко уз го дж ен им и гр уп ам и ек сп ер ті в по б аз ов ій м ет од иц і 1.Експерт A 10.Експерт J 4.Експерт D 13.Експерт M 7.Експерт G 20.Експерт T 5.Експерт E 11.Експерт K 8.Експерт H 9.Експерт I 19.Експерт S 2.Експерт B 15.Експерт O 18.Експерт R 3.Експерт C 12.Експерт L 6.Експерт F 16.Експерт P 14.Експерт N 17.Експерт Q 1. Е кс пе рт A 1, 00 0 0, 95 2 0, 95 2 0, 57 6 0, 60 0 0, 55 2 0, 27 3 0, 13 9 -0 ,6 73 -0 ,8 91 -1 ,0 00 -1 ,0 00 -1 ,0 00 -0 ,9 52 -0 ,2 61 -0 ,2 00 -0 ,0 79 0, 18 8 -0 ,2 36 10 .Е кс пе рт J 1, 00 0 0, 95 2 0, 95 2 0, 57 6 0, 60 0 0, 55 2 0, 27 3 0, 13 9 -0 ,6 73 -0 ,8 91 -1 ,0 00 -1 ,0 00 -1 ,0 00 -0 ,9 52 -0 ,2 61 -0 ,2 00 -0 ,0 79 0, 18 8 -0 ,2 36 4. Е кс пе рт D 0, 95 2 0, 95 2 1, 00 0 0, 69 7 0, 67 3 0, 64 8 0, 32 1 0, 16 4 -0 ,6 24 -0 ,8 42 -0 ,9 52 -0 ,9 52 -0 ,9 52 -0 ,9 27 -0 ,4 30 -0 ,0 79 0, 13 9 0, 04 2 -0 ,3 33 13 .Е кс пе рт M 0, 95 2 0, 95 2 1, 00 0 0, 69 7 0, 67 3 0, 64 8 0, 32 1 0, 16 4 -0 ,6 24 -0 ,8 42 -0 ,9 52 -0 ,9 52 -0 ,9 52 -0 ,9 27 -0 ,4 30 -0 ,0 79 0, 13 9 0, 04 2 -0 ,3 33 7. Е кс пе рт G 0, 57 6 0, 57 6 0, 69 7 0, 69 7 0, 17 6 0, 55 2 0, 57 6 0, 35 8 -0 ,2 24 -0 ,4 18 -0 ,5 76 -0 ,5 76 -0 ,5 76 -0 ,6 00 -0 ,4 18 0, 03 0 0, 05 5 -0 ,1 52 -0 ,0 18 20 .Е кс пе рт T 0, 60 0 0, 60 0 0, 67 3 0, 67 3 0, 17 6 0, 66 1 0, 06 7 0, 05 5 -0 ,2 97 -0 ,3 94 -0 ,6 00 -0 ,6 00 -0 ,6 00 -0 ,6 48 -0 ,2 12 0, 00 6 0, 28 5 0, 21 2 -0 ,5 52 5. Е кс пе рт E 0, 55 2 0, 55 2 0, 64 8 0, 64 8 0, 55 2 0, 66 1 0, 72 1 -0 ,1 76 -0 ,2 24 -0 ,2 61 -0 ,5 52 -0 ,5 52 -0 ,5 52 -0 ,6 73 -0 ,3 21 -0 ,1 64 -0 ,0 67 0, 12 7 -0 ,1 03 11 .Е кс пе рт K 0, 27 3 0, 27 3 0, 32 1 0, 32 1 0, 57 6 0, 06 7 0, 72 1 -0 ,0 79 0, 12 7 -0 ,0 18 -0 ,2 73 -0 ,2 73 -0 ,2 73 -0 ,3 21 0, 07 9 -0 ,2 24 -0 ,4 67 -0 ,0 06 0, 17 6 8. Е кс пе рт H 0, 13 9 0, 13 9 0, 16 4 0, 16 4 0, 35 8 0, 05 5 -0 ,1 76 -0 ,0 79 0, 43 0 -0 ,0 55 -0 ,1 39 -0 ,1 39 -0 ,1 39 -0 ,0 30 0, 26 1 0, 35 8 0, 17 6 0, 28 5 -0 ,3 09 9. Е кс пе рт I -0 ,6 73 -0 ,6 73 -0 ,6 24 -0 ,6 24 -0 ,2 24 -0 ,2 97 -0 ,2 24 0, 12 7 0, 43 0 0, 78 2 0, 67 3 0, 67 3 0, 67 3 0, 69 7 0, 58 8 0, 21 2 -0 ,1 03 0, 21 2 -0 ,0 79 19 .Е кс пе рт S -0 ,8 91 -0 ,8 91 -0 ,8 42 -0 ,8 42 -0 ,4 18 -0 ,3 94 -0 ,2 61 -0 ,0 18 -0 ,0 55 0, 78 2 0, 89 1 0, 89 1 0, 89 1 0, 77 0 0, 40 6 0, 04 2 -0 ,0 67 -0 ,0 42 0, 26 1 2. Е кс пе рт B -1 ,0 00 -1 ,0 00 -0 ,9 52 -0 ,9 52 -0 ,5 76 -0 ,6 00 -0 ,5 52 -0 ,2 73 -0 ,1 39 0, 67 3 0, 89 1 1, 00 0 1, 00 0 0, 95 2 0, 26 1 0, 20 0 0, 07 9 -0 ,1 88 0, 23 6 15 .Е кс пе рт O -1 ,0 00 -1 ,0 00 -0 ,9 52 -0 ,9 52 -0 ,5 76 -0 ,6 00 -0 ,5 52 -0 ,2 73 -0 ,1 39 0, 67 3 0, 89 1 1, 00 0 1, 00 0 0, 95 2 0, 26 1 0, 20 0 0, 07 9 -0 ,1 88 0, 23 6 18 .Е кс пе рт R -1 ,0 00 -1 ,0 00 -0 ,9 52 -0 ,9 52 -0 ,5 76 -0 ,6 00 -0 ,5 52 -0 ,2 73 -0 ,1 39 0, 67 3 0, 89 1 1, 00 0 1, 00 0 0, 95 2 0, 26 1 0, 20 0 0, 07 9 -0 ,1 88 0, 23 6 3. Е кс пе рт C -0 ,9 52 -0 ,9 52 -0 ,9 27 -0 ,9 27 -0 ,6 00 -0 ,6 48 -0 ,6 73 -0 ,3 21 -0 ,0 30 0, 69 7 0, 77 0 0, 95 2 0, 95 2 0, 95 2 0, 34 5 0, 22 4 0, 01 8 -0 ,1 39 0, 06 7 12 .Е кс пе рт L -0 ,2 61 -0 ,2 61 -0 ,4 30 -0 ,4 30 -0 ,4 18 -0 ,2 12 -0 ,3 21 0, 07 9 0, 26 1 0, 58 8 0, 40 6 0, 26 1 0, 26 1 0, 26 1 0, 34 5 -0 ,2 12 -0 ,6 12 0, 29 7 0, 03 0 6. Е кс пе рт F -0 ,2 00 -0 ,2 00 -0 ,0 79 -0 ,0 79 0, 03 0 0, 00 6 -0 ,1 64 -0 ,2 24 0, 35 8 0, 21 2 0, 04 2 0, 20 0 0, 20 0 0, 20 0 0, 22 4 -0 ,2 12 0, 47 9 -0 ,3 58 0, 00 6 16 .Е кс пе рт P -0 ,0 79 -0 ,0 79 0, 13 9 0, 13 9 0, 05 5 0, 28 5 -0 ,0 67 -0 ,4 67 0, 17 6 -0 ,1 03 -0 ,0 67 0, 07 9 0, 07 9 0, 07 9 0, 01 8 -0 ,6 12 0, 47 9 -0 ,2 48 -0 ,2 97 14 .Е кс пе рт N 0, 18 8 0, 18 8 0, 04 2 0, 04 2 -0 ,1 52 0, 21 2 0, 12 7 -0 ,0 06 0, 28 5 0, 21 2 -0 ,0 42 -0 ,1 88 -0 ,1 88 -0 ,1 88 -0 ,1 39 0, 29 7 -0 ,3 58 -0 ,2 48 -0 ,2 24 17 .Е кс пе рт Q -0 ,2 36 -0 ,2 36 -0 ,3 33 -0 ,3 33 -0 ,0 18 -0 ,5 52 -0 ,1 03 0, 17 6 -0 ,3 09 -0 ,0 79 0, 26 1 0, 23 6 0, 23 6 0, 23 6 0, 06 7 0, 03 0 0, 00 6 -0 ,2 97 -0 ,2 24 КОГНІТИВНА КОМП’ЮТЕРНА ГРАФІКА ДЛЯ АНАЛІЗУ УЗГОДЖЕНОСТІ ЕКСПЕРТНИХ ОЦІНОК Наука та наукознавство, 2013, № 1 91 Т аб ли ца . 5 . М ат ри ця к ое ф іц іє нт ів п ар но ї р ан го во ї к ор ел яц ії з в ия вл ен им и ви со ко уз го дж ен им и гр уп ам и ек сп ер ті в по м од ер ні зо ва ні й м ет од иц і 1.Експерт A 10.Експерт J 4.Експерт D 13.Експерт M 7.Експерт G 5.Експерт E 20.Експерт T 11.Експерт K 8.Експерт H 14.Експерт N 16.Експерт P 6.Експерт F 9.Експерт I 12.Експерт L 17.Експерт Q 19.Експерт S 2.Експерт B 15.Експерт O 18.Експерт R 3.Експерт C 1. Е кс пе рт A 1, 00 0 0, 95 2 0, 95 2 0, 57 6 0, 55 2 0, 60 0 0, 27 3 0, 13 9 0, 18 8 -0 ,0 79 -0 ,2 00 -0 ,6 73 -0 ,2 61 -0 ,2 36 -0 ,8 91 -1 ,0 00 -1 ,0 00 -1 ,0 00 -0 ,9 52 10 .Е кс пе рт J 1, 00 0 0, 95 2 0, 95 2 0, 57 6 0, 55 2 0, 60 0 0, 27 3 0, 13 9 0, 18 8 -0 ,0 79 -0 ,2 00 -0 ,6 73 -0 ,2 61 -0 ,2 36 -0 ,8 91 -1 ,0 00 -1 ,0 00 -1 ,0 00 -0 ,9 52 4. Е кс пе рт D 0, 95 2 0, 95 2 1, 00 0 0, 69 7 0, 64 8 0, 67 3 0, 32 1 0, 16 4 0, 04 2 0, 13 9 -0 ,0 79 -0 ,6 24 -0 ,4 30 -0 ,3 33 -0 ,8 42 -0 ,9 52 -0 ,9 52 -0 ,9 52 -0 ,9 27 13 .Е кс пе рт M 0, 95 2 0, 95 2 1, 00 0 0, 69 7 0, 64 8 0, 67 3 0, 32 1 0, 16 4 0, 04 2 0, 13 9 -0 ,0 79 -0 ,6 24 -0 ,4 30 -0 ,3 33 -0 ,8 42 -0 ,9 52 -0 ,9 52 -0 ,9 52 -0 ,9 27 7. Е кс пе рт G 0, 57 6 0, 57 6 0, 69 7 0, 69 7 0, 55 2 0, 17 6 0, 57 6 0, 35 8 -0 ,1 52 0, 05 5 0, 03 0 -0 ,2 24 -0 ,4 18 -0 ,0 18 -0 ,4 18 -0 ,5 76 -0 ,5 76 -0 ,5 76 -0 ,6 00 5. Е кс пе рт E 0, 55 2 0, 55 2 0, 64 8 0, 64 8 0, 55 2 0, 66 1 0, 72 1 -0 ,1 76 0, 12 7 -0 ,0 67 -0 ,1 64 -0 ,2 24 -0 ,3 21 -0 ,1 03 -0 ,2 61 -0 ,5 52 -0 ,5 52 -0 ,5 52 -0 ,6 73 20 .Е кс пе рт T 0, 60 0 0, 60 0 0, 67 3 0, 67 3 0, 17 6 0, 66 1 0, 06 7 0, 05 5 0, 21 2 0, 28 5 0, 00 6 -0 ,2 97 -0 ,2 12 -0 ,5 52 -0 ,3 94 -0 ,6 00 -0 ,6 00 -0 ,6 00 -0 ,6 48 11 .Е кс пе рт K 0, 27 3 0, 27 3 0, 32 1 0, 32 1 0, 57 6 0, 72 1 0, 06 7 -0 ,0 79 -0 ,0 06 -0 ,4 67 -0 ,2 24 0, 12 7 0, 07 9 0, 17 6 -0 ,0 18 -0 ,2 73 -0 ,2 73 -0 ,2 73 -0 ,3 21 8. Е кс пе рт H 0, 13 9 0, 13 9 0, 16 4 0, 16 4 0, 35 8 -0 ,1 76 0, 05 5 -0 ,0 79 0, 28 5 0, 17 6 0, 35 8 0, 43 0 0, 26 1 -0 ,3 09 -0 ,0 55 -0 ,1 39 -0 ,1 39 -0 ,1 39 -0 ,0 30 14 .Е кс пе рт N 0, 18 8 0, 18 8 0, 04 2 0, 04 2 -0 ,1 52 0, 12 7 0, 21 2 -0 ,0 06 0, 28 5 -0 ,2 48 -0 ,3 58 0, 21 2 0, 29 7 -0 ,2 24 -0 ,0 42 -0 ,1 88 -0 ,1 88 -0 ,1 88 -0 ,1 39 16 .Е кс пе рт P -0 ,0 79 -0 ,0 79 0, 13 9 0, 13 9 0, 05 5 -0 ,0 67 0, 28 5 -0 ,4 67 0, 17 6 -0 ,2 48 0, 47 9 -0 ,1 03 -0 ,6 12 -0 ,2 97 -0 ,0 67 0, 07 9 0, 07 9 0, 07 9 0, 01 8 6. Е кс пе рт F -0 ,2 00 -0 ,2 00 -0 ,0 79 -0 ,0 79 0, 03 0 -0 ,1 64 0, 00 6 -0 ,2 24 0, 35 8 -0 ,3 58 0, 47 9 0, 21 2 -0 ,2 12 0, 00 6 0, 04 2 0, 20 0 0, 20 0 0, 20 0 0, 22 4 9. Е кс пе рт I -0 ,6 73 -0 ,6 73 -0 ,6 24 -0 ,6 24 -0 ,2 24 -0 ,2 24 -0 ,2 97 0, 12 7 0, 43 0 0, 21 2 -0 ,1 03 0, 21 2 0, 58 8 -0 ,0 79 0, 78 2 0, 67 3 0, 67 3 0, 67 3 0, 69 7 12 .Е кс пе рт L -0 ,2 61 -0 ,2 61 -0 ,4 30 -0 ,4 30 -0 ,4 18 -0 ,3 21 -0 ,2 12 0, 07 9 0, 26 1 0, 29 7 -0 ,6 12 -0 ,2 12 0, 58 8 0, 03 0 0, 40 6 0, 26 1 0, 26 1 0, 26 1 0, 34 5 17 .Е кс пе рт Q -0 ,2 36 -0 ,2 36 -0 ,3 33 -0 ,3 33 -0 ,0 18 -0 ,1 03 -0 ,5 52 0, 17 6 -0 ,3 09 -0 ,2 24 -0 ,2 97 0, 00 6 -0 ,0 79 0, 03 0 0, 26 1 0, 23 6 0, 23 6 0, 23 6 0, 06 7 19 .Е кс пе рт S -0 ,8 91 -0 ,8 91 -0 ,8 42 -0 ,8 42 -0 ,4 18 -0 ,2 61 -0 ,3 94 -0 ,0 18 -0 ,0 55 -0 ,0 42 -0 ,0 67 0, 04 2 0, 78 2 0, 40 6 0, 26 1 0, 89 1 0, 89 1 0, 89 1 0, 77 0 2. Е кс пе рт B -1 ,0 00 -1 ,0 00 -0 ,9 52 -0 ,9 52 -0 ,5 76 -0 ,5 52 -0 ,6 00 -0 ,2 73 -0 ,1 39 -0 ,1 88 0, 07 9 0, 20 0 0, 67 3 0, 26 1 0, 23 6 0, 89 1 1, 00 0 1, 00 0 0, 95 2 15 .Е кс пе рт O -1 ,0 00 -1 ,0 00 -0 ,9 52 -0 ,9 52 -0 ,5 76 -0 ,5 52 -0 ,6 00 -0 ,2 73 -0 ,1 39 -0 ,1 88 0, 07 9 0, 20 0 0, 67 3 0, 26 1 0, 23 6 0, 89 1 1, 00 0 1, 00 0 0, 95 2 18 .Е кс пе рт R -1 ,0 00 -1 ,0 00 -0 ,9 52 -0 ,9 52 -0 ,5 76 -0 ,5 52 -0 ,6 00 -0 ,2 73 -0 ,1 39 -0 ,1 88 0, 07 9 0, 20 0 0, 67 3 0, 26 1 0, 23 6 0, 89 1 1, 00 0 1, 00 0 0, 95 2 3. Е кс пе рт C -0 ,9 52 -0 ,9 52 -0 ,9 27 -0 ,9 27 -0 ,6 00 -0 ,6 73 -0 ,6 48 -0 ,3 21 -0 ,0 30 -0 ,1 39 0, 01 8 0, 22 4 0, 69 7 0, 34 5 0, 06 7 0, 77 0 0, 95 2 0, 95 2 0, 95 2 Ю.В. Єршов, С.П. Пасько, В.П. Пасько Science and Science of Science, 2013, № 192 перт R — 3. Експерт C) W=0,944, що свідчить про практично однакові дум- ки всередині підгрупи; — 3-я підгрупа (9. Експерт I — 19. Експерт S). Досить цікава підгру- па — коефіцієнт парної рангової коре- ляції між експертами високий: + 0,782, але вони не входять ні в першу, ні в другу високоузгоджену підгрупу. Тоб- то маємо не дві, а три високоузгоджені підгрупи, хоча одна з них включає всьо- го двох експертів. Але для подальшого аналізу дуже важливо взяти до уваги й їхні аргументи, оскільки з історії науки і техніки відомі випадки, коли «єретики», які були в меншості, мали рацію, як Га- лілео Галілей, який всупереч, здавалося б, очевидності, стверджував, що Земля таки вертиться. Коефіцієнти парної рангової коре- ляції між високоузгодженими підгрупа- ми наступні: 1 і 2 підгрупи: — 0,982, 1 і 3 підгрупи: — 0,715, 2 і 3 підгрупи: + 0,76. 11) повторюємо дії пункту 10) для інших високоузгоджених підгруп; 12) у базовій методиці для знахо- дження підгрупи з найбільш віддалени- ми думками підраховуємо коефіцієнти парної рангової кореляції між різними парами високоузгоджених підгруп (між їхніми зваженими середнєарифметич- ними ранжуваннями). В обох методиках коефіцієнт парної рангової кореляції між найбільшими за чисельністю експертів і найбільш відда- леними високоузгодженими підгрупами експертів = — 0,982, що свідчить про прак- тично пролежні думки між підгрупами. 13) аналізуємо результати виконан- ня пунктів 10), 11), 12) для подальшо- го опитування експертів з метою ви- значення їхніх аргументів щодо своїх ранжувань для обґрунтованого вибору найбільш актуальної проблемної зони. Прийняття рішення Політик прийняття рішення може бути декілька, вибір конкретної зале- жить від керівника. Найбільш типові: 1. Тільки на основі усереднених по- казників — за сумою рангів по про- блемних зонах (недоліки такого підходу описувались вище). 2. Після заслуховування представ- ників основних високоузгоджених підгруп з урахуванням усереднених показників. 3. Після заслуховування представни- ків високоузгоджених підгруп, які мають найбільш протилежні думки, з урахуванням усереднених показ- ників. 4. Після заслуховування представ- ників основних високоузгоджених підгруп без урахування усереднених показників. 5. Після заслуховування представ- ників високоузгоджених підгруп, котрі мають найбільш протилежні думки, без урахування усереднених показників. 6. Після заслуховування „єретиків” (у разі їх наявності). Керівнику доцільно вислухати пред- ставників високоузгоджених підгруп з протилежними думками, що відобража- ють найбільш віддалені підходи до роз- витку підприємства, і врахувати розподіл думок експертів у цілому. Такий підхід дозволяє охопити найбільш різні підходи за найменш короткий час, врахувавши загальні настрої. Запропонована модер- нізована методика дозволяє швидше об- робити результати опитування для вияв- лення найбільш антагоністичних підгруп. Висновки У статті розглядається застосування когнітивної комп’ютерної графіки для аналізу узгодженості експертних оцінок. Приводиться базова і модернізована ме- тодика опрацювання експертних оцінок. Демонструється робота програмного за- КОГНІТИВНА КОМП’ЮТЕРНА ГРАФІКА ДЛЯ АНАЛІЗУ УЗГОДЖЕНОСТІ ЕКСПЕРТНИХ ОЦІНОК Наука та наукознавство, 2013, № 1 93 безпечення при різних методиках. Про- грамне забезпечення спеціально створе- но в рамках задачі пошуку пріоритетних напрямків розвитку одного з найбільших операторів зв’язку України. Модернізована методика дещо спрощує опрацювання експертних оцінок, оскільки не виникає задачі по- шуку підгруп з найбільш віддаленими думками після групування експертів по рівню узгодженості. На думку авторів, керівнику при прийнятті рішення варто вислухати представників найбільш віддалених (з найбільш відмінними думками) висо- коузгоджених груп експертів, врахува- ти загальні тенденції. У майбутньому планується пошук нових, більш прости, алгоритмів об- робки результатів опитування експер- тів. Автори мають унікальну можли- вість спостерігати еволюцію підпри- ємства зв’язку на базі даної методики. Це тривалий процес, але такі спосте- реження — фундамент для подальших досліджень. 1. Gordon T., Helmer O. Report on a Long-Range Forecasting Study / T. Gordon, O. Helmer/ The “Rand Corporation”. — Santa Monica, Calif., 1964. 2. Добров Г.М. О предвидении развития науки / Г.М. Добров. // Вопросы философии. — 1964. — № 10. — С. 71 — 83. 3. Глушков В.М. О прогнозировании на основе экспертных оценок / Глушков В.М. // Кибернетика. — 1969. — № 2. — С. 2 — 4. 4. Добров Г.М. Прогнозирование науки и техники / Г.М. Добров. — М.: Наука, 1969. — 208 с. 5. Ершов Ю.В. Исследование и разработка методики коллективной экспрертной оценки для целей прогнозирования научно-технического прогресса. Автореферат диссертации на соискание ученой степени кандидата экономических наук / Ю.В. Ершов. — К.: Институт экономики АН УССР, 1970 — 26 с. 6. Методика программного прогнозирования развития науки и техники / В.М. Глушков, Г.М. Добров, Ю.В. Ершов, Л.С. Козачков, Ю.А. Михеев, Л.П. Смирнов, В.А. Темперанский, И.К. Цикунов, А.С. Фролов. — М.: Госкомитет СМ СССР по науке и технике, 1971. — 113 с. 7. Методика совместного прогнозирования заинтересованными странами — членами СЭВ развития науки и техники / В.М. Глушков, Г.М. Добров и др. — Международный центр научной и технической информации и Отдел научно-технического сотрудничества Секретариата СЭВ, 1975. — 122 с. 8. Экспертные оценки в научно-техническом прогнозировании / Добров Г.М., Ершов Ю.В., Левин Е.И., Смирнов Л.П — К.: Наук. думка, 1974. — 160 с. 9. Experience in Multinational Forecasting of Science and Technology Advance. / V.M.Glushkov, G.M.Dobrov, Yu.V.Yershov, V.I.Maksimenko / Systems Assessment of New Technology: International Perspectives. Experts from IIASA Workshop, July 18 — 22, 1977, CP-78-8, August 1978 / International Institute for Applied Systems Analysis, A-2361. — Laxenburg, Austria. — P. 45 — 59. 10. CMEA Experience in Multinational Forecasting of Science and Technology Advance. / V.M.Glushkov, G.M.Dobrov, Yu.V.Yershov, V.I.Maksimenko // Technological Forecasting & Social Change. Special Double Number: Contributions from Socialist Countries / Guest Editor: G.M. Dobrov. — August 1978. Vol. 12, № 2/3. — P. 111 — 123. 11. Комплексная программа научно-технического прогресса и его социально-экономических последствий по Украинской ССР: Основные направления до 2000 года. — К.: Наук. думка, 1981. — 643 с. 12. Прогнозы развития важнейших областей (направлений) науки в Украинской ССР на период до 2000 года (в 13 выпусках). — К.: Наук. думка, 1990. 13. Voytovich A., Orlenko O. Management Consulting in Ukraine: Ways of Development / A Voytovich, O. Orlenko // Global Business in the Age of Technology: Conf. Proc. — USA, California, 1999. 14. Соловьев В.П., Войтович А.И. Поддержка инновационной деятельности в регионах США: опыт малых предприятий и исследовательских центров / В.П. Соловьев, А.И. Войтович // Проблемы науки. — 2000. — №2. — С. 26 —32. 15. Войтович А.И. Роль экспертов в инновационной деятельности /А.И. Войтович // Проблеми науки. — 2001. — №5. Ю.В. Єршов, С.П. Пасько, В.П. Пасько Science and Science of Science, 2013, № 194 16. Маліцький Б.А., Попович О.С., Соловйов В.П. Методичні рекомендації щодо проведення прогнозно-аналітичного дослідження в рамках Державної програми прогнозування науково-технологічного та інноваційного розвитку України / Б.А. Маліцький, О.С. Попович, В.П. Соловйов. — К.: „Фенікс”, 2004. — 52 с. 17. Соловьев В.П. Инновационная деятельность как системный процесс в конкурентной экономике (Синергетические эффекты инноваций) / В.П. Соловьев. — К.: Феникс, 2006. — 560 с. 18. Маліцький Б.А., Попович О.С., Онопрієнко М.В. Обґрунтування системи науково- технологічних та інноваційних пріоритетів на основі «форсайтних» досліджень / Б.А. Маліцький, О.С. Попович, М.В. Онопрієнко. — К.: Фенікс, 2008. — 86 с. 19. Єршов Ю.В. Прогнозування попиту: когнітивна графіка для аналізу узгодженості оцінок та сегментування ринку / Ю.В. Єршов // Менеджмент та маркетинг: Досягнення і перспективи. Матеріали ІХ Всеукраїнської науково-практичної конференції, 13 березня 2002 року. — К.: «Політехніка», 2002. — с. 89. 20. [Електронний ресурс]. URL: http://ru.wikipedia.org/wiki/ 21. Зенкин А.А. Когнитивная компьютерная графика / А.А. Зенкин [ред. Поспелов Д.А.] — М: Наука, 1991. — 192 с. 22. Kendall M. Rank Correlation Methods / M. Kendall. — N.Y.: Hafner Publishing House, 1955. — 258 p. Одержано 16.01.2013 Ю.В. Єршов, С.П. Пасько, В.П. Пасько Когнитивная компютерная графика для анализа согласований экспертных оценок Предложена методика с использованием когнитивной компьютерной графики для определения в группе экспертов высокосогласованных подгрупп и отдельных экспертов «еретиков» с существенно от- личающимися мнениями. Рассмотрены различные политики принятия решений с учетом результатов обработки экспертных оценок.

Когнітивна комп’ютерна графіка для аналізу узгодженості експертних оцінок

Institution

Ähnliche Einträge