Про вимірювання наукової ефективності

У статті обговорено проблеми оцінювання ефективності наукової діяльності, зокрема роботи наукових колективів. Порівняно два підходи до вирішення цього завдання: експертне оцінювання та використання даних про цитованість опублікованих робіт. З огляду на актуальність дискусії про переваги та недолік...

Повний опис

Збережено в:

Бібліографічні деталі
Опубліковано в: :	Вісник НАН України
Дата:	2013
Автори:	Мриглод, О.І., Кенна, Р., Головач, Ю.В., Берш, Б.
Формат:	Стаття
Мова:	Українська
Опубліковано:	Видавничий дім "Академперіодика" НАН України 2013
Теми:	Наукометрія і видавнича справа
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/68232
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Про вимірювання наукової ефективності / О.І. Мриглод, Р. Кенна, Ю.В. Головач, Б. Берш // Вісн. НАН України. — 2013. — № 10. — С. 76-85. — Бібліогр.: 22 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1859816819917848576
author	Мриглод, О.І. Кенна, Р. Головач, Ю.В. Берш, Б.
author_facet	Мриглод, О.І. Кенна, Р. Головач, Ю.В. Берш, Б.
citation_txt	Про вимірювання наукової ефективності / О.І. Мриглод, Р. Кенна, Ю.В. Головач, Б. Берш // Вісн. НАН України. — 2013. — № 10. — С. 76-85. — Бібліогр.: 22 назв. — укр.
collection	DSpace DC
container_title	Вісник НАН України
description	У статті обговорено проблеми оцінювання ефективності наукової діяльності, зокрема роботи наукових колективів. Порівняно два підходи до вирішення цього завдання: експертне оцінювання та використання даних про цитованість опублікованих робіт. З огляду на актуальність дискусії про переваги та недоліки кожного з підходів, здійснено спробу відповісти на запитання: наскільки добре корелюють між собою експертні оцінки та наукометричні індекси й чи можна їх використовувати взаємозамінно? В статье обсуждаются проблемы оценивания эффективности научной деятельности, в частности работы исследовательских коллективов. Сравниваются два подхода к решению этой задачи: экспертные оценки и использование данных о цитировании опубликованных работ. В связи с актуальностью дискуссии о преимуществах и недостатках каждого из подходов делается попытка дать ответ на вопрос: насколько хорошо коррелируют между собой экспертные оценки и наукометрические индексы и взаимозаменяемы ли они. We discuss problems of scientific evaluation, making particular emphasis on research group evaluation. In order to perform such an assessments two basic approaches could be used: expert judgments and analysis of the citation history of publications. Each of these approaches has its advantages and drawbacks. Here we make a comparison and address the question of whether a set of automated, scientometric or bibliometric indicators is a suitable substitute for, or component of, peer-review at the level of the research group or department.
first_indexed	2025-12-07T15:22:42Z
format	Article
fulltext	76 ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА У статті обговорено проблеми оцінювання ефективності наукової діяльності, зокрема роботи наукових колективів. Порівняно два підходи до вирішення цього завдання: експертне оцінювання та використання даних про цитованість опублікованих робіт. З огляду на актуальність дискусії про переваги та недоліки кожного з підходів, здійснено спробу відповісти на запитання: наскільки добре корелюють між собою експертні оцінки та наукометричні індекси й чи можна їх використовувати взаємозамінно? Ключові слова: наукометрія, ефективність наукових груп. УДК 001+655 О.І. МРИГЛОД 1, Р. КЕННА 2, Ю.В. ГОЛОВАЧ 1, Б. БЕРШ 3 1 Інститут фізики конденсованих систем Національної академії наук України вул. Свєнціцького, 1, Львів, 79011, Україна 2 Університет Ковентрі, дослідницький центр прикладної математики Priory St., Coventry, CV1 5FB, United Kingdom 3 Університет Лотарингії Campus de Nancy, B.P. 70239, 54506 Vandœuvre lès Nancy Cedex, France ПРО ВИМІРЮВАННЯ НАУКОВОЇ ЕФЕКТИВНОСТІ © О.І. Мриглод, Р. Кенна, Ю.В. Головач, Б. Берш, 2013 ВСТУП Проблема оцінювання наукової праці, ли- бонь, є ровесницею самої науки [1, 2]. Адже від початку зародження впорядкованого критичного мислення робляться спроби ви- міряти, формалізувати та оцінити одержані результати пізнавальної діяльності. Всі су- часні підходи до оцінювання науки фактич- но є результатом тривалої еволюції форм і методів самої наукової праці [3]. Усі вони, починаючи від найпростіших методів підра- хунку кількості публікацій, числа захище- них аспірантів чи виграних ґрантів і до ана- лізу ступеня впровадження наукових ре- зультатів чи їх експертної оцінки, по кликані зрозуміти роль науки і певним чином «вкласти» її у формальні рамки. Проте жодні з традиційних рамок не при- датні для науки, яку можна розглядати як абсолютно іншу, особливу сферу людської діяльності, що поєднує як рутинну працю, так і елементи творчості. З іншого боку, нау- ка є одним із напрямів державної політики, споживачем бюджетних коштів, тому за- вдання хоча б часткової її формалізації та оцінювання є дійсно актуальним. Про це свідчить поява все нових рейтингів наукових установ і видань, збільшення кількості опу- блікованих звітів різних державних і при- ватних організацій, що займаються вивчен- ням ефективності установ чи країн, а також результатів їх порівняльного аналізу [4, 5]. У світі сучасних інформаційних техноло- гій і засобів автоматичного аналізу великих обсягів бібліографічної інформації за лічені секунди можна підрахувати кількість публі- кацій чи їх цитувань, провести моменталь- ний статистичний аналіз даних та ще й ви- вести результати у вигляді наочних діаграм. Проте спокуса використання автоматич- них процедур з метою порівняння продук- тивності науковців, дослідницьких груп, установ чи країн приховує ряд небезпек. На- віть скрупульозно сформована бібліогра- фічна база даних не є вичерпним джерелом 77ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА інформації, не кажучи вже про цілу низку нюансів, що виникають під час її оброблен- ня. Адже невідомо, яким чином справедливо розподілити умовні бали між співавторами однієї роботи або між кількома установами, до яких одночасно відносить себе один і той самий автор. Так само серед сухої статисти- ки щодо зібраних цитувань важко виділити так звані «негативні цитування», що означа- ють посилання на джерела в контексті їх критики. Неможливо відсіяти частку циту- вань, які були просто скопійовані з чужих списків використаних джерел, часто разом із допущеними помилками [6–8]. На сьогод- ні немає автоматичних процедур, які б дали змогу врахувати ці та інші нюанси. Тому найбільш обґрунтованим і надійним бази- сом для аналізу наукової діяльності нині за- лишається експертна оцінка [9, 10]. Незважаючи на численну критику, по в’язану переважно з можливою су б’єк тив ністю лю ди- ни-експерта (див., наприклад, [11]), взаємне оцінювання у сфері науки (так зване peer- review) традиційно вважають запорукою яко- сті наукових результатів. Одним із найяскра- віших прикладів такого роду оцінювання є незалежне рецензування рукописів, що пода- ються для друку в наукових періодичних ви- даннях. Той самий принцип використовують під час атестацій та захистів: саме колеги- експерти покликані засвідчити рівень пред- ставлених результатів. Однак застосування експертної оцінки для аналізу діяльності вели- ких дослідницьких груп чи установ — справа вельми трудомістка, а отже, затратна як у пла- ні фінансів, так і часу. Саме тому не припиня- ють звучати заклики до пошуку можливої аль- тернативи із застосуванням хоча б часткової автоматизації у сфері наукометрії [12, 13]. З огляду на наявну критику як експертно- го оцінювання, так і автоматичних процедур для одержання наукометричних індика- торів, найбільш виваженим вважають ви- користання комбінованих методів. Сучасні методи автоматичного аналізу даних та кіль- кісні індикатори пропонується залучати як допоміжну ланку в процедурі експертного оцінювання [14]. У цій статті ми порівняємо результати оцінювання ефективності наукових колек- тивів на основі двох різних підходів: рецен- зування та аналізу одержаних цитувань. Го- ловне запитання, відповідь на яке шукати- мемо в нашому аналізі, — наскільки добре корелюють експертні оцінки та наукоме- тричні індекси та чи можна їх використову- вати взаємозамінно? Метою статті є продо- вження дослідження, розпочатого нами в попередніх роботах [15, 16], а також озна- йомлення з ним якнайширшого кола україн- ських науковців. У дослідженні використа- но як усереднені, або відносні, показники ефективності, які можна розглядати як пев- ний коефіцієнт якості групи, так і абсолютні значення, пропорційні кількості членів гру- пи. Очевидно, що обидва показники є взає- мозалежними: перемноживши відносний показник якості на кількість членів групи, одержимо відповідний абсолютний показ- ник. Обидва значення широко використову- ють на практиці: пропорційно до абсолют- них оцінок якості наукових груп може від- буватися розподіл коштів з боку державних чи інших фондів; відносний же показник якості слугує для порівняння різних науко- вих колективів та складання рейтингів. Очевидно, що одержані результати зале- жатимуть від обраної вибірки даних, адже у різних країнах по-різному організовано на- укові дослідження та неоднаково відбува- ється розвиток окремих галузей науки. Для практичної реалізації наших розрахунків ми обрали дані про роботу наукових груп уні- верситетів Великої Британії з огляду на те, що саме у цій країні централізована офіцій- на процедура аналізу ефективності науки та освіти — Research Assessment Exercise (RAE) [17] — має добре задокументовану традицію, а ії результати є публічно доступними. З часу свого заснування система RAE ґрунтується на експертному судженні спеціально обра- них груп фахівців. З іншого боку, результати оцінювання тієї самої вибірки наукових груп нам люб’язно надала приватна компа- нія «Evidence», яка нещодавно ввійшла до складу Thomson Reuters під назвою Research 78 ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА Analytics [18], а до того самостійно здійсню- вала на замовлення аналіз діяльності науко- вих установ. Отже, надалі ми порівняємо результати аналізу ефективності роботи науковців Ве- ликої Британії, проведеного за двома систе- мами оцінювання — RAE та Evidence. Після короткого ознайомлення з відповідними процедурами оцінювання роботи наукових колективів ми наведемо результати аналізу наукової продуктивності для різних галузей науки та розглянемо кореляцію цих оцінок. ОПИС БРИТАНСЬКОЇ ПРОЦЕДУРИ ОЦІНЮВАННЯ RAE У 1986 р. у Великій Британії вперше було проведено офіційну процедуру оцінюван- ня ефективності наукових та освітніх закла- дів — Research Assessment Exercise. Відтоді що три-п’ять років результати такого оціню- вання стають основою для рейтингування вищих навчальних закладів та розподілу ко- штів між ними. Попередня процедура завер- шилася у 2008 р., а вже нині у британських університетах проводять активну підготовку до наступної, що завершиться у 2014 р. під дещо іншою назвою — Research Excellence Framework та з певними змінами у правилах. В основу системи RAE покладено неза- лежну думку кола експертів, відібраних за тематикою. При цьому головний акцент зро- блено не на індивідуальному показнику, а на вивченні загальної ефективності цілої нау- кової групи. Для цього науковий персонал кожної установи, що бажає взяти участь у розподілі державних фондів, групується згідно зі своєю тематикою на так звані моду- лі — units of assessment (UOA). Зокрема, в рамках процедури RAE-2008 було сформо- вано перелік із 67 тематичних напрямів, які, у свою чергу, розподілено на так звані пане- лі — panels. Для кожної з таких панелей, що позначаються великими латинськими літе- рами, визначено власне коло експертів і на- віть передбачено деякі особливості прове- дення процедури. Хоча загальна стратегія RAE зберігається для всіх галузей знань, у деяких випадках її можна уточнювати. Адже навіть така загальноприйнята форма вира- ження наукового результату, як статті, опу- бліковані у науковій періодиці, для деяких наукових дисциплін є менш значущою, ніж, скажімо, монографії (історичні науки), під- ручники (педагогіка) чи музичні твори (му- зика). Отже, групування окремих дисциплін у тематичні панелі надає всій процедурі більшої гнучкості без втрати універсально- сті. Наведемо приклади тематичних панелей. Панель F: • загальна математика (Pure Mathematics, UOA 20); • прикладна математика (Applied Mathe- matics, UOA 21); • статистика та дослідження операцій (Sta- tistics and Operational Research, UOA 22); • комп’ютерні науки та інформатика (Com- puter Science and Informatics, UOA 23). Панель H: • архітектура та антропогенне середови- ще (Architecture and the Built Environment, UOA 30); • міське та сільське планування (Town and Country Planning, UOA 31); • географія та навколишнє середовище (Geography and Environmental Studies, UOA 32); • археологія (Archaeology, UOA 33). Для того щоб отримати якісну характерис- тику від експертів RAE, кожна установа має подати заявку згідно з оприлюдненими вимо- гами. Як правило, кожне таке подання містить велику кількість заповнених форм, у тому числі дані про науковців, що входять до тема- тичних модулів. Згідно з правилами, кожний дослідник має представити 4 власні публіка- ції за відповідний період. Якщо публікація не є одноосібною, то додатково зазначають вне- сок автора у спільну роботу. За потреби мож- на вказати й іншу додаткову інформацію, важливу для подальшої процедури. Експерти відповідної тематичної панелі вивчають усі подані заявки і генерують так званий якісний профіль для певної наукової групи, що визна- чає, яка частка проаналізованих результатів групи припадає на кожний із 5 рівнів якості: • 4* — найвищий рівень якості у світово- му масштабі; 79ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА • 3* — високий міжнародний рівень якості; • 2* — міжнародний рівень; • 1* — національний рівень; • Unclassified — низький рівень якості або не- від повідність опублікованим критеріям RAE. Підсумковий якісний профіль групи міс- тить три підпрофілі: Output (75%), Environ- ment (20%) та Esteem (5%). Пропорції підпро- філів можуть дещо варіюватися для різних панелей. Підпрофіль Output характеризує якість опублікованих результатів, ґрунтую- чись на оцінюванні поданих у заявці 4 статей на кожного члена групи. Для формування підпрофілю Environment експерти оцінюють інфраструктуру кожної установи, роботу зі студентами, політику щодо персоналу, загаль- ну стратегію тощо. Підпрофіль Esteem дає змогу врахувати всі нагороди, відзнаки, участь у комітетах чи редакційних колегіях та інші особисті заслуги кожного із членів групи. Приклад підсумкового профілю якості та відповідних підпрофілів для одного з уні- верситетів Великої Британії наведено у табл. 1. Алгоритм формування загального профілю, описаний у документації RAE на офіційному веб-сайті [17], містить процеду- ру округлення та врахування кожного з під- профілів відповідно до заданої пропорції. Для того щоб мати змогу коректно порів- няти результати RAE з наукометричними показниками на основі цитованості, замість загального профілю якості ми використову- ємо лише підпрофіль Output. Так само, як і аналіз цитувань, лише він ґрунтується на оцінюванні власне рівня публікацій. Крім очевидних переваг, які дає профіль якості RAE в аспекті престижу чи маркетингу, він визначає розмір фінансування, яке отри- муватиме від держави кожна з груп установи впродовж кількох років. Розподіл коштів що- року визначається за спеціальною форму- лою, яку оголошує Спеціальна рада Анг лії з питань фінансування вищої освіти * — Higher Education Funding Council for England (HEFCE). Зокрема, безпосередньо після за- вершення процедури RAE-2008 використо- вували таку формулу розподілу фондів: (1)s = p4* + 3 p3* + 1 p2, 7 7 де pn — значення із загального профілю яко- сті, що припадає на рівень n, а s можна роз- глядати як відносну міру якості наукових досліджень у певній установі та в рамках певної тематики. Саме цю формулу застосо- вуємо далі для розрахунку відносного показ- ника якості, лише використовуючи значення із підпрофілю Outputs pn* замість значень із загального профілю якості. За термінологією попередніх робіт [19, 20], цей відносний по- казник якості s надалі називатимемо просто якістю групи. Відповідно, абсолютний по- казник якості позначимо великою літерою S і називатимемо силою групи: S = sN, (2) де N — кількість членів групи. Нині RAE та подібні процедури оціню- вання ефективності наукової діяльності в інших країнах, що ґрунтуються на незалеж- ному експертному оцінюванні, вважають найнадійнішими. Проте, очевидно, що їм властиві всі недоліки рецензування, згадані вище. Крім того, масштабна підготовка та проведення такого роду заходів, без сумніву, впливають на нормальну роботу наукових установ, тим самим спотворюючи результат. Такий феномен відомий під назвою «закон Табл. 1. Профіль якості та його підпрофілі для групи біології Університету Йорка [17] Тип профілю Відсоток дослідницької активності кожного рівня якості 4* 3* 2* 1* Unclas- sified Output 14,7 37,5 36,5 10,4 0,9 Environment 55,9 41,0 3,1 0,0 0,0 Esteem 8,2 24,6 36,2 27,1 3,9 Загальний 25,0 35,0 30,0 10,0 0,0 * У Великій Британії немає чіткого поділу на на- вчальні та дослідницькі заклади — за рідкісними ви- нятками, усі наукові дослідження виконують у вищих навчальних закладах. 80 ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА Гудхарта» (Goodhart’s law), що у спрощено- му вигляді формулюється так: коли якась міра сама по собі стає метою, вона перестає бути надійною мірою. Так само, як існують певні організаційні заходи, що дають змогу дещо підвищити імпакт-фактор видання, так фактично кожен вищий навчальний за- клад Великої Британії намагається заздале- гідь забезпечити собі високий результат RAE: певною мірою це стає однією із цілей. Інший, вельми вагомий, недолік експертної мастштабної процедури — її вартість. З од- ного боку, затратною у фінансовому плані є сама робота експертів. З іншого боку, цих експертів залучають саме з наукової сфери, тобто значну частку свого робочого часу вони присвячують додатковим обов’язкам. З огляду на викладене вище, зрозуміло, що періодично з’являються дослідження, які порівнюють рейтинги наукових груп за вер- сією RAE і рейтинги, що ґрунтуються на різ- номанітних наукометричних індикаторах на основі даних про цитування. THOMSON REUTERS RESEARCH ANALYTICS Як уже згадувалося, для того щоб порівняти результати RAE для наукових колективів із показниками їх цитованості, зручно було ско- ристатися даними приватної компанії «Evi- dence» (нині Thomson Reuters Research Ana- lytics). Для порівняння використовували зна- чення так званого показника нормалізованого впливу цитувань, normalised citation impact (NCI), для кожної наукової групи. Значення NCI (далі позначаємо його малою літерою i) є відносним. Відповідно, можна розрахувати абсолютне значення ефективності: I = iN, (3) де N — кількість членів групи. Оскільки на- укові цитування лише опосередковано свід- чать про якість наукових результатів, а біль- шою мірою — про їх вплив на наступні до- слідження, то, оперуючи індикаторами на основі цитованості, вживатимемо терміни середній вплив та загальний вплив (і та І) за аналогією до якості та сили (s та S). Для свого аналізу компанія «Evidence» ви- користовувала дані про цитування з бази Thomson Reuters. Головною перевагою інди- катора NCI є нетривіальна процедура норму- вання, що дає змогу компенсувати відміннос- ті в цитованості різних галузей науки, різних видань чи навіть різних проміжків часу. За- гальну кількість цитувань кожної статті ділять на середню кількість цитувань для певного видання і в певний рік. У процесі розрахунку NCI для колективу науковців нор мовані зна- чення цитованості для кожної статті, внесе- ної до заявки в RAE-2008, сумують та усеред- нюють за кількістю членів групи. ПОРІВНЯННЯ СИСТЕМ ОЦІНЮВАННЯ Наша мета — порівняти між собою від- носні показники s та і, що характеризують якість і середній вплив наукових груп, а та- кож абсолютні показники S та І, що свідчать про силу та загальний вплив колективів зага- лом. Як показано далі, на рівні абсолютних показників кореляція є достатньо сильною, тоді як значення відносних показників, а та- кож рейтинги установ, що ґрунтуються на цих відносних показниках, істотно різнять- ся. Ці висновки переважно зберігаються для різних дисциплін та не залежать від розмі- рів групи. При цьому під розміром групи маємо на увазі її належність до категорії ве- ликої, середньої чи малої. Проблему значен- ня розміру для наукового колективу деталь- но було досліджено в роботах [19, 20], де вперше поставлено питання про значення розміру наукового колективу для його ефек- тивності. Виявилося, є певна залежність якості групи s від кількості її членів N: доки науковий колектив збільшується до певного характерного розміру, доти відносний по- казник його ефективності зростає; коли ж група перевищує певне значення N, поява нових членів не підвищує якості групи. Від- повідно, залежність сили групи S від N не є тривіально лінійною: насправді можна по- бачити, що збільшення розміру групи дає найбільший приріст її сили лише за певних значень Nk < N < Nc. Отже, було визначено три категорії наукових груп: малі (N ≤ Nk), 81ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА середні (Nk ≤ N ≤ Nc) та великі (N ≥ Nc). По- рогові значення змінюються залежно від га- лузі науки, скажімо, для хімії Nk ≈ 18 та Nc ≈ ≈ 36, для соціології Nk ≈ 7 та Nc ≈ 14, а для гео- графії Nk ≈ 15 та Nc ≈ 30. Було показано, що найвищий приріст ефективності дає збіль- шення кількості членів середньої наукової групи [19, 20]. Зважаючи на можливі відмін- ності для груп різних розмірів, у нашій ро- боті окремо виділено великі групи та сукуп- ність малих і середніх (розглядаємо їх разом, оскільки, як правило, великих груп є набага- то більше, ніж малих і середніх). Слід заува- жити, що для різних галузей науки співвід- ношення груп різного розміру не є однако- вим, хоча майже в усіх випадках кількість саме великих колективів найбільша. Якби показник середнього впливу науко- вої групи, розрахований на основі аналізу цитувань, виявлявся тотожним значенню якості, що визначається експертами, мож- на було б сміливо заявляти про можли- вість заміщення трудомісткої процедури рецензування відповідним індексом на основі цитувань. У такому разі кореляція між значеннями s та і була б строго ліній- ною. Для перевірки цієї гіпотези ми обра- ли три дисципліни: хімію та соціологію, які представляють точні й суспільні науки, а також географію, що в інтерпретації RAE поєднує в собі природничий і суспільний аспекти. Таким чином, аналізувалися дані про наукові групи, що ввійшли до таких модулів: • Хімія (Chemistry, UOA 18); • Соціологія (Sociology, UOA 41); • Географія та вивчення навколишнього середовища (Geography and Environmental Studies, UOA 32). Відповідні графіки кореляцій s та і для ви- браних дисциплін із врахуванням розміру наукових груп зображено на рис. 1. Очевид- но, що кореляція в усіх трьох випадках є да- лекою від лінійної. Зберігається лише тен- денція до позитивної кореляції, коли більше s відповідає також більшому і, проте самі зна- чення досить розкидані. Найпростішим ме- тодом перевірки якості лінійної апроксимації є розрахунок коефіцієнта Пірсона: чим ближ- че його абсолютне значення до 1, тим краще точки «лягають» на пряму. Розраховані зна- чення коефіцієнта Пірсона, наведені у табл. 2, свідчать про переважно слабку кореляцію між досліджуваними величинами. Цікаво, що для деяких дисциплін відносні показники ефективності груп корелюють сильніше для груп великого розміру (хімія), тоді як для ін- ших дисциплін кращі показники кореляції спостерігаються для малих і середніх груп. Побудувавши рейтинг установ на основі s, ми бачимо, що він значно відрізняється від аналогічного рейтингу на базі і. Вико- ристаємо спеціальний коефіцієнт Спірмена, що дає змогу порівняти рейтинги між со- бою. Так само, як і для коефіцієнта Пірсона, абсолютне значення коефіцієнта Спірмена, близьке до 1, означає максимальну подіб- ність між двома рейтингами. Розраховані Рис. 1. Залежність між відносними показниками s та і для наукових груп у галузі хімії (а), соціології (б) та гео- графії (в). Трикутниками вершиною донизу показано результати для малих і середніх груп, вершиною догори — для великих груп [15] 82 ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА значення свідчать про те, що рейтинги на основі s та і подібні лише частково — дещо краще для хімії і гірше для соціології та гео- графії (табл. 2). Такі результати суперечать деяким дослідженням, що демонструють ви- сокий рівень кореляції між рейтингами на основі даних RAE та на основі підрахунку цитувань. Наприклад, було знайдено від- носно високі значення коефіцієнта Спірмена для деяких специфічних (з погляду методо- логії оцінювання) дисциплін: 0,80 для музи- ки [21] та 0,81 для археології [22]. У нашому дослідженні можна було очі- кувати доброї кореляції між рейтингами з огляду на використання більш тонкої ме- тодики: урахування окремих підпрофілів, що стало можливим лише для результатів RAE-2008, та продуманий алгоритм норму- вання для розрахунку значень NCI, що є пе- ревагою порівняно з простим підрахунком цитувань. Проте виявилося, що навіть не- тривіальна процедура врахування даних про цитування не дає змоги відтворити резуль- тат рейтингування наукових груп на основі експертних оцінок. Тому нормалізований показник впливу на основі цитувань не мож- на назвати альтернативою рецензуванню. Тепер порівняємо абсолютні показники: загальний вплив наукової групи І та її силу S. Знову ж таки, якби результат рецензування повністю збігався з наукометричними інди- каторами на основі цитувань, ці дві величи- ни були б лінійно взаємозалежними. На рис. 2 показано, як насправді співвідносять- ся S та І для трьох обраних дисциплін. Бачи- мо, що перемноживши відносні значення і та s на розмір групи N (формули (2) і (3)), ми одержали досить добре скорельовані аб- солютні показники. В усіх трьох випадках чітко видно, що значення дещо розкидані, проте зосереджені в околі прямої лінії. Це спричинено тим, що показники ефективнос- ті груп ніби набувають ваги, пропорційної кількості членів групи: показники великих груп (як статистично надійніші) тепер ма- ють більше значення, ніж показники малих груп. У табл. 3 наведено відповідні значення коефіцієнта лінійної кореляції Пірсона, що підтверджують значну лінійну скорельова- ність величин S та І. З огляду на те, що абсо- лютні показники не резонно використову- вати для складання рейтингів, немає сенсу обраховувати коефіцієнти Спірмена. Нормовані, або ж відносні, показники ефективності наукових груп дають змогу порівняти середню результативність груп Табл. 2. Значення коефіцієнтів кореляції між відносними показниками s та і для наукових колективів Великої Британії з різних дисциплін Дисципліна Коефіцієнт Пірсона Коефіцієнт Спірмена усі групи великі групи малі й середні групи Хімія 0,60 0,82 0,34 0,62 Соціологія 0,49 0,29 0,64 0,47 Географія 0,51 0,13 0,42 0,47 Табл. 3. Значення коефіцієнтів кореляції між абсолютними показниками S та І наукових колективів Великої Британії для різних дисциплін Дисципліна Коефіцієнт Пірсона усі групи великі групи малі й середні групи Хімія 0,96 0,96 0,79 Соціологія 0,88 0,82 0,73 Географія 0,92 0,56 0,93 Табл. 4. Значення коефіцієнтів кореляції між абсолютними та відносними показниками ефективності наукових колективів Великої Британії для різних дисциплін Дисципліна Коефіцієнт Пірсона для відносних показників s та і для абсолютних показників S та І Біологія 0,60 0,97 Фізика 0,48 0,96 Інженерія 0,34 0,92 Історія 0,34 0,88 83ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА різного розміру. Скажімо, за результатами RAE-2008 приблизно однаковий рейтинг отримали групи з історії з двох різних уста- нов — Відкритого університету (Open Uni- versity) та Університету Ґламорґана (Univer- sity of Glamorgan) при тому, що розміри цих наукових колективів відрізняються більше, ніж утричі. Проте деякі завдання, такі як розподіл ресурсів, виконуються пропорцій- но до сили групи і тому враховують абсолют- ні показники ефективності. Результати по- рівняння свідчать про те, що сила групи більш-менш корелює з її загальним впливом. Тому в деяких випадках для економії часу та зусиль замість процедури експертного оці- нювання можна було б використати науко- метричні показники на основі аналізу циту- вань. Для хімії та соціології такий висновок навіть більш справедливий щодо великих груп (табл. 3), і це зрозуміло на інтуїтивному рівні: більша статистика — менші відхилен- ня і надійніший результат. Про причини кра- щої кореляції для малих і середніх наукових груп у галузі географії можна лише припус- кати. Зокрема, важливою відмінністю гео- графії в контексті нашого дослідження є зна- чний міждисциплінарний аспект. За визна- ченням RAE [17], до географічного модуля ввійшли як дослідження природних явищ навколишнього середовища, так і людської діяльності в цьому контексті. Для перевірки висновку про суттєву кореля- цію між показниками сили S та загального впли- ву І наукових груп ми розрахували також ко- ефіцієнти лінійної кореляції для інших дис- циплін: біології, фізики, інженерії та історії. Результати, наведені у табл. 4, свідчать про слабку кореляцію між відносними показника- ми s та і для всіх дисциплін. Висновок про ви- соку кореляцію між абсолютними значеннями S та І також підтверджується в усіх випадках. Зауважимо, що найкраща кореляція (з коефі- цієнтом Пірсона понад 0,90) спостерігається для дисциплін, ближчих до точних наук (hard sciences, за однією з класифікацій в англомов- ній літературі) — біології, фізики та хімії. Так само сильною, хоча з меншим коефіцієнтом ко- реляції (меншим за 0,90), є кореляція між S та І для представників гуманітарної сфери (soft sci- ences) — історії та соціології. Відповідні зна- чення коефіцієнтів кореляції для міждисци- плінарної географії та прикладної інженерії знаходяться десь по середині, в околі 0,92. КОРОТКІ ВИСНОВКИ Підсумовуючи, можна констатувати, що на сьогодні немає стовідсоткової альтернати- ви процедурі експертного оцінювання у сфе- рі науки. Незважаючи на всі недоліки, неза- лежне рецензування залишається найкра- щим гарантом якості наукової роботи. Проте не виключена можливість використання су- часних досягнень наукометричної науки та інформаційних технологій для підтримки прийняття рішень людиною-екс пертом. Різного роду помилки, недоліки процеду- ри автоматичного опрацювання даних, різ- номанітні нюанси, пов’язані з цитуванням, — Рис. 2. Залежність між абсолютними показниками І та S для наукових груп у галузі хімії (а), соціології (б) та географії (в). Трикутниками вершиною донизу показано результати для малих і середніх груп, трикутниками вершиною догори — для великих груп [15] 84 ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА усе це зумовлює високий рівень похибки при намаганні оцінити наукову працю інди- віда чи цілого колективу. Тому цифри, одер- жані в такий спосіб, слабко корелюють з оцінками незалежних експертів. Однак якщо оцінювати загальну ефективність усієї нау- кової групи, то статистична похибка змен- шується тим відчутніше, чим більшим є роз- мір групи. Тому такі зважені оцінки на основі тих самих наукометричних індикаторів да- ють змогу з високою ймовірністю передба- чити експертну оцінку загальної сили групи. Ці висновки справедливі для різних галузей знань, хоча найкраще виконуються для точ- них наук. Отже, можна сформулювати дві головні тези: Оцінки рецензентів та індикатори на осно- ві аналізу цитувань, використані для оціню- вання середньої ефективності наукових груп, корелюють слабко. Тому не можна за- стосовувати наукометричні індикатори для формування рейтингів наукових колективів чи установ без урахування думки експертів. Добре корелюють між собою оцінки рецен- зентів та індикатори на основі аналізу циту- вань, використані для оцінювання загальної ефективності наукових груп. Отже, наукоме- тричні індикатори з певною часткою похибки можна використовувати для виявлення сили або абсолютної ефективності наукових груп. Дослідження проведено в межах проектів: «Динаміка і кооперативні явища в складних фізичних і біологічних середовищах» (7 Рамко- ва угода, FP7-PEOPLE, IRSES project N269139) та «Статистична фізика у різ но маніт них реалізаціях» (7 Рамкова угода, FP7-PEOPLE, IRSES project N295302). СПИСОК ЛІТЕРАТУРИ 1. Основы науковедения / ред. Н. Стефанов, Н. Яхи- ел, Я. Фаркаш и др. — М. : Наука, 1985. — 431 с. 2. Жмудь Л.Я. Зарождение истории науки в Антич- ности. — СПб: Изд. Рус. христ. гум. ин-та, 2002. — ISBN 5-88812-172-X. 3. Добров Г.М. Наука о науке. — К. : Наук. думка, 1989. — ISBN 5-12-001112-8. 4. Butler D. University rankings smarten up // Nature. — 2010. — V. 464. — Р. 16–17. 5. Williams R., de Rassenfosse G., Jensen P., Margin- son S. U21 Ranking of National Higher Education Systems. — University of Melbourne, 2012. 6. Bibliometric evaluation and international bench- marking of the UKs physics research. — Thomson Reuters, 2012. 7. Simkin M.V., Roychowdhury V.P. Stochastic mode- ling of citation slips // Scientometrics. — 2005. — V. 62, N 3. — P. 367–384. 8. Simkin M.V., Roychowdhury V.P. Read before you cite! // Ithaca: Cornell University Library, 2002. 9. van Raan A.F.J. Fatal attraction: Conceptual and methodological problems in the ranking of universi- ties by bibliometric methods // Scientometrics. — 2005. — V. 62, N 1. — Р. 133–143. 10. Derrick G.E., Haynes A., Chapman S., Hall W.D. The Associa- tion between Four Citation Metrics and Peer Rankings of Research Influence of Australian Researchers in Six Fields of Public Health // PLoS ONE. — 2001. — V. 6. — e18521. 11. Bornmann L. The Hawthorne effect in journal peer re- view // Scientometrics. — 2012. — V. 91. — Р. 857–862. 12. Science Metrics // Nature. — http://www.nature. com/metrics. 13. Warner J. Citation Analysis and Research Assessment in the United Kingdom // B. Am. Soc. Inform. Sci. Tech. — 2003. — V. 30, N 1. — P. 26–27. 14. De Bellis N. Bibliometrics and citation analysis: from the science citation index to cybermetrics. USA. — Scarecrow Press, 2009. 15. Mryglod O., Kenna R., Holovatch Yu., Berche B. Abso- lute and specific measures of research group excel- lence // Scientometrics. — 2013. — V. 95, N 1. — P. 115–127. 16. Mryglod O., Kenna R., Holovatch Yu., Berche B. Com- parison of a citation-based indicator and peer review for absolute and specific measures of research-group excel- lence // Scientometrics. — arXiv:1305.6256 [cs.DL]. 17. RAE 2008. — http://www.rae.ac.uk/. 18. Thomson Reuters Research Analytics. — http:// www.evidence.co.uk. 19. Kenna R., Berche B. Critical mass and the dependen- cy of research quality on group size // Scientomet- rics. — 2010. — V. 86, N 2. — P. 527–540. 20. Kenna R., Berche B. Critical masses for academic research groups and consequences for higher education research policy and management // Higher Education Manage- ment and Policy. — 2011. — V. 23, N 3. — P. 1–21. 21. Oppenheim C., Summers M.A.C. Citation counts and the Research Assessment Exercise, part VI. Unit of assessment 67 (music) // Information Research. — 2008. — V. 13, N 2. — P. 342. 22. Norris M., Oppenheim Ch. Citation counts and the Research Assessment Exercise. V Archaeology and the 2001 RAE // Journal of Documentation. — 2003. — V. 59, N 6. — Р. 709–730. Стаття надійшла 20.05.2012 р. 85ISSN 0372-6436. Вісн. НАН України, 2013, № 10 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА О. Мриглод 1, Р. Кенна 2, Ю. Головач 1, Б. Бэрш 3 1 Институт физики конденсированных систем НАН Украины ул. Свенцицкого, 1, Львов, 79011, Украина 2 Университет Ковентри, исследовательский центр прикладной математики Priory St., Coventry, CV1 5FB, United Kingdom 3 Университет Лотарингии Campus de Nancy, B.P. 70239, 54506 Vandœuvre lès Nancy Cedex, France ОБ ИЗМЕРЕНИИ НАУЧНОЙ ЭФФЕКТИВНОСТИ В статье обсуждаются проблемы оценивания эф- фективности научной деятельности, в частности рабо- ты исследовательских коллективов. Сравниваются два подхода к решению этой задачи: экспертные оценки и использование данных о цитировании опубликован- ных работ. В связи с актуальностью дискуссии о преи- муществах и недостатках каждого из подходов делает- ся попытка дать ответ на вопрос: насколько хорошо коррелируют между собой экспертные оценки и нау- кометрические индексы и взаимозаменяемы ли они. O. Mryglod 1, R. Kenna 2, Yu. Holovatch 1, B. Berche 3 1 Institute for Condensed Matter Physics of the National Academy of Sciences of Ukraine 1 Svientsitskii St., 79011, Lviv, Ukraine 2 Coventry University, Applied Mathematics Research Centre Priory St., Coventry, CV1 5FB, United Kingdom 3 Université de Lorraine Campus de Nancy, B.P. 70239, 54506 Vandœuvre lès Nancy Cedex, France ON THE PROBLEM OF SCIENCE EVALUATION We discuss problems of scientific evaluation, mak- ing particular emphasis on research group evaluation. In order to perform such an assessments two basic ap- proaches could be used: expert judgments and analysis of the citation history of publications. Each of these approaches has its advantages and drawbacks. Here we make a comparison and address the question of wheth- er a set of automated, scientometric or bibliometric in- dicators is a suitable substitute for, or component of, peer-review at the level of the research group or de- partment.
id	nasplib_isofts_kiev_ua-123456789-68232
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	0372-6436
language	Ukrainian
last_indexed	2025-12-07T15:22:42Z
publishDate	2013
publisher	Видавничий дім "Академперіодика" НАН України
record_format	dspace
spelling	Мриглод, О.І. Кенна, Р. Головач, Ю.В. Берш, Б. 2014-09-20T06:12:13Z 2014-09-20T06:12:13Z 2013 Про вимірювання наукової ефективності / О.І. Мриглод, Р. Кенна, Ю.В. Головач, Б. Берш // Вісн. НАН України. — 2013. — № 10. — С. 76-85. — Бібліогр.: 22 назв. — укр. 0372-6436 https://nasplib.isofts.kiev.ua/handle/123456789/68232 001+655 У статті обговорено проблеми оцінювання ефективності наукової діяльності, зокрема роботи наукових колективів. Порівняно два підходи до вирішення цього завдання: експертне оцінювання та використання даних про цитованість опублікованих робіт. З огляду на актуальність дискусії про переваги та недоліки кожного з підходів, здійснено спробу відповісти на запитання: наскільки добре корелюють між собою експертні оцінки та наукометричні індекси й чи можна їх використовувати взаємозамінно? В статье обсуждаются проблемы оценивания эффективности научной деятельности, в частности работы исследовательских коллективов. Сравниваются два подхода к решению этой задачи: экспертные оценки и использование данных о цитировании опубликованных работ. В связи с актуальностью дискуссии о преимуществах и недостатках каждого из подходов делается попытка дать ответ на вопрос: насколько хорошо коррелируют между собой экспертные оценки и наукометрические индексы и взаимозаменяемы ли они. We discuss problems of scientific evaluation, making particular emphasis on research group evaluation. In order to perform such an assessments two basic approaches could be used: expert judgments and analysis of the citation history of publications. Each of these approaches has its advantages and drawbacks. Here we make a comparison and address the question of whether a set of automated, scientometric or bibliometric indicators is a suitable substitute for, or component of, peer-review at the level of the research group or department. Дослідження проведено в межах проектів: «Динаміка і кооперативні явища в складних фізичних і біологічних середовищах» (7 Рамкова угода, FP7-PEOPLE, IRSES project N269139) та «Статистична фізика у різно маніт них реалізаціях» (7 Рамкова угода, FP7-PEOPLE, IRSES project N295302). uk Видавничий дім "Академперіодика" НАН України Вісник НАН України Наукометрія і видавнича справа Про вимірювання наукової ефективності Об измерении научной эффективности On the problem of science evaluation Article published earlier
spellingShingle	Про вимірювання наукової ефективності Мриглод, О.І. Кенна, Р. Головач, Ю.В. Берш, Б. Наукометрія і видавнича справа
title	Про вимірювання наукової ефективності
title_alt	Об измерении научной эффективности On the problem of science evaluation
title_full	Про вимірювання наукової ефективності
title_fullStr	Про вимірювання наукової ефективності
title_full_unstemmed	Про вимірювання наукової ефективності
title_short	Про вимірювання наукової ефективності
title_sort	про вимірювання наукової ефективності
topic	Наукометрія і видавнича справа
topic_facet	Наукометрія і видавнича справа
url	https://nasplib.isofts.kiev.ua/handle/123456789/68232
work_keys_str_mv	AT mriglodoí provimírûvannânaukovoíefektivností AT kennar provimírûvannânaukovoíefektivností AT golovačûv provimírûvannânaukovoíefektivností AT beršb provimírûvannânaukovoíefektivností AT mriglodoí obizmereniinaučnoiéffektivnosti AT kennar obizmereniinaučnoiéffektivnosti AT golovačûv obizmereniinaučnoiéffektivnosti AT beršb obizmereniinaučnoiéffektivnosti AT mriglodoí ontheproblemofscienceevaluation AT kennar ontheproblemofscienceevaluation AT golovačûv ontheproblemofscienceevaluation AT beršb ontheproblemofscienceevaluation

Про вимірювання наукової ефективності

Репозитарії

Схожі ресурси