Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп
Пiднiмаються проблеми, пов’язанi iз оцiнюванням наукової ефективностi. Розглядаються екстенсивнi та iнтенсивнi мiри для оцiнювання загальної сили та усередненого показника якостi роботи наукових колективiв. Адже, з одного боку, досi немає однозначних критерiїв та пiдходiв для аналiзу наукової ефект...
Gespeichert in:
| Veröffentlicht in: | Доповіді НАН України |
|---|---|
| Datum: | 2014 |
| Hauptverfasser: | , , , |
| Format: | Artikel |
| Sprache: | Ukrainisch |
| Veröffentlicht: |
Видавничий дім "Академперіодика" НАН України
2014
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/87146 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп / О.І. Мриглод, Р. Кенна, Ю.В. Головач, Б. Берш // Доповiдi Нацiональної академiї наук України. — 2014. — № 3. — С. 75-81. — Бібліогр.: 15 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859746804092895232 |
|---|---|
| author | Мриглод, О.І. Кенна, Р. Головач, Ю.В. Берш, Б. |
| author_facet | Мриглод, О.І. Кенна, Р. Головач, Ю.В. Берш, Б. |
| citation_txt | Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп / О.І. Мриглод, Р. Кенна, Ю.В. Головач, Б. Берш // Доповiдi Нацiональної академiї наук України. — 2014. — № 3. — С. 75-81. — Бібліогр.: 15 назв. — укр. |
| collection | DSpace DC |
| container_title | Доповіді НАН України |
| description | Пiднiмаються проблеми, пов’язанi iз оцiнюванням наукової ефективностi. Розглядаються екстенсивнi та iнтенсивнi мiри для оцiнювання загальної сили та усередненого показника якостi роботи наукових колективiв. Адже, з одного боку, досi немає
однозначних критерiїв та пiдходiв для аналiзу наукової ефективностi. З iншого боку,
при формалiзацiї процедури оцiнювання важливо врахувати вiдмiнностi рiзних галузей науки. Обговорюються результати перевiрки кореляцiї мiж експертними оцiнками та показниками на основi цитованостi для британських наукових груп, що працюють
у рiзних дисциплiнах.
Поднимаются проблемы, связанные с оцениванием научной эффективности. Рассматриваются экстенсивные и интенстивные меры для оценивания общей силы и усредненного показателя качества работы научных коллективов. Ведь, с одной стороны, до сих пор
не существует однозначных критериев и подходов для анализа научной эффективности.
С другой стороны, при формализации процедуры оценивания важно учитывать отличия
разных отраслей науки. Обсуждаются результаты проверки корреляций между экспертными оценками и показателями на основе цитируемости для британских научных групп, которые работают в разных дисциплинах.
The problem of scientific efficiency evaluation is discussed. On the one hand, there is no simple but
reliable way to assess the individual or collective scientific performance. It is a challenge to decide
which approach, i. e. peer-review or citation-based indicators, should be used for this purpose. On
the other hand, differences between the disciplines should be taken into account for the assessment.
We analyze correlations between values of citation-based impact indicators and peer-review scores
for British scientific groups in several academic disciplines, from natural to social sciences and humanities.
|
| first_indexed | 2025-12-01T21:29:05Z |
| format | Article |
| fulltext |
оповiдi
НАЦIОНАЛЬНОЇ
АКАДЕМIЇ НАУК
УКРАЇНИ
3 • 2014
ФIЗИКА
УДК 001.893.530.1
О. I. Мриглод, Р. Кенна, Ю.В. Головач, Б. Берш
Про порiвняння екстенсивної та iнтенсивної мiр
ефективностi наукових груп
(Представлено академiком НАН України В.М. Локтєвим)
Пiднiмаються проблеми, пов’язанi iз оцiнюванням наукової ефективностi. Розгля-
даються екстенсивнi та iнтенсивнi мiри для оцiнювання загальної сили та усередне-
ного показника якостi роботи наукових колективiв. Адже, з одного боку, досi немає
однозначних критерiїв та пiдходiв для аналiзу наукової ефективностi. З iншого боку,
при формалiзацiї процедури оцiнювання важливо врахувати вiдмiнностi рiзних галу-
зей науки. Обговорюються результати перевiрки кореляцiї мiж експертними оцiнками
та показниками на основi цитованостi для британських наукових груп, що працюють
у рiзних дисциплiнах.
Однiєю з характерних рис сучасної науки є те, що кiлькiснi методи дослiджень, якi виникли
i сформувалися в природничих науках, все бiльше поширюються на науки суспiльнi i гу-
манiтарнi [1]. Бiльше того, предметом дослiджень стає сама наука, що породило порiвняно
нову галузь — наукометрiю [2]. Доступнi нинi великi обсяги наукометричних даних зручно
аналiзувати за допомогою методiв та iнструментарiю iнших дисциплiн, таких як наука про
складнi системи [3], теорiя випадкових графiв [4], соцiофiзика [5] тощо. У задачах соцiофi-
зики для розгляду складних соцiальних систем застосовуються не лише методи, а й поня-
тiйний апарат, що виник при вивченнi фiзичних систем (переважно, об’єктiв статистичної
фiзики). Зокрема, при аналiзi наукових груп для розгляду їх структури використовується
теорiя складних мереж [6], а при дослiдженнi ефективностi їх роботи застосовуються ме-
тоди i концепцiї теорiї фазових переходiв [7]. У нашiй роботi мова йтиме про ефективнiсть
роботи наукових колективiв та методи її оцiнювання. Ключовим спостереженням, на якому
базується наш аналiз, є вiдмiннiсть мiж iнтенсивними та екстенсивними характеристиками
цiєї ефективностi.
Хоча питання про оцiнювання наукового доробку дослiджується здавна, проте як три-
вiальнi методи простого пiдрахунку (статей, грантiв тощо), так i сучасний кiлькiсний ана-
лiз наукометричних даних наразi не дають змоги вивести узагальнений показник, який би
© О. I. Мриглод, Р. Кенна, Ю.В. Головач, Б. Берш, 2014
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2014, №3 75
однозначно та коректно вiдображав рiзнi аспекти наукової роботи. Бiльше того, навiть най-
новiшi методи автоматичного збору даних страждають вiд багатьох недолiкiв, а бази даних
є неповними. Безумовно, iснує ще перевiрений часом метод експертної оцiнки, який i досi
вважається найбiльш надiйним (див., наприклад [8]). Прикладом є незалежне рецензування
рукописiв у наукових виданнях. Проте i цей метод пiддається критицi через, скажiмо, вплив
суб’єктивних факторiв на кiнцевий висновок [9]. Крiм того, проведення масштабної експер-
тної процедури вимагає значного часу та затрат. Таким чином, жоден iз можливих пiдходiв
до оцiнювання наукової ефективностi не може вважатися досконалим, проблема балансу-
вання мiж надiйнiстю та простотою неодноразово пiднiмається як у наукометричнiй спiль-
нотi, так i на рiвнi приватних чи державних органiзацiй, що займаються рейтингуванням
та/або управлiнням у сферi науки. Iснує думка, що найкращим вирiшенням є комбiноване
використання наукометричних показникiв та рецензування [10].
Нижче ми розглядаємо проблему взаємної кореляцiї наукометричних показникiв та екс-
пертних оцiнок. Зокрема, ставиться питання про те, чи можна передбачити експертнi ви-
сновки про роботу наукових груп на основi даних про цитованiсть їх публiкацiй, а отже, чи
взаємозамiнними є цi два пiдходи. Продовжуючи нашi дослiдження [11–13], у цiй роботi ми
акцентуємо увагу на особливостях окремих галузей науки.
Постановка задачi та деякi означення. Для дослiджень наукової якостi та впли-
ву використаємо iнтенсивнi та екстенсивнi мiри — концепцiї, запозиченi iз статистичної
фiзики. У цьому контекстi термiн “екстенсивний” використовується для опису загальних
характеристик системи, що залежать вiд її розмiру, тодi як “iнтенсивнi” значення вiдповiд-
ають усередненим показникам. Надалi, ведучи мову про оцiнювання наукової групи, будемо
використовувати два типи показникiв: вiдноснi (iнтенсивнi), що можуть розглядатися як
коефiцiєнт ефективностi групи, тобто усередненi за кiлькiстю її членiв N , та абсолютнi
(екстенсивнi), що характеризують ефективнiсть групи в цiлому i є пропорцiйними до її
розмiру N . Обидвi характеристики дослiдницьких колективiв є важливими та широко ви-
користовуються на практицi: вiдноснi значення ефективностi лягають в основу рейтингiв
та дають змогу порiвняти мiж собою установи або групи рiзного розмiру; натомiсть, розпо-
дiлення коштiв або ресурсiв вiдбувається пропорцiйно до абсолютних значень. Очевидно,
що цi два типи показникiв є взаємозалежними i можуть бути одержанi шляхом множен-
ня/дiлення на N .
У фiзицi екстенсивнi та iнтенсивнi величини, вiдповiдно, позначаються великими та ма-
лими лiтерами. У своїй роботi ми також слiдуємо цiй традицiї. Використовуючи термiноло-
гiю iз попереднiх робiт [11–15], вiдносний показник на основi експертної оцiнки ефективностi
наукового колективу називатимемо якiстю s, а загальну, абсолютну оцiнку якостi — його
силою S (вiд англ. strength)
S = sN, (1)
де N — кiлькiсть членiв групи. Вiдповiдно, вiдносний показник, що базується на основi
пiдрахунку одержаних цитувань, називатимемо середнiм впливом групи i (вiд англ. impact),
тодi як загальний вплив I буде вiдповiдати абсолютному значенню
I = iN. (2)
Вибiр таких найменувань змiнних пояснюється тим, що рiвень цитованостi тiєї чи iншої
наукової публiкацiї iнтерпретується як вплив на подальшi науковi дослiдження, ступiнь
76 ISSN 1025-6415 Reports of the National Academy of Sciences of Ukraine, 2014, №3
використання опублiкованих результатiв в iнших роботах. З iншого боку, бiльш широке
значення слова “якiсть” скорiше спiввiдноситься iз експертною оцiнкою, яка враховує рiзнi
аспекти роботи.
Метою роботи є порiвняння мiж собою вiдносних (s та i) та абсолютних (S та I) по-
казникiв. Iдеально скорельованi значення мали б лягти на пряму лiнiю i означали б, що
результати експертного оцiнювання можуть бути легко передбаченi на основi даних про
цитування i навпаки. Бiльше того, у такому дослiдженнi можна враховувати розмiри груп,
шукаючи кореляцiю не для всiх, а для окремо взятих великих, середнiх або малих груп — цi
та iншi питання, пов’язанi iз розмiром групи та залежнiстю вiд нього ефективностi групи,
дослiджувалися у роботах [14, 15].
Використанi данi. Очевидно, що одержанi результати будуть залежати вiд кожної
окремої вибiрки даних, адже у рiзних країнах по-рiзному органiзовано науковi дослiдження
та неоднаково вiдбувається розвиток галузей науки. В даному випадку дослiдження прово-
дилося на основi даних про ефективнiсть наукових груп у вищих навчальних закладах Ве-
ликобританiї. Це обумовлено тим, що саме там iснує багаторiчна традицiя проведення цен-
тралiзованої процедури оцiнювання ефективностi наукових та освiтнiх закладiв — Research
Assessment Exercise (RAE) (офiцiйна сторiнка RAE 2008 року: http://www.rae.ac.uk/). По-
чинаючи з 1986 р., кожнi три–п’ять рокiв органiзовується масштабна робота з оцiнюван-
ня та рейтингування навчальних закладiв (вiдсоток дослiдних iнститутiв є малим, нато-
мiсть основна кiлькiсть дослiджень здiйснюється саме у ВНЗ). Згiдно iз правилами, ко-
жна установа, що претендує на одержання фiнансової пiдтримки вiд держави, подає вi-
домостi про своїх працiвникiв, якi вiдносяться до рiзних тематичних груп або так зва-
них модулiв — units of assessment (UOA). У поданнi вказується iнформацiя про вибранi
чотири (або менше) публiкацiї кожного науковця, отриманi гранти, присвоєнi нагороди,
кiлькiсть студентiв та аспiрантiв, взаємозв’язки iз виробництвом, доступнi технiчнi ре-
сурси тощо. Залученi до RAE експерти аналiзують кожне подання i формують профiль
якостi для всiх наукових груп, визначаючи, яка частка їх результатiв вiдноситься до ко-
жного iз п’яти рiвнiв якостi: 4* — найвищий рiвень якостi у свiтовому масштабi; 3* —
високий мiжнародний рiвень якостi; 2* — мiжнародний рiвень; 1* — нацiональний рiвень;
Unclassified — низький рiвень якостi або невiдповiднiсть опублiкованим критерiям RAE. Та-
ким чином, кожнiй науковiй групi присвоюється власний профiль якостi, що складається
iз набору п’яти цифр. Наприклад, результуючий профiль для групи з бiологiї (UOA 14)
Унiверситету Кембриджа з N = 213,691: 20 (4*); 40 (3*); 30 (2*); 5 (1*); 5 (Unclassified).
Оприлюдненi профiлi якостi RAE використовуються для розрахунку так званої форму-
ли розподiлу коштiв, якi щорiчно видiляє Спецiальна рада Англiї з питань фiнансуван-
ня вищої освiти — “Higher Education Funding Council for England” (HEFCE). Зокрема,
безпосередньо пiсля завершення попередньої процедури RAE у 2008 р. формула мала ви-
гляд:
s = p4∗ +
3
7
p3∗ +
1
7
p2∗, (3)
де pn∗ — це значення iз загального профiля якостi, що припадає на рiвень n. Саме ре-
зультуюче значення s використовується нами як вiдносний показник якостi наукової гру-
пи. Вiдповiдно, значення сили легко розраховується множенням на N , яке вказується на
1
N може набувати дробових значень, якщо частина членiв групи працюють не на повну ставку — тодi
їх враховують лише частково.
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2014, №3 77
веб-сторiнцi RAE разом iз вiдповiдним профiлем. Наприклад, для згаданої вище бiологiчної
групи Унiверситету Кембриджа значення s буде приблизно дорiвнювати 41,429, i, вiдповiд-
но, S = s · 213,69 ≈ 8852,87.
Для того щоб одержати показник ефективностi для тiєї ж вибiрки наукових груп,
але вже на основi даних про цитованiсть, було використано данi приватної компанiї Evi-
dence, що ввiйшла до складу Thomson Reuters Research Analytics (офiцiйна сторiнка:
http://www.evidence.co.uk). Використовуючи базу даних Web of Science, для кожної гру-
пи, що зробила подання до RAE 2008 р., компанiєю Evidence були розрахованi значення так
званого нормалiзованого впливу цитувань — normalised citation impact (NCI). Особливiстю
цього показника є нетривiальна процедура нормування, що дає змогу компенсувати вiдмiн-
ностi у цитованостi для рiзних галузей науки, рiзних видань або навiть рiзних промiжкiв
часу. Отже, середнiй вплив групи i визначається нормованими значеннями цитованостi ста-
тей, що пiдсумовуються та усереднюються на кiлькiсть членiв групи. Вiдповiдно, значення
загального впливу I легко одержується з (2).
Порiвняння вiдносних (s та i) та абсолютних (S та I) показникiв було здiйснено для
наукових груп Великобританiї iз семи галузей науки: бiологiя (UOA 14), хiмiя (UOA 18),
фiзика2 (UOA 19), iнженерiя (UOA 28), географiя та науки про навколишнє середовище
(UOA 32), соцiологiя (UOA 41), iсторiя (UOA 62).
Обговорення результатiв. Наведенi у табл. 1 результати (див. також [11–13]) свiд-
чать про те, що мiж вiдносними показниками ефективностi наукових груп кореляцiя iснує,
проте лише помiрна: для жодної iз проаналiзованих дисциплiн коефiцiєнт лiнiйної кореля-
цiї Пiрсона r не перевищує 0,7. Мiж рейтингами наукових груп, що побудованi на основi s
та i, також iснує лише незначна кореляцiя з коефiцiєнтом Спiрмена ρ ≈ 0,59 в кращому
випадку [12].
Тодi як вiдноснi показники ефективностi наукових груп s та i корелюють не дуже силь-
но, їх абсолютнi вiдповiдники S та I виявляються добре скорельованими, як це також чiтко
видно iз табл. 1. Це означає, що з великою долею ймовiрностi сила наукової групи вiдповiдає
її загальному впливу. Очевидно, що рейтингування за абсолютними значеннями позбавлене
сенсу, проте можна оцiнити пропорцiйний внесок кожного колективу.
В табл. 1 також можна простежити вiдмiнностi у значеннях коефiцiєнтiв кореляцiї мiж
абсолютними показниками для груп з рiзних дисциплiн: хоча у всiх випадках вони є висо-
кими, проте найкраще S та I корелюють для природничих галузей науки (r > 0,95), таких
як бiологiя, хiмiя та фiзика. Дещо нижчим (r ≈ 0,87) коефiцiєнт кореляцiї є для iсторiї та
соцiологiї як гуманiтарних дисциплiн, а промiжних значень (r ≈ 0,94) набуває для iнженерiї
та географiї. Останнє може пояснюватись тим, що в iнтерпретацiї RAE географiя є сильно
мiждисциплiнарною наукою, як, зрештою, й iнженерiя. Щоб перевiрити це спостереження,
на рис. 1 i 2 наведено графiки залежностi як вiдносних, так i абсолютних показникiв окре-
мо для груп iз точних, гуманiтарних та мiждисциплiнарних галузей. З рис. 1 бачимо, що
дiйсно мiж s та i iснує однакова позитивна тенденцiя, проте рiвень скорельованостi є не-
високим. Добра ж скорельованiсть абсолютних показникiв S та I для всiх груп дисциплiн
продемонстрована вiзуально на рис. 2.
Таким чином, одержанi у роботi результати ще раз пiдтверджують, що усередненi показ-
ники впливу наукових груп (iнтенсивнi величини), якi базуються на пiдрахунку цитувань,
2В iнтерпретацiї RAE “фiзика”, в основному, включає експериментальнi дослiдження, тодi як теоретичнi
дослiдження часто аналiзуються разом iз прикладною математикою.
78 ISSN 1025-6415 Reports of the National Academy of Sciences of Ukraine, 2014, №3
Рис. 1. Залежнiсть мiж вiдносними показниками s та i для наукових груп в галузях: a — точних; б —
гуманiтарних та в — мiждисциплiнарних наук. Данi про рiзнi дисциплiни наведенi рiзними символами
Рис. 2. Залежнiсть мiж абсолютними показниками S та I для наукових груп в галузях: а — точних; б —
гуманiтарних та в — мiждисциплiнарних наук. Данi для рiзних дисциплiн наведенi рiзними символами
не можуть добре вiдтворити експертнi оцiнки якостi. Вiдповiдно, можна стверджувати, що
результати рейтингування установ на основi нормалiзованого пiдрахунку цитувань будуть
вiдрiзнятися вiд результатiв рейтингування на основi висновкiв рецензентiв. З iншого боку,
при бажаннi оцiнити пропорцiйнi внески вiд наукових груп рiзного розмiру (екстенсивнi
величини) можна з високою долею впевненостi використати данi про їх цитованiсть. Цей
висновок справедливий для всiх дiлянок науки, проте найкраще працює у випадку саме
точних наук, для яких статтi у перiодичних виданнях є традицiйною формою публiкацiї
наукових результатiв. Значна, проте все ж слабша кореляцiя мiж абсолютними оцiнка-
ми спостерiгається для сектора гуманiтарних наук, якi, по-перше, найслабше представленi
Таблиця 1. Значення коефiцiєнтiв кореляцiї мiж вiдносними (s та i) та абсолютними (S та I) показниками
ефективностi для наукових колективiв Великої Британiї з рiзних дисциплiн
Дисциплiна
Коефiцiєнт Спiрмена ρ
для порiвняння
рейтингiв (лише
на основi s та i)
Коефiцiєнт лiнiйної кореляцiї Пiрсона r
для груп з вiдповiдної
дисциплiни
для декiлькох дисциплiн
(узагальненi данi)
s vs. i S vs. I s vs. i S vs. I
Бiологiя (див. [11]) 0,57 0,64 0,97 0,48 0,94
Хiмiя 0,59 0,58 0,95
Фiзика 0,52 0,46 0,96
Соцiологiя 0,50 0,51 0,87 0,36 0,87
Iсторiя 0,38 0,35 0,87
Iнженерiя 0,25 0,30 0,94 0,45 0,91
Географiя 0,58 0,57 0,93
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2014, №3 79
у базi даних Web of Science, а, по-друге, мають значну частку публiкацiй у пiдручниках, мо-
нографiях або iнших специфiчних формах видань (ноти для музики, методичнi матерiали
для педагогiки тощо).
Дослiдження проведено в рамках проектiв “Динамiка i кооперативнi явища в складних фiзи-
чних i бiологiчних середовищах” (7-ма Рамкова угода, FP7-PEOPLE, IRSES project N269139) та
“Статистична фiзика у рiзноманiтних реалiзацiях” (7-ма Рамкова угода, FP7-PEOPLE, IRSES
project N295302).
1. Lazer D. et al. Computational social science // Science. – 2009. – 323. – P. 721–723; Castellano С., For-
tunato S., Loreto V. Statistical physics of social dynamics // Rev. Mod. Phys. – 2009. – 81. – P. 591–646.
2. Добров Г.М. Наука о науке. – Киев: Наук. думка, 1989. – 304 с.
3. Encyclopedia of complexity and systems science / Ed. by R.A. Meyers]. – Berlin: Springer, 2009. – 10370 p.
4. Diestel R. Graph theory. – Berlin: Springer, 2005. – 410 p.
5. Galam S. Sociophysics: A Physicist’s modeling of psycho-political phenomena. – New York: Springer. –
2012. – 439 p.
6. Головач Ю., фон Фербер К., Олємськой О., Головач Т., Мриглод О. та iн. Складнi мережi // Журн.
фiз. дослiджень. – 2006. – 10. – С. 247–291.
7. Order, disorder and criticality. Advanced problems of phase transition theory / Yu. Holovatch (ed). –
Singapore: World Scientific, 2004. – Vol. 2. – 2007. – Vol. 3. – 2012. – 248 p.
8. van Raan A.F. J. Fatal attraction: Conceptual and methodological problems in the ranking of universities
by bibliometric methods // Scientometrics. – 2005. – 62, No 1. – P. 133–143.
9. Bornmann L. The Hawthorne effect in journal peer review // Ibid. – 2012. – 91. – P. 857–862.
10. De Bellis N. Bibliometrics and citation analysis: from the science citation index to cybermetrics. – Lanham:
Scarecrow Press, 2009.
11. Mryglod O., Kenna R., Holovatch Yu., Berche B. Absolute and specific measures of research group excel-
lence // Scientometrics. – 2013. – 95, No 1. – P. 115–127.
12. Mryglod O., Kenna R., Holovatch Yu., Berche B. Comparison of a citation-based indicator and peer review
for absolute and specific measures of research-group excellence // Ibid. – 2013. – 97, No 3. – P. 767–777.
13. Мриглод О., Кенна Р., Головач Ю., Берш Б. Про вимiрювання наукової ефективностi // Вiсн. НАН
України, прийнято до друку. – Препринт IФКС НАН України № 13. – 02U: http://www.icmp.lviv.ua/
sites/default/files/preprints/pdf/1302U.pdf).
14. Kenna R., Berche B. The extensive nature of group quality // Europhys. Lett. – 2010. – 90. – P. 58002.
15. Kenna R., Berche B. Critical mass and the dependency of research quality on group size // Scientometrics. –
2010. – 86, No 2. – P. 527–540.
Надiйшло до редакцiї 04.09.2013Iнститут фiзики конденсованих систем
НАН України, Львiв
Унiверситет Ковентрi, Велика Британiя
Iнститут фiзики конденсованих систем
НАН України, Львiв
Унiверситет Лотарингiї, Нансi, Францiя
80 ISSN 1025-6415 Reports of the National Academy of Sciences of Ukraine, 2014, №3
О.И. Мрыглод, Р. Кенна, Ю.В. Головач, Б. Бэрш
О сравнении экстенсивных и интенсивных мер эффективности
научных групп
Поднимаются проблемы, связанные с оцениванием научной эффективности. Рассматри-
ваются экстенсивные и интенстивные меры для оценивания общей силы и усредненно-
го показателя качества работы научных коллективов. Ведь, с одной стороны, до сих пор
не существует однозначных критериев и подходов для анализа научной эффективности.
С другой стороны, при формализации процедуры оценивания важно учитывать отличия
разных отраслей науки. Обсуждаются результаты проверки корреляций между эксперт-
ными оценками и показателями на основе цитируемости для британских научных групп,
которые работают в разных дисциплинах.
O. I. Mryglod, R. Kenna, Yu. V. Holovatch, B. Berche
On the comparison of extensive and intensive measures of the efficiency
of scientific groups
The problem of scientific efficiency evaluation is discussed. On the one hand, there is no simple but
reliable way to assess the individual or collective scientific performance. It is a challenge to decide
which approach, i. e. peer-review or citation-based indicators, should be used for this purpose. On
the other hand, differences between the disciplines should be taken into account for the assessment.
We analyze correlations between values of citation-based impact indicators and peer-review scores
for British scientific groups in several academic disciplines, from natural to social sciences and
humanities.
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2014, №3 81
|
| id | nasplib_isofts_kiev_ua-123456789-87146 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1025-6415 |
| language | Ukrainian |
| last_indexed | 2025-12-01T21:29:05Z |
| publishDate | 2014 |
| publisher | Видавничий дім "Академперіодика" НАН України |
| record_format | dspace |
| spelling | Мриглод, О.І. Кенна, Р. Головач, Ю.В. Берш, Б. 2015-10-11T16:30:44Z 2015-10-11T16:30:44Z 2014 Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп / О.І. Мриглод, Р. Кенна, Ю.В. Головач, Б. Берш // Доповiдi Нацiональної академiї наук України. — 2014. — № 3. — С. 75-81. — Бібліогр.: 15 назв. — укр. 1025-6415 https://nasplib.isofts.kiev.ua/handle/123456789/87146 001.893.530.1 Пiднiмаються проблеми, пов’язанi iз оцiнюванням наукової ефективностi. Розглядаються екстенсивнi та iнтенсивнi мiри для оцiнювання загальної сили та усередненого показника якостi роботи наукових колективiв. Адже, з одного боку, досi немає однозначних критерiїв та пiдходiв для аналiзу наукової ефективностi. З iншого боку, при формалiзацiї процедури оцiнювання важливо врахувати вiдмiнностi рiзних галузей науки. Обговорюються результати перевiрки кореляцiї мiж експертними оцiнками та показниками на основi цитованостi для британських наукових груп, що працюють у рiзних дисциплiнах. Поднимаются проблемы, связанные с оцениванием научной эффективности. Рассматриваются экстенсивные и интенстивные меры для оценивания общей силы и усредненного показателя качества работы научных коллективов. Ведь, с одной стороны, до сих пор не существует однозначных критериев и подходов для анализа научной эффективности. С другой стороны, при формализации процедуры оценивания важно учитывать отличия разных отраслей науки. Обсуждаются результаты проверки корреляций между экспертными оценками и показателями на основе цитируемости для британских научных групп, которые работают в разных дисциплинах. The problem of scientific efficiency evaluation is discussed. On the one hand, there is no simple but reliable way to assess the individual or collective scientific performance. It is a challenge to decide which approach, i. e. peer-review or citation-based indicators, should be used for this purpose. On the other hand, differences between the disciplines should be taken into account for the assessment. We analyze correlations between values of citation-based impact indicators and peer-review scores for British scientific groups in several academic disciplines, from natural to social sciences and humanities. Дослiдження проведено в рамках проектiв “Динамiка i кооперативнi явища в складних фiзичних i бiологiчних середовищах” (7-ма Рамкова угода, FP7-PEOPLE, IRSES project N269139) та “Статистична фiзика у рiзноманiтних реалiзацiях” (7-ма Рамкова угода, FP7-PEOPLE, IRSES project N295302). uk Видавничий дім "Академперіодика" НАН України Доповіді НАН України Фізика Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп О сравнении экстенсивных и интенсивных мер эффективности научных групп On the comparison of extensive and intensive measures of the efficiency of scientific groups Article published earlier |
| spellingShingle | Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп Мриглод, О.І. Кенна, Р. Головач, Ю.В. Берш, Б. Фізика |
| title | Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп |
| title_alt | О сравнении экстенсивных и интенсивных мер эффективности научных групп On the comparison of extensive and intensive measures of the efficiency of scientific groups |
| title_full | Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп |
| title_fullStr | Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп |
| title_full_unstemmed | Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп |
| title_short | Про порівняння екстенсивної та інтенсивної мір ефективності наукових груп |
| title_sort | про порівняння екстенсивної та інтенсивної мір ефективності наукових груп |
| topic | Фізика |
| topic_facet | Фізика |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/87146 |
| work_keys_str_mv | AT mriglodoí proporívnânnâekstensivnoítaíntensivnoímírefektivnostínaukovihgrup AT kennar proporívnânnâekstensivnoítaíntensivnoímírefektivnostínaukovihgrup AT golovačûv proporívnânnâekstensivnoítaíntensivnoímírefektivnostínaukovihgrup AT beršb proporívnânnâekstensivnoítaíntensivnoímírefektivnostínaukovihgrup AT mriglodoí osravneniiékstensivnyhiintensivnyhmeréffektivnostinaučnyhgrupp AT kennar osravneniiékstensivnyhiintensivnyhmeréffektivnostinaučnyhgrupp AT golovačûv osravneniiékstensivnyhiintensivnyhmeréffektivnostinaučnyhgrupp AT beršb osravneniiékstensivnyhiintensivnyhmeréffektivnostinaučnyhgrupp AT mriglodoí onthecomparisonofextensiveandintensivemeasuresoftheefficiencyofscientificgroups AT kennar onthecomparisonofextensiveandintensivemeasuresoftheefficiencyofscientificgroups AT golovačûv onthecomparisonofextensiveandintensivemeasuresoftheefficiencyofscientificgroups AT beršb onthecomparisonofextensiveandintensivemeasuresoftheefficiencyofscientificgroups |