A scientists' view of scientometrics: Not everything that counts can be counted

Like it or not, attempts to evaluate and monitor the quality of academic research have become increasingly prevalent worldwide. Performance reviews range from at the level of individuals, through research groups and departments, to entire universities. Many of these are informed by, or functions o...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Veröffentlicht in:Condensed Matter Physics
Datum:2017
Hauptverfasser: Kenna, R., Mryglod, O., Berche, B
Format: Artikel
Sprache:English
Veröffentlicht: Інститут фізики конденсованих систем НАН України 2017
Online Zugang:https://nasplib.isofts.kiev.ua/handle/123456789/156966
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:A scientists' view of scientometrics: Not everything that counts can be counted / R. Kenna, O. Mryglod, B. Berche // Condensed Matter Physics. — 2017. — Т. 20, № 1. — С. 13803: 1–10 . — Бібліогр.: 38 назв. — англ.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id nasplib_isofts_kiev_ua-123456789-156966
record_format dspace
spelling Kenna, R.
Mryglod, O.
Berche, B
2019-06-19T12:02:55Z
2019-06-19T12:02:55Z
2017
A scientists' view of scientometrics: Not everything that counts can be counted / R. Kenna, O. Mryglod, B. Berche // Condensed Matter Physics. — 2017. — Т. 20, № 1. — С. 13803: 1–10 . — Бібліогр.: 38 назв. — англ.
1607-324X
PACS: 89.20.-a, 89.65.-s
DOI:10.5488/CMP.20.13803
arXiv:1703.10407
https://nasplib.isofts.kiev.ua/handle/123456789/156966
Like it or not, attempts to evaluate and monitor the quality of academic research have become increasingly prevalent worldwide. Performance reviews range from at the level of individuals, through research groups and departments, to entire universities. Many of these are informed by, or functions of, simple scientometric indicators and the results of such exercises impact onto careers, funding and prestige. However, there is sometimes a failure to appreciate that scientometrics are, at best, very blunt instruments and their incorrect usage can be misleading. Rather than accepting the rise and fall of individuals and institutions on the basis of such imprecise measures, calls have been made for indicators be regularly scrutinised and for improvements to the evidence base in this area. It is thus incumbent upon the scientific community, especially the physics, complexity-science and scientometrics communities, to scrutinise metric indicators. Here, we review recent attempts to do this and show that some metrics in widespread use cannot be used as reliable indicators research quality.
До вподоби це комусь чи нi, але спроби аналiзувати та монiторити якiсть академiчних дослiджень стають все бiльш поширеними у цiлому свiтi. Оцiнювання ефективностi вiдбувається як на iндивiдуальному рiвнi, так i здiйснюється для наукових груп, факультетiв чи цiлих унiверситетiв. Багато iз таких процедур напряму залежать або ж беруть до уваги простi наукометричнi iндикатори, а їх висновки можуть впливати на кар’єри, фiнансування та престиж. Проте дуже часто бракує розумiння того, що наукометрики є, в кращому випадку, досить грубим iнструментом, i їх неправильне використання може привести до неправильних висновкiв. Замiсть того, щоб визнавати пiдйоми чи падiння у рейтингу для iндивiдумiв, вiддiлень чи унiверситетiв на основi таких неiдеальних метрик, робляться заклики до регулярної ретельної перевiрки iндикаторiв та до покращення доказової бази в цiй дiлянцi. Перевiрка iндикаторiв покладена на наукову спiльноту, особливо на фiзикiв, експертiв у галузi складних систем та наукометрiї. У цiй роботi зроблено огляд нещодавнiх спроб показати, що деякi поширенi метрики не можуть слугувати надiйним iндикатором наукової якостi.
en
Інститут фізики конденсованих систем НАН України
Condensed Matter Physics
A scientists' view of scientometrics: Not everything that counts can be counted
Наукометрiя з точки зору науковцiв: не все, що має значення, може бути порахованим
Article
published earlier
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
title A scientists' view of scientometrics: Not everything that counts can be counted
spellingShingle A scientists' view of scientometrics: Not everything that counts can be counted
Kenna, R.
Mryglod, O.
Berche, B
title_short A scientists' view of scientometrics: Not everything that counts can be counted
title_full A scientists' view of scientometrics: Not everything that counts can be counted
title_fullStr A scientists' view of scientometrics: Not everything that counts can be counted
title_full_unstemmed A scientists' view of scientometrics: Not everything that counts can be counted
title_sort scientists' view of scientometrics: not everything that counts can be counted
author Kenna, R.
Mryglod, O.
Berche, B
author_facet Kenna, R.
Mryglod, O.
Berche, B
publishDate 2017
language English
container_title Condensed Matter Physics
publisher Інститут фізики конденсованих систем НАН України
format Article
title_alt Наукометрiя з точки зору науковцiв: не все, що має значення, може бути порахованим
description Like it or not, attempts to evaluate and monitor the quality of academic research have become increasingly prevalent worldwide. Performance reviews range from at the level of individuals, through research groups and departments, to entire universities. Many of these are informed by, or functions of, simple scientometric indicators and the results of such exercises impact onto careers, funding and prestige. However, there is sometimes a failure to appreciate that scientometrics are, at best, very blunt instruments and their incorrect usage can be misleading. Rather than accepting the rise and fall of individuals and institutions on the basis of such imprecise measures, calls have been made for indicators be regularly scrutinised and for improvements to the evidence base in this area. It is thus incumbent upon the scientific community, especially the physics, complexity-science and scientometrics communities, to scrutinise metric indicators. Here, we review recent attempts to do this and show that some metrics in widespread use cannot be used as reliable indicators research quality. До вподоби це комусь чи нi, але спроби аналiзувати та монiторити якiсть академiчних дослiджень стають все бiльш поширеними у цiлому свiтi. Оцiнювання ефективностi вiдбувається як на iндивiдуальному рiвнi, так i здiйснюється для наукових груп, факультетiв чи цiлих унiверситетiв. Багато iз таких процедур напряму залежать або ж беруть до уваги простi наукометричнi iндикатори, а їх висновки можуть впливати на кар’єри, фiнансування та престиж. Проте дуже часто бракує розумiння того, що наукометрики є, в кращому випадку, досить грубим iнструментом, i їх неправильне використання може привести до неправильних висновкiв. Замiсть того, щоб визнавати пiдйоми чи падiння у рейтингу для iндивiдумiв, вiддiлень чи унiверситетiв на основi таких неiдеальних метрик, робляться заклики до регулярної ретельної перевiрки iндикаторiв та до покращення доказової бази в цiй дiлянцi. Перевiрка iндикаторiв покладена на наукову спiльноту, особливо на фiзикiв, експертiв у галузi складних систем та наукометрiї. У цiй роботi зроблено огляд нещодавнiх спроб показати, що деякi поширенi метрики не можуть слугувати надiйним iндикатором наукової якостi.
issn 1607-324X
url https://nasplib.isofts.kiev.ua/handle/123456789/156966
citation_txt A scientists' view of scientometrics: Not everything that counts can be counted / R. Kenna, O. Mryglod, B. Berche // Condensed Matter Physics. — 2017. — Т. 20, № 1. — С. 13803: 1–10 . — Бібліогр.: 38 назв. — англ.
work_keys_str_mv AT kennar ascientistsviewofscientometricsnoteverythingthatcountscanbecounted
AT mryglodo ascientistsviewofscientometricsnoteverythingthatcountscanbecounted
AT bercheb ascientistsviewofscientometricsnoteverythingthatcountscanbecounted
AT kennar naukometriâztočkizorunaukovcivnevseŝomaêznačennâmožebutiporahovanim
AT mryglodo naukometriâztočkizorunaukovcivnevseŝomaêznačennâmožebutiporahovanim
AT bercheb naukometriâztočkizorunaukovcivnevseŝomaêznačennâmožebutiporahovanim
AT kennar scientistsviewofscientometricsnoteverythingthatcountscanbecounted
AT mryglodo scientistsviewofscientometricsnoteverythingthatcountscanbecounted
AT bercheb scientistsviewofscientometricsnoteverythingthatcountscanbecounted
first_indexed 2025-12-07T20:21:46Z
last_indexed 2025-12-07T20:21:46Z
_version_ 1850882294452060160