Use of ontological analysis for competence evaluation of scientists in a particular subject domain

Use of ontological analysis for competence evaluation of scientists in a particular subject domain

Objective methods for competence evaluating of scientists in the subject domain pertinent to the specific scientific product  – research project, publication, etc. are proposed. These methods are based on the semantic matching of the description of scientific product and documents that confirm the c...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2018
Автор: Rogushina, J.V.
Формат: Стаття
Мова:Ukrainian
Опубліковано: Інститут програмних систем НАН України 2018
Теми:
ontology
thesaurus
competence
UDC 004.853
004.55
Онлайн доступ:https://pp.isofts.kiev.ua/index.php/ojs1/article/view/215
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Problems in programming
Завантажити файл: Pdf

Репозитарії

Problems in programming
id pp_isofts_kiev_ua-article-215
record_format ojs
resource_txt_mv ppisoftskievua/e6/8d8a608563a3d429aedcf381823b4ae6.pdf
spelling pp_isofts_kiev_ua-article-2152024-04-28T11:59:07Z Use of ontological analysis for competence evaluation of scientists in a particular subject domain Использование онтологического анализа для определения компетентности научных работников в определенной предметной области Використання онтологічного аналізу для визначення компетентності науковців в певній предметній області Rogushina, J.V. ontology; thesaurus; competence UDC 004.853, 004.55 онтология; тезаурус; компетентность УДК 004.853, 004.55 онтологія; тезаурус; компетентність УДК 004.853, 004.55 Objective methods for competence evaluating of scientists in the subject domain pertinent to the specific scientific product  – research project, publication, etc. are proposed. These methods are based on the semantic matching of the description of scientific product and documents that confirm the competence of its authors or experts in the domain of this product. In addition, the use of knowledge acquired  from the Web open environment –  Wiki-resources, scientometric databases, organization official website, domain ontologies is proposed. Specialized  ontology of scientific activity which allows to standardize the terminological base for describing the qualifications of researchers is developed.Problems in programming 2016; 4: 81-96 Предложены объективные методы оценки компетентности научных работников в той предметной области, к которой относится определенный научный продукт – научный проект, публикация и т.д. Представленные методы базируются на семантическом сопоставлении описания научного продукта  и документов, которые подтверждают компетентность его авторов или экспертов в данной сфере. Кроме того, предлагается использовать знания, которые извлекаются из открытой среды Web –  Wiki-справочники, наукометрические базы данных, официальные сайты организаций, онтологии предметных областей. Разработана специализированная онтология научной деятельности, которая позволяет стандартизировать терминологическую базу описания квалификации исследователей.Problems in programming 2016; 4: 81-96    Запропоновано об'єктивні методи оцінки компетентності науковців в тій предметній області, до якої відноситься певний науковий продукт – науковий проект, публікація тощо. Представлені методи базуються на семантичному зіставленні опису наукового продукту і документів, які засвідчують компетентність його авторів або експертів в обраній сфері. Крім того, пропонується використовувати знання, що витягаються з відкритого середовища Web – Wiki-довідники, наукометричні бази, офіційні сайти організацій, онтології предметних областей. Розроблено спеціалізовану онтологію наукової діяльності, що дозволяє стандартизувати термінологічну базу опису кваліфікації дослідників.Problems in programming 2016; 4: 81-96 Інститут програмних систем НАН України 2018-07-03 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/215 10.15407/pp2016.04.081 PROBLEMS IN PROGRAMMING; No 4 (2016); 81-96 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 4 (2016); 81-96 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 4 (2016); 81-96 1727-4907 10.15407/pp2016.04 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/215/207 Copyright (c) 2017 ПРОБЛЕМИ ПРОГРАМУВАННЯ
institution Problems in programming
baseUrl_str https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date 2024-04-28T11:59:07Z
collection OJS
language Ukrainian
topic ontology
thesaurus
competence
UDC 004.853
004.55
spellingShingle ontology
thesaurus
competence
UDC 004.853
004.55
Rogushina, J.V.
Use of ontological analysis for competence evaluation of scientists in a particular subject domain
topic_facet ontology
thesaurus
competence
UDC 004.853
004.55
онтология
тезаурус
компетентность
УДК 004.853
004.55
онтологія
тезаурус
компетентність
УДК 004.853
004.55
format Article
author Rogushina, J.V.
author_facet Rogushina, J.V.
author_sort Rogushina, J.V.
title Use of ontological analysis for competence evaluation of scientists in a particular subject domain
title_short Use of ontological analysis for competence evaluation of scientists in a particular subject domain
title_full Use of ontological analysis for competence evaluation of scientists in a particular subject domain
title_fullStr Use of ontological analysis for competence evaluation of scientists in a particular subject domain
title_full_unstemmed Use of ontological analysis for competence evaluation of scientists in a particular subject domain
title_sort use of ontological analysis for competence evaluation of scientists in a particular subject domain
title_alt Использование онтологического анализа для определения компетентности научных работников в определенной предметной области
Використання онтологічного аналізу для визначення компетентності науковців в певній предметній області
description Objective methods for competence evaluating of scientists in the subject domain pertinent to the specific scientific product  – research project, publication, etc. are proposed. These methods are based on the semantic matching of the description of scientific product and documents that confirm the competence of its authors or experts in the domain of this product. In addition, the use of knowledge acquired  from the Web open environment –  Wiki-resources, scientometric databases, organization official website, domain ontologies is proposed. Specialized  ontology of scientific activity which allows to standardize the terminological base for describing the qualifications of researchers is developed.Problems in programming 2016; 4: 81-96
publisher Інститут програмних систем НАН України
publishDate 2018
url https://pp.isofts.kiev.ua/index.php/ojs1/article/view/215
work_keys_str_mv AT rogushinajv useofontologicalanalysisforcompetenceevaluationofscientistsinaparticularsubjectdomain
AT rogushinajv ispolʹzovanieontologičeskogoanalizadlâopredeleniâkompetentnostinaučnyhrabotnikovvopredelennojpredmetnojoblasti
AT rogushinajv vikoristannâontologíčnogoanalízudlâviznačennâkompetentnostínaukovcívvpevníjpredmetníjoblastí
first_indexed 2024-09-16T04:07:35Z
last_indexed 2024-09-16T04:07:35Z
_version_ 1818568177879089152
fulltext Експертні та інтелектуальні інформаційні системи © Ю.В. Рогушина, 2016 ISSN 1727-4907. Проблеми програмування. 2016. № 4 81 УДК 004.853, 004.55 Ю.В. Рогушина ВИКОРИСТАННЯ ОНТОЛОГІЧНОГО АНАЛІЗУ ДЛЯ ВИЗНАЧЕННЯ КОМПЕТЕНТНОСТІ НАУКОВЦІВ В ПЕВНІЙ ПРЕДМЕТНІЙ ОБЛАСТІ Запропоновано об'єктивні методи оцінки компетентності науковців в тій предметній області, до якої ві- дноситься певний науковий продукт – науковий проект, публікація тощо. Представлені методи базу- ються на семантичному зіставленні опису наукового продукту і документів, які засвідчують компетен- тність його авторів або експертів в обраній сфері. Крім того, пропонується використовувати знання, що витягаються з відкритого середовища Web – Wiki-довідники, наукометричні бази, офіційні сайти орга- нізацій, онтології предметних областей. Розроблено спеціалізовану онтологію наукової діяльності, що дозволяє стандартизувати термінологічну базу опису кваліфікації дослідників. Ключові слова: онтологія, тезаурус, компетентність. Вступ Сучасний етап розвитку наукових досліджень характеризується великою кі- лькістю міждисциплінарних досліджень, які поєднують результати з різних сфер знань, та швидким розвитком нових на- прямків традиційних наукових напрямків. В різних сферах наукової і технічної дія- льності пропонується велика кількість різ- номанітних проектів – наукових дослі- джень, видання наукових праць, проведен- ня міждисциплінарних досліджень, прове- дення наукових досліджень окремими вче- ними тощо. Це спричиняє деякі проблеми у класифікації та визначенні області екс- пертизи як окремих осіб, так і різноманіт- них проектів та розробок. Подібні проблеми призводять до того, що важко встановити та порівняти компетентність дослідників відносно пев- ної роботи – наукового проекту, публіка- ції в реферованому журналі, відгуку на на- дані матеріали тощо. Методи виконання семантичного пошуку, який забезпечує встановлення відповідності між різноманітними інфор- маційними ресурсами та тією проблемою, для вирішення якої з цих ресурсів можуть бути отримані відповідні відомості, є ос- новою для розв’язання більш специфіч- них прикладних задач, які можна розгля- дати як окремі випадки семантичного по- шуку. Прикладами таких застосовних за- дач є встановлення компетенції окремих осіб та виробничих колективів у визначе- них предметних областях, знання щодо яких можуть бути формалізовані у вигляді онтології. Компетенції і компетентність дослідників Аналіз актуальності і наукової но- визни наукових проектів та статей є зада- чею експертів відповідних предметних об- ластей (ПрО) [1]. Важливим фактором, що впливає на ефективність виконання науко- во-дослідної роботи, є як компетентність експертів, що оцінюють різноманітні нау- кові дослідження, так і компетентність їх виконавців у відповідній ПрО. Варто ок- ремо оцінювати загальну кваліфікацію до- слідників і їхню компетентність у тих пи- таннях, що безпосередньо зв’язані з вико- нанням конкретної роботи (приміром, реа- лізації науково-дослідного проекту, експе- ртної оцінки статті або монографії, напи- сання підручника), включаючи як теорети- чні знання в цій сфері, так і практичні на- вички, і досвід, необхідний для успішної реалізації проекту. При цьому виникає проблема оцінки компетентності спеціа- лістів в конкретній ПрО. Будемо вважати, що на розгляд на- дається певний набір документів А, який містить природномовний опис як основ- ного об’єкту експертизи – текст статті, технічне завдання, обґрунтування проекту тощо, а також додаткові матеріали. Ком- петентність експерта характеризує інший Експертні та інтелектуальні інформаційні системи 82 набір документів Б – його публікації, сер- тифікати, дипломи, раніше виконані робо- ти тощо. У деяких випадках особа експер- та та автора документів з А може співпа- дати – приміром, якщо певна особа подає на конкурс науковий проект, і для того, щоб спрогнозувати її спроможність вико- нати описані роботи, потрібно довідатися, чи є ця особа спеціалістом в тій ПрО, до якої відноситься проект. Тому виникає не- обхідність у розробці засобів автоматизо- ваної оцінки компетентності потенційних учасників проекту на основі зіставлення матеріалів, що описують їхнє знання, ква- ліфікацію і навички, з описом самого проекту. На основі аналізу та співставлення А та Б потрібно прийняти рішення щодо близькості семантики А та Б. Необхідно, щоб у такім зіставленні використовувалися знання щодо ПрО проекту. Потрібно розрізняти компетенцію і компетентність. Компетенція – це понят- тя, у загальному випадку не пов’язане з конкретною особою, а компетентність – це відношення між особою і компетенці- єю, яке означає, що певна особа володіє даною компетенцією. Приміром, компете- нція – це властивість проекту або статті, а компетентність – властивість дослідника або експерта. Компетенція є досить багатознач- ним терміном. Приміром, в області керу- вання персоналом під компетенцією зви- чайно розуміють формально описані вимо- ги до особистих, професійних і інших яко- стей співробітника. Однак в області науко- вих досліджень поняття «компетенція» є нечітким і сильно залежним від специфіки конкретної ПрО. У загальному значенні компетенція визначається як здатність ус- пішно діяти на основі наявних знань і практичного досвіду при рішенні задач. Елементами компетенції є знання і навич- ки, життєвий досвід, здібності, риси харак- теру, інтелект тощо, об’єднані в різних конфігураціях для рішення конкретних проблем. Надалі для аналізу компетенцій бу- демо враховувати специфіку виконання наукових досліджень та якостей, необхід- них для цього: результати роботи наукових співробітників звичайно досить чітко фор- малізовані і відкриті для аналізу: це науко- ві публікації та тези доповідей на конфе- ренціях, патенти, звіти, описи прикладних розробок та інші матеріали, представлені у вигляді природномовних текстів з елемен- тами структурованих даних (таблиць і графіків) і мультимедіа. У більшості випа- дків усі ці матеріали представлені в елект- ронній формі, що припускає створення за- собів їх автоматизованого аналізу. Значна частина наукових публікацій доступна че- рез Web. Компетентність – рівень досяг- нень (досвіду, знань, звичок) особи у ви- значеній ПрО. Компетентність не може бути визначена абстрактно, а тільки для певного завдання або виду діяльності. Оцінити компетентність можна на основі аналізу діяльності фахівця, його поінфор- мованості в досягненнях науки і техніки, його розуміння досліджуваних проблем і можливих шляхів їхнього рішення. Для кількісної оцінки рівня компетентності використовується коефіцієнт компетен- тності. Слід відмітити, що в сфері наукових досліджень побудувати коефіцієнт компе- тентності особи лише на основі аналізу її формальних характеристик (таких, як дип- ломи, кількість публікацій у зазначеній ПрО, стаж роботи тощо), можна тільки дуже приблизно. Як правило, можна лише прийняти рішення щодо відсутності потрі- бного рівня компетентності – приміром, якщо людина не має диплома, який підтве- рджує її вищу освіту, то така особа не мо- же поступити до аспірантури, незважаючи на те, яку саме спеціальність вона обере. Близькість таких оцінок пов’язана з тим, що вони не враховують семантику розв’язуваної задачі та не використовують знання щодо ПрО. Науковий продукт – це результат інтелектуальної діяльності людини або ко- лективу людей, виконаний із застосуван- ням специфічних знань певної ПрО та на- вичок науково-методичної роботи та пред- ставлений у вигляді певних відчужених від авторів матеріалів. Надалі в даній роботі під науковим продуктом будемо розуміти природномо- Експертні та інтелектуальні інформаційні системи 83 вний опис, який містить характеристики основних властивостей, призначення та результатів виконаної роботи. У більш загальному випадку науковий продукт може бути матеріальним об’єктом або мі- стити інформацію, відмінну від природ- номовної (мультимедіа, програмний код тощо). Але в будь-якому випадку він має супроводжуватися природномовним опи- сом, який і буде надалі аналізуватися з точки зору визначення компетенцій. Науковий продукт можна розгляда- ти як окремий випадок інформаційного об’єкта, який представлено набором при- родномовних текстів, що задовольняють певним вимогам та мають визначену стру- ктуру, специфічну для різних задач. Приклади задач, для яких потрібно оцінювати компетенції: вибір рецензента для публікації; оцінка компетентності ав- торів наукового проекту, метою якої є прогнозування успішності виконання ро- боти (при цьому доцільність виконання та інші властивості проекту знаходяться по- за межами аналізу); вибір викладача для підготовки навчально-методичних матері- алів (підручників, навчальних посібників) за прийнятою програмою курсу; вибір спеціалістів для підготовки та гармоніза- ції стандартів; пошук наукового консуль- танта, наукового керівника та опонентів для дипломних та дисертаційних робіт. Постановка задачі Розробка об’єктивних методів оці- нки компетентності фахівців на основі онтологічного аналізу, що дозволяє авто- матизовано оцінювати здатність науков- ців до вирішення різноманітних задач, та- ких як успішна реалізації наукових проек- тів або створення цікавих статей, пред- ставляється важливою науковою пробле- мою, рішення якої повинно базуватися на використанні й обробці знань щодо відпо- відної ПрО. Для цього потрібно розробити засо- би співставлення опису науково-тех- нічного продукту (проекту, публікації, зві- ту) і відомостей про спеціалістів, які ма- ють працювати з цим продуктом (виконав- ців проекту; експертів, що оцінюють пуб- лікацію; авторів монографії тощо), що ха- рактеризує їхні знання і досвід у ПрО про- дукту, що дозволяє оцінювати знання да- них осіб саме в цій сфері. Таке співставлення зводиться до аналізу двох множин природномовних документів і пов’язаних з ними метаданих і знань. Розглянутий підхід дозволить ін- тегрувати персоніфіковані онтологічні знання щодо ПрО, в якій здійснюється аналіз, та осіб, які мають певне відношен- ня до даної ПрО, а також логічні методи обробки цих знань, використовуючи он- тологічний аналіз і методи семантичного пошуку. Онтології як джерела відомостей щодо ПрО В інженерії знань під онтологією розуміється детальний опис деякої про- блемної області, що використовується для формального і декларативного визначення її концептуалізації [2]. Часто онтологією називають базу знань спеціального виду, яку можна розді- ляти, відчужувати і самостійно використо- вувати в рамках розглянутої ПрО [3]. Для рішення різних проблем, пов’язаних з онтологіями, використову- ються різні тлумачення цього поняття, і тому існує багато визначень для цього терміну. Гуманітарний підхід використовує не формалізовані визначення, приміром, в [4] онтологія – явний опис чи представ- лення деякої частини концептуалізації, яка може мати різні форми, але обов’язково містить словник термінів і деяку специфі- кацію їхнього змісту. Комп’ютерний підхід пов’язаний з розробкою комп’ютерних мов для пред- ставлення онтологій [5]. У рамках мате- матичного підходу робляться спроби ви- значити поняття онтологія у математичних термінах та за допомогою математичних конструкцій. Можна сказати, що онтологія – це точна специфікація певної області, що міс- тить у собі словник термінів цієї області і множину логічних зв’язків (типу «еле- мент-клас», «частина-ціле») [6], що опи- сують, як ці терміни співвідносяться між собою. Експертні та інтелектуальні інформаційні системи 84 Помітимо, що при такому підході поняття онтології сильно перетинається з уже давно прийнятим в інформатиці і лінг- вістиці поняттям тезауруса. Онтології до- зволяють представити поняття в такому вигляді, що вони стають придатними для машинної обробки. На сьогодні існує багато різномані- тних онтологій, описаних за допомогою різних мов та пов’язаних із найрізноманіт- нішими ПрО. Ці онтології різняться за ба- гатьма властивостями – обсягом, виразни- ми можливостями, призначенням, ступе- нем формалізації знань тощо. Модель концептуалізації ПрО мо- жна визначити як багатосортну алгебраїч- ну систему S = <U, R, F, C>, де U – мно- жина сортів, R – множина відношень, F – множина функцій, C – множина констант, а база знань визначається як підсистема цієї алгебраїчної системи. База знань може бути задана у виді множини аксіом на ба- гатосортній логічній мові, сигнатура якої співпадає із сигнатурою моделі концепту- алізації. Модель онтології предметної об- ласті представляється алгебраїчною систе- мою O, сигнатура якої – множина метате- рмінів, що дозволяють задавати алгебраїч- ні системи. Онтологія предметної області – представлення концептуалізації за допомо- гою проблемно-незалежних термінів, тоб- то визначена в такий спосіб онтологія не зв’язана з предметною областю. Інші ма- тематичні моделі онтології ПрО розгляну- то в [7], де світ розглядається як множина не пов’язаних одна з одною ситуацій. Яке з цих визначень онтології є більш прийнят- ним, залежить від того, для чого розробля- ється така онтологія. Онтологія ПрО – це та частина знань ПрО, що обмежує значення її тер- мінів, які не залежать від іншої (змінюва- ної) частини знань цієї ПрО. Таку онтоло- гію ПрО можна розглядати як набір угод про предметну область, а інша частина знань ПрО є множиною емпіричних і ін- ших законів цієї області. Таким чином, онтологія визначає ступінь узгодження значень термінів фахівцями предметної області [8]. Досвід онтологічного опису ПрО як основи значеннєвого моделювання нако- пичений протягом досить тривалого періо- ду досліджень і розробок у сфері моделю- вання ПрО з урахуванням нових потреб і розвитку досягнутих результатів. При формулюванні знань, що скла- дають зміст моделей ПрО, фундаменталь- ну роль відіграють два когнітивних су- дження про світ: можливість розрізнення дискретних об’єктів і існування зв’язків між ними [9]. Множина об’єктів, розгля- нутих у контексті ситуації або задачі, утворює її предметну область. Зв’язки між об’єктами визначають відношення в ПрО: унарні зв’язки інтерпретуються як властивості об’єктів, а зв’язки довільної арності описують різні асоціації об’єктів. Потужність моделювання, властива біна- рним відношенням, дозволяє описувати будь-які асоціативні відношення в ПрО. Це дозволяє представити ПрО у вигляді мережі пов’язаних об’єктів, що у теорії представлення знань відома як семантич- на мережа. З позиції представлення об’єктів ПрО ця мережа розпадається на дві підме- режі: «класи» і «екземпляри». У першій підмережі є лише два сорти вершин і дуг: співіснують вершини-класи і вершини- властивості; дуги сорту «є видом» з’єднують вершини-класи, а дуги «є час- тиною» з’єднують кожну вершина- властивість з однією і тільки однією вер- шиною-класом. Саме ця підмережа описує понятійну структуру ПрО, визначаючи он- тологію ПрО: сукупність понять про дос- тупні для відчуття/виміру властивостях об’єктів і різновидах об’єктів у контексті доступних властивостей. Підмережа «ек- земпляри» являє собою денотат онтології. У цілому при рішенні задач онтологія ста- новить теорію, а денотативна модель кон- кретизує цю теорію стосовно до актуаль- ної ситуації в ПрО, що моделюється. На змістовному рівні онтологія ПрО – це сукупність угод (визначення те- рмінів предметної області, їхнє тлумачен- ня, твердження, що обмежують можливий зміст цих термінів, а також тлумачення цих тверджень), які є результатом домов- леності між членами співтовариства, що працює в цій ПрО. Між такими властивос- тями ПрО, як онтологія, концептуалізація, Експертні та інтелектуальні інформаційні системи 85 знання і дійсність, і елементами цієї мате- матичної конструкції повинне бути вста- новлена явна відповідність. Онтології ПрО дозволяють форма- льно подавати семантику цих областей, а їх формальні моделі онтологій є адекват- ним і ефективним засобом для моделю- вання уявлень розробників та користувачів ІІС про різноманітні ПрО. У різних джерелах пропонуються різні формальні моделі представлення он- тологій. Схожим у всіх є наступне:  множина термінів (понять, кон- цептів), яка може підрозділятися на мно- жину класів і множину екземплярів;  множина відношень між понят- тями, у якій можуть явно виділятися від- ношення «клас-підклас», ієрархічні (так- сономічні) відношення і відношення сино- німії (подоби), а також функції – спеціаль- ний випадок відношень, для яких n-й еле- мент відношення однозначно визначається n-1 попередніми елементами;  аксіоми і функції інтерпретації понять і відношень. Формально онтологія представля- ється трійкою <X,R,F>, де X – множина концептів, R – множина відношень між концептами, F – функції інтерпретації концептів з множини X і відношень з R. Дана модель носить загальний характер, у той час, як на практиці користуються більш точними моделями. Теоретичним базисом для онтоло- гічного представлення знань є дескрипти- вні логіки (DL), які виникли як розширен- ня фреймів та семантичних мереж механі- змами формальної логіки. Нині DL вико- ристовуються в Semantic Web для побудо- ви онтологій. DL – це сімейство мов пред- ставлення знань, що дозволяють описувати поняття предметної області у формалізо- ваному вигляді. Будь-яка логіка DL є логі- кою першого порядку, але не навпаки. Ба- зові елементи DL – це множина класів NC; множина індивідуумів NI; множина від- ношень NR. Дескриптивні логіки дозволяють описувати поняття ПрО в недвозначному, формалізованому вигляді. Вони поєднують у собі, з одного боку, досить багаті виразні можливості, а з іншого боку – задовільні обчислювальні властивості, такі як можли- вість вирішення і відносно невисока обчи- слювальна складність основних логічних проблем, що робить можливим їхнє засто- сування на практиці. Таким чином, DL яв- ляють собою компроміс між виразністю і можливістю вирішення. DL можна розгля- дати як вирішувані фрагменти логіки пре- дикатів, синтаксично ж вони близькі до модальних логік [10]. Джерела відомостей про дослідників Передбачається, що основним дже- релом відомостей про певний науковий продукт, щодо якого виконується аналіз (проект, стаття, доповідь, монографія то- що) є його природномовний опис (заявка на проект, анотація, технічне завдання, текст публікації, тези доповіді), а також додат- кові зовнішні інформаційні ресурси, що містять структуровані і семантично зна- чущі відомості щодо тієї ПрО, до якої від- носиться цей науковий продукт, – онтоло- гії, Wiki-сторінки тощо. Саме онтологія ПрО має стати основним джерелом знань щодо базових понять ПрО та відношень між ними, і ці знання дозволять інтегрува- ти відомості з інших джерел. Онтологія ПрО дозволяє визначити, які саме аспекти компетентності дослідників потрібно оці- нювати. Якщо ж онтологія ПрО відсутня, потрібно моделювати її на основі нефор- малізованих або слабко формалізованих описів. Більш складно проаналізувати ін- формація про осіб, на основі якої потрібно встановити їх компетентність у визначеній ПрО. Частина відомостей про них чітко формалізована і може бути однозначно оцінена без урахування семантики ПрО і додаткових знань. Зокрема, це рівень осві- ти дослідників, їхній стаж роботи у відпо- відній області, наявність раніше виконаних робіт та проектів. На жаль, цих відомостей недостатньо для того, щоб визначити їхню компетентність для виконання конкретних задач, особливо для нових і динамічних ПрО. Проблема полягає у тому, що наукові співробітники, що отримали однакову освіту і навіть захистили дисертації за од- Експертні та інтелектуальні інформаційні системи 86 нією спеціальністю, у процесі своїх дослі- джень набувають досвід у різних питан- нях. Одним з найбільш об’єктивних кри- теріїв оцінки сфери компетентності науко- вих співробітників є аналіз їхніх публіка- цій, представлених у Web, – наукових ста- тей, тез доповідей, звітів і презентацій. Існує багато робіт з автоматичного визначення компетентностей на основі на- бору документів. В них, як правило, вра- ховується кількість згадувань основних термінів ПрО в кожному документі і кіль- кість основних термінів ПрО, згаданих у проекті. Однак різні інформаційні джере- ла, представлені в Web, мають різну оцін- ку якості поданої у них інформації. Крім того, важливо враховувати оцінку діяльно- сті дослідників науковим співтовариством – через наявність посилань на їхні роботи, а також згадуванням їхніх робіт у навчаль- ній і довідковій літературі. Крім того, дже- рела відомостей про дослідників можуть бути імпортовані з баз знань різних інтеле- ктуальних застосувань, що забезпечують персоніфіковане інформаційне обслугову- вання користувачів, наприклад, із семан- тичних пошукових і рекомендуючих сис- тем [11]. Таким чином, джерела відомостей про сферу компетентності науковців мож- на поділити на наступні категорії: 1) офіційні документи, що нале- жать особисто науковцю та підтверджують певну кваліфікацію осіб в обраній сфері, – дипломи, сертифікати, довідки; 2) офіційні документи, що більш детально розкривають зміст відомостей, зафіксованих в особистих документах нау- ковця, – нормативні документи, постано- ви; 3) зовнішні інформаційні ресурси, автором яких (повністю або частково) є дана особа, доступ до яких може здійсню- ватися або безпосередньо (надаються від- повідні файли), або через середовище Web, – публікації, звіти; 4) зовнішні інформаційні ресурси, що належать іншим авторам, але певним чином оцінюють результати діяльності то- го науковця, компетенція якого є об’єктом аналізу, – наукометричні БД; 5) зовнішні інформаційні ресурси (енциклопедії, довідники), створені інши- ми особами та організаціями, в яких міс- тяться відомості щодо особи, компетенція якого є об’єктом аналізу, та її властивостей (місця роботи, навчання тощо), – офіційні сайти установ, Wiki-сторінки; 6) документи, які описують рані- ше виконані роботи того ж самого типу, як і та, для якої проводиться аналіз ком- петентності, – звіти про раніше реалізо- вані проекти і дослідження різних типів, з урахуванням успішності їхнього виконан- ня, що відносяться до тієї самої ПрО; ра- ніше прорецензовані статті та монографії – для пошуку експерта, який може отри- мати публікацію на рецензію; участь у конференціях – якщо оцінюється доціль- ність включення докладу до матеріалів конференції і так далі. До першого типу відносяться дип- лом про вищу освіту, диплом кандидата або доктора наук, атестат доцента, різно- манітні сертифікати, дипломи та свідоцтва. Ці документи свідчать про отриману да- ною особою освіту та її наукові досягнен- ня, але на найбільш узагальненому рівні. У багатьох випадків відсутність у наборі представлених документів певного посвід- чення або диплома є достатньою умовою для того, щоб припинити подальший ана- ліз та вважати компетентність претендента недостатньою. Приміром, особа без дип- лома про вищу освіту не може поступати до аспірантури. До другого типу відносяться доку- менти, які розкривають зміст документів з першої множини на семантичному рівні. Вони можуть деталізувати значення спеці- альностей, вказаних у дипломах, та опису- вати значущість різних дипломів та серти- фікатів. Приміром, диплом доктора наук за певною спеціальністю свідчить про ви- щу кваліфікацію, ніж диплом кандидата наук за тою ж спеціальністю. Приміром, одним з факторів, що ви- значають кваліфікацію наукового співро- бітника, є спеціальність, отримання якої підтверджує його диплом, але значно ва- жливішою – за наявністю вченого ступеня Експертні та інтелектуальні інформаційні системи 87 – є спеціальність, за якою захищена дисер- тація, тому що це свідчить не тільки про отримані знання, але й про здатність їх ви- користовувати та розвивати. Наукові сту- пені і вчені звання – кваліфікаційна сис- тема в науковій та науково-педагогічній діяльності, державне визнання рівня ква- ліфікації вченого, що є критеріями ранжу- вання наукових і науково-педагогічних працівників. В Україні присуджують нау- кові ступені – кандидата і доктора наук. Вчені звання доцента (по кафедрі), профе- сора (по кафедрі, за спеціальністю) та ста- ршого наукового співробітника (за спеціа- льністю) – присвоюють за рішенням вче- ної ради Міністерством освіти і науки Ук- раїни. Вчені звання доцента та старшого наукового співробітника присвоюють кан- дидатам і докторам наук, а вчене звання професора, як правило, – докторам наук. Наукові ступені присуджують спеціалізо- вані вчені ради на підставі прилюдного захисту дисертацій. Рішення спеціалізова- них вчених рад про присудження наукових ступенів затверджуються Департаментом атестації кадрів Міністерства освіти і нау- ки України. Кожна спеціальність має свій пас- порт – документ, що описує область дос- ліджень, за які може бути присуджений учений ступінь кандидата чи доктора наук відповідної спеціальності. У паспорті спеціальності міститься також визначення спеціальності, та галузі науки, до яких ві- дноситься дана спеціальність. Ця інфор- мація подається структуровано у фіксова- ній послідовності. Паспорт спеціальності складається з наступних компонентів: шифр спеціальності; назва спеціальності; формула спеціальності; напрямки дослі- джень та одна або кілька галузей наук, з яких присуджуються наукові ступені. Приміром, для спеціальності 05.13.05 – комп’ютерні системи та компоненти її па- спорт описує її формулу як “проблеми створення ефективного інструментально- го забезпечення інформаційних техноло- гій: організацію принципово нових і вдос- коналення існуючих комп’ютеризованих та комп’ютерних систем і мереж, їх апа- ратних і програмних засобів, розподіле- них комп’ютерних систем” тощо, наво- дить перелік основних напрямків дослі- джень – приміром, “5. Теоретичні засади, методологічні, алгоритмічні та програм- но-апаратні засоби опрацювання інфор- мації, представленої формалізованими знаннями та природомовними об’єктами” та визначає, що науковий ступінь прису- джується у галузі технічних наук. Раніше паспорти спеціальностей затверджувалися Вищою атестаційною комісією України, яка була центральним державним органом у галузі присудження наукових ступенів і вчених звань. 9 грудня 2010 року Вищу атестаційну комісію України ліквідовано, а її функції покладені на Міністерство освіти і науки, молоді та спорту України. Нині це міністерство затверджує перелік наукових спеціальностей, за яким здійс- нюється підготовка наукових кадрів, про- водяться захисти дисертацій на здобуття наукових ступенів кандидата наук і док- тора наук та присуджуються наукові сту- пені і присвоюються вчені звання. Ці спе- ціальності згруповано за типами, примі- ром, 05.13.00 – інформатика, обчислюва- льна техніка та автоматизація. Третій тип ресурсів – зовнішні ІР (тобто вже відокремлені від їх автора та оприлюднені певним чином), автором яких (повністю або частково) є дана осо- ба. Доступ до таких ресурсів може здійс- нюватися безпосередньо, якщо особа, компетентність якої аналізується, власно- ручно відбирає найбільш релевантні ро- боти та надає відповідні файли з повним текстом або анотацією роботи. В іншому випадку можна надавати посилання, і тоді доступ до документів здійснюється через середовище Web. Перший шлях потріб- ний для оприлюднення публікацій у жур- налах з платним доступом, монографій або підручників, які не знаходяться у від- критому доступі. Другий шлях більш до- цільно застосовувати для всіх тих ресур- сів, які можна отримати через Web, тому що це певним чином гарантує ідентич- ність представленого тексту з опублікова- ним. Крім того, якщо виникають додатко- ві питання, можна застосовувати пошук у Web для знаходження інших публікацій даної особи. Приміром, це дозволяє ви- явити, чи мають представлені роботи ін- Експертні та інтелектуальні інформаційні системи 88 ших співавторів, яких особа не вказала, або чи дійсно ці роботи опубліковані у вказаних виданнях. До таких ІР відно- сяться тексти публікацій, тез, авторефера- ту дисертаційної роботи, монографій, під- ручників, технічних звітів, авторських по- свідчень і інших об’єктів інтелектуальної власності, представлених у вигляді при- родномовних документів. Досить чітко спеціалізація науковця визначається його дисертаційною робо- тою. Тому доцільно не тільки враховувати назву цієї роботи та спеціальність, до якої вона віднесена, але й аналізувати сам автореферат кандидатської або док- торської дисертації (для тих, хто не має наукового ступеня, можна аналізувати те- му та опис дипломної роботи). Авторефе- рат має фіксовану структуру і містить обов’язкові елементи, такі як наукова новизна, актуальність роботи, список пуб- лікацій. Для різних окремих випадків оці- нки компетенції науковця можна аналізу- вати не весь текст у цілому, а тільки окре- мі підрозділи (приміром, публікації або апробацію результатів). Крім того, важливі відомості щодо компетенції науковця можна здобути з автореферату, аналізуючи інформацію щодо його науко- вого керівника (для докторської дисертації – наукового консультанта) та менше щодо офіційних опонентів. Це важливо у тому випадку, якщо дослідник тільки починає свою наукову діяльність і має лише кілька публікацій. У такому випадку аналіз ком- петентності його керівника дозволяє про- гнозувати, в яких сферах ця особа може бути спеціалістом. Проте в процесі своєї роботи та отримання нового досвіду науковець може значно змінити напрямок досліджень та розвинути свою компетентність в інших напрямках. Його дослідження мають відо- бражатися в публікаціях у наукових жур- налах та матеріалах конференцій. Аналі- зуючи цю інформацію, слід враховувати також дату публікації, надаючи більшу увагу останнім роботам. До четвертого типу відносяться зовнішні ІР, що створені іншими особами, але певним чином оцінюють результати діяльності того науковця, компетенція яко- го є об’єктом аналізу. Як правило, це по- силання у наукових статтях на публікації даної особи та рейтинг тих видань, в яких вона публікує результати своїх дослі- джень. Отримати кількісне представлення таких оцінок дозволяють наукометричні показники та наукометричні бази даних, які накопичують та обчислюють ці показ- ники. Наукометричні показники зручні для оцінки фундаментальних досліджень, важливість яких оцінюють через посилан- ня наукового співтовариства на публікації з результатами досліджень. Основне приз- начення таких оцінок – автоматизація та об’єктивізація порівняння результатів нау- кової діяльності [12]. Для побудови рейтингу дослідника використовують такі параметри, як кіль- кість публікацій (сумарне чи за такими окремими типами, як монографії, статті, тези доповідей, публікації у наукових виданнях, що входять у список ВАК, статті, проіндексовані в Web of Science, Scopus чи Google Scholar тощо) і кількість посилань на них у публікаціях інших авторів. Іноді враховують також обсяг ок- ремих публікацій (тобто велика моногра- фія має більшу вагу, ніж тези доповіді). На основі цих параметрів обчислюються інтегральні критерії, в яких бали за кожну публікацію визначаються її типом та ім- пакт-фактором того видання, у якому во- на опублікована. Трохи складніше розра- ховується рейтинг автора за наявністю співавторів у публікаціях. Звичайно вва- жається, що внесок усіх співавторів одна- ковий, і оцінку публікації поділяють на кількість співавторів. У роботі [13] аналізуються най- більш ефективні і розповсюджені характе- ристики продуктивності наукової діяльно- сті, зокрема, індекс Хірша та імпакт- фактор. Імпакт-фактор вказує, скільки ра- зів у середньому цитується кожна опублі- кована в журналі стаття протягом х наступних років після виходу. Це кількіс- ний показник важливості наукового жур- налу, що щорічно розраховується Інсти- тутом наукової інформації (Institute for Scientific Information, ISI) і публікується в Експертні та інтелектуальні інформаційні системи 89 журналі Journal Citation Report. Імпакт- фактор дозволяє за формальними ознака- ми порівнювати різні журнали і дослідни- цькі групи. Як правило, розрахунок імпакт- фактора базується на даних за трирічний період. Імпакт-фактор журналу А за рік х обчислюється за формулою          1,2, ,1,,2, ,Im    xAPubxAPub xxACitxxACit xAp , де  zyACit ,, – кількість цитувань протя- гом року z статей, опублікованих у журна- лі А в році y в публікаціях тих журналів, що відслідковуються Інститутом наукової інформації, а  yAPub , – кількість публі- кацій у журналі А за рік у. Індекс цитування – це прийнята в науковому світі міра значимості наукової праці якого-небудь вченого чи наукового колективу, що являє собою сумарну кіль- кість посилань у проіндексованих роботах на розглянуті публікації. Він відображає реакцію наукового співтовариства на наве- дені в роботі результати досліджень, тобто рівень їхньої потрібності іншим вченим. Як правило, слабкі і вторинні роботи не цитують. Цитування залежить не лише від рівня наукових результатів, але і від інших факторів, наприклад, своєчасності публі- кації. Для більш точних оцінок при визна- ченні індексу цитування не враховують самоцитування чи цитування співавтора- ми, а також повторні цитування однієї ро- боти тим самим вченим. Індекс Хірша (h-індекс) [14] дозво- ляє виявити вчених, які публікують багато якісних робіт. Цей показник був запропо- нований Х. Хіршем у 2005 р. і нині широко використовується як наукометричний ін- дикатор через простоту обчисленні і нечу- тливість до типових прийомів штучного поліпшення власних показників. Індекс Хірша – це максимальне ціле число h, таке, що автор опублікував h статей, кожна з який процитована не менше h раз. Крім того, використовуються різні модифікації цього індексу, найбільш поширеним з яких є обчислення цього індексу за останні n років. Індекс Хірша може обчислюватися з використанням як безкоштовних загаль- нодоступних наукометричних баз даних в Web, (наприклад, Google Scholar, Elibrary.ru, ADS NASA), так і баз даних із платною підпискою (наприклад, Scopus або ISI Web of Science); однак платні бази даних часто теж дозволяють отримати h- індекс вчених у вільному доступі. Слід за- значити, що індекс Хірша того самого вче- ного має різні значення залежності від то- го, яка база проіндексованих ІР використо- вувалася. Приміром, Google Scholar індек- сує значно більше видань, ніж Scopus, але накладає на публікації менш жорсткі умо- ви, і тому індекс Хірша в них може відріз- нятися у кілька разів. Індекс Хірша дає досить об’єктивні результати при відкиданні посилань авто- рів на власні статті. Наприклад, у рейтингу вчених України відповідно до індексу Хірша виконується підрахунок по базі да- них Scopus з відкиданням самоцитування. Але слід відмітити можливість некорект- ного “розкручування” цього індексу несу- млінними вченими адміністративними за- собами – приміром, коли підлеглі цитують десятки робіт свого керівника у статтях зовсім з інших питань. Крім того, слід за- значити, що через традиції, пов’язаних з цитуванням, у різних областях наук, як ін- струмент порівняння продуктивності ро- боти вчених індекс Хірша добре працює лише при порівнянні доробку тих дослід- ників, що працюють в одній області дослі- джень. На жаль, індекс Хірша не враховує, хто саме цитує роботу, що оцінюється. Здається доцільним, за аналогією з ран- жуванням сторінок PageRange, викорис- товувати вагу кожного цитування (примі- ром, таку, що дорівнює індексу Хірша ав- тора, що посилається на дану публікацію). Таким чином, можна було б використову- вати зважений індекс Хірша, за яким ба- гаторазове цитування в студентських ро- ботах збільшувало б оцінку роботи мен- ше, ніж єдине посилання авторитетного автора. Такий підхід дозволив Business Intelligence запобігти впливу взаємного цитування авторами різноманітних низь- корейтингових оцінок, але навіть молодий Експертні та інтелектуальні інформаційні системи 90 розробник, на роботу якого звернув увагу хтось з експертів, значно підвищило б йо- го оцінку. На жаль, існуючі наукометрич- ні системи не підтримують такі зважені оцінки, хоча за наявністю доступу до від- повідної бази даних їх обчислення є до- сить простим. Для отримання цих оцінок викорис- товують наукометричні бази даних (НМБД) – бібліографічні і реферативні БД з інструментами для відстеження цитуван- ня статей, опублікованих у наукових ви- даннях. На жаль, нині існує велика кіль- кість комерційних видань, які практично не відстежують науковий рівень робіт, але спромоглися досягти свого включення до різних НМБД. Тому досить часто виникає протиріччя між обсягом індексу НМБД та якістю публікацій, що індексуються як наукові. Найбільш впливова НМБД Scopus видавничої корпорації Elsevier. Це велика бібліографічна і реферативна база даних, що індексує понад 18 000 наукових ви- дань. Видання, які індексуються цією НМБД, мають задовольняти низці умов – мати англомовну назву і публікувати анг- ломовні версії анотацій усіх статей на своєму Web-сайті; публікувати нові випу- ски не рідше одного разу на рік; мати дос- татню авторитетність (з урахуванням нау- кового авторитету членів редколегії), по- пулярність і приступність, а також перед- бачати контроль якості публікацій (на- приклад, наукове рецензування). Таким чином, вважається, що Scopus враховує лише публікації з певним підтвердженим науковим рівнем. Наукометричний апарат Scopus за- безпечує статистику цитування публікацій вчених і установ. Scopus не вживає імпакт- фактор видань, його оцінки базуються на індексі Хірша. База даних доступна за умовами підписки через Web-інтерфейс (http://www.scopus.com), але для авторів статей існує можливість без реєстрації пе- реглядати свою сторінку (http://www.scopus.com/search/form/author FreeLookup.uri), редагувати власний профіль, поєднувати кілька своїх профілів, додавати публікації та, що найбільш важливо, дізнаватися зна- чення свого індексу Хірша та кількість проіндексованих публікацій (рис. 1). Прізвище автора Код ORCID автора Ініціали автора Результати пошуку Рис. 1. Наукометричні параметри в Scopus Не менш популярна НМБД Web of Science компанії Thomson Reuters поєднує реферативні бази даних публікацій у нау- кових журналах і патентів, у тому числі бази, що враховують взаємне цитування публікацій. Вона містить посилання на повні тексти в першоджерелах і списки всіх біб- ліографічних посилань, які зустрічаються в кожній публікації, що дозволяє швидко отримувати повну бібліографію за темою, яка цікавить. Одним із ключових понять її наукометричного апарата Web of Science є імпакт-фактор наукового видання. На жаль, інформація з цієї НМБД доступна тільки для передплатників. Менш відома міжнародна НМБД Index Copernicus (Польща) (http://www.indexcopernicus.com) включає індексування, ранжирування і реферування журналів. Вона має кілька інструментів для оцінки продуктивності, що дозволяють відслідковувати вплив наукових праць і публікацій окремих учених чи наукових установ. Має досить обмежену індексну базу даних. Для використання вимагає реєстрації. Найбільше повно представлені в Web наукові праці проіндексовані в Google Scholar (http://scholar.google.com/) – вільно доступній пошуковій системі, що індексує повний текст наукових публіка- цій у багатьох форматах і з різних дисци- плін. Система забезпечує пошук і форму- http://www.scopus.com)/ Експертні та інтелектуальні інформаційні системи 91 вання коректних посилань у кількох по- ширених форматах – MLA, APA, ISO 690. Автор публікацій може проглядати спи- сок своїх робіт впорядкованим як за ро- ками, так і за кількістю посилань на них, бачити перелік своїх співавторів, якщо вони зареєстровані в Google Scholar. При пошуку можна враховувати час створення і частоту цитування документів. Основні наукометричні показники, що генерує ця НМБД – це індекси Хірша – загальний та окремо за останні п’ять років, та динаміку цитування за роками (рис. 2). Зареєстру- вавшись, можна довідатися в Google Scholar як власний індекс Хірша, так і ін- декс Хірша інших осіб. Індекс Хірша Пошук інших осіб та їх індексу Рис. 2. Наукометричні параметри в Google Scholar Існують і національні НМБД, орієн- товані на індексацію й оцінку публікацій мовами, відмінних від англійського. На- приклад, Web-сайт «Український індекс наукового цитування» (http://uincit.uran.ua) призначений для збору, обробки і надання доступу до даних по показниках активнос- ті індивідуальних і колективних суб’єктів наукової діяльності України. Передбача- ється, що сайт дозволить переглянути по- казники публікаційної активності як окре- мих учених, так і наукових установ Украї- ни, довідатися показники цитування їхніх робіт і ключові наукометричні показники. Інформацію про публікації і показники їх- нього цитування здобуваються сайтом із зовнішніх наукометричних джерел, серед яких міжнародний реєстр учених ORCID, НМБД Web of Science та SciVerse Scopus, науково-видавнича інфраструктура «Нау- кова періодика України». На даний момент сайт працює у тестовому режимі і не за- безпечує заявлені можливості – приміром, в ньому не проіндексовано багато публіка- цій, проіндексованих в Scopus. До п’ятого типу відносяться різно- манітні додаткові відомості, приміром, знайдена в Web інформація, що характери- зує організації, де працює дана особа, та інші факти, які можуть впливати на компе- тентність науковця в певній сфері. Напри- клад, це може бути сторінка Вікіпедії або інформація з особистого сайту. Значною мірою компетентність співробітника визначається місцем його роботи. Тому доцільно враховувати відо- мості про організації (колективи), в яких працюють науковці, і співставляти їх із ПрО наукового продукту, що розглядаєть- ся. Джерелом інформації про організації може служити Web – значна частина підп- риємств і установ має власні офіційні сай- ти і портали. Якщо відомості представлені на офіційному сайті організації, то вони мають відповідати дійсності (але іноді, на жаль, бувають застарілими). Іноді доцільніше використовувати вже структуровані знання про організацію. Організаційна онтологія – це онтологія, що відображає знання про організаційну і функціональну структуру певного суб'єкта економічної діяльності, тобто його основні компоненти і зв’язки між ними. Вона міс- тить відомості щодо працівників підпри- ємства, ієрархію виробничих відносин між ними та ресурси, які використовуються на підприємстві в процесі виробництва, а та- кож описує продукцію, яку створює це підприємство. Для наукових установ та навчальних закладів така онтологія дозво- ляє встановити підпорядкованість підпри- ємства (приміром, Національній академії наук України або Міністерству освіти та науки України), рівень акредитації, її кері- вників, кількість співробітників, посади окремих співробітників, сферу діяльності та отримані раніше результати. Досить корисним джерелом відомо- стей як про організації, так і щодо окремих осіб можуть бути Вікіпедія та різноманітні Wiki-довідники. Представлена в них інфо- Експертні та інтелектуальні інформаційні системи 92 рмація, як правило, є більш актуальною та об’єктивною, ніж відомості з офіційного сайту, але з більшою ймовірністю може містити помилки та недостовірні відомості (це зумовлено самими принципами побу- дови Wiki-ресурсів). Крім того, Wiki- сторінки практично завжди містять елеме- нти структурування та метадані, такі як категорія сторінки або посилання на інші сторінки. Ще корисніше здобувати знання зі сторінок семантичних Wiki-ресурсів, які містять семантичну розмітку. У Wiki-проектах широко викорис- товуються категорії і семантичні властиво- сті. Щоб зв'язати сторінку з визначеною категорією, досить додати в її код ім’я ка- тегорії в подвійних квадратних дужках. Для додавання семантичних властивостей, що задають зв’язки між сторінками (і від- повідними поняттями ПрО) використову- ється наступна конструкція: [[ім’я власти- вості::ім’я сторінки]], що забезпечує фор- мування семантичних трійок “поточна сторінка”(властивість)”зазначена сторін- ка”. Наприклад, конструкція [[столи- ця::Україна]] на сторінці “Київ” вказує, що Київ – це столиця України. У різних Wiki-довідниках представ- лені сторінки організацій і рідше – їхніх співробітників. Якщо автори проекту вка- зують на свій зв’язок з такими сторінками, то аналіз їхніх семантичних властивостей дозволяє витягти з них знання про ці об’єкти і за наявністю додаткових навичок поповнити відповідну онтологію, класами якої є категорії, екземплярами – сторінки, а відношеннями – семантичні властивості сторінок. Зокрема, можна виявити зв'язки з поняттями онтології наукової діяльності й онтології ПрО проекту. Наприклад, Wiki- сторінка дозволяє встановити, що органі- зація, в якій працюють автори наукового продукту, відноситься до Національної академії наук України, а в розділі “Сфера досліджень” є поняття, що описуються в проекті. Наявність таких відповідностей є позитивним чинником. Ще більше корис- них відомостей можна отримати щодо компетентності авторів наукового продук- ту, якщо сторінки Вікіпедії, які описують базові терміни наукового продукту, поси- лаються на Wiki-сторінки цих осіб або хо- ча б на сторінки їх організацій. Роль онтології в оцінці компетенцій Значно підвищити ефективність аналізу компетентності дослідників дозво- лить обробка інформації на семантичному рівні, тобто з використанням знань як до предметної області, до якої відноситься науковий продукт, так і до структури та властивостей процесу наукових дослі- джень. При цьому корисно застосовувати як спеціальні знання про предметну об- ласть, до якої відноситься проект, так і знання про типи і структуру документів, зв’язаних з науковою діяльністю. Саме онтології є на сьогодні широ- ко розповсюдженим засобом представлен- ня знань щодо ПрО, що дозволяє аналізу- вати і співставляти компетенції експертів і розроблювачів у нових дослідницьких об- ластях [15]. Для того, щоб застосовувати у по- шуку знання певної ПрО, необхідно вико- ристовувати онтологічну модель цієї ПрО. Виникає питання до того, звідки можна отримати таку онтологію. На сьогодні в Web представлена велика кількість різно- манітних онтологій, але визначити, яка са- ме з них коректно відображає знання та уявлення дослідників, можуть лише вони самі. Тому онтологію ПрО мають надати розробники наукового продукту, отрима- вши її одним з наступних шляхів: – знайти в Web раніше створену кимось онтологію, що відповідає їх уявленням щодо ПрО; модифікувати знайдену онтологію, додав- ши або змінивши певну її частину; само- стійно створити онтологічну модель ПрО, формалізувавши свої знання; або надати множину ресурсів, які містять знання, на основі яких така онтологія (хоча б найпро- стіша) може бути побудована автоматизо- вано за допомогою інженера з знань. Якщо ж автори не надають таку он- тологію, то використовується більш зага- льна онтологія тієї області знань, до якої відноситься науковий продукт. Наприклад, автори проекту «Розробка інтелектуальної системи інформаційного і когнітивного супроводу функціонування Національної Експертні та інтелектуальні інформаційні системи 93 рамки кваліфікацій» можуть надати онто- логію «Комп’ютерно-орієнтовані навчаль- ні середовища» (рис. 3), але, якщо вони це не зробили, те буде використана онтологія відповідного наукового напрямку «Інфор- маційні і комунікаційні технології». Таксономія класів онтології ПрО Зв’язки між класами ПрО Екземпляри класів Об’єктні властивості класів Класи онтології Рис. 3. Приклад онтологічної моделі ПрО Використання більш загальних он- тологій призводить до двох проблем: 1) необхідно обробляти значно більшу кі- лькість термінів (на етапі побудови тезау- руса проекту); 2) у проекті можуть зустрі- чатися більш загальні, не істотні для суті проекту терміни, обробка яких знижує то- чність результуючої оцінки. Крім того, сам факт наявності в ав- торів проекту онтології, що відповідає ПрО розробки, як правило, свідчить про більш глибокі пізнання в обраній області (особливо якщо мова йде про інформаційні технології) та наявність вже впорядкованої термінологічної бази. Крім онтологій ПрО доцільно за- стосовувати загальну онтологію наукової діяльності, що дозволяє однозначно вста- новлювати значення термінів, пов’язаних з рейтингом публікацій, посадами, освітнім рівнем, науковими ступенями й ученими званнями, типами організацій тощо. Така онтологія спеціально розробляється для цілей визначення компетентності авторів проекту на основі організаційних онтоло- гій наукових організацій, класифікатора УДК і паспортів спеціальностей ВАК. Вона має відображати, приміром, такі відношення між класами, як «бути співав- тором», «працювати в організації», «бути автором публікації», «мати учений ступінь за фахом» та властивості екземплярів класів «бути публікацією ВАК», «мати ін- декс Хірша» (рис. 4). В даній роботі про- понується прототип такої онтології, який може бути розширено для різних наукових галузей та окремих випадків наукових продуктів. Рис. 4. Онтологія наукової діяльності Ця онтологія пропонується авторам проекту як зразок для опису і класифікації пропонованих документів, що мають за- свідчити рівень їхньої компетентності в науковій діяльності в цілому й у предмет- ній області створення конкретного науко- вого продукту, що аналізується. Зіставлення природномовних документів Для зіставлення наукового продук- ту і компетенцій дослідників пропонується побудувати тезаурус природномовного опису наукового продукту і тезауруси всіх ІР, що описують компетенції дослідників, а потім порівняти їх. Тезаурус природномовного ІР являє собою проекцію онтології аналізованої ПрО на розглянутий документ, тобто мно- жину тих онтологічних термінів, які були співставлені з певними фрагментами цього документу. Більш докладно алгоритм по- будови таких тезаурусів розглядається в [16]. Ефективність такого оцінювання в значній мірі залежить від вибору онтології ПрО і від того, наскільки пертинентно ця онтологія описує ПрО. Тезаурус дослідників визначається як об’єднання тезаурусів окремих ІР. При Експертні та інтелектуальні інформаційні системи 94 цьому варто враховувати вагу окремих ІР, яка дозволяє враховувати як значущість кожного документа для опису компетенції, так і рівень довіри до цього ІР. Наприклад, більшу вагу має автореферат дисертації, ніж опис диплома, а при оцінці публікацій доцільно враховувати рейтинг різних жур- налів і конференцій у НМБД. Іноді передбачається, що дослідник сам формує набір документів, що найбі- льше пертинентні даному науковому про- дукту. Наприклад, якщо в автора є n нау- кових публікацій, то він сам відбирає m таких, що пов’язані з конкретним науко- вим продуктом, причому не обов’язково це мають бути статті з найбільшим індексом цитування. Однак, автор має прагнути до того, щоб для більшості понять онтології ПрО, для якого виявлені лінгвістичні ана- логи в тексті наукового продукту, існували такі відповідності й у його роботах (вага кожного окремого зіставлення визначаєть- ся вагою ІР, обумовленим як функція від статусу документа і його рейтингу). Статус документа характеризує рі- вень його документального підтверджен- ня, а рейтинг – його оцінку в НМБД. Спочатку будується тезаурус нау- кового продукту  ПрОНП ОНП,Th , що є функцією від природномовного опису наукового продукту НП і від обраної онто- логії ПрО AR,T,OПрО  . Це є множина пар  ii q,t , де T,t i  Т – множина термі- нів онтології ПрО , а iq – кількість знай- дених відповідностей, що визначає вагу цього терміна (якщо визначений термін зустрічається в описі наукового продукту п’ять разів, то передбачається, що він більш важливий, ніж той, що зустрівся два рази). Для кожного терміна онтології ПрО починається спроба знайти фрагмен- ти тексту. Аналогічно будується тезаурус ко- жного ІР  ПрОіІР О,ІРTh , що характери- зують дослідника, а їх зважене поєднання є тезаурусом дослідника, тобто:     ,v,О,ІРThОХ,Th і ІРПрОіІРПрОдосл і де ip – кількість знайдених відповіднос- тей, що визначає вагу цього терміна jІРv – вага j-го ІР. Загальна оцінка відповідності ком- петентності розробника Х до наукового продукту НП,  j jІРНП  підраховується як:   .v*p*qОНП,X,Compet Tti, j ІРiiПрО i j    Щоб визначити вагу j-го ІР jІРv , враховується статус документа (диплом, сертифікат, пояснювальний матеріал, нау- кова публікація, тези доповіді, звіт тощо. Для кожного типу документів кількісні значення ваги визначаються індивідуально залежно від специфіки наукового продук- ту, для якого проводиться аналіз. Примі- ром, для пошуку наукового консультанта більш важливі відповідна спеціальність та публікації ВАК, а для участі в міжнарод- них проектах – кількість робіт, проіндек- сованих в Scopus та Google Scholar. Крім того, для наукових публікацій враховуєть- ся імпакт-фактор видання (яка саме НМБД використовується для підрахунку залежить від наукового продукту), тобто: jІРjІРjІР Stat*pImv  . Іноді доцільно враховувати також загальну наукову компетентність дослід- ника, яку відображає його індекс Хірша. Це дозволяє порівнювати спеціалістів пев- ної ПрО за їх досвідом дослідницької ро- боти:  ПрОH ОНП,X,Compet   ,H(X)*ОНП,X,Compet ПрО де Н(Х) – індекс Хірша. Висновки Запропоновано базований на онто- логіях підхід до проблеми об’єктивного оцінювання компетентності дослідників та експертів, придатний для застосування в тих предметних областях, що характери- зуються високою динамікою розвитку. Ціллю розробки таких методів є підви- Експертні та інтелектуальні інформаційні системи 95 щення ефективності науково-дослідної ро- боти та більш пертинентний пошук осіб та організацій, що можуть кваліфіковано створювати наукові продукти зі складною структурою. Розробка базується як на результа- тах, що стосуються семантичного пошуку складних інформаційних об’єктів, окре- мими випадками яких є як наукові продук- ти, так і окремі дослідники та експерти, так і на дослідженнях, що відносяться до аналізу наукометричних показників оцінки наукової діяльності. 1. Петровский А.Б., Ройзензон Г.В., Тихонов И.П. Построение интегральных показате- лей оценки результативности научных проектов / // Intelligent Support of Decision Making / Ed. by K. Markov, A. Voloshyn, K. Ivanova, I. Mitov, – N 10, Sofia: FOI ITHEA, 2009. – P. 59–66. 2. Gruber T. What is an Ontology? – http://www-ksl.stanford.edu/kst/what-is-an- ontology.html. 3. Guarino N. Formal Ontology in Information Systems // Formal Ontology in Information Systems. Proceedings of FOIS'98, Trento, Italy, June 6–8, 1998 / Ed. N.Guarino. Amsterdam: IOS Press, 1998. – P. 3–15. 4. Uschold M. Knowledge Level Modeling: Concepts and Terminology // The Knowledge Engineering Review. – 1998. – Vol. 13:1. – P. 5–29. 5. Gruber T.R. A Translation Approach to Portable Ontology Specifications. In Knowledge Acquisition. – 1993. – N 5. – P. 199–220. 6. Добров Б.В., Иванов В.В., Лукашевич Н.В., Соловьев В.Д. Онтологии и тезаурусы: мо- дели, инструменты, приложения // Элект- ронная книга. – 2006. – 220 с. – http://catscpp.googlecode.com/svn- history/r146/trunk/diploma/materials/ontologi es_tesauruses.pdf. 7. Kalfoglou1 Y., Schorlemmer M. Ontology mapping: the state of the art // The knowledge engineering review. – 2003. – N 18(01). – P. 1–31. – http://eprints.soton.ac.uk/260519/ 1/ker02-ontomap.pdf. 8. Клещев А.С., Артемьева И.Л. Математиче- ские модели онтологий предметных облас- тей. Часть 3. Сравнение разных классов моделей онтологий. – https://www.google.com.ua/url?sa=t&rct=j&q =&esrc=s&source=web&cd=1&cad=rja&uact =8&ved=0CCAQFjAA&url=http%3A%2F% 2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_ 3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&us g=AFQjCNH_HrORBfpzGglNArtQBnULxE nE_Q&sig2=fm-oTIshJEn0qESfJn7KwA. 9. Смирнов С.В. Онтологии как смысловые модели // Онтология проектирования. – 2013. – № 2 (8). – С.11–19. 10. Золин Е. Дескрипционная логика. – http://lpcs.math.msu.su/~zolin/dl/. 11. Рогушина Ю.В. Разработка средств персо- нификации интеллектуальных Web- приложений // Материалы V международ- ной научно-технической конференции «Открытые семантические технологии проектирвоания интеллектуальных сис- тем» OSTIS-2015. – Минск: БГУИР, 2015. – С. 265–270. 12. Штовба С.Д., Штовба Е.В. Обзор науко- метрических показателей для оценки пуб- ли-кационной деятельности ученого // Управление большими системами: сборник трудов, (44). – http://belmapo.by/assets/files/naukometriches kie-pokazateli-dlya-ocenki-deyatelnosti- uchenoo.pdf. 13. Бурков, В.Н., Белощицкий А.А., Гогунский В.Д. Параметры цитируемости научных публикаций в наукометрических базах данных // Управління розвитком складних систем. – 2013. – 15. – С. 134–139. 14. Hirsch J.E. An index to quantify an individual's scientific research output // Proc. of the National academy of Sciences of the United States of America. – 2005. – 102(46). – Р. 16569–16572. 15. Rogushina J., Gladun A. Ontology-based competency analyses in new research domains // Journal of Computing and Information Technology. – 2012. – V. 20, N. 4. – P. 277–293. 16. Гладун А.Я., Рогушина Ю.В. Основи мето- дології формування тезаурусів з викорис- танням онтологічного та мереологічного аналізу // Искусственный интеллект. – 2008. – № 5. – С.112–124. References 1. Petrovkiy A.B., Royzenzone G.V., Tichonov I.P. Building of integated characteristics of estimation of scientific projects // Intelligent Support of Decision Making / Ed. by K. Markov, A. Voloshyn, K. Ivanova, I. Mitov, – N 10, Sofia: FOI ITHEA. – 2009. – P. 59–66. https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA http://lpcs.math.msu.su/~zolin/dl/ http://belmapo.by/assets/files/naukometricheskie-pokazateli-dlya-ocenki-deyatelnosti-uchenogo.pdf http://belmapo.by/assets/files/naukometricheskie-pokazateli-dlya-ocenki-deyatelnosti-uchenogo.pdf http://belmapo.by/assets/files/naukometricheskie-pokazateli-dlya-ocenki-deyatelnosti-uchenogo.pdf Експертні та інтелектуальні інформаційні системи 96 2. Gruber T. What is an Ontology? – http://www-ksl.stanford.edu/kst/what-is-an- ontology.html. 3. Guarino N. Formal Ontology in Information Systems // Formal Ontology in Information Systems. Proceedings of FOIS'98, Trento, Italy, June 6-8, 1998 / Ed. N.Guarino. Amsterdam: IOS Press, 1998. – P. 3–15. 4. Uschold M. Knowledge Level Modeling: Concepts and Terminology // The Knowledge Engineering Review. – 1998, Vol. 13:1. – P. 5–29. 5. Gruber T.R. A Translation Approach to Portable Ontology Specifications. In Knowledge Acquisition. – 1993. – N 5. – P. 199–220. 6. Dobrov B.V., Ivanov V.V., Lucashevich N.V., Soloviev V.D. Ontologies and thesauri: models, methods, tools and applications. – E- book, 2006. – 220 p. – http://catscpp.googlecode.com/svn- history/r146/trunk/diploma/materials/ontologi es_tesauruses.pdf. 7. Kalfoglou1 Y., Schorlemmer M. Ontology mapping: the state of the art // The knowledge engineering review. – 2003. – N 18(01). – P. 1–31. – http://eprints.soton.ac.uk/260519/ 1/ker02-ontomap.pdf. 8. Kleschev A.S., Artemieva I.L. Mathematical models of domain ontologies. Part 3. Comparison of different classes of ontological models. – https://www.google.com.ua/url?sa=t&rct=j&q =&esrc=s&source=web&cd=1&cad=rja&uact =8&ved=0CCAQFjAA&url=http%3A%2F% 2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_ 3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&us g=AFQjCNH_HrORBfpzGglNArtQBnULxE nE_Q&sig2=fm-oTIshJEn0qESfJn7KwA. 9. Smirnov S.V. Ontologies as. Онтологии как sense models // Ontology of designing. – 2013. – N 2 (8). – P. 11–19. 10. Zolon E. Descriptive logic Дескрипционная логика. – http://lpcs.math.msu.su/~zolin/dl/. 11. Rogushina J.V. Design of personification means of intelligent Web-applications // Proc. of V international conference OSTIS-2015, Minsk. – 2015. – P. 265–270. 12. Shtovba S.D., Shtovba E.V. Overview of scientometric indexes for estimation of publication activity of scientist // Management of big systems, (44). – http://belmapo.by/assets/files/naukometriches kie-pokazateli-dlya-ocenki-deyatelnosti- uchenoo.pdf. 13. Burkov V.N., Beloschitsry A.A., Gogunsky V.D. Citation parameters of scientific publications in scientometric databases // Management of complex systems development. – 2013. – 15. – P. 134–139. 14. Hirsch J.E. An index to quantify an individual's scientific research output // Proc. of the National academy of Sciences of the United States of America. – 2005. – 102(46). – Р. 16569–16572. 15. Rogushina J., Gladun A. Ontology-based competency analyses in new research domains // Journal of Computing and Information Technology. – 2012. – V. 20, N. 4. – P. 277–293. 16. Gladun A.Y., Rogushina J.V. Methodological bases of thesauri creation with use of ontological and mereological analysis // Artificial intelligence. – 2008. – N 5. – P. 112–124. Одержано 03.02.2016 Про автора: Рогушина Юлія Віталіївна, кандидат фізико-математичних наук, старший науковий співробітник. Кількість публікацій в українських виданнях – 110. Кількість публікацій в іноземних виданнях – 28. Індекс Хірша – 10. http://orcid.org/0000-0001-7958-2557. Місце роботи автора: Інститут програмних систем НАН України, 03181, Київ-187, Проспект Академіка Глушкова, 40. Тел.: (066) 550 1999. E-mail: ladamandraka2010@gmail.com https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA https://www.google.com.ua/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCAQFjAA&url=http%3A%2F%2Fwww.iacp.dvo.ru%2Fes%2Fpubl%2F104_3.rtf&ei=i5tkVfTmOKTvywPH94DoDw&usg=AFQjCNH_HrORBfpzGglNArtQBnULxEnE_Q&sig2=fm-oTIshJEn0qESfJn7KwA http://lpcs.math.msu.su/~zolin/dl/ http://belmapo.by/assets/files/naukometricheskie-pokazateli-dlya-ocenki-deyatelnosti-uchenogo.pdf http://belmapo.by/assets/files/naukometricheskie-pokazateli-dlya-ocenki-deyatelnosti-uchenogo.pdf http://belmapo.by/assets/files/naukometricheskie-pokazateli-dlya-ocenki-deyatelnosti-uchenogo.pdf mailto:ladamandraka2010@gmail.com

Схожі ресурси