Исследование методов группового экспертного оценивания экспертами при работе в INTERNET
Изложена методика и результаты сравнительного экспериментального исследования методов группового оценивания объектов, используемых при построении базы знаний системы поддержки принятия решений группами экспертов, которые взаимодействуют с помощью Internet, и экспертами, работающими вне сети. Оценены...
Збережено в:
| Опубліковано в: : | Реєстрація, зберігання і обробка даних |
|---|---|
| Дата: | 2004 |
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Інститут проблем реєстрації інформації НАН України
2004
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/50659 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Исследование методов группового экспертного оценивания экспертами при работе в INTERNET / В.Г. Тоценко, В.В. Цыганок, Н.В. Ивашкевич // Реєстрація, зберігання і оброб. даних. — 2004. — Т. 6, № 2. — С. 81-87. — Бібліогр.: 9 назв. — pос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-50659 |
|---|---|
| record_format |
dspace |
| spelling |
Тоценко, В.Г. Цыганок, В.В. Ивашкевич, Н.В. 2013-10-27T01:13:34Z 2013-10-27T01:13:34Z 2004 Исследование методов группового экспертного оценивания экспертами при работе в INTERNET / В.Г. Тоценко, В.В. Цыганок, Н.В. Ивашкевич // Реєстрація, зберігання і оброб. даних. — 2004. — Т. 6, № 2. — С. 81-87. — Бібліогр.: 9 назв. — pос. 1560-9189 https://nasplib.isofts.kiev.ua/handle/123456789/50659 519.816, 681.518.2 Изложена методика и результаты сравнительного экспериментального исследования методов группового оценивания объектов, используемых при построении базы знаний системы поддержки принятия решений группами экспертов, которые взаимодействуют с помощью Internet, и экспертами, работающими вне сети. Оценены значения показателей погрешностей, согласованности оценок и временных затрат. Викладено методику і результати порівняльного експериментального дослідження методів групового оцінювання об’єктів, які застосовуються при побудові бази знань системи підтримки прийняття рішень групами експертів, що взаємодіють за допомогою Internet, і експертами, що працюють поза мережею. Оцінено значення показників похибок, узгодженості оцінок і часових витрат. A procedure and results of comparative experimental research of methods of group evaluation of the objects, used for creating knowledge bases of a decision-making support system by the groups of experts which cooperate by using Internet and experts working out of network are presented. The values of indexes of errors, consistency of estimations and expenditures of time were estimated. ru Інститут проблем реєстрації інформації НАН України Реєстрація, зберігання і обробка даних Експертні системи та підтримка прийняття рішень Исследование методов группового экспертного оценивания экспертами при работе в INTERNET Дослідження методів групового експертного оцінювання експертами при роботі в INTERNET Group Expert Estimating Methods Research by Experts at Working in the INTERNET Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Исследование методов группового экспертного оценивания экспертами при работе в INTERNET |
| spellingShingle |
Исследование методов группового экспертного оценивания экспертами при работе в INTERNET Тоценко, В.Г. Цыганок, В.В. Ивашкевич, Н.В. Експертні системи та підтримка прийняття рішень |
| title_short |
Исследование методов группового экспертного оценивания экспертами при работе в INTERNET |
| title_full |
Исследование методов группового экспертного оценивания экспертами при работе в INTERNET |
| title_fullStr |
Исследование методов группового экспертного оценивания экспертами при работе в INTERNET |
| title_full_unstemmed |
Исследование методов группового экспертного оценивания экспертами при работе в INTERNET |
| title_sort |
исследование методов группового экспертного оценивания экспертами при работе в internet |
| author |
Тоценко, В.Г. Цыганок, В.В. Ивашкевич, Н.В. |
| author_facet |
Тоценко, В.Г. Цыганок, В.В. Ивашкевич, Н.В. |
| topic |
Експертні системи та підтримка прийняття рішень |
| topic_facet |
Експертні системи та підтримка прийняття рішень |
| publishDate |
2004 |
| language |
Russian |
| container_title |
Реєстрація, зберігання і обробка даних |
| publisher |
Інститут проблем реєстрації інформації НАН України |
| format |
Article |
| title_alt |
Дослідження методів групового експертного оцінювання експертами при роботі в INTERNET Group Expert Estimating Methods Research by Experts at Working in the INTERNET |
| description |
Изложена методика и результаты сравнительного экспериментального исследования методов группового оценивания объектов, используемых при построении базы знаний системы поддержки принятия решений группами экспертов, которые взаимодействуют с помощью Internet, и экспертами, работающими вне сети. Оценены значения показателей погрешностей, согласованности оценок и временных затрат.
Викладено методику і результати порівняльного експериментального дослідження методів групового оцінювання об’єктів, які застосовуються при побудові бази знань системи підтримки прийняття рішень групами експертів, що взаємодіють за допомогою Internet, і експертами, що працюють поза мережею. Оцінено значення показників похибок, узгодженості оцінок і часових витрат.
A procedure and results of comparative experimental research of methods of group evaluation of the objects, used for creating knowledge bases of a decision-making support system by the groups of experts which cooperate by using Internet and experts working out of network are presented. The values of indexes of errors, consistency of estimations and expenditures of time were estimated.
|
| issn |
1560-9189 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/50659 |
| citation_txt |
Исследование методов группового экспертного оценивания экспертами при работе в INTERNET / В.Г. Тоценко, В.В. Цыганок, Н.В. Ивашкевич // Реєстрація, зберігання і оброб. даних. — 2004. — Т. 6, № 2. — С. 81-87. — Бібліогр.: 9 назв. — pос. |
| work_keys_str_mv |
AT tocenkovg issledovaniemetodovgruppovogoékspertnogoocenivaniâékspertamiprirabotevinternet AT cyganokvv issledovaniemetodovgruppovogoékspertnogoocenivaniâékspertamiprirabotevinternet AT ivaškevičnv issledovaniemetodovgruppovogoékspertnogoocenivaniâékspertamiprirabotevinternet AT tocenkovg doslídžennâmetodívgrupovogoekspertnogoocínûvannâekspertamiprirobotívinternet AT cyganokvv doslídžennâmetodívgrupovogoekspertnogoocínûvannâekspertamiprirobotívinternet AT ivaškevičnv doslídžennâmetodívgrupovogoekspertnogoocínûvannâekspertamiprirobotívinternet AT tocenkovg groupexpertestimatingmethodsresearchbyexpertsatworkingintheinternet AT cyganokvv groupexpertestimatingmethodsresearchbyexpertsatworkingintheinternet AT ivaškevičnv groupexpertestimatingmethodsresearchbyexpertsatworkingintheinternet |
| first_indexed |
2025-11-25T23:06:48Z |
| last_indexed |
2025-11-25T23:06:48Z |
| _version_ |
1850577541243338752 |
| fulltext |
Експертні системи
та підтримка прийняття рішень
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2004, Т. 6, № 2 81
УДК 519.816, 681.518.2
В. Г. Тоценко1, В. В. Цыганок1, Н. В. Ивашкевич2
1Институт проблем регистрации информации НАН Украины
ул. Н.Шпака, 2, 03113 Киев, Украина
2Институт прикладного системного анализа
Национального технического университета Украины «КПИ»
пр. Победы, 37, 03056 Киев, Украина
Исследование методов группового экспертного
оценивания экспертами при работе в INTERNET
Изложена методика и результаты сравнительного эксперименталь-
ного исследования методов группового оценивания объектов, исполь-
зуемых при построении базы знаний системы поддержки принятия
решений группами экспертов, которые взаимодействуют с помощью
Internet, и экспертами, работающими вне сети. Оценены значения по-
казателей погрешностей, согласованности оценок и временных за-
трат.
Ключевые слова: системы поддержки принятие решений, экспертное
оценивание, Internet.
Общепринятая технология создания систем поддержки принятия решений
(СППР) для конкретных приложений состоит в использовании стандартных про-
граммных оболочек и погружении в них баз знаний (БЗ) о конкретной области
применения СППР. При использовании мультикритериальных СППР БЗ содержат
иерархии формулировок критериев, подкритериев и значений их относительной
важности [1]. Применение СППР с целевым оцениванием альтернатив [2, 3] тре-
бует внесения в БЗ информации о формулировках, типах и связях целей, их част-
ных коэффициентах влияния и ряде абсолютных величин, характеризующих па-
раметры элементов иерархии целей. Эта информация вносится в БЗ экспертами,
использующими для повышения достоверности оценок методы группового экс-
пертного оценивания с учетом компетентности экспертов [3–6]. Такого плана
экспертизы могут проводиться в условиях, когда группа экспертов территориаль-
но распределена, а ее члены общаются с помощью Internet. При этом эксперты
одновременно работают на разных рабочих местах, они могут не знать друг друга
лично, могут даже не иметь единого для всех языка общения, а функции коорди-
© В. Г. Тоценко, В. В. Цыганок, Н. В. Ивашкевич
В. Г. Тоценко, В. В. Цыганок, Н. В. Ивашкевич
82
нации работы экспертов берут на себя администратор и серверное программное
обеспечение.
При использовании такой технологии экспертного оценивания существует
ряд особенностей, отличающих ее от технологии, при использовании которой
эксперты могут непосредственно свободно общаться между собой, согласовывать
свою позицию и последовательно, один за другим, вводить информацию о своих
оценках.
Ввиду того, что в настоящее время разработано более двух десятков методов
экспертного оценивания [3], с целью обоснованного выбора метода для конкрет-
ного применения целесообразно использовать способ [7], основанный на муль-
тикритериальном оценивании методов экспертного оценивания, учитывающем
такие показатели как погрешности оценивания, согласованность результатов, не-
обходимое для получения оценок время, психологическую привлекательность ме-
тодов и т.п. и предпочтения организатора экспертизы. Эти показатели могут быть
определены только путем эксперимента, обеспечивающего статистическую со-
стоятельность результатов.
Методика и результаты экспериментального исследования индивидуальных
методов экспертного оценивания приведены в [8, 9]. При внедрении технологии
экспертного оценивания, которая предусматривает, что эксперты, принимающие
участие в групповой экспертизе, разнесены территориально, возникла настоя-
тельная необходимость в проведении нового экспериментального исследования,
которое бы дало ответ на ряд вопросов: как и насколько изменятся выше перечис-
ленные показатели групповых методов экспертного оценивания при реализации
их с помощью Internet по сравнению с показателями обычных (несетевых) груп-
повых методов; следует ли предоставлять эксперту для просмотра оценки, данные
другими экспертами, и как это может повлиять на показатели методов; следует ли
предоставлять информацию о том, кто из экспертов персонально принимает уча-
стие в групповом экспертном оценивании.
Для того чтобы получить ответы на вышеупомянутые и, возможно, некото-
рые другие вопросы, была разработана система поддержки построения БЗ
(СППБЗ), которая реализует все ранее предложенные методы группового экс-
пертного оценивания, а также методику проведения экспериментального исследо-
вания. СППБЗ реализована на основе WEB-сервера, программное обеспечение
которого написано на специализированном для разработки в сети Internet языке
программирования «PhP» с использованием сервера баз данных «MySQL».
При проектировании СППБЗ прежде всего ставились задачи обеспечения
удобства ее применения в процессе работы как экспертов, так и администратора.
Среди наиболее значимых особенностей условий работы экспертов следует отме-
тить полную изолированность экспертов друг от друга и независимость их инди-
видуальных графиков времени подключения к работе. Это позволяет экспертам
работать одновременно, не ожидая завершения работы других членов группы,
что, несомненно, повышает эффективность, а также нейтрализует психологиче-
скую напряженность в ходе работы. Вместе с тем, это вызывает сложности в ходе
решения задач при имеющихся временных ограничениях. В этом случае требуют-
ся своевременность оповещения экспертов и слежение за непрерывностью про-
цесса.
Исследование методов
группового экспертного оценивания экспертами при работе в INTERNET
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2004, Т. 6, № 2 83
Реализация этих особенностей обеспечивается соответствующими техноло-
гиями интерактивной поддержки двухсторонней связи между администратором и
экспертами и, в случае необходимости, приостановления конкретного этапа ре-
шения задачи или перемены условий проведения процесса. Большой акцент дела-
ется на обеспечении максимально удобного и интуитивно понятного интерфейса
для экспертов и администратора, а также автоматизации многих этапов процесса
экспертного оценивания, чтобы исключить лишние временные задержки и влия-
ние человеческого фактора на возможные ошибки. Автоматизация обеспечивает
устранение необходимости любых математических подсчетов «вручную», кото-
рые перекладываются на работу системы. Однако полностью переложить управ-
ление процессом на систему невозможно. Поэтому для стабильной работы необ-
ходима своевременная коррекция данных и поэтапное непосредственное подклю-
чение к работе администратора.
Методика проведения экспериментального группового оценивания с обрат-
ной связью с экспертами и учетом их компетентности для определения влияния
условий работы в Internet заключается в следующем.
Используя разработанную СППБЗ, определяются показатели относительной
весомости альтернатив (относительной степени заполненности квадратов), при-
меняя групповые методы с обратной связью с экспертом:
1) метод непосредственной оценки;
2) метод «треугольник» мультипликативных парных сравнений с выражени-
ем дискретных значений весов в фундаментальной шкале, вербальным вводом
данных, предварительным упорядочением и последовательным методом обработ-
ки;
3) метод «квадрат» мультипликативных парных сравнений с выражением
дискретных значений преимуществ в фундаментальной шкале, вербальным вво-
дом данных и параллельным методом обработки;
4) метод «линия».
В качестве моделей альтернатив принимается набор графических фигур, раз-
ной, но известной степени заполненности элементарными квадратами (рис. 1).
Обоснование выбора объекта такого типа для экспертного оценивания предложе-
но в [8].
Абсолют-
ный вес
Wi = 0,44
Относите
льный вес
σi = 0,11
Абсолют-
ный вес
Wi = 0,57
Относите
льный вес
σi = 0,15
Абсолют
ный вес
Wi = 0,26
Относите-
льный вес
σi = 0,07
Абсолют-
ный вес
Wi = 0,57
Относите-
льный вес
σi = 0,15
Рис. 1
Абсолют-
ный вес
Wi = 0,83
Относите-
льный вес
σi = 0,22
Абсолют-
ный вес
Wi = 0,19
Относитель-
ный вес
σi = 0,05
Абсолют-
ный вес
Wi = 1,00
Относите-
льный вес
σi = 0,25
В. Г. Тоценко, В. В. Цыганок, Н. В. Ивашкевич
84
Количество фигур для проведения эксперимента выбрано равное 7. Это обос-
новывается фактом, что человек по своим психофизиологическим ограничением
может корректно оценить 7±2 объекта одновременно.
В качестве экспертов назначалась группа студентов с равными коэффициен-
тами компетентности и администратор, в обязанности которого входило управле-
ние процессом обработки данных и действий экспертов на каждом шаге.
Эксперты распределялись по изолированным рабочим местам. Надо заме-
тить, что для изучения значения живого общения между экспертами во время ра-
боты, при проведении эксперимента в сети Internet были созданы условия, при
которых информация об оценках, которые дают эксперты, и участниках экспери-
мента оставалась закрытой для них.
Под удаленным руководством ЛПР бригада экспертов, используя групповые
методы экспертного оценивания («непосредственное оценивание», «линия»,
«квадрат», «треугольник»), независимо друг от друга сравнивали степени запол-
ненности фигур, используя специальную систему ввода данных (рис. 2).
Рис. 2
Алгоритмы получения и обработки экспертной информации этими методами
описаны в [2]. Кратко их сущность состоит в следующем. При использовании
мультипликативных методов эксперту предлагалось дать ответ на вопрос: «Во
сколько раз, по Вашему мнению, степень заполнения первого квадрата превосхо-
дит степень заполнения второго?» относительно всех предъявляемых ему в соот-
ветствии с алгоритмом оценивания пар квадратов (альтернатив).
Исследование методов
группового экспертного оценивания экспертами при работе в INTERNET
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2004, Т. 6, № 2 85
После этого результаты определения ненормированных весов альтернатив,
выполненных членами бригады, объединялись в один массив. Для каждого мето-
да, используя объединенный массив результатов, строились спектры весов каж-
дой из альтернатив. Вычислялись коэффициенты согласованности спектров весов
альтернатив, пороговые значения коэффициента согласованности и делался вывод
относительно достаточности уровня согласованности результатов по каждому ме-
тоду и каждой альтернативе [2]. В случае недостаточного значения коэффициента
согласованности экспертных оценок веса некоторой альтернативы для всех экс-
пертов вычислялась величина
jojj cvv /-=d ,
где jv — оценка, данная j-м экспертом; 0v — среднее арифметическое множества
экспертных оценок веса альтернативы; jc — коэффициент относительной компе-
тентности j-го эксперта
Выбирался эксперт je , для которого величина jd — наибольшая, и ему пред-
лагалось изменить данную им оценку в направлении сближения со средним зна-
чением. Если он соглашался, то экспертные оценки веса пересчитывались, если
нет, то обращение с просьбой изменить свою точку зрения адресовалось следую-
щему эксперту, оценка которого по отдаленности от среднего значения на втором
месте, и т.д. Если все эксперты отказывались изменить оценки, группа экспертов
менялась, а полученные данные признавались непригодными к использованию.
Описанная процедура выполнялась для каждой альтернативы до тех пор, пока
значение коэффициента согласованности множества оценок ее веса не достигало
порога применения [2], после чего по согласованным спектрам весов рассчитыва-
лись окончательные агрегированные оценки «альтернатив».
Для каждого метода экспертного оценивания по проведению экспертизы бы-
ли определены такие количественные его характеристики как среднее значение
относительной погрешности оценивания, коэффициент согласованности резуль-
татов, необходимое для получения оценок время.
Аналогичный эксперимент проводился в условиях внесетевой работы экспер-
тов при последовательном, т.е. поочередном порядке ввода данных. Во втором
случае эксперты работали, имея возможность живого общения друг с другом, и,
следовательно, подвергались влиянию других экспертов.
Затем было проведено ранжирование по коэффициенту согласованности,
среднему значению относительной ошибки и времени определения агрегирован-
ных согласованных оценок весов альтернатив, для обоих случаев — сетевой и
внесетевой работы экспертов.
Результаты эксперимента представлены в табл. 1.
В. Г. Тоценко, В. В. Цыганок, Н. В. Ивашкевич
86
Таблица 1
В Internet Без Internet
Н
аз
ва
ни
е
ме
то
да
К
оэ
фф
иц
ие
нт
с
ог
ла
со
ва
нн
ос
ти
Ра
нг
С
ре
дн
ее
зн
ач
ен
ие
от
но
си
те
ль
но
й
по
гр
еш
но
ст
и,
%
Ра
нг
В
ре
мя
п
ол
уч
ен
ия
со
гл
ас
ов
ан
ны
х
оц
ен
ок
, c
Ра
нг
К
оэ
фф
иц
ие
нт
со
гл
ас
ов
ан
но
ст
и
Ра
нг
М
ат
ем
ат
ич
ес
ко
е
ож
ид
ан
ие
ош
иб
ки
Ра
нг
В
ре
мя
п
ол
уч
ен
ия
со
гл
ас
ов
ан
ны
х
оц
ен
ок
, c
Ра
нг
Линия 0,8639 4 2,4020 2 480 2 0,8831 3 3,25 2 660 2
«Непо-
средст.
оцени-
вание»
0,83532
1
4,0476
3
300
1
0,9213
1
4,1904
3
450
1
«Треу-
голь-
ник»
0,8953
2
1,2500
1
680
3
0,9135
2
1,1050
1
950
3
«Квад-
рат»
0,8701 3 4,4190 4 1180 4 0,8731 4 4,305 4 1850 4
Анализ полученных результатов позволяет сделать следующие выводы.
1. Согласованность оценок, данных экспертами, которые работают в Internet,
меньше по всем исследуемым методам, чем при работе вне сети. Возможно, это
объясняется тем, что живой контакт дает возможность обсуждения и принятия
общего решения уже в процессе оценивания. В пользу этой гипотезы говорит и
большее количество повторных обращений к экспертам с просьбами о перемене
мнения для достижения необходимого уровня коэффициента согласованности при
использовании Internet (табл. 2).
Таблица 2
Количество повторных обращений к экспертам
с предложением изменить оценки Метод
В Internet Без Internet
«Непосредственное
оценивание»
1 0
«Линия» 4 2
«Треугольник» 8 3
«Квадрат» 10 5
2. Точность агрегированных оценок, полученных всеми исследованными ме-
тодами (за исключением метода «треугольник») при работе в Internet, выше, чем
точность оценок, полученных аналогичными методами при внесетевой работе.
3. Продолжительность процесса получения согласованных оценок при ис-
пользовании Internet оказалась меньше, чем при применении аналогичных мето-
дов в условиях внесетевой работы.
Исследование методов
группового экспертного оценивания экспертами при работе в INTERNET
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2004, Т. 6, № 2 87
4. Использование Internet создает более комфортные условия для работы экс-
пертов вследствие появляющейся возможности построить собственный график
работы.
5. Использование сети Internet создает условия для привлечения к построе-
нию БЗ СППР более квалифицированных экспертов, которых организационно
трудно собрать в одном месте и в одно время для внесетевой групповой работы.
1. Saaty T.L. The Analytic Network Process. — Pittsburgh: RWS Publications, 1996. — 370 p.
2. Тоценко В.Г. Оценка сравнительной эффективности проектов комплексных целевых про-
грамм методом моделирования иерархий целей // Электрон. моделирование. — 1998. — 20, № 3.
— С. 76–90 (Totsenko V.G. Estimation of Comparative Efficiency of Projects of Complex Target – ori-
ented Programs Using the Simulation Method of Goal Hierarchy // Eng. Simulat. — 1999. — Vol. 16. —
Р. 361–375).
3. Тоценко В.Г. Методы и системы поддержки принятия решений. Алгоритмический аспект.
— К.: Наук. думка, 2002. — 382 с.
4. Zgurovsky M.Z., Totsenko V.G., Tsyganok V.V. Group Incomplete Paired Comparisons with Ac-
count of Expert Competence // Mathematical and Computer Modelling. — 2004, Febr. — Vol. 39, N 4–5.
— Р. 349–361.
5. Тоценко В.Г., Циганок В.В., Деєв А.А., Олійник І.Д. Побудова баз знань систем підтримки
прийняття рішень групами розподілених експертів // Реєстрація, зберігання і оброб. даних. —
2002. — Т.4, № 4. — С. 120–128.
6. Тоценко В.Г. Согласование и агрегация оценок экспертов с учетом их компетентности при
групповом оценивании альтернатив для поддержки принятия решений // Проблемы управления и
информатики. — 2002. — № 4. — С. 128–141 (Totsenko V.G. Matching and Aggregation of Experts
Estimates Taking into Account Experts’ Competence while Group Estimation of Alternatives for Deci-
sion Making Support // J. Automation and Information Sciences. — 2002. — Vol. 34, N 8. — P. 40–51).
7. Тоценко В.Г., Циганок В.В., Качанов П.Т. Підтримка прийняття рішення щодо вибору ме-
тоду експертного оцінювання // Системные исследования и информационные технологии. — 2002.
— № 4. — С. 52–61.
8. Тоценко В.Г., Цыганок В.В., Качанов П.Т., Деев А.А., Качанова Е.В., Торба Л.Т. Экспери-
ментальное исследование методов получения кардинальных экспертных оценок альтернатив. Ч. I.
Методы без обратной связи с экспертом // Проблемы управления и информатики. — 2003. — № 1.
— С. 34–48.
9. Тоценко В.Г., Цыганок В.В., Качанов П.Т., Деев А.А., Качанова Е.В., Торба Л.Т. Экспери-
ментальное исследование методов получения кардинальных экспертных оценок альтернатив. Ч.II.
Методы с обратной связью с экспертом // Проблемы управления и информатики. — 2003. — № 2.
— С. 112–125.
Поступила в редакцию 12.06.2004
В. Г. Тоценко1, В. В. Цыганок1, Н. В. Ивашкевич2
В. Г. Тоценко1, В. В. Цыганок1, Н. В. Ивашкевич2
|