Ролевой подход к оценке качества экономических экспертных систем
Рассмотрены проблемы оценки качества экспертных систем (ЭС) с базами знаний экономического характера. Сформулированы
 концептуальные основы построения метрического аппарата для измерения качества ЭС. Приведена технологическая схема
 многокритериальной оценки ЭС с учетом комплекса тре...
Збережено в:
| Дата: | 2006 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут програмних систем НАН України
2006
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/1528 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Ролевой подход к оценке качества экономических экспертных систем / Г.П. Кожевникова, А.В. Голикова // Проблеми програмування. — 2006. — N 2-3. — С. 306-310. — Бібліогр.: 6 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860183995950563328 |
|---|---|
| author | Кожевникова, Г.П. Голикова, А.В. |
| author_facet | Кожевникова, Г.П. Голикова, А.В. |
| citation_txt | Ролевой подход к оценке качества экономических экспертных систем / Г.П. Кожевникова, А.В. Голикова // Проблеми програмування. — 2006. — N 2-3. — С. 306-310. — Бібліогр.: 6 назв. — рос. |
| collection | DSpace DC |
| description | Рассмотрены проблемы оценки качества экспертных систем (ЭС) с базами знаний экономического характера. Сформулированы
концептуальные основы построения метрического аппарата для измерения качества ЭС. Приведена технологическая схема
многокритериальной оценки ЭС с учетом комплекса требований к системе со стороны ее разработчиков, менеджеров,
пользователей.
In this paper, some problems concerning the quality measurement in economic expert systems (EES) are discussed. They include conceptual
basis for description of metric systems and technology scheme used to estimate EES multi-criteria quality, determined by developers,
managers and users needs.
|
| first_indexed | 2025-12-07T18:03:09Z |
| format | Article |
| fulltext |
Методи та засоби програмної інженерії
УДК 681.03
РОЛЕВОЙ ПОДХОД К ОЦЕНКЕ КАЧЕСТВА
ЭКОНОМИЧЕСКИХ ЭКСПЕРТНЫХ СИСТЕМ
Г.П. Кожевникова, А.В. Голикова
Всероссийский заочный финансово-экономический институт,
123995, Москва, ГСП-5, Олеко Дундича, 23,
тел.: 144 8559; факс 144 7819, stat@vzfei.ru
Рассмотрены проблемы оценки качества экспертных систем (ЭС) с базами знаний экономического характера. Сформулированы
концептуальные основы построения метрического аппарата для измерения качества ЭС. Приведена технологическая схема
многокритериальной оценки ЭС с учетом комплекса требований к системе со стороны ее разработчиков, менеджеров,
пользователей.
In this paper, some problems concerning the quality measurement in economic expert systems (EES) are discussed. They include conceptual
basis for description of metric systems and technology scheme used to estimate EES multi-criteria quality, determined by developers,
managers and users needs.
Экономические экспертные системы (ЭЭС) находят все большее применение в таких направлениях
финансово-экономической деятельности как инвестирование и налогообложение, финансовое планирование,
оценка риска кредитования, анализ финансового состояния корпораций, фирм и предприятий, страхование и
социальное обеспечение, стратегическое управление производством, планирование и прогнозирование и т.д. В
базах знаний (БЗ) таких ЭЭС воплощены знания и опыт экспертов - высококвалифицированных специалистов в
тех областях экономики, для решения задач которых предназначена та или иная ЭЭС.
Практика применения ЭЭС с экономическими БЗ показала, что в большинстве случаев ЭЭС превосходит
профессиональных экономистов в выборе альтернативных вариантов и точности принимаемых решений. Во
многом это обусловлено качеством знаний, заложенных в ЭЭС, а также качеством применяемых в ЭЭС
механизмов логического вывода на основе БЗ решений, рекомендаций, советов. Задача обеспечения качества
этих двух интеллектуальных компонент является одной из главных в области ЭЭС.
Управление качеством ЭЭС и экономичностью их проектов (проекты некоторых банковских систем
оцениваются в миллионы долларов) опирается в своей основе на количественный (метрический) анализ
качественных характеристик и свойств системы. Однако исследования в этой области находятся лишь на
начальной стадии "первичного накопления капитала" - различных моделей качества, метрик, мер, оценочных
формул показателей, методов оценки, результатов их апробации на отдельных ЭЭС [1-4].
Характеризуя в целом разработанные здесь методы и средства оценивания [5], можно сделать вывод, что
они неполны, плохо систематизированы, не всегда легко применимы.
Обусловлено это, прежде всего, объективной трудностью измерения качества знаний ЭЭС, например,
таких свойств, как уникальность, полнота, релевантность знаний, полнота умений, мощность и гибкость
стратегии рассуждений и др. На сегодняшний день не сформирован даже набор критериальных свойств для
оценки качества знаний. Более того, почти все свойства, которые считаются релевантными понятию качества
БЗ, характеризуются нечетким определением, что порождает субъективизм в выборе мер и методов их
измерения.
Другая проблема связана с тем, что функционирующие ЭСС, ориентированы на ту или другую узкую
предметную область, поэтому их проектные решения, включая БЗ, носят уникальный характер. Уникальность и
разнообразие проектных решений еще более затрудняют создание общего аппарата их оценки.
Накопленный в программной инженерии значительный опыт создания высококачественных
программных систем очень мало используется при разработке систем с БЗ. Более того, сам подход к оценке их
качества базируется на субъективном видении качества системы экспертами, специалистами в узкой
прикладной области, что не содействует объективной оценке уровня качества с позиции стандартов, принятых
в технологии программирования.
На наш взгляд, оценку качества ЭЭС целесообразно проводить, исходя из функций людей, имеющих
дело с ЭЭС на различных стадиях ее жизненного цикла (ЖЦ) - в процессе ее разработки и функционирования.
Это руководители проектов ЭЭС, разработчики, включая инженеров-когнитологов, эксперты, конечные
пользователи ЭЭС, администрация фирм, финансирующие заказчики и т.д. Специалисты любой из этих групп,
в соответствии с их ожиданиями от ЭЭС, выдвигают те или иные требования к качеству ЭЭС, которые могут
быть отражены в определенных наборах критериальных свойств системы. Включение таких "ролевых"
критериев в общую модель качества ЭЭС позволяет учесть компетентность и систему предпочтений отдельных
групп специалистов в итоговой комплексной оценке качества ЭЭС.
Основные шаги такого «ролевого» подхода в оценивании конкретной ЭЭС:
Методи та засоби програмної інженерії
307
• формирование групп оценщиков согласно ролям специалистов в ЖЦ ЭЭС;
• разработка «ролевых» критериев оценки качества систем;
• формирование «ролевых» моделей качества и выбор соответствующего аппарата измерения
показателей качества;
• разработка тестовых примеров для получения «ролевых» оценок качества;
• расчет «ролевых» оценок показателей;
• расчет комплексного (итогового) показателя качества ЭЭС;
• предоставление рекомендаций относительно улучшения качества проекта ЭЭС.
Основываясь на ролевых критериях, качество ЭЭС можно рассматривать в различных аспектах [5].
Основными из них являются следующие:
• исходная полезность системы, оцениваемая с точки зрения целесообразности и уместности ее
применения в данной проблемной сфере, диапазона возможностей системы в плане сложности решаемых ею
задач и пригодности для их решения, а также с учетом степени модернизации, вносимой системой в процесс
принятия решений «вручную»;
• уровень интеллектуальности системы, оцениваемый с точки зрения информативности и логической
мощности ее БЗ, правильности и эффективности стратегий логических выводов, достоверности приобретаемых
и выводимых знаний, качества вырабатываемых решений и рекомендаций и ряда других аналогичных свойств;
• производительность системы, включая оценки быстродействия вырабатываемых решений,
эффективность управления выводом и ведения БЗ, ресурсные оценки поисковых процедур и других
программных процедур системы;
• комфортабельность работы с системой, оцениваемая с точки зрения удобства ее эксплуатации и
сопровождения, дружественности пользовательского интерфейса, наличия и качества различных средств
помощи (подсказок, пояснений и др.), легкости использования тестовых примеров и т.д.;
• экономичность системы, включая оценки рентабельности затрат на ее создание и функционирование,
повышение уровня производительности труда специалистов, стратегическую привлекательность в аспекте
конкурентоспособности фирмы и др.;
• социальные аспекты в плане оценки влияния ЭЭС на среду ее применения: стимулирование
пользователей к работе с системой, сокращение их рабочей нагрузки, полезность и действенность экспертов
при проектировании и функционировании системы, поддержка разработки и эксплуатации системы высшим
руководством и администрацией фирмы и др.
Заключительную оценку качества функционирования системы дает пользователь, и его оценка, по
существу, предопределяет судьбу системы с точки зрения ее практического использования. Поэтому в системе
предпочтений видения качества ЭЭС разными группами специалистов требования пользователей должны
иметь в оценках систем наибольшие весовые коэффициенты.
Для пользовательской модели качества наиболее важны следующие свойства:
• готовность системы отвечать на разнообразные вопросы, касающиеся предметной области;
• правильность и полнота ответов;
• эффективность с точки зрения быстроты выработки решений (рекомендаций, советов);
• комфортность взаимодействия с системой.
Пользовательская модель качества обеспечивается определенным набором критериальных свойств,
важных для разработчиков – когнитологов и экспертов. В первую очередь к ним относятся:
• информативность и логическая мощность БЗ;
• правильность и эффективность стратегий логических выводов;
• достоверность приобретаемых и выводимых знаний;
• качество вырабатываемых решений и рекомендаций;
• дружественность пользовательского интерфейса.
Модель последнего свойства можно считать устоявшейся. Она включает следующие главные критерии:
• способность системы объяснять пользователю ход логических рассуждений в процессе выработки
решений и рекомендаций, давать ответы на вопросы, «как» получено решение и «почему именно так;
• возможность для пользователя возврата к предыдущим шагам логического вывода и попытки решения
задачи с другими параметрами (т.е. прогнозирования по типу «что-если»);
• способность системы учитывать в своих ответах и пояснениях уровень подготовки пользователя;
• наличие и качество различных средств помощи – подсказок, пояснений, документации и т.д.;
• легкость в использовании тестовых примеров;
• привычный для пользователя профессиональный лексикон в вопросах, ответах и сообщениях системы;
• способность системы вырабатывать решения и рекомендации (а также обучать пользователя) на основе
способов, общепринятых в сфере деятельности пользователя и являющихся привычными для него (что
повышает доверие пользователя к полученным решениям и рекомендациям);
• наличие средств построения различного рода меню, экранных форм, графиков и т.д.
Критериальные модели остальных четырех свойств уровня когнитологов и экспертов пока находятся в
стадии развития и весьма далеки от своего завершения. В них включают такие свойства: релевантность знаний
308
(их подтвержденность и достаточность), полнота умений (необходимость и достаточность процедур),
сложность проблемы (сложность базы знаний и метода решения), проверка знания (их тестирование и
целостность), уровень интеллектуальности (обучаемость, гибкость стратегий рассуждения и интерфейса),
мощность стратегий рассуждений, наличие метазнаний и др.
Количественный анализ качества ЭЭС регламентируется аппаратом метрической системы (МС),
формируемой для оценивания данной конкретной ЭЭС [5].
МС строится как совокупность 6-ти компонент: < S,R,S*,K,F,H,F* >:
S={si} - совокупность свойств ЭЭС, выступающих в роли критериев качества ЭЭС;
R={rik} - совокупность отношений подчиненности между свойствами si и sk, порождающими на S
иерархическую диаграмму подчиненности критериев si∈S;
S*={si} - совокупность факторов качества ЭЭС, которые образуют модель аттестации качества ЭЭС
(S*∈S);
K={Ki} - совокупность метрик Ki={ki1,ki2,…kin} измерения свойств si∈S, где ki1,ki2,…kin – индикаторы
измерения si (параметры, доступные в системе непосредственному измерению);
F={Fi} – совокупность мер свойств si, которые являются оценочными функциями вида Fi: Ki → Mi где Mi
– шкала измерения si (абсолютная, порядковая или номинальная);
H={Hi} – совокупность формульных представлений мер Fi (ki1,ki2,…kin) ∈ F, которые задают
количественные значения показателей qi свойств si(qi∈ Mi) в зависимости от значений индикаторов ki1,ki2,…kin
метрик Ki измерения si;
F* - комплексная мера качества ЭЭС для аттестующей модели S*∈S, которая определяет агрегирующую
операцию над показателями qj свойств sj ∈S* для получения интегрального (комплексного) показателя
качества Q* ЭЭС применительно к аттестующей модели S*.
Таким образом, количественные оценки показателей Q* характеризуют качество ЭЭС в терминах
конкретной фиксированной метрической системы <S,R,S*,K,F,H,F*>. При этом для любого из свойств si,
выступающего в роли критерия качества ЭЭС, фиксируется метрика Ki={ki1,ki2,…kin}, которая формируется из
индикаторов иерархической критерильной модели свойства si. Выбор шкалы измерения Mi и формульного
представления Hi меры Fi: Ki → Mi приводит к показателю qi=Fi (ki1,ki2,…kin), определяющему качество ЭЭС по
критерию si. Комплексная мера F* интегрирует показатели качества qi в обобщенный показатель Q*,
оценивающий качество ЭЭС применительно к фиксированной аттестующей модели S={si}.
При «ролевом» подходе к многоаспектной оценке качеств ЭЭС с использованием метода экспертных
оценок интегральный показатель Q качества ЭЭС может быть рассчитан по следующей методике.
Этап 1. Формирование групп экспертов – специалистов, принимающих участие в оценке ЭЭС на разных
стадиях ее ЖЦ – в соответствии с теми ролями, которые они играют в ЖЦ системы. Ознакомление ролевых
групп экспертов (РГЭ) с задачей, понятийным базисом и метрической системой оценивания.
Этап 2. Определение для каждой j-ой РГЭ и каждого этапа ЖЦ ЭЭС значимых критериев si∈S.
Формирование матрицы {τij} распределения по РГЭ значимых критериев:
=
случае.ожномпротивополв0,
РГЭ,ой-jдлязначимымявляетсякритерийый-iесли1,
ijτ
Этап 3. Ранжирование значимых критериев si по степени их важности для каждой РГЭ. Обобщение
результатов ранжирования si во всех группах РГЭ и расчет для каждого критерия si его весового коэффициента
zi в интегральной оценке ЭЭС.
Этап 4.Экспертная оценка специалистами каждой РГЭ показателей qi свойств si, значимых для этой
РГЭ, путем присвоения показателям числовых значений из диапазона [0,1]. Определение для j-ой РГЭ
усредненного группового значения ]10[ −∈ijq по количеству экспертов в j-ой РГЭ:
jjjjmmmm
jjjjmmmm
1111iiii i ji ji ji jqqqq
i ji ji ji jqqqq
∑
== . (1)
Этап 5. Проверка согласованности групповых оценок по критериям si, оцениваемым различными РГЭ.
Для этого рассчитываются следующие статистические характеристики:
• среднее (межгрупповое ) значение iQ показателей ijq , взятое по всем РГЭ;
• дисперсия Di групповых оценок ijq относительно межгрупповой оценки iQ ;
• среднее квадратическое отклонение iσ групповых оценок ijq от средней межгрупповой оценки iQ .
Согласованность межгрупповых оценок показателей iQ определяется величиной коэффициента
вариации CVi:
Методи та засоби програмної інженерії
309
100%*
iQ
iσ
iCV = . (2)
Этап 6. Проверка согласованности групповых оценок по всем ki экспертам показателей qi всех РГЭ.
Согласованность определяется величиной коэффициента конкордации CWi ( по Кенделлу ).
)ik3
i(k2
in
S12
iCW
−
= . (3)
При этом имеется возможность введения весовых коэффициентов pi для каждой РГЭ с целью расчета
степени доминирования суждений специалистов данной РГЭ по оценке qi на данном этапе ЖЦ ЭЭС. Если ряд
показателей qi имеет связанные ранги, то CWi рассчитывается по формуле
∑
=
∑
=
−−
=
jn
1j jP
in
1
*
jn
1j jTin)ik3
i(k2
in
12
1
S
iCW , (4)
где ,
ι
τ
1)2
j(τjτ12
1
jΤ ∑ −= tj - количество совпавших оценок (рангов) в j-ой РГЭ.
Величина 0,40,2iCW ÷≤ свидетельствует о слабой согласованности межгрупповых оценок qi,
величина 0,80,6iCW ÷> - о сильной их согласованности.
Если имеется достаточная согласованность результатов оценивания, то выполняются этапы 7 – 9, в
противном случае – этап 10.
Этап 7. Расчет обобщенного среднего значения показателей qi по всем критериям si, характеризующим
данную компоненту ЭЭС. Расчетная формула:
∑
=
=
jk
1i ijq
ik
1
irQ ; (r=1,…,
i
rN ), (5)
где
i
rN - количество критериев si, характеризующих r-ую компоненту ЭЭС.
Этап 8.Комплексная оценка отдельных компонент ЭЭС. Комплексное значение показателя Qr
качества r-ой компоненты ЭЭС оценивается с учетом весовых коэффициентов zi критериев si:
∑
=
=
(i)
rN
1i irQiz(i)
rN
1
rQ . (6)
Этап 9. Интегральная оценка качества ЭЭС. По результатам оценки каждой отдельной компоненты
ЭЭС рассчитывается количественное значение интегрального показателя Q качества ЭЭС:
rQ
0N
1r0N
1
Q
=
∑= , (7)
где N0 – количество оцененных компонент ЭЭС.
Этап 10. Повторная оценка несогласованных показателей qi. Анализируются причины и факторы,
которые влияют на несогласованность суждений экспертов об оценках тех показателей qi, которые имеют
большой коэффициент вариации CVi, после чего проводится их повторная оценка.
Если в результате межгрупповых консультаций и повторных туров опроса экспертов согласованность
оценок qi будет достигнута, то выполняются этапы 7 – 9. В противоположном случае обобщенное значение Qr
критерия si не вычисляется и по результатам экспертного опроса формулируют (корректируют) спецификации
требований к следующему прототипу ЭЭС.
Рассчитанный по формулам (1) – (7) методике интегральный показатель Q принимает значения в
диапазоне [0-1], что позволяет сравнить качество рассмотренного варианта ЭЭС с ее «идеальной версией»,
которая характеризуется значением Q = 1, или с аналогом, для которого известно или рассчитано аналогичным
образом значение Q.
Предложенная методика апробирована применительно к оценкам 19-и реально эксплуатируемых ЭЭС в
сфере страхования [6].
Экспертные оценки были получены от трех групп специалистов – 67 пользователей, 51 разработчика и
44 менеджера проектов ЭЭС. Множество S={si} оцениваемых свойств качества ЭЭС включало 39 свойств,
характеризующих четыре категории критериев качества:
310
решаемые ЭЭС задачи – по трудности, полноте функций ЭЭС полезности, новизне и др.;
используемые в ЭЭС технологии – по интерактивности, оперативности, точности, дружественности
пользователю, наличию пояснений к выведенным ЭЭС умозаключениям и др.;
человеческий фактор – по уровню помощи в эксплуатации ЭЭС, полезности для разработки ЭС
консультаций экспертов – пользователей, стимулированию использования ЭЭС в страховых компаниях и др.;
организационные стороны ЭЭС – по конкурентоспособности, повышению производительности труда
пользователей ЭЭС, адаптируемости ЭЭС, инновациям и др.
Для оценки свойств использовалась оценочная шкала [0-1], веса важности свойств присваивались всеми
тремя группами оценщиков применительно ко всем анализируемым 39 свойствам.
Время, затраченное экспертами на оценку свойств, в среднем составляло 30 мин. Некоторые свойства не
были оценены (порядка 15% всех свойств, в основном не оценены пользователями). Отсутствие оценок ряда
свойств, по-видимому, обусловлено недостаточной четкостью и громоздкостью формулировок этих свойств.
Интегральные показатели качества оцениваемых ЭЭС расположились в диапазоне [0-1], в основном в его
центральной зоне – от 0,43 до 0,78.
Апробация предложенной методики показала ее практическую полезность для решения проблем оценки
качества ЭЭС, а также направления дальнейшего развития.
В рассмотренной методике оценки интегрального качества ЭЭС на этапе 4 может быть применен логико-
лингвистический подход к оценкам показателей qi с использованием лингвистических (словесных) значений Li
показателей qi и функций принадлежности, которые ставят в соответствие каждому лингвистическому
описанию Li показателя qi соответствующее число в диапазоне [0-1].
Использование нечетких словесных понятий, которыми оперируют эксперты, позволяет ввести в процесс
оценки наряду с количественными оценками качественные описания и учитывать тем самым неопределенность
задачи оценки. Цель лингвистической оценки - достижение полноты анализа всех факторов, которые имеют
отношение к оценке ЭЭС, но не поддаются точному количественному выражению.
1. Слисенко А.О. К проблеме анализа логико-алгоритмеческой структуры систем представления и обработки знаний // Вопросы
кибернетики. Теоретические аспекты и инструментальные средства прикладных интеллектуальных систем. – М.: НС по проблеме
«Кибернетика». – 1989. - С. 85-97.
2. Chen Z., Suen C.. Measuring the Complexity of Rule-Based Expert Systems // Expert Systems with Applications. – 1994. - v. 7. - № 4. -
P. 467-481.
3. Guida G., Mauri G. Evaluating Performance and Quality of Knowledge-Based Systems: Foundation and methodology // IEEE Trans.
Knowledge and Data Eng. – 1993. - V. 5. - №2. - P. 204-244.
4. Kaisler S. Expert System Metrics // Proc. of the IEEE Intern. Conf. on Systems, Man and Cybernetics. – 1986. - v. 1. – P. 114-120.
5. Кожевникова Г.П. К построению метрического аппарата оценки качества систем с базами знаний // Працi I-i Мiжнар. наук.-практ.
конф. УкрПРОГ’98. - Киев: ИК АН Украины. – 1998. – С. 351-357.
6. Sharma R.S., Conrath D.W., Dilts D.M., A socio-technical model for deploying expert systems. Part I: the general theory // IEEE Transactions
on Engineering Management, February 1991. – 38 (1), Р. 14-23; 1991. - V. 38. - № 1. - Р. 14-23.
|
| id | nasplib_isofts_kiev_ua-123456789-1528 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1727-4907 |
| language | Russian |
| last_indexed | 2025-12-07T18:03:09Z |
| publishDate | 2006 |
| publisher | Інститут програмних систем НАН України |
| record_format | dspace |
| spelling | Кожевникова, Г.П. Голикова, А.В. 2008-08-21T16:37:02Z 2008-08-21T16:37:02Z 2006 Ролевой подход к оценке качества экономических экспертных систем / Г.П. Кожевникова, А.В. Голикова // Проблеми програмування. — 2006. — N 2-3. — С. 306-310. — Бібліогр.: 6 назв. — рос. 1727-4907 https://nasplib.isofts.kiev.ua/handle/123456789/1528 681.03 Рассмотрены проблемы оценки качества экспертных систем (ЭС) с базами знаний экономического характера. Сформулированы
 концептуальные основы построения метрического аппарата для измерения качества ЭС. Приведена технологическая схема
 многокритериальной оценки ЭС с учетом комплекса требований к системе со стороны ее разработчиков, менеджеров,
 пользователей. In this paper, some problems concerning the quality measurement in economic expert systems (EES) are discussed. They include conceptual
 basis for description of metric systems and technology scheme used to estimate EES multi-criteria quality, determined by developers,
 managers and users needs. ru Інститут програмних систем НАН України Методи та засоби програмної інженерії Ролевой подход к оценке качества экономических экспертных систем Role approach to evaluating the qualaty of economic expert systems Article published earlier |
| spellingShingle | Ролевой подход к оценке качества экономических экспертных систем Кожевникова, Г.П. Голикова, А.В. Методи та засоби програмної інженерії |
| title | Ролевой подход к оценке качества экономических экспертных систем |
| title_alt | Role approach to evaluating the qualaty of economic expert systems |
| title_full | Ролевой подход к оценке качества экономических экспертных систем |
| title_fullStr | Ролевой подход к оценке качества экономических экспертных систем |
| title_full_unstemmed | Ролевой подход к оценке качества экономических экспертных систем |
| title_short | Ролевой подход к оценке качества экономических экспертных систем |
| title_sort | ролевой подход к оценке качества экономических экспертных систем |
| topic | Методи та засоби програмної інженерії |
| topic_facet | Методи та засоби програмної інженерії |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/1528 |
| work_keys_str_mv | AT koževnikovagp rolevoipodhodkocenkekačestvaékonomičeskihékspertnyhsistem AT golikovaav rolevoipodhodkocenkekačestvaékonomičeskihékspertnyhsistem AT koževnikovagp roleapproachtoevaluatingthequalatyofeconomicexpertsystems AT golikovaav roleapproachtoevaluatingthequalatyofeconomicexpertsystems |