Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами

Предложены модели экспертного оценивания качества решений, принимаемых относительно элементов целевых программ и технологической схемы их жизненного цикла. Показана адекватность этих моделей тем требованиям к оценкам качества, которые определяются программно-целевым подходом и парадигмой сбалансиров...

Full description

Saved in:

Bibliographic Details
Date:	2008
Main Author:	Ильина, Е.П.
Format:	Article
Language:	Russian
Published:	Інститут програмних систем НАН України 2008
Subjects:	Формальні методи розробки програмного забезпечення
Online Access:	https://nasplib.isofts.kiev.ua/handle/123456789/2602
Tags:	Add Tag No Tags, Be the first to tag this record!
Journal Title:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:	Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами / Е.П. Ільина // Проблеми програмування. — 2008. — № 4. — С. 60-72. — Бібліогр.: 15 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1860113898817978368
author	Ильина, Е.П.
author_facet	Ильина, Е.П.
citation_txt	Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами / Е.П. Ільина // Проблеми програмування. — 2008. — № 4. — С. 60-72. — Бібліогр.: 15 назв. — рос.
collection	DSpace DC
description	Предложены модели экспертного оценивания качества решений, принимаемых относительно элементов целевых программ и технологической схемы их жизненного цикла. Показана адекватность этих моделей тем требованиям к оценкам качества, которые определяются программно-целевым подходом и парадигмой сбалансированных показателей качества. ---------------- Запропоновано моделі експертного оцінювання якості рішень, що приймаються відносно елементів цільових програм та технологічної схеми її життєвого циклу. Показано адекватність цих моделей тим вимогам до оцінок якості, які визначаються програмно-цільовим підходом та парадигмою збалансованих показників якості.---------------- The models for expert evaluation of decisions quality attaching to the program elements and technological processes of target programming are proposed. The adequacy of these models to the demands of both the target programming and the Balanced Score paradigm is shown.
first_indexed	2025-12-07T17:35:35Z
format	Article
fulltext	Формальні методи розробки програмного забезпечення © Е.П. Ильина, 2008 ISSN 1727-4907. Проблеми програмування. 2008. № 4 60 УДК 519.76, 004.827 Е.П. Ильина МОДЕЛИ ЭКСПЕРТНОГО АНАЛИЗА КАЧЕСТВА РЕШЕНИЙ, ПРИНИМАЕМЫХ ПРИ УПРАВЛЕНИИ ЦЕЛЕВЫМИ ПРОГРАММАМИ Предложены модели экспертного оценивания качества решений, принимаемых относительно элемен- тов целевых программ и технологической схемы их жизненного цикла. Показана адекватность этих моделей тем требованиям к оценкам качества, которые определяются программно-целевым подходом и парадигмой сбалансированных показателей качества. Введение Организация поддержки процессов стратегического управления на государст- венном уровне – необходимое условие создания эффективной экономики и ста- бильного общества. В работах ведущих специалистов в области национальной безопасности [1] особое внимание уделяется созданию ап- парата анализа риска принимаемых реше- ний, охватывающего все его уровни – от дифференциальных рисков, через инте- гральные, до системных рисков обеспече- ния национальной безопасности. Ставится проблема информаци- онно-аналитического сопровождения про- цессов принятия решений [2], которое по- зволило бы сделать процессы стратегиче- ского управления непрерывными, про- зрачными и комплексными. Применительно к инструментарию Целевых программ (ЦП), используемому как на государственном, так и на отрасле- вом уровне, перечисленные стратегические задачи делают актуальным осуществление мониторинга качества решений, выраба- тываемых относительно ЦП и их элемен- тов на всех этапах жизненного цикла (ЖЦ). Используемые модели качества должны объединять принципы про- граммно-целевого управления [3], а также тех подходов, которые широко использу- ются на современном этапе развития стра- тегического управления, для которого ха- рактерно обеспечение партисипативного характера принятия решений [4]. К этим подходам принадлежат сис- тема сбалансированных показателей каче- ства [5] и методологии экспертного оцени- вания в условиях привлечения различных точек зрения на предметную область при- нимаемых решений [6, 7]. В настоящий период, когда сами схемы стратегического управления в Ук- раине пребывают на стадии становления [2, 3], мониторингу должны подвергаться не только качество решений по ЦП и их элементам, но и качество технологических схем выработки таких решений. Данная работа посвящена пробле- мам модельной формализации качества решений, принимаемых по ЦП, а также концепции экспертно-аналитического со- провождения ЖЦ ЦП, которое представ- ляет собой систему моделей, процедур и технологических процессов получения, обоснования и использования соответст- вующих экспертных оценок. Решения в жизненном цикле це- левых программ и их экспертно-анали- тическое сопровождение. ЦП представ- ляет собой план достижения заданной цели, состоящий из заданий, каждое из ко- торых реализует подцель. Используя фреймовые структуры описаний концептов предложенной ранее [7] онтологической модели экспертных точек зрения на пред- метную область (ПрО) принимаемых ре- шений, цель и каждую подцель можно за- дать в виде G = 〈 O, P, D, CE, A, K, M, E, Т 〉, (1) где O – объект, с преобразованием или стабилизацией которого связана цель (це- левой объект); P – свойства целевого объ- екта, в терминах которых определяется его желаемое состояние, достигаемое влия- нием типа D (максимизация, минимизация, стабилизация, вывод на требуемый уро- вень); CE – критерии достигнутости цели Формальні методи розробки програмного забезпечення 61 (как прямые, так и косвенные, но обяза- тельно конструктивно проверяемые); A – потенциальные или назначенные исполни- тели; K – оргструктуры – носители целе- вого интереса; M – объекты ресурсных возможностей, потребные для достижения цели; E – факторы внешней среды, вли- яющие на достижение целей; Т – срок, до- пустимый для достижения. Обязательными знаниями о цели, определяющими возможность ее дальней- шего использования в построении ЦП, яв- ляется содержание первых трех позиций. Полное и детализированное знание о позициях A, M, T возможно и необхо- димо тогда, когда Цель коструктивизиру- ется до уровня Задания (если она непо- средственно достижима) либо все раскры- вающие ее подцели конструктивизированы до этого уровня. Однако частичная характеризация содержания этих позиций, выполненная в терминах верхних уровней онтологии на более ранних этапах формирования ЦП (например, указание видов ресурсного по- тенциала, который предполагается исполь- зовать), предоставляет важные системно- аналитические возможности для работы на последующих этапах. Спецификация задания имеет вид: TZ = 〈G; O; C; I, W, R, T〉, (2) где G – цель, обслуживаемая заданием; O – объект целевого воздействия; C – критерии выполняемости; I – исполнитель; W – спо- соб выполнения (описание системы меро- приятий); R – ресурсный пакет; T – срок выполнения. Перечисленные элементы получают свои значения не одномоментно, а в соот- ветствии со стадиями и этапами ЖЦ ЦП, регламентируемыми действующей на те- кущий момент технологией процесса пла- нирования. Это касается и переопределе- ния элементов (пересмотра значений тех или иных элементов задания), формирова- ния множеств альтернативных вариантов, имеющего место для элементов I, W, R, а также оценки ряда показателей, характери- зующих задание ЦП. Типовая структура процесса ЖЦ ЦП может включать такие составляющие: - стадия первичного формирования с этапами обзор состояния отрасли и при- нятие первичных целевых и методических положений; сбор и анализ предложений; формирование системы целей и построе- ние целевых иерархий; сопоставительный анализ предложений и элементов целевых иерархий; формирование и анализ альтер- нативных вариантов достижения целей; наполнение программ заданиями (конкре- тизированными до уровня первых трех по- зиций структуры (2)); оценка прогнозной целевой эффективности и общей перспек- тивности; - стадия конкретизации с этапами кон- кретизация задания альтернативными ва- риантами системы реализующих меро- приятий; определение ресурсных пакетов и исполнителей; оценка перспективности систем мероприятий; построение проек- тов планов и их оценка; формирование и обоснование плана; - стадия выполнения с этапами органи- зационные работы по выполнению; орга- низация и анализ отчетности; оценка контрольных показателей качества выполнения; сбор и анализ мнений участ- ников процесса ЖЦ ЦП относительно его эффективности; общая оценка качества; - стадия коррекции с этапами анализ текущего состояния объектов управления и факторов внешней среды; выявление критических элементов; сбор предложе- ний об изменениях; формирование проекта коррекций по ЦП и технологической схеме процесса планирования; оценка перспек- тивности изменений программных эле- ментов; оценка эффективности предло- женных модификаций процесса. Таким образом, технологическая схема процесса ЖЦ ЦП может рассматри- ваться в виде V = {{ ST.iEj i, {Sjk i}k }j}i, (3) k=1,…,KK(i,j), j=1,…,M(i), i=1,…,N, где ST – стадии процесса; E – этапы; S – принимаемые решения; KK(i,j) – число принимаемых решений на j-м этапе i-й стадии; Mi – число этапов i-й стадии; N – число стадий. Решение представляет собой эле- мент аналитической деятельности, осуще- ствляющий конструирование множества Формальні методи розробки програмного забезпечення 62 возможностей и обоснованный выбор среди них (непосредственный или опосре- дованный). Под опосредованным выбором при этом понимается формирование осно- ваний для выбора. Решения, входящие в (3), характе- ризуются своей принадлежностью одному из пяти базовых классов, образующих ие- рархию посредством вхождения решений более низкого уровня в состав обоснова- ний для решений более высокого. Обра- зуемая таким образом структура имеет вид Плановое решение вырабатывается относительно элементов ЦП и может быть представлено в виде S.PL = 〈TZ1, TZ2, X, A, F 〉, (5) где TZ1, TZ2 – структуры знаний вида (2), отображающие начальное и конечное со- стояние программного элемента; X ⊆ {C, I, W, R, T} – множество ролевых позиций элементов задания, для значений которых выполняется определение или переопреде- ление; A – лицо, принимающее решение; F – основание решения, которым служит решение, принадлежащее классу основных аналитических. Аналогично представляется конст- руирующее решение, вырабатываемое от- носительно технологической схемы про- цесса ЖЦ ЦП (3). Отличие составляет со- став изменяемых посредством решения ролевых позиций X ⊆ { ST, E, S }. Основное аналитическое решение реализует сопоставление значения некото- рой характеристики либо присваиваемого статуса объекту планового либо конструи- рующего решения S.AB = 〈O, CH, F 〉, (6) где O – отдельное задание из состава ЦП, либо ЦП в целом, либо вариант технологи- ческой схемы процесса ЖЦ; CH – целевая характеристика либо статус; F – основа- ние, представляющее собой множество выполненных элементов аналитической деятельности (экспертно решенные про- блемы, алгоритмически решенные про- блемы, коммуникации, доку-менты). Установочное аналитическое реше- ние реализует доопределение моделей элементов аналитической деятельности, посредством задания которых фиксиру- ются принципиальные аспекты анализа объектов основных аналитических реше- ний. Это модели целевых характеристик, модели экспертных групп, ролевые модели коммуникаций [7], имитационные модели, статистические модели и т.д. Их формиро- вание выполняется на этапе ЖЦ ЦП. Обзор состояния отрасли и принятие первичных целевых и методических положений. Уста- новочное аналитическое решение имеет вид S.AS = 〈O, M, PR 〉, (7) где O – концепт, соответствующий мо- дельно регламентируемому элементу ана- литической деятельности; M – формируе- мая модель; PR – процедуры системно- аналитической поддержки, посредством которых производится формирование мо- дели (основания решения). Реализационное аналитическое ре- шение формирует описание элементов аналитической деятельности, служащих основаниями решений класса S.AB, при- надлежащих заданному этапу ЖЦ ЦП, причем делает это на том же этапе, ис- пользуя текущее состояние данных и зна- ний об объектах принятия решений. S.AR = 〈O, X, I, PR 〉, (8) Плановое Конструирующее решение решение Основное аналитическое решение (4) Элементы аналитической деятельности Установочные Реализационные аналитические аналитические решения решения Процедуры системно-аналитического сопровождения Формальні методи розробки програмного забезпечення 63 где O – концепт, соответствующий дооп- ределяемому элементу деятельности; X∈D(O) – позиции в формальном опреде- лении концепта O [7], подлежащие дооп- ределению (состав участников, приори- теты критериев, аспекты моделей, подле- жащие согласовательному процессу среди участников и т.д.); I – информационные источники доопределения; PR – проце- дуры системно-аналитического сопровож- дения, используемые при доопределении. Характеристика элементов PR из (7),(8) дана в табл. 1. Экспертно-аналитическим сопро- вождением ЖЦ ЦП будем называть дея- тельность по выработке и информацион- ному ведению системы аналитических ре- шений из состава схемы (4), направленную на повышение качества плановых решений из ее состава. Концептуальные и методи- ческие подходы к ее реализации рассмат- риваются в последующих разделах. Принципы комплексного оцени- вания качества решений. В предыдущем разделе представлен взгляд на ЖЦ ЦП как на последовательность плановых решений относительно заданий, являющихся про- граммными элементами. С ним естествен- ным образом сопрягается взгляд на управ- ление ЖЦ ЦП как на управление качест- вом принимаемых решений. Помещение программного элемента в центр внимания как объекта управления имеет такие преимущества: - именно задание является элемен- том программы, выполнение которого не- посредственно контролируемо на соответ- ствующих этапах ЖЦ ЦП; - для задания достигается уровень конкретизации, позволяющий на этапах ЖЦ формировать пакеты альтернативных версий. Это обеспечивает программно-це- левому подходу необходимую гибкость при изменяющихся экономических и соци- ально-политических условиях; - при наличии поэлементных оце- нок качества и обладании знанием взаимо- связей элементов в целевой структуре (ко- торые устанавливаются, в числе прочих статусов, в аналитических решениях (6)) интегральная оценка качества программы может формироваться с привлечением апробированных и поддержанных инстру- ментально методов анализа программ [8]. Управление ЖЦ ЦП включает два контура, показанных на рис. 1 и рис. 2. Внутренний контур на рис. 1 связан с ма- нипулированием плановыми решениями относительно заданий из состава ЦП, не- посредственно влияющим на их качество. Внешний контур на рис. 2 определяет формирование, отбор и усовершенствова- ние версий технологической модели ЖЦ ЦП, а также ее элементов и оказывает кос- венное влияние на качество решений внут- реннего контура. Для того, чтобы перейти к построе- нию моделей и процедур экспертно-анали- тического сопровождения ЖЦ ЦП, нужно выработать концепцию качества плановых решений в рассматриваемых контурах управления. Такая концепция должна осу- ществить непротиворечивое и взаимодо- полнительное объединение тех требований к характеристикам решения, которые сформулированы в современных системно- аналитических подходах [3, 5]. Один из наиболее распространен- ных взглядов на качество решений – это оценивание связанных с ними рисков. Рис- ком, в широком понимании, является воз- можность понести ущерб в результате реа- лизации решения [9]. Каждая из областей интересов по- становщиков задач, менеджеров, исполни- телей или пользователей конечного ре- зультата, к которой относится ущерб, оп- ределяет один из аспектов риска [9]. Для стратегических решений, принадлежащих к классу плановых решений относительно элементов ЦП, должны одновременно приниматься во внимание дифференциро- ванные риски по различным аспектам [1]. Наиболее очевидным для ЦП аспектом является риск отклонения от запланиро- ванного результата R. Он может быть на- зван целевым риском и рассматривается [10] как пара ρ = 〈∆R, α(∆R)〉, где ∆R – значимость отклонения, α(∆R) – вероятность возникновения отклонения. Формальні методи розробки програмного забезпечення 64 Таблица 1. Процедуры системно-аналитического сопровождения экспертиз Процедура Шифр Типы решений Назначение Используемый подход Выбор точек зрения, акту- альных для про- блемы P1 S.AS Построение модели экспертной группы как системы ведомственных и профессиональных принадлежно- стей агентов-носителей концепту- ально различных взглядов на про- блему Автоматизированный анализ системы онтологий эксперт- ных точек зрения Ретроспектив- ный выбор ак- туальных точек зрения P2 S.AS То же Автоматизированный анализ ретроспективы решения про- блем и осуществления комму- никаций Подбор состава экспертной группы о P3 S.AR Подбор экспертов, репрезентующих модель экспертной группы и проде- монстрировавших компетентность при решении аналогичных проблем Автоматизированный анализ ретроспективной информации Выбор мето-дов организа-ции эксперти-зы, оптималь-ных для реше-ния заданных про- блем P4 S.AS Выбор однотуровых или многоту- ровых процедур, форм взаимо- действия экспертов и методов обобщения оценок Автоматизированный анализ отношений между концепту- альными элементами про- блемы в онтологиях разных точек зрения. Анализ устойчивости и обос- нованности полученных оце- нок в аналогичных экспер- тизах из ретроспективы Выбор пре-це- дентных дан- ных из ретро- спективы P5 S.AS, S.AR Подбор данных о решении проблем, аналогичных заданной в аспектах ее постановки Автоматизированный анализ ретроспективной информации Формирование модели целевой характеристики P6 S.AS Индивидуальное экспертное по- строение версий дерева ценности, репрезентующих точки зрения на целевую характеристику Экспертная процедура в среде автоматизированной поддер- жки Обобщение мо- делей целеевой характеристики P7 S.AS Построение версии модели, наибо- лее полно и непротиворечиво отра- жающей все актуальные точки зре- ния по принципам концептуального компромисса Автоматизированная проце- дура, использующая систему онтологий и ретроспективу Обобщение контекстов ре- шения пробле- мы P8 S.AS Формирование контекста экспер- тизы по принципам концептуаль- ного компромисса Автоматизированная про- цедура непротиворечивого объединения онтологически декларированных контекстов с учетом эффективности пре- дыдущих использований их элементов Оценка целе- сообразности проведения очередного тура экспер- тизы P9 S.AR Оценка конфликтности взглядов участников на модель разрешимо- сти конфликтов и степени влияния таких конфликтов на расхождения в оценках Автоматизированный анализ отношений между концеп- тами из модели в онтологиях разных точек зрения; стати- стический анализ корреляций между уровнями конфликт- ных отношений и расхожде- ниями в оценках Подготовка материалов для рассмотрения экспертами в очередном туре экспертизы P10 S.AR Формирование справочных матери- алов о конфликтных интерпрета- циях элементов модели и контекста, а также о тенденциях в системе ин- дивидуальных оценок Автоматизированный анализ онтологических соотношений и системы индивидуальных экспертных оценок Формальні методи розробки програмного забезпечення 65 Процедуры системно- аналитического сопровождения Процедуры системно- аналитического сопровождения Задание ЦП ••• Задание ЦП ••• Задание ЦП ••• Плановое решение Плановое решение Задание Ретроспектива решений относительно заданий ЦП Цель Цель Цель Задание Задание Пакет ресурсов Пакет ресурсов Пакет ресурсов Пакет ресурсов Пакет ресурсов Пакет ресурсов Плановое решение Показатель качества Показатель качества Показатель качества Показатель качества Показатель качества Показатель качества Результат: Определение элементов задания Плановое решение Осно- вание Результат: Оценки показателей и статусов заданий и программ Основное аналитическое решение Осно- вание Коммуни- кации Выборки из ретроспективы Задачи анализа решений внутреннего контура Моделирования целевой эффективности Анализа программных взаимосвязей Экспертизы индекса перспективности Оценки потребных ресурсов Оценки качества выполнения Технологическая модель ЖЦ ЦП Рис. 1. Внутренний контур управления ЖЦ ЦП Результат: Выбор и параметри- зация методов Реализационное аналитическое решение Осно- вание Процедуры системно- аналитического сопровождения Формальні методи розробки програмного забезпечення 66 Плановое решение внешнего контура Ретроспектива решений по актуализации технологии сопровождения ЖЦ ЦП Показатели качества организации процессов Показатели качества организации процессов Показатели качества организации процессов Результат: оценки и рекоменда- ции Основное аналитическое решение Осно- вание Результат: уточнение и пере- определение элементов техно- логической модели Плановое решение Осно- вание Задачи анализа эффективности технологических принципов и моделей Анализ системы функциональных интересов и ее учета при принятии решений Анализ информационной обеспеченности процессов принятия решений Анализ полноты привлечения знаний и опыта Экспертиза узких мест процесса Оценка преемственности и обоснованности решений Технологическая модель ЖЦ ЦП Технологическая модель ЖЦ ЦП Технологическая модель ЖЦ ЦП Рис.2. Внешний контур управления ЖЦ ЦП Плановое решение внешнего контура Плановое решение внешнего контура Оценки эффективности осуществления этапов Оценки эффективности осуществления этапов Оценки эффективности осуществления этапов Технологическая модель ЖЦ ЦП Технологические модели этапов процесса сопровождения ЖЦ ЦП Технологические модели этапов процесса сопровождения ЖЦ ЦП Технологические модели этапов процесса сопровождения ЖЦ ЦП Технологические модели этапов процесса сопровождения ЖЦ ЦП Технологические модели этапов ЖЦ ЦП Модели выполнения элементов аналитической деятельности Показатели качества организации процессов Показатели качества организации процессов Показатели качества организации процессов Показатели качества плановых решений внутреннего контура Процедуры системно- аналитического сопровождения Процедуры системно- аналитического сопровождения Специальные экспертизы и процедуры системно- аналитического сопровождения Результат: модели показателей качества, экспертных групп и коммуникаций Установочное аналитическое решение Осно- вание Формальні методи розробки програмного забезпечення 67 Вводя данный аспект риска в мо- дель экспертного оценивания, следует учитывать, что его оценка, как правило, основывается на экспертной интеграции результатов предварительно решенных за- дач имитационного моделирования, а также на классификации текущей ситуа- ции выработки и реализации решения. Это предъявляет такое специальное требование к модели как возможность использования априорных оценок элементов наряду с экспертными. Модель, оперирующая целевыми рисками, должна увязывать входящие в ее состав критерии с целями, достижение ко- торых они характеризуют. Именно это по- ложение послужило основой для введения такого класса многокритериальных моде- лей экспертного оценивания как дерево ценности [11]. Каждый элемент последнего поро- ждается элементом дерева целей. Однако фиксация таких взаимосвязей не была формализована авторами модели [11], как и принципы типизации ключевых призна- ков, на основании которых производятся переходы ”цель-подцель” в рамках дерева целей. Преодоление этих неоднозначно- стей необходимо для эффективного выяв- ления и, в особенности, обобщения экс- пертных мнений по поводу целевых рис- ков. При разработке формализма соот- ветствующих категорий концептов онто- логической модели экспертных точек зре- ния на ПрО принимаемых решений [7] был предложен следующий подход [12 ]. Пусть Gi = 〈 Oi, Pi, Di, CEi, Ti, Ai, Ki, Mi, Ei 〉, Gj = 〈 Oj, Pj, Dj, CEj, Tj, Aj, Kj, Mj, Ej 〉, - соответственно, цель и ее непосредствен- ная подцель, описанные согласно фрейму (1). Тогда допустимые типы связи ме- жду ними принадлежат множеству B = {bk}k=1,…,4, элементы которого определяют следующие соотношения: b1 → (Oj = ϕ(Oi)); b2 → (Oj = Ai ∨ ϕ(Ai )); b3 → (Oj = Mi ∨ ϕ(Mi )); b4 → (Oj = Ei ∨ ϕ(Ei )), (9) где ϕ(X) обозначает концепт онтологии, связанный с концептом X отношениями ”быть частью” либо ”быть подклассом”, а символ “→” соотносит тип связи с преди- цирующим его условием. Описание элемента дерева ценности CEj приобретает вид CEj = 〈 Gj, Gi, b∈B, Arg, INF, C 〉, (10) где Gj – цель, критерием достижения кото- рой служит CEj; Gi – раскрываемая ею цель предыдущего уровня; b – реализуе- мый тип связи цели с подцелью; Arg – концепты-элементы деятельности, служа- щие аргументацией того, что CEj является критерием достижения Gj; INF – элементы деятельности, которые служат для экспер- тов источниками информации о критерии достижимости цели; C – множество крите- риев, служащих детализацией CEj в дереве ценности. Предложенное определение эле- ментов дерева ценности обеспечивает не- обходимые условия для выполнения про- цедур P6, P7, P9, P10, охарактеризованных в табл. 1. Тем самым создаются предпо- сылки для достижения во внутреннем кон- туре преимуществ партисипативного под- хода к принятию решений [7]. Множественность учитываемых аспектов целевого решения, обеспечивае- мая при изложенном подходе к формиро- ванию модели, покрывает одно из базовых требований парадигмы сбалансированных оценок качества [5], которую необходимо вовлекать в методологию оценивания ЦП. Другие требования этой парадигмы также учитываются в предлагаемых методах оценки качества. Формальні методи розробки програмного забезпечення 68 Принцип каскадности в оценке ка- чества требует предоставления аппарата свертки показателей “снизу вверх”. В рам- ках дерева ценности, характеризующего отдельное задание, эта функция возлага- ется на аппарат модели диагностического дерева ценности, который описан в сле- дующем разделе. Что касается необходи- мости интеграции поэлементных оценок в характеристику ЦП в целом, то для нее может успешно использоваться аппарат, предложенный в [8]. Следует отметить, что его использование в среде онтологиче- ского описания целевой структуры про- граммы согласно формализму [12] дает дополнительные возможности для уста- новления взаимовлияний элементов, для получения согласованных и обоснованных экспертных оценок коэффициентов влия- ния, а также для выявления спектра акту- альных внешних факторов. Принцип анализа и прогноза дина- мики показателей качества [5] обусловли- вает актуальность: - создания аппарата ведения и ана- лиза ретроспективы вырабатываемых ре- шений; - включения в состав деревьев це- лей таких подцелей, которые связаны с реализуемостью (в аспекте ресурсов, ис- полнителей и среды), а в состав деревьев ценности – таких критериев этих подце- лей, которые информационно аргументи- руются документами, формируемыми на стадии выполнения ЦП, и элементами ана- литической деятельности на стадиях разра- ботки ЦП; - включения экспертиз качества ре- шений в технологические схемы всех ста- дий ЖЦ ЦП. Рассмотренная возможность много- критериальной экспертной оценки каче- ства решения на основе развития модели дерева ценности направлена на оценивание интегрального критерия качества, который является непосредственным (формируе- мым как дополнение до единицы) антипо- дом целевого риска – целевой эффектив- ностью. Однако открытым остается вопрос эффективного включения в модель каче- ства, построенную по предложенным принципам, такого важного для стратеги- ческих решений индикатора как уровень баланса пользы (в данном случае целевой эффективности) и ущерба, связанного с побочными эффектами достижения целей. Один из подходов к его решению будет охарактеризован в следующем разделе. Что касается влияния качества ре- шений внешнего контура на решения от- носительно ЦП, оно является опосредо- ванным. Его учет требуется, как правило, при выборе одного из альтернативных вариантов технологической схемы этапа ЖЦ ЦП. Частным случаем этой задачи является оценка целесообразности внесе- ния некоторых изменений в существую- щую технологическую схему. Конструктивным подходом к вы- бору одного из вариантов решения R2 внешнего контура служит оценка уровня значимости угроз, которые оно создает по отношению к реализации решения R1 внут- реннего контура. Такая оценка не дает возможности непосредственно оценить риск, который возникает в связи с R1 (в частности, из-за того, что кроме уровня угрозы должна учитываться способность к противостоя- нию ей [1]). Однако, в качестве критерия выбора варианта R2 при требовании мак- симальных гарантий, такая оценка явля- ется эффективной. Основными угрозами, которые соз- даются при неадекватном выборе техноло- гических решений относительно процесса ЖЦ ЦП, являются: - неполнота учета, при принятии решений, системы функциональных инте- ресов отрасли и общегосударственных ин- тересов; - невыявление или игнорирование знаний об объектах плановых решений, которые были накоплены специалистами в предшествующие периоды функциониро- вания отрасли (и смежных отраслей); - неэффективность обеспечения экспертов и лиц, принимающих решения, необходимой информацией. Формальні методи розробки програмного забезпечення 69 Спектр последствий каждой из та- ких угроз для плановых решений внутрен- него контура может быть выявлен посред- ством анализа специальных моделей биз- нес-процессов планирования и проведения экспертных опросов в среде специалистов – участников ЖЦ. Однако уже на этапе по- строения такой качественной модели бу- дут затрачены существенные временные ресурсы, поскольку анализ должен выпол- няться для каждого этапа ЖЦ ЦП и для каждого класса объектов принятия реше- ний. Что касается модели количественных влияний, ее построение для всех этапов и объектов оказывается неприемлемо слож- ным. Выход из этой ситуации предостав- ляет использование средств оценки уровня каждой из угроз, соответствующего задан- ному набору технологических решений по организации процесса ЖЦ ЦП. Оно позво- ляет осуществлять действия по управле- нию качеством заданий ЦП. К таким дей- ствиям относятся: - эффективная локализация точек принятия решений в схеме технологиче- ского процесса; - регламентация ведомственного и профессионального представительства для каждой из экспертиз и коммуникаций; - определение состава информаци- онного контекста процедур принятия ре- шений; - выработка необходимого спектра критериев, которые включаются в модели оценивания, служащие обоснованиями решений. Кроме того, на этапах пересмотра организационных решений относительно ЖЦ ЦП, такие оценки позволяют выбрать предпочтительный вариант из множества предлагаемых. Для оценки угроз, продуцируемых неэффективностью решений внешнего цикла, могут использоваться аналитиче- ские показатели качества организации процесса, формально оцениваемые на ос- новании его описания в виде онтологиче- ской модели специального вида [7], а также результаты экспертных опросов участников завершенных этапов ЖЦ ЦП. В качестве индекса предпочтитель- ности варианта технологического процесса может быть использована величина IN = [ Σs=1,2,3 αs (βs (Σi=1,…,Ks cis)/Ks + + γs (Σ j=1,…,Ls xjs ) ]/6, (11) где s – индекс типа угрозы (из вышепере- численных трех); cis ∈ (0;1) – оценка i-го аналитического показателя качества орга- низации процесса, актуального для харак- теризации угрозы s-го типа; Ks – число та- ких показателей; xjs – частота фиксации в анкетах экспертного опроса ситуации j-го типа (j=1,…,Ls), которая свидетельствует о проявлении условий возникновения уг- розы s-го типа, отмеченной участником процесса; βs,γs∈(0;1) – коэффициенты от- носительной важности для угрозы s-го типа структурно-аналитического прогноза и мнений участников процесса; αs∈(0;1) – относительная значимость угрозы s-го типа. Модель диагностической экспер- тизы для оценки качества плановых решений. В качестве аппарата, предназна- ченного для решения проблем, служащих основаниями аналитических решений S.AB (6) по поводу качества плановых решений относительно ЦП, может быть предложен инструментарий диагностической экспер- тизы [13]. Целевая характеристика, оценивае- мая с помощью этого аппарата, осущест- вляет: - трактовку интегрального риска пла- нового решения S.PL, которое утверждает задание в качестве элемента ЦП, как доли недостижения цели, соответствующей это- му заданию; - сопоставление целевой характери- стике пары моделей 〈MG; MVD〉, первая из которых является деревом целей [14], а вторая – многокритериальной моделью специального вида, названной моделью диагностической экспертизы MVD = 〈MD1, MD2, MD3〉. (12) Формальні методи розробки програмного забезпечення 70 Модель MD1 представляет собой де- рево, соотнесенное с деревом целей MG, как ранее описано MD1 = 〈X0, {〈Xik, rik〉 i=1,…, Nk }k=1,…, M; { 〈Yj, rj, Scj〉}k=1,…, NM+1 〉, (13) причем rik ∈{Xi(k-1) }, rj∈{XiM}. Здесь X0 – корень дерева, являю- щийся критерием корневой цели дерева целей MG; Xik – узлы на k-м уровне, пред- шественники которых rik принадлежат пре- дыдущему уровню (каждый узел – крите- рий для соответствующей подцели из MG); Yj – один из N(M+1) листьев дерева, служа- щий критерием непосредственно дости- жимой подцели M-го уровня; Scj – шкала оценивания Yj. В качестве шкал для Yj используются множества Scj = {〈Vl, Zl〉 l=1,…, L, где Vl – вербальное определение некоторой ситуации, характеризующей критерий Yj; Zl ∈(0;1) – сопоставляемое данной ситуа- ции значение степени ее близости к ситуа- ции, идеальной для достижения цели, ха- рактеризуемой критерием rj. Таким образом, MD1 представляет со- бой дерево ценности [11] MD2 = {〈X, W(X), ST1(X), ST2(X), ST3(X)〉}X ∈ MD1, (14) где X – произвольный узел или лист дерева ценности; W(X) – придаваемый ему вес; ST1(X) – статус X, определяющий его включение (ST1(X) = 1) или игнорирование (ST1(X) = 0) в свертке, определяющей оценки X0 через оценки Yj; ST2(X) ∈{0;1;2} – статус, определяющий для листа X (т.е. в случае X=Y), возможность параллельного использования экспертной оценки и фак- туального значения (ST2(X) = 1), разрешен- ность использования только экспертной оценки (ST2(X) = 0) либо, для узла X (X≠ Y) – статус совмещающего оценку, вычислен- ную сверткой, с оценкой, непосредственно предоставляемой экспертом в шкале (0;1); ST3(X) ∈{0;1}, определяемый ∀X≠ Y – ста- тус, отмечающий узлы X (при ST3(X) = 1), которые являются самостоятельно анали- зируемыми аспектами индексного показа- теля, т.е. соответствуют (со своими подде- ревьями) модели некоторых дифференци- рованных рисков. Третьим компонентом MD служит MD3 = 〈A, O, RC, RD〉, (15) где A – множество классов, к которым мо- гут быть отнесены оцениваемые, согласно MVD, объекты; O – множество рекоменда- ций по поводу планового решения, касаю- щегося оцениваемого объекта; RC – пра- вила отнесения к классу, записанные в специальном формате [4] и использующие в качестве операндов индивидуальные и обобщенные экспертные оценки любых листьев и узлов из состава MD1; RD – пра- вила продукционного характера, выби- рающие подмножество o∈O на основе та- ких же операндов, как и в случае RC [13]. Использование описанной модели для оценки показателя качества экспертируе- мого объекта (выполняющего функцию величины, противоположной интеграль- ному риску в смысле дополнения до еди- ницы) позволяет поддержать практически все обсуждавшиеся выше требования к по- казателям качества плановых решений от- носительно заданий из состава ЦП. Использование в качестве MD мно- гокритериальной модели с механизмом линейной свертки обеспечивает интегра- цию большого числа непосредственно оцениваемых показателей [5]. Прерогатива целевого взгляда, диктуемая программно- целевым подходом [3], поддерживается предложенным способом трактовки пер- спективности, отраженным в реализуемой связи MD1 с деревом целей и в семантике вербальных шкал Sc, используемых для Формальні методи розробки програмного забезпечення 71 оценки. Возможность автономного анализа различных аспектов качества [1, 5] под- держивается средствами подмодели MD2, которая придает специальные статусы со- ответствующим узлам. Совмещение пози- тивных и негативных влияний ситуаций, прогнозируемых или наблюдаемых в слу- чае реализации оцениваемого решения, учет которых невозможен при использова- нии линейной свертки (в силу ее компен- саторной семантики [15]), достигается по- средством использования подмоделей MD2, MD3. Они позволяют имитировать пороговую стратегию [15] за счет диагно- стики принадлежности решения недопус- тимым классам либо выработки рекомен- даций относительно дальнейших плановых решений. Подмоделями MD2 и MD3 поддержи- вается совмещение в индексном показа- теле оценок частных критериев, получен- ных разными методами; использование ча- стных критериев разной природы (абст- рактных и фактуальных); создание воз- можности верификации результатов за счет наличия параллельных оценок (непо- средственных и опосредованных) для кри- териев цели из узлов дерева ценности MD1. Это обеспечивает возможность совмеще- ния разных взглядов и источников инфор- мации [4]. Возможность введения, в качестве поддеревьев моделей, определяющих ас- пекты риска, прогнозных критериев, кри- териев, основанных на ретроспективе, и критериев, фиксирующих текущее состоя- ние дел позволяет выполнить требование сопоставления прошлого, настоящего и будущего [5]. Непосредственное использование ре- зультатов экспертного оценивания для управления качеством плановых решений становится возможным благодаря генера- ции рекомендаций по поводу плановых решений на основе формального анализа внутренних структур данных экспертного процесса средствами продукций из состава MD3. Выводы 1. Предложена модель жизненного цикла целевой программы, основанная на системе взаимосвязанных решений раз- личных классов. 2. Дана формализация концепта каче- ства решений, принимаемых относительно элементов целевой программы и техноло- гической схемы жизненного цикла послед- ней. 3. Описан аппарат диагностической экспертизы качества решений относи- тельно элементов целевой программы. 4. Проанализированы требования к показателям качества решений, предъяв- ляемые современными парадигмами, и по- казаны возможности их поддержки сред- ствами предлагаемого аппарата. 1. Горбулін В.П., Кочинський А.Б. Стратегі- чні ризики – нова парадигма стратегії національної безпеки України // Стратегічна панорама. – 2005. – № 1. – С. 18–27. 2. Семенченко А.І. Деякі питання інформа- ційно-аналітичного забезпечення страте- гічного планування у сфері національної безпеки. – Наука і оборона. – 2007. – № 2. – С. 8–12. 3. Ильина Е.П., Синицын И.П., Слабо- спицкая О.А., и др. Программно-целевое управление оборонным планированием при реформировании вооруженных сил. Методологические основы и перспективы автоматизированной поддержки. – Киев: Наук. думка, 2004. – 172 с. 4. The World Bank Participation Sourcebook. – Available at http://www.worldbank.org/ wbi/sourcebook/sbpdf.htm. 5. Гершун А., Горский М. Технологии сба- лансированного управления. – М.: ООО "МАГ КОНСАЛТИНГ", 2005. – 416 с. 6. Renn O. Participatory processes for design- ing environmental policies // Land Use Policy. – 2006. – V. 23, Is. 1 – P. 34–43. 7. Ильина Е.П. Задачи и методы аналитиче- ского сопровождения экспертиз в парти- сипативных процессах стратегического Формальні методи розробки програмного забезпечення 72 управления // Проблемы программиро- вания. – 2006. – № 2–3. – C. 421–430. 8. Тоценко В.Г. Методы и системы поддер- жки принятия решений. Алгоритмичес- кий аспект. – Киев: Наук. думка, 2002. – 361 с. 9. Мазур Н.И., Шапиро В.Д., Ольдерогге Н.Г. Эффективный менеджмент. – М.: Высш. Шк., 2003. – 555 с. 10. Згуровский М.З., Панкратова Н.Д. Сис- темный анализ: проблемы, методология, приложения. – Киев: Наук. думка, 2005. – 743 с. 11. von Winterfeldt, D., Edwards W. Decision Analysis and Behavioral Research. – Cam- bridge University Press, International edi- tion. – 1986. 12. Ильина Е.П. Представление и использо- вание модели “Дерево ценности” в онтологиях партисипативного принятия решений. – Сб. тр. СНУЯЭиП – 2008. – №1(25). – С. 110–121. 13. Ilyina E., Slabospitskaya O. The Tasks and the Tools for the Expert Knowledge Moni- toring Aimed At the Target Programming Management Support // Advanced Com- puter Systems and Networks: Design and Application: Proc. of the 2-nd Intern. Conf. ASCN-2005. Sept. 21-23 2005, Lviv, Ukraine. – P. 71–75. 14. Кини Р.Л., Райфа Х. Принятие решений при многих критериях: предпочтения и замещения. – М.: Радио и связь, 1981. – 560 с. 15. Козелецкий Ю. Психологическая теория принятия решений. – М.: Прогресс, 1979. – 504 с. Получено 29.07.2008 Об авторе: Ильина Елена Павловна, кандидат физико-математических наук, ведущий научный сотрудник. Место работы автора: Институт программных систем НАН Украины.
id	nasplib_isofts_kiev_ua-123456789-2602
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	1727-4907
language	Russian
last_indexed	2025-12-07T17:35:35Z
publishDate	2008
publisher	Інститут програмних систем НАН України
record_format	dspace
spelling	Ильина, Е.П. 2008-12-15T13:21:24Z 2008-12-15T13:21:24Z 2008 Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами / Е.П. Ільина // Проблеми програмування. — 2008. — № 4. — С. 60-72. — Бібліогр.: 15 назв. — рос. 1727-4907 https://nasplib.isofts.kiev.ua/handle/123456789/2602 519.76, 004.827 Предложены модели экспертного оценивания качества решений, принимаемых относительно элементов целевых программ и технологической схемы их жизненного цикла. Показана адекватность этих моделей тем требованиям к оценкам качества, которые определяются программно-целевым подходом и парадигмой сбалансированных показателей качества. ---------------- Запропоновано моделі експертного оцінювання якості рішень, що приймаються відносно елементів цільових програм та технологічної схеми її життєвого циклу. Показано адекватність цих моделей тим вимогам до оцінок якості, які визначаються програмно-цільовим підходом та парадигмою збалансованих показників якості.---------------- The models for expert evaluation of decisions quality attaching to the program elements and technological processes of target programming are proposed. The adequacy of these models to the demands of both the target programming and the Balanced Score paradigm is shown. ru Інститут програмних систем НАН України Формальні методи розробки програмного забезпечення Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами Моделі експертного анализу якості рішень, що приймаються при управлінні цільовими програмами The models of the quality expert analysis for the decisions made under target programming Article published earlier
spellingShingle	Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами Ильина, Е.П. Формальні методи розробки програмного забезпечення
title	Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами
title_alt	Моделі експертного анализу якості рішень, що приймаються при управлінні цільовими програмами The models of the quality expert analysis for the decisions made under target programming
title_full	Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами
title_fullStr	Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами
title_full_unstemmed	Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами
title_short	Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами
title_sort	модели экспертного анализа качества решений, принимаемых при управлении целевыми программами
topic	Формальні методи розробки програмного забезпечення
topic_facet	Формальні методи розробки програмного забезпечення
url	https://nasplib.isofts.kiev.ua/handle/123456789/2602
work_keys_str_mv	AT ilʹinaep modeliékspertnogoanalizakačestvarešeniiprinimaemyhpriupravleniicelevymiprogrammami AT ilʹinaep modelíekspertnogoanalizuâkostíríšenʹŝopriimaûtʹsâpriupravlínnícílʹovimiprogramami AT ilʹinaep themodelsofthequalityexpertanalysisforthedecisionsmadeundertargetprogramming

Модели экспертного анализа качества решений, принимаемых при управлении целевыми программами

Institution

Similar Items