Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования
Предложен подход к оценке эффективности автоматизированной системы на ранних стадиях проектирования в условиях значительной неопределенности информационной среды. Практическое использование предложенного подхода позволяет принимать обоснованные решения о целесообразности создания системы и ее ожидае...
Saved in:
| Published in: | Реєстрація, зберігання і обробка даних |
|---|---|
| Date: | 2007 |
| Main Authors: | , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут проблем реєстрації інформації НАН України
2007
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/50913 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования / Е.М. Науменко, Н.С. Козлов // Реєстрація, зберігання і оброб. даних. — 2007. — Т. 9, № 4. — С. 132-139. — Бібліогр.: 5 назв. — pос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860091254775218176 |
|---|---|
| author | Науменко, Е.М. Козлов, Н.С. |
| author_facet | Науменко, Е.М. Козлов, Н.С. |
| citation_txt | Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования / Е.М. Науменко, Н.С. Козлов // Реєстрація, зберігання і оброб. даних. — 2007. — Т. 9, № 4. — С. 132-139. — Бібліогр.: 5 назв. — pос. |
| collection | DSpace DC |
| container_title | Реєстрація, зберігання і обробка даних |
| description | Предложен подход к оценке эффективности автоматизированной системы на ранних стадиях проектирования в условиях значительной неопределенности информационной среды. Практическое использование предложенного подхода позволяет принимать обоснованные решения о целесообразности создания системы и ее ожидаемой эффективности.
Запропоновано підхід до оцінки ефективності автоматизованої системи на ранніх стадіях проектування в умовах значної невизначеності інформаційного середовища. Практичне використання запропонованого підходу дозволяє приймати обґрунтовані рішення про доцільність створення системи та її очікуваної ефективності.
An approach to an estimation of efficiency of the automated system on early design stages in conditions of significant uncertainty of the information environment is offered. Practical use of the suggested approach allows to make the proved decisions on expediency of creation of a system and its expected efficiency.
|
| first_indexed | 2025-12-07T17:23:05Z |
| format | Article |
| fulltext |
Експертні системи
та підтримка прийняття рішень
132
УДК 681.5
Е. М. Науменко, Н. С. Козлов
Институт проблем регистрации информации НАН Украины
ул. Н. Шпака, 2, 03113 Киев, Украина
Подход к оценке эффективности автоматизированных
систем на ранних стадиях проектирования
Предложен подход к оценке эффективности автоматизированной
системы на ранних стадиях проектирования в условиях значительной
неопределенности информационной среды. Практическое использова-
ние предложенного подхода позволяет принимать обоснованные ре-
шения о целесообразности создания системы и ее ожидаемой эффек-
тивности.
Ключевые слова: оценка эффективности, автоматизированная сис-
тема, показатели эффективности, экспертные методы, метод ана-
лиза иерархий.
В жизненном цикле любой автоматизированной системы (АС) наиболее важ-
ными являются стадии предпроектного проектирования (ПП) (формирования тре-
бований к АС, разработки концепции системы и технического задания), так как на
этих стадиях принимаются решения о принципах технической реализации и
структуре будущей системы. Кроме этого, на этих стадиях определяются сроки и
стоимость создания АС, а также оценивается ожидаемая эффективность от ее
внедрения. Цена ошибочных решений, принятых к реализации на этих этапах
проектирования, очень велика, так как их ошибочность может быть выявлена
лишь на этапе испытаний. Это, естественно, может привести к неоправданно
большим экономическим затратам.
Оценка ожидаемой эффективности АС на стадиях ПП осуществляется с це-
лью технико-экономического обоснования целесообразности ее создания на осно-
ве разработанной концепции. Получение такой оценки в настоящее время осуще-
ствляется либо на основе проведения испытаний ее опытных образцов, либо на
основе теоретических методов оценки с использованием математического моде-
лирования, либо на основе использования комбинированных опытно-теорети-
ческих методов исследований, включающих математические модели в сочетании
с натурным экспериментом. Единственно реальным путем оценки эффективности
АС в процессе ее ПП является путь на основе теоретических методов оценки с
помощью математического моделирования.
© Е. М. Науменко, Н. С. Козлов
Подход к оценке эффективности
автоматизированных систем на ранних стадиях проектирования
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2007, Т. 9, № 4 133
Анализ процесса ПП позволяет выделить следующие его особенности [1].
Первая особенность состоит в высокой степени неопределенности, неполноте
исходной информации, необходимой для принятия проектных решений. Практи-
чески, на ранних этапах проектирования имеется информация только о системах-
прототипах, которые, как правило, существенным образом отличаются от проек-
тированной системы. Если же проектируемая система создается на совершенно
новых принципах, то и эта информация отсутствует.
Вторая особенность заключается в том, что в условиях большой неопреде-
ленности, отсутствия необходимого статистического материала использование
вероятностных аналитических методов практически исключено, а разработка ста-
тистических моделей системы связана с большими трудностями.
Третья особенность связана с тем, что на этих стадиях требования, предъяв-
ляемые к системе, есть не что иное, как частные показатели качества системы.
При этом требования носят как количественный, так и качественный характер.
Четвертая особенность — это многопараметрический характер задач, решае-
мых на стадиях ПП. При этом параметры системы, как и показатели качества,
имеют как количественное, так и качественное описание. Это означает, что при-
нятие проектных решений о выборе рациональных параметров системы должно
базироваться на математических моделях, описывающих зависимости качествен-
ных показателей от качественно описываемых параметров.
Таким образом, в качестве математического аппарата оценки ожидаемой эф-
фективности АС на стадиях ПП в условиях неопределенности исходной инфор-
мации наиболее предпочтительны экспертные методы, причем методы сравни-
тельного анализа. Это связано с тем, что на этой стадии параметры и характери-
стики будущей системы еще недостаточно определены, поэтому экспертам проще
дать сравнительную оценку тем или другим понятиям или элементам, чем припи-
сать им меру. Учитывая сказанное, оценку прогнозируемой эффективности пред-
ложено проводить путем сравнительного анализа эффективности решения задач
объектом автоматизации без АС и при ее использовании.
Для этого сначала определяется полное множество задач, которые решаются
объектом автоматизации. Затем задачи ранжируются по важности в соответствии
с их ролью и местом в системе. Далее, на основе анализа задач формируются
функции системы (функциональная декомпозиция системы), которые также ран-
жируются. После этого определяются показатели оценки эффективности выпол-
нения функций и проводится их оценивание.
Описанный процесс оценки можно эффективно осуществить методом анализа
иерархий (МАИ) Т. Саати [2]. Согласно МАИ, сначала строится дерево факторов
и критериев. При этом в качестве факторов первого уровня выступают задачи,
второго — функции системы, третьего — показатели эффективности выполнения
функций и последнего — альтернативы, т.е. варианты решения задач системы с
применением АС и без средств автоматизации.
Пусть [ },1{ nizZ i == — задачи системы, )...,,,( 21 iiviiij fffF = — функции
i-й задачи, )...,,,( 21
ijijijijf f
g
ff
z kkkK = — показатели эффективности выполнения j-й
функции i-й задачи.
Е. М. Науменко, Н. С. Козлов
134
Тогда задачу сравнительной оценки эффективности функционирования объ-
екта автоматизации с АС и без нее можно изобразить в следующем виде (рис. 1).
1A — решение задач объекта автоматизации с АС
2A — решение без АС
2z 1z
…
nz
…
11vf 11f 11vf 1nf 11f
Объект автоматизации
12f
…
1A 2A
. . .
11
1
fk … 11
2
fk 11f
lk nnvfk1 … nnvfk2 nnvf
lk
. . . . . . . . . . . .
Рис. 1. Декомпозиция задачи оценки эффективности АС
Дальше строятся матрицы парных сравнений для каждого из уровней — по
одной матрице для каждого элемента более высокого уровня. Так, для факторов
iz субъективные оценки экспертов в виде отношений предпочтения представля-
ются в виде обратносимметричной матрицы доминирования:
nnnn
n
n
Z
aaa
aaa
aaa
M
...
........................
...
...
21
22221
11211
= ,
где 1=iia ; ija показывает относительную важность задач 1z и nz по отношению к
«объекту автоматизации», а
ij
ji a
a 1
= . При парных сравнениях используется стан-
дартная 9-бальная шкала.
Для функций ijf будут получены аналогичные матрицы парных сравнений,
элементы которых показывают относительную важность функций выполнения i-й
задачи. Аналогично оцениваются показатели ijf
lk .
При формировании матриц парных сравнений для альтернатив 1A и 2A необ-
ходимо понимать, что под АС, в данном случае, понимается ее системотехниче-
Подход к оценке эффективности
автоматизированных систем на ранних стадиях проектирования
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2007, Т. 9, № 4 135
ский облик. При оценке этих альтернатив прогнозируется насколько эффективно,
по сравнению с существующим положением, реализовывалась бы та или иная
функция системы, при условии, что АС будет создана на основе тех или иных
технических принципов, методов, средств и технологий.
Затем вычисляются собственные векторы каждой матрицы, и формируется
набор локальных приоритетов. И, наконец, применяя принцип синтеза приорите-
тов, вычисляются глобальные приоритеты альтернатив.
В результате получим нормализованный вектор ),(
21 AA wwW = относитель-
ных приоритетов альтернатив 1A и 2A . Тогда отношение
2
1
A
A
w
w
=h показывает, во
сколько раз будет повышена эффективность объекта автоматизации в результате
внедрения АС. Более детально процесс формирования матриц парных сравнений
приведен в [2].
При выборе показателей эффективности выполнения функций системы необ-
ходимо исходить из того, что это — численная мера, количественно характери-
зующая степень решения поставленной задачи. Правильное определение физиче-
ской сути показателей эффективности, рациональное деление их на главные и
вспомогательные позволяют более объективно оценивать состояние и сравнивать
варианты систем.
На сегодняшний день сформулированы четыре требования, которым должны
удовлетворять показатели эффективности [3]:
1) представительность — строгое соответствие показателю эффективности
цели, реализуемой системой;
2) чувствительность — способность показателя эффективности изменять свое
значение при изменении параметров системы;
3) простота вычисления;
4) наглядность — ясный физический смысл показателя эффективности.
Вместе с тем задача выбора показателей эффективности является сложной,
т.к. формальные правила их выбора отсутствуют. Задача решается неформально.
Ее решение зависит от уровня подготовки эксперта, четкого понимания им целей
оценки и его интуиции. Так, например, для АС специального назначения в табли-
це приведены показатели, которые могут быть выбраны в качестве показателей
эффективности выполнения функций системы [3].
Важнейшим показателем быстродействия автоматизированной системы яв-
ляется время полного цикла управления, то есть продолжительность ответной
реакции органов управления на изменения обстановки.
Оценку АС можно также осуществлять по частным показателям, влияющим
на общую продолжительность полного цикла управления. В качестве таких пока-
зателей целесообразно использовать время на сбор, обработку и выдачу сведений,
необходимых для процесса управления, время на принятие решения.
Оценить автоматизированную систему по показателям устойчивости — зна-
чит определить частоту выхода ее из строя и продолжительность пребывания в
исправном состоянии. Устойчивость АС обеспечивается ее надежностью, живуче-
стью и помехозащищенностью. При этом для оценки надежности используются
Е. М. Науменко, Н. С. Козлов
136
показатели:
— средняя продолжительность безотказной работы отдельных элементов и
системы в целом;
— средняя наработка на один отказ того или иного элемента системы;
— вероятность надежного функционирования всей системы.
№№ Фактор Показатель
1 оперативность
(быстродействие)
время на сбор, обработку и выдачу информации;
время на принятие решения, постановку и доведение задач
до исполнителей;
2 устойчивость
(надежность,
живучесть, поме-
хозащищенность)
средняя продолжительность безотказной работы системы;
средняя наработка на один отказ;
вероятность надежного функционирования всей системы;
вероятности выхода из строя системы;
степень (кратность) резервирования элементов системы;
время восстановления системы;
3 непрерывность математическое ожидание времени максимального перерыва
в управлении;
математическое ожидание времени минимальной продолжительности
бесперебойной работы системы между двумя перерывами;
4 пропускная
способность
коэффициент информационного наполнения системы;
коэффициент обработки (переработки) информации;
коэффициент потребления информации;
суммарный показатель пропускной способности;
5 точность степень соответствия информации реальным условиям обстановки (точ-
ность добывания, формирования, сбора, обработки и выдачи, а также ее
давность);
суммарный коэффициент искажения информации (время давности ин-
формации; время старения информации);
среднеквадратические ошибки результатов решения задач;
6 гибкость способность обеспечить переход от одних методов управления к другим;
возможность сопряжения с другими АС;
время, необходимое на перестройку АС.
Для оценки живучести используются:
— характеристики защищенности и уязвимости элементов системы, вероят-
ности выхода их из строя, степень (кратность) их резервирования;
— время восстановления системы.
В качестве показателей непрерывности функционирования автоматизирован-
ной системы можно использовать математическое ожидание времени максималь-
ного перерыва управления и минимальной продолжительности бесперебойной
работы системы между двумя перерывами.
Под показателем пропускной способности АС понимается показатель, отража-
Подход к оценке эффективности
автоматизированных систем на ранних стадиях проектирования
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2007, Т. 9, № 4 137
ющий ее информационные возможности. Для оценки пропускной способности
могут использоваться:
— коэффициент информационного наполнения системы как отношение ма-
тематического ожидания собираемых за единицу времени сведений к общему ко-
личеству данных, необходимых для управления объектом управления;
— коэффициент обработки (переработки) информации, характеризующий ту
часть из поступивших сведений, которая перерабатывается за данный отрезок
времени;
— коэффициент потребления информации, показывающий какая часть из
общего количества переработанных сведений доводится до должностных лиц и
используется ими при управлении;
— суммарный показатель пропускной способности как функция от трех вы-
шеперечисленных коэффициентов.
Оценка точности функционирования АС включает следующие операции:
— выявление степени соответствия информации, используемой в системе,
реальным условиям обстановки;
— определение точности решения расчетных задач;
— обоснование оптимальности (рациональности) принимаемых решений.
В качестве показателей оценки степени соответствия информации реальным
условиям обстановки целесообразно использовать показатели, отражающие точ-
ность ее добывания, формирования, сбора, обработки и выдачи, а также ее дав-
ность.
Для обобщенной оценки точности информации можно взять суммарный ко-
эффициент ее искажения, показывающий, на какое количество знаков допустима
одна ошибка. Основными критериями при этом выступают: время давности ин-
формации как разность между моментом ее использования и временем изменения
обстановки; время старения информации, то есть время сохранения ценности ин-
формации.
Точность решения расчетных задач может оцениваться через средние квадра-
тические ошибки тех количественных величин, которые выдаются в качестве ре-
зультатов их решения.
Под показателями гибкости функционирования АС понимаются показатели,
характеризующие ее способность перестраивать свою работу в соответствии с
изменившимися условиями управления при сохранении требуемого уровня всех
остальных показателей эффективности.
При оценке гибкости системы необходимо определять ее способность обес-
печить переход от одних методов управления к другим, сопряжение с другими
автоматизированными системами. В качестве основного показателя гибкости сле-
дует использовать время, необходимое на перестройку АС.
При оценке отдельных автоматизированных систем могут использоваться и
другие показатели, отражающие специфику функционирования системы. Напри-
мер, при оценке автоматизации управления производством — абсолютное сниже-
ние трудовых затрат, коэффициент снижения стоимостных затрат. Однако для
оценки каждой такой системы применимы общие принципы подхода к оценке
эффективности и многие из рассмотренных показателей.
Е. М. Науменко, Н. С. Козлов
138
И в заключение рассмотрим пример. Пусть создается автоматизированная
система обработки информации реального времени, которая решает следующие
задачи [4]: мониторинг воздушного пространства; мониторинг наземного и над-
водного пространства; обработка информации общего вида; оперативное управ-
ление системой; отображение комплексной информации и качества функциони-
рования системы; прием данных (информации) от датчиков (источников) и пере-
дача данных (информации) к потребителям; документирование данных (инфор-
мации) в системе.
Решение задачи приема данных от датчиков и передачи данных потребителям
состоит в реализации системой следующих основных функций:
— приема сообщений (кодограмм) от датчиков;
— преобразования кодограмм в форматы представления данных в системе;
— распределения входных потоков данных (информации) по процессам их
обработки;
— преобразования выходных сообщений в форматы коммуникационных про-
токолов;
— передачи данных (информации) потребителям.
В качестве частных показателей оценки эффективности первой функции ис-
пользуются: скорость передачи данных, объем принятых данных, отношение чис-
ла ошибочно переданных данных к общему количеству переданной информации,
количество ошибок [5]. Тогда дерево оценки эффективности системы обработки
информации реального времени в данном случае будет выглядеть, как показано
на рис. 2.
. . .
Система обработки информации
Мониторинг
воздушного
пространства
Мониторинг
наземного и
надводного
пространства
Обработка
информации
общего вида
Оперативное
управление
системой
Задачи
Функции системы, обеспечивающие решение задач
Альтернативы
Решение задач
без АС
Решение задач
с применением АС
Скорость
передачи
данных
Объем
принятых
данных
Отношение числа ошибочно
переданных данных к
общему количеству
переданной информации
Количество
ошибок
. . .
. . .
Прием сообщений
(кодограмм) от
датчиков
Преобразование
кодограмм
Передача данных
к потребителям
Распределение
входных потоков
данных
Показатели эффективности выполнения функций системы
. . .
Отображение
комплексной
информации
Прием и
передача
данных
Документирование
данных
(информации) в
системе
. . . . . .
. . . . . .
. . .
. . .
Преобразование
выходных
сообщений
Рис. 2. Пример дерева оценки эффективности системы обработки информации реального времени
Подход к оценке эффективности
автоматизированных систем на ранних стадиях проектирования
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2007, Т. 9, № 4 139
Таким образом, предложенный в статье подход к оценке эффективности АС
позволяет на стадиях предпроектного проектирования спрогнозировать эффект,
который может быть получен вследствие внедрения системы и, тем самым, обос-
новать решение о целесообразности ее создания.
1. Герасимов Б.М., Грабочевский Г.Г., Рюмшин Н.А. Нечеткие множества в задачах проекти-
рования управления и обработки информации. — К.: Промінь, 2002. — 137 с.
2. Саати Т. Принятие решений. Метод анализа иерархий. — М. Радио и связь, 1993. — 314 с.
3. Современные проблемы управления силами ВМФ: Теория и практика. Состояние и пер-
спективы / И.В.Соловьев, В.В.Геков, С.М.Доценко и др.; Под ред. В.И.Куроедова. — К.: Политех-
ника, 2006. — 432 с.
4. Техническое задание на проектирование Системы обработки информации. (Контракт №
М095UABJ/E022D17K). — К.: ИПРИ НАН Украины, 2003. — 80 с.
5. Технические предложения по разработке системы обработки информации (Системы). Кни-
га № 2. Обоснование технических требований на разработку Системы. — К.: ИПРИ НАН Украи-
ны, 2003. — 206 с.
Поступила в редакцию 12.07.2007
Показатель
|
| id | nasplib_isofts_kiev_ua-123456789-50913 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1560-9189 |
| language | Russian |
| last_indexed | 2025-12-07T17:23:05Z |
| publishDate | 2007 |
| publisher | Інститут проблем реєстрації інформації НАН України |
| record_format | dspace |
| spelling | Науменко, Е.М. Козлов, Н.С. 2013-11-06T16:26:45Z 2013-11-06T16:26:45Z 2007 Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования / Е.М. Науменко, Н.С. Козлов // Реєстрація, зберігання і оброб. даних. — 2007. — Т. 9, № 4. — С. 132-139. — Бібліогр.: 5 назв. — pос. 1560-9189 https://nasplib.isofts.kiev.ua/handle/123456789/50913 004.051 Предложен подход к оценке эффективности автоматизированной системы на ранних стадиях проектирования в условиях значительной неопределенности информационной среды. Практическое использование предложенного подхода позволяет принимать обоснованные решения о целесообразности создания системы и ее ожидаемой эффективности. Запропоновано підхід до оцінки ефективності автоматизованої системи на ранніх стадіях проектування в умовах значної невизначеності інформаційного середовища. Практичне використання запропонованого підходу дозволяє приймати обґрунтовані рішення про доцільність створення системи та її очікуваної ефективності. An approach to an estimation of efficiency of the automated system on early design stages in conditions of significant uncertainty of the information environment is offered. Practical use of the suggested approach allows to make the proved decisions on expediency of creation of a system and its expected efficiency. ru Інститут проблем реєстрації інформації НАН України Реєстрація, зберігання і обробка даних Експертні системи та підтримка прийняття рішень Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования Підхід до оцінки ефективності автоматизованих систем на ранніх стадіях проектування An Approach to an Estimation of Efficiency of the Automated Aystems on Early Design Stages Article published earlier |
| spellingShingle | Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования Науменко, Е.М. Козлов, Н.С. Експертні системи та підтримка прийняття рішень |
| title | Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования |
| title_alt | Підхід до оцінки ефективності автоматизованих систем на ранніх стадіях проектування An Approach to an Estimation of Efficiency of the Automated Aystems on Early Design Stages |
| title_full | Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования |
| title_fullStr | Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования |
| title_full_unstemmed | Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования |
| title_short | Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования |
| title_sort | подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования |
| topic | Експертні системи та підтримка прийняття рішень |
| topic_facet | Експертні системи та підтримка прийняття рішень |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/50913 |
| work_keys_str_mv | AT naumenkoem podhodkocenkeéffektivnostiavtomatizirovannyhsistemnarannihstadiâhproektirovaniâ AT kozlovns podhodkocenkeéffektivnostiavtomatizirovannyhsistemnarannihstadiâhproektirovaniâ AT naumenkoem pídhíddoocínkiefektivnostíavtomatizovanihsistemnaranníhstadíâhproektuvannâ AT kozlovns pídhíddoocínkiefektivnostíavtomatizovanihsistemnaranníhstadíâhproektuvannâ AT naumenkoem anapproachtoanestimationofefficiencyoftheautomatedaystemsonearlydesignstages AT kozlovns anapproachtoanestimationofefficiencyoftheautomatedaystemsonearlydesignstages |