Имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений

Разработана комплексная методология исследования эффективности алгоритмов структурно-параметрической идентификации с помощью статистических испытаний. Описан комплекс инструментальных средств, реализующий предложенную методологию. Разработанные программные средства использованы для сравнительного те...

Повний опис

Збережено в:

Бібліографічні деталі
Дата:	2009
Автори:	Ефименко, С.Н., Степашко, В.С.
Формат:	Стаття
Мова:	Російська
Опубліковано:	Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України 2009
Теми:	Информационные технологии и системы
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/5537
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Имитационный эксперимент как средство для исследования эффективности методов моделирования по данным наблюдений / С.Н. Ефименко, В.С. Степашко // Управляющие системы и машины. — 2009. — № 1. — С. 69-78. — Бібліогр.: 19 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1859649130414997504
author	Ефименко, С.Н. Степашко, В.С.
author_facet	Ефименко, С.Н. Степашко, В.С.
citation_txt	Имитационный эксперимент как средство для исследования эффективности методов моделирования по данным наблюдений / С.Н. Ефименко, В.С. Степашко // Управляющие системы и машины. — 2009. — № 1. — С. 69-78. — Бібліогр.: 19 назв. — рос.
collection	DSpace DC
description	Разработана комплексная методология исследования эффективности алгоритмов структурно-параметрической идентификации с помощью статистических испытаний. Описан комплекс инструментальных средств, реализующий предложенную методологию. Разработанные программные средства использованы для сравнительного тестирования методов моделирования и для решения реальных экономических задач. Розроблено комплексну методологію дослідження ефективності алгоритмів структурно-параметричної ідентифікації за допомогою статистичних випробувань. Описано комплекс інструментальних засобів, який реалізує запропоновану методологію. Розроблені програмні засоби використано для порівняльного тестування методів моделювання та розв’язання реальних економічних задач. A comprehensive methodology for investigating the efficiency of the algorithms of structural and parametric identification with the use of statistical tests is developed. A complex of software tools realizing the suggested methodology is described. The developed software tools are used for the comparative testing of the modelling methods and for the solution of real economic problems.
first_indexed	2025-12-07T13:31:28Z
format	Article
fulltext	УСиМ, 2009, № 1 69 УДК 621.513 С.Н. Ефименко, В.С. Степашко Имитационный эксперимент как средство для исследования эффективности методов моделирования по данным наблюдений Разработана комплексная методология исследования эффективности алгоритмов структурно-параметрической идентификации с помощью статистических испытаний. Описан комплекс инструментальных средств, реализующий предложенную методологию. Разработанные программные средства использованы для сравнительного тестирования методов моделирования и для решения ре- альных экономических задач. A comprehensive methodology for investigating the efficiency of the algorithms of structural and parametric identification with the use of statistical tests is developed. A complex of software tools realizing the suggested methodology is described. The developed software tools are used for the comparative testing of the modelling methods and for the solution of real economic problems. Розроблено комплексну методологію дослідження ефективності алгоритмів структурно-параметричної ідентифікації за допомо- гою статистичних випробувань. Описано комплекс інструментальних засобів, який реалізує запропоновану методологію. Розроб- лені програмні засоби використано для порівняльного тестування методів моделювання та розв’язання реальних економічних за- дач. Введение. Задача моделирования по экспери- ментальным данным состоит в построении за- висимости между входными и выходными па- раметрами. В связи с большим количеством различных методов моделирования, а также способов их программной реализации, возни- кает проблема выбора наиболее эффективного из них для конкретной задачи. Рост уровня вычислительной техники и раз- нообразие информационных систем позволяет разработку методологии и средств выполнения имитационных экспериментов использовать как мощный инструмент исследования эффек- тивности методов структурно-параметриче- ской идентификации. Такой инструмент при- меняется многими отечественными и зарубеж- ными учеными. Комплексные вычислительные эксперимен- ты выполнены в [1–2]. Здесь исследуются как критерии качеств идентификации, так и алго- ритмы в целом. В [3–4] предложены комбина- торно-селекционные алгоритмы с сокращени- ем полного перебора моделей, с помощью чис- ленного эксперимента показана эффективность алгоритмов и выполнено сравнение разных ва- риантов одно- и двухкритериального выбора моделей с определением предельной помехо- устойчивости идентификации. Новые критерии оптимальности плана экс- перимента для определения качества постро- енных регрессионных моделей в условиях структурной неопределенности модели и на- личия в ней случайных регрессоров предложе- ны в [5–7]. Авторы сравнивают эффективность разных методов построения моделей не во всей области возможных значений параметров, а в специальных точках. В [8] рассмотрена за- дача выбора сложности модели, дающей ми- нимальную ошибку прогноза, и предложена модификация критерия Маллоуза-Акаике. Ре- зультаты тестовых экспериментов показали, что критерий является самым эффективным из сравниваемых при моделировании по корот- ким выборкам. Из анализа научных трудов, в которых для исследования методов моделирования исполь- зуются статистические испытания, можно сде- лать вывод, что разные компоненты методов моделирования исследованы с помощью экс- перимента неодинаково. Больше внимания уделяется тестированию критериев качества, планов эксперимента, в целом алгоритмов. Наблюдается недостаточное внимание или отсутствие экспериментов, касающихся тес- тирования таких компонентов методов моде- лирования, как генераторы структур и мето- ды оценивания параметров. Анализ результа- тов исследований в области проведения чис- ленных испытаний показал, что такие иссле- дования не имеют систематизированного ха- рактера, а сам подход нуждается в дополни- тельном изучении. 70 УСиМ, 2009, № 1 Постановка задачи тестирования методов моделирования Каждый метод структурной идентификации в явном или неявном виде содержит четыре компонента [9]: класс моделей, генератор структур, метод оценивания параметров, кри- терий селекции моделей. Пусть F – множество классов моделей { } KkfF k ,1, == ; G – множество генераторов структур моделей { } HhgG h ,1, == ; Р – мно- жество методов оценивания параметров струк- тур { } LlpP l ,1, == ; C – множество критериев качества моделей { } TtcC t ,1, == . Тогда множество методов структурной иден- тификации S можно представить как S = F × × G × М × CR. В качестве алгоритма модели- рования будем рассматривать некоторый эле- мент множества S, определенный так: { }, , , , 1, , 1, , 1, , 1, , 1, . j k h e ts f g p c k K h H l L t T j K H L T = = = = = = = ⋅ ⋅ ⋅ Сформировав в таком виде множество алго- ритмов, сформулируем задачу тестирования методов моделирования. Пусть качество каждого алгоритма s ∈ S ха- рактеризуются значением некоторого критерия С(s). Тогда наилучшим алгоритмом (в смысле данного критерия С) будет тот, который опре- деляется из условия: * arg min ( ) s S s C s ∈ = . Возможными критериями эффективности вычислительного алгоритма могут быть: быст- родействие алгоритма, экономия машинной памяти, ошибка модели на независимых дан- ных, эффективность использования получен- ной модели при принятии решений и др. Вы- бор критерия, главным образом, зависит от требований, предъявляемых к полученной в результате модели. В случае использования нескольких критериев определения качества алгоритма необходимо соблюдение некоторого компромисса между критериями. Проанализируем каждый из элементов ме- тода моделирования с учетом их влияния на значение заданного критерия эффективности. С целью исследования влияния выбора метода моделирования на значение критерия эффек- тивности возникает необходимость сравнения разных методов моделирования в целом и их структурных элементов. Методика проведения экспериментов Цель проведения экспериментов – с помо- щью статистических испытаний выполнить сравнительное тестирование классов моделей, генераторов структур моделей, методов оце- нивания параметров, критериев качества моде- лей для определения их эффективности и вы- работки рекомендаций относительно их при- менения при моделировании по данным на- блюдений. Исходя из этого, имеем следующие варианты методики проведения экспериментов в соответствии с количеством основных ком- понентов методов моделирования. Тестирование классов моделей. Возмож- ной целью тестирования классов моделей яв- ляется определение эффективности моделиро- вания (выраженное в экстраполяционной или прогнозирующей способностях) с помощью классов моделей, отличающихся от соответст- вующих истинному (используемому при фор- мировании тестовой задачи) и от него. Для тестирования можно применять, на- пример, такие классы моделей: • класс полиномов с базисной функцией вида: ∏∑ == = MX v c v m j j jvxby 11 , число членов которого равняется m 1 MX v ST j j= + =∏ , где ST – степень полинома; • класс тригонометрических моделей, ба- зисные функции которого имеют вид: 1 sin(ω φ ) m o j j j j y a b x = = + +∑ ; • класс авторегрессионных моделей с ба- зисными функциями: ∑ = −= LY i kik yay 1 1 , УСиМ, 2009, № 1 71 где LY – порядок авторегрессии (число запаз- дываний). С помощью одного из упомянутых классов моделей (он будет истинным) из комбинации сгенерированных векторов-столбцов матрицы плана формируется вектор выхода y с возмож- ным добавлением реализации вектора шума. Моделирование выполняется во всех указан- ных классах моделей, в том числе отличаю- щихся от истинного. Тестирование генераторов структур моде- лей. Цель тестирования генераторов структур моделей – с помощью статистических испыта- ний определить, каким образом на критерий эффективности моделирования влияют такие параметры, как количество аргументов, спосо- бы наращивания сложности моделей, вычис- лительная мощность ЭВМ и др. Генераторы структур переборного типа, ис- пользуемые в регрессионных методах и мето- дах самоорганизации, можно расположить в зависимости от их вычислительных затрат [10–11]: • метод вложенных структур: регрессоры в модель включаются последовательно в заранее заданном порядке, т.е. рассматриваются струк- туры 1 1 1θy x= , 2 1 1 2 2θ θy x x= + , ..., ym 1 1θ x= + 2 2 1 1θ ... θ θm m m mx x x− −+ + + + ; • метод включения (регрессоры включаются в модель по одному, максимально уменьшаю- щему значение критерия), исключения ре- грессоров по одному из полной модели и их комбинация (включение-исключение); • направленного усложнения (используется принцип неокончательных решений); • полный перебор. Поскольку результаты экспериментов пока- зывают, что методы направленного перебора (т.е. некомбинаторные) не гарантируют ре- зультата полного перебора, то далее детально рассмотрим полный перебор с учетом влияния его организации на значение критерия эффек- тивности моделирования. В процессе полного перебора сравниваются модели вида θ , 1,..., 2 1m v v vy X v= = − , где деся- тичному числу ν ставится в соответствие дво- ичное число dν . Для комбинаторного алгоритма изменение состояний двоичного структурного вектора { }, 1,id d i n= = , каждый элемент которого при- нимает значение единица или ноль (включение или невключение в модель соответствующего аргумента), можно организовать с помощью двоичного счетчика следующим способом. Для вектора d отводится одномерный массив из n элементов, которые имеют булевый тип. Сле- дующее значение этого вектора определяется согласно порядку следования двоичных чисел, соответствующих последовательным десятич- ным числам, и программируется специальной функцией. Модификацией изменения состояний струк- турного вектора с помощью двоичного счет- чика является использование двоичного пред- ставления десятичного числа и побитовых операций без программирования процедуры определения следующего двоичного числа. Часто при использовании комбинаторного алгоритма достаточно удобна схема генерации двоичных чисел с последовательным наращи- ванием сложности. Эта схема использует та- кую последовательность генерации, при кото- рой сначала образуются все соединения с од- ной единицей в составе двоичного структур- ного вектора, затем – с двумя единицами, и – до единственно возможного варианта всех единиц. Реализация такого подхода возможна, в частности, в таких вариантах: стандартный последовательный счетчик, представленный в [12] в качестве алгоритма 94б, и оптимизиро- ванный вариант последовательного счетчика, предложенный в [4]. Иным способом изменения состояний дво- ичного структурного вектора есть счетчик Гар- сайда [10] – одна из наиболее известных непо- зиционных систем исчисления, применяемых в вычислительной технике. Этот счетчик строит- ся из двоичных цифр таким образом, что сосед- ние числа в нем отличаются всегда только в одном разряде. Для перевода десятичного чис- ла в прямом направлении необходимо перевес- 72 УСиМ, 2009, № 1 ти его сначала в двоичный код, а затем к полу- ченному результату дописать слева нуль (не- значащий) и сравнивать соседние биты, за- писывая в соответствующие биты результата нуль, если они равны, и единицу в противном случае. Тестировать генераторы структур (при вы- бранном критерии селекции моделей) целесо- образно по таким критериям эффективности: • получение результата полного перебора (для некомбинаторных генераторов); • время работы алгоритма (при использова- нии разных схем и программных реализаций комбинаторного алгоритма). При тестировании комбинаторного генера- тора структур необходимо определить, каково влияние способов изменения двоичного струк- турного вектора и различных реализаций од- ного и того же способа на быстродействие про- граммной реализации алгоритма. Тестирование методов решения систем линейных уравнений для задачи оценивания параметров по методу наименьших квадра- тов (МНК). В частном случае применения МНК задача оценивания параметров сводится к ре- шению систем линейных алгебраических урав- нений. Цель тестирования при этом состоит в определении и сравнении эффективности мето- дов решения таких систем. Поскольку в рамках этой статьи рассматриваются алгоритмы ком- бинаторного типа, решающие задачу полного перебора всех возможных вариантов (т.е. NP- полную задачу) и имеющие экспоненциальную сложность по количеству аргументов, то глав- ным критерием эффективности методов реше- ния систем уравнений целесообразно выбрать быстродействие (время выполнения структур- ной идентификации). Здесь необходимо исследовать влияние на быстродействие таких параметров, как: коли- чество аргументов, количество точек наблю- дений, способы наращивания сложности стро- ящихся моделей, вычислительная мощность ЭВМ и др. Ставится также цель показать, что примене- ние рекуррентных алгоритмов для оценивания параметров при последовательном усложнении структур значительно сокращает время струк- турно-параметрической идентификации. При формировании тестовых задач матрица плана генерируется с помощью генератора слу- чайных чисел с равномерным распределением. Вектор выхода формируется как линейная ком- бинация нескольких входных параметров с воз- можным добавлением шума. Определяется вре- мя структурно-параметрической идентифика- ции для выбранных генератора структур моде- лей и метод решения систем линейных урав- нений при оценивании параметров по МНК. Тестирование критериев селекции моде- лей. Целью тестирования критериев селекции моделей может быть: • исследование зависимости значения за- данного критерия качества оптимальной моде- ли (соответствующей минимуму критерия) от ее сложности (количества аргументов) при раз- ных значениях дисперсии шума; • исследование точности на контрольной части выборки моделей, полученных по раз- ным критериям, при варьировании количества точек обучения и уровня шума. Также важной целью тестирования критериев селекции есть исследование характера измене- ния сложности оптимальных моделей, получен- ных по минимуму заданных критериев, с рос- том дисперсии шума. Для однозначного сравнения следует, насколько это возможно, ориентироваться на результаты, получаемые с помощью идеального критерия, минимизирую- щие дисперсию ошибки восстановления ис- тинного вектора выхода объекта. Только в этом случае можно точно определить, насколько адекватными или неадекватными являются критерии, сравниваемые с идеальным. Отметим, что характерным для современно- го подхода к моделированию по данным на- блюдений является необходимость соблюде- ния принципа компромисса между точностью и сложностью модели. В зависимости от спо- соба достижения этого компромисса критерии, УСиМ, 2009, № 1 73 тестируемые в рамках этой работы, относятся к двум группам: • Критерии, построенные на коррекции ос- таточной суммы квадратов. В эту группу, в ча- стности, входят критерии с явным штрафом за сложность Акаике и Маллоуза, в которых к ошибке модели добавляются штрафные члены, зависящие от количества точек в выборке и от числа параметров модели, по таким вычисли- тельным формулам: – финальная ошибка предсказания Акаике [13]: ( ) ( )n sFPE s RSS s n s + = − , где 2( ) sRSS s y y= − – остаточная сумма квадратов, n – число точек, s – сложность модели; – критерий Маллоуза [14]: 2( ) ( ) 2σpC s RSS s s= + , где 2σ – дисперсия шума. К этой группе крите- риев относятся также критерий «предвиденной квадратичной ошибки» Баррона PSE(s), крите- рии AIC(s), AIC(s) и некоторые другие [15]. • Внешние критерии, применяемые в МГУА. Здесь принцип компромисса (в неявном виде) достигается путем разбиения выборки на две части. По одной части – «внутренней» – осуще- ствляется оценивание параметров, по другой – «внешней» – определяется прогнозирующая способность моделей. К этой группе относится критерий регулярности: 2 ( ) θ ,B B AsAr s y X= − где A и B – соответственно обучающая и про- верочная части выборки, θ As – оценка пара- метров модели сложности s по МНК на подвы- борке А. Кроме отмеченных, к группе критери- ев, базирующихся на разбиении выборки на две части, относятся усредненный критерий регулярности УКР(s), критерий минимума смещения СВ(s) и др. [15]. Для тестирования критериев селекции мо- делей задача формируется таким образом. Ге- нерируется матрица плана X и образуется век- тор выхода y как линейная комбинация не- скольких регрессоров с добавлением шума. В выбранном классе структур определяется луч- шая модель с помощью каждого из тестируе- мых критериев с достаточно большим количе- ством повторений и усреднением результатов. При этом при применении комбинаторного ге- нератора структур и метода включения отби- рается одна лучшая модель, а при использова- нии вложенных структур – лучшая модель для каждой сложности. Комплекс инструментальных средств для исследования и применения методов моде- лирования по данным наблюдений Для реализации изложенной методики про- ведения тестовых экспериментов разработан комплекс инструментальных средств, который применялся для исследования и применения методов моделирования. На рис. 1 представлена структурная схема комплекса, где показаны его основные функ- циональные блоки. Такой комплекс дает воз- можность: Рис. 1 • самостоятельно конструировать методы моделирования по данным наблюдений; • сравнивать имеющиеся методы по задан- ным критериям; • тестировать разные методы моделирова- ния и их компоненты; • разрабатывать методики и планировать статистические испытания; • решать задачи моделирования; 74 УСиМ, 2009, № 1 • проводить имитационные эксперименты (экстраполяцию, прогнозирование) с моделя- ми, построенными по разным методам моде- лирования; • пополнять свои знания о методах модели- рования во время работы с комплексом. В этом комплексе реализованы все описан- ные в предыдущем параграфе возможности, позволяющие целенаправленно проводить тес- товые эксперименты. С помощью блока предварительной обра- ботки данных, имея начальную выборку (сге- нерированную или полученную из существу- ющего файла), есть возможность автоматиче- ски преобразовывать данные в соответствии с заданным классом моделей (полиномиальных, тригонометрических, авторегрессионных). При генерировании выборки данных есть возможность задавать: количество точек изме- рений; диапазон изменения значений измере- ний и коэффициентов регрессии; количество аргументов; вид генератора шума и уровень шума; количество истинных аргументов. В инструментальном комплексе реализова- ны генераторы структур с полным и направ- ленным перебором. Выбор алгоритма решения систем уравне- ний для оценивания параметров по МНК воз- можен из таких вариантов: • нерекуррентные алгоритмы: Гаусса, Грам- ма-Шмидта, Краута, квадратного корня; • рекуррентные алгоритмы: МНКО; Гаусса; Грамма–Шмидта. Блок критериев качества моделей содержит такие опции: критерий Акаике, критерий Мал- лоуза, критерий регулярности. Блок проверки адекватности моделей, полу- ченных в результате работы с комплексом, предусматривает применение критерия Фише- ра и экзаменационной части выборки. С помощью блока применения моделей мож- но проверить, как ведет себя модель на новых данных, выполнить имитационное моделиро- вание и использовать построенные модели для принятия решений. Разработанный комплекс инструментальных средств применялся для решения практических задач автоматизированного построения моделей сложных объектов и процессов. В частности, выполнено моделирование плотности верхнего осадочного слоя дна по результатам гидроаку- стического мониторинга естественных и техно- генных аномалий Каспийского моря, что имеет существенное значение для поиска месторож- дений нефти [16]. При моделировании приме- нялся рекуррентный алгоритм окаймления, при- чем включение аргументов в модель определя- лось минимальным значением коэффициента множественной корреляции [17]. В результате моделирования получена достаточно простая математическая зависимость плотности от од- ного фактора – интенсивности эхосигнала. По- лученная модель имеет высокую точность и наглядную интерпретацию. Проведено также моделирование процесса изменения цены на ферромолибден на миро- вом рынке. Важность задачи связана с тем, что стоимость ферромолибдена для каждого ма- шиностроительного завода составляет почти треть от суммарной стоимости всех заказов. С применением разных подходов построены мо- дели зависимости цены от девяти входных пе- ременных, характеризующих производство и потребление ферромолибдена. Модель, по- строенная с применением критерия регулярно- сти, показала более высокую точность на кон- трольной части выборки в сравнении с моде- лью, полученной по критерию Акаике. Повышение эффективности методов мо- делирования на основе рекуррентных алго- ритмов оценивания параметров Для оценивания параметров последователь- но усложняемых структур моделей в задаче структурной идентификации эффективны ре- куррентные по числу параметров алгоритмы. Неэффективность нерекуррентных методов объясняется необходимостью каждый раз при добавлении нового регрессора перевычислять расширенную матрицу нормальной системы (в методе Гаусса) или ортогонализировать УСиМ, 2009, № 1 75 новую матрицу плана (в методе Грамма- Шмидта). Рекуррентный алгоритм окаймления и его свойства. Традиционным рекуррентным методом является метод окаймления [10]. Идея алгоритма – модификации МНК – состоит в пошаговом уточнении оценок параметров с ре- куррентным вычислением элементов обратной матрицы в процессе оценивания. Алгоритм в виде, предложенном в [18], имеет ряд полез- ных свойств, позволяющих дополнительно ис- пользовать информацию, получаемую во вре- мя работы алгоритма каких-либо дополнитель- ных вычислений [17]. Этот метод все же имеет недостаток: иссле- дования показали, что он не является численно устойчивым в задачах с плохо обусловленной матрицей плана. Рекуррентные модификации алгоритмов Гаусса и Грамма–Шмидта, базирующиеся на классических численно устойчивых методах, предложены в [19]. На рис. 2 в графическом виде представлено сравнение показателей трудоемкости (количе- ства элементарных арифметических операций) вычисления параметров при включении в мо- дель, содержащую s – 1 аргументов, s-го аргу- мента. Такая зависимость трудоемкости, про- порциональная второй степени сложности мо- дели для рекуррентного алгоритма и третьей степени – для нерекуррентного, подобна для алгоритмов Гаусса и Грамма–Шмидта. Результаты экспериментов С помощью разработанного инструменталь- ного комплекса выполнено сравнительное тес- тирование классов моделей, генераторов струк- тур моделей, методов решения систем линей- ных уравнений для задачи оценивания пара- метров, критериев качеств моделей. Тестирование классов моделей. В экспе- риментах выполнено моделирование колеба- тельного процесса в виде отрезка синусоиды от времени в таких классах моделей: полином, авторегрессия и тригонометрический ряд. Количество операций 0 2000 4000 6000 2 4 6 8 10 12 14 16 18 Сложность модели, s Рекуррентный Нерекуррентный 3~ s 2~ s Рис. 2 Переменная t варьировалась в границах от ноля до 10 (всего 81 точка с шагом 0,125). Век- тор ξ генерировался равномерно распре- деленным с уровнем 10% от значения sin tπ . Шум генерировался с помощью генератора слу- чайных чисел по формуле: max minξ, sin , ξ (2 1) 200 y yy y y t − = + = π = α ε − , где y – точное значение исходной величины; ξ – реализация вектора шума; α – уровень шума (в процентах); ε – равномерно распределенная случайная величина на интервале [0; 1]. Для моделирования были выбраны: авто- регрессионные модели 1 θ , 10 L t i t i i y y L− = = =∑ ; полиномы 1 θ , 10 L i i i y t L = = =∑ ; тригонометриче- ские функции 1 θ sin(0,25π ), 10 L i i y i t L = = =∑ . Моделирование в классе авторегрессионных моделей. По минимуму критерия регулярности (для оценивания параметров использованы два периода синусоиды: для выбора лучшей моде- ли – один период и два периода для проверки качества) получена модель 5431 450152031607520 −−−− −−+= y,y,y,y,y , показавшая высокую точность на экзаменаци- онной части выборки (табл. 1). Моделирование в классе полиномиальных мо- делей. В этом эксперименте использованы кри- терии Маллоуза и регулярности для выбора лучших моделей. Согласно результатам, про- 76 УСиМ, 2009, № 1 гнозирующие свойства лучших полиномиаль- ных моделей очень низки. Моделирование в классе тригонометричес- ких моделей. Лучшая модель 0,0016sin 0,25π 0,994sinπ 0,016sin 2π ,y t t t= − + − полученная по минимуму критерия регулярно- сти, показала на экзаменационной части вы- борки более высокую точность, нежели луч- шая авторегрессионная модель. Согласно результатам, представленным в табл. 1, все выбранные для тестирования клас- сы моделей пригодны для аппроксимации си- нусоиды. Высокие экстраполяционные свойства имеют только авторегрессионные и тригоно- метрические функции. Т а б л и ц а 1 Класс моделей Точность лучшей модели на учеб- ной выборке Точность лучшей модели на экзамена- ционной выборке Авторегрессионные ΔW = 0,374 ΔC = 0,237 Полиномиальные ΔW = 0,15 ΔC = 22,8 Тригонометрические ΔW = 0,186 ΔC = 0,125 Тестирование комбинаторного генерато- ра структур. Цель тестирования состояла в ис- следовании эффективности (быстродействия) различных способов и программных реализа- ций генераторов двоичных структурных век- торов для комбинаторного алгоритма. Во время тестирования измерялось время генерации двоичного структурного вектора всех возможных структур при варьировании количества аргументов от 20 до 25. Использо- ваны следующие генераторы: стандартный дво- ичный, модифицированный двоичный, стан- дартный последовательный, модифицирован- ный последовательный. Как показывают результаты тестирования, представленные на рис. 3, модифицированный последовательный генератор наиболее быстро- действующий. Тестирование методов решения систем уравнений для задачи оценивания парамет- ров. Для проверки эффективности использо- вания рекуррентных алгоритмов при после- довательном усложнении структур во время структурно-параметрической идентификации проведено сравнительное тестирование рекур- рентных алгоритмов Грамма-Шмидта и Гаусса с соответствующими классическими нерекур- рентными методами. Матрица плана X генери- ровалась размером 450×500 (500 уравнений с 450 неизвестными). Измерялось время струк- турной идентификации для модели, содержа- щей первые 50 аргументов, потом первые 100 аргументов, и далее до модели, содержащей все 450 аргументов. 0 5 10 15 20 20 21 22 23 24 25 Аргументы Время, с Станд. двоичн. Двоичн. мод. Станд. последов. Мод. последов. Рис. 4 На рис. 5 представлены результаты тестиро- вания рекуррентного и нерекуррентного алго- ритмов Грамма-Шмидта при переборе в классе вложенных структур. Результаты эксперимен- тов подтверждают теоретические оценки, из- ложенные выше. 0,1 10 1000 50 100 150 200 250 300 350 400 450 s ln t Рекуррентный Нерекуррентный Рис. 5 Тестирование критериев селекции моде- лей. При тестировании критерия регулярно- сти эксперимент проводился так: генериро- валась матрица X размером 8×12 для системы условных уравнений. Вектор y формировался как линейная комбинация первых пяти рег- рессоров, т.е. истинная модель имела вид y = 5x1 + 4x2 + 3x3 + 2x4 + x5 с добавлением шу- ма. В классе вложенных структур выполнялась структурная идентификация и определялась сложность модели, дающей минимум соответ- УСиМ, 2009, № 1 77 ствующего критерия, и вычислялось значение этого критерия. Результаты, полученные для 500 повторов, усреднялись. На рис. 6 показана зависимость значения критерия от сложности модели при разных зна- чениях дисперсии шума. Если за отсутствием шума (нижняя кривая) минимум критерия дает модель, содержащая пять истинных регрессо- ров, то с ростом дисперсии шума минимум критерия смещается в сторону более простых моделей, содержащих меньшее количество ар- гументов, чем истинная модель. При уровне шума, составляющем 100% от уровня сигнала, наилучшей по значению критерия является мо- дель, содержащая один истинный аргумент. От- дельными точками выделены минимумы каж- дой кривой. 0 50 100 150 200 250 1 2 3 4 5 6 7 8 s Cr 0% 20% 40% 60% 80% 100% Рис. 6 При сравнительном тестировании критери- ев регулярности AR, Маллоуза Cp и Акаике FPE матрица плана X генерировалась размером 12×15. Вектор выхода формировался как ли- нейная комбинация первых десяти регрессоров с добавлением шума. В классе вложенных структур выполнен отбор лучшей модели с 500 повторениями и усреднением результатов. По- скольку критерий Маллоуза содержит истин- ное значение дисперсии шума, его в данном случае можно считать идеальным. Следователь- но, два других критерия в эксперименте можно сравнивать относительно этого критерия, ко- торый показывает, каким образом должна изме- няться сложность модели с ростом шума. Со- гласно результатам, представленным на рис. 7, критерий регулярности (в отличие от критерия FPE) можно считать эффективным, поскольку он не переусложняет модель (кривая, соответ- ствующая этому критерию находится ниже кри- вой, соответствующей критерию Маллоуза). 5 6 7 8 9 10 0 0,8 1,6 2,4 3,2 sigma s Ar FPE Cp Рис. 7 В эксперименте по сравнительному тести- рованию критериев регулярности и Маллоуза эффективность моделей, полученных по этим критериям, сравнивалась при варьировании ко- личества точек от 10 до 40 и уровня шума от ноля до 80%. Точность моделей определялась по ошибке на контрольной выборке из десяти точек: ∑ = −= 10 1 2))(( i ii syyQ . Согласно результатам, представленными в табл. 2, при малом уровне шума и большом ко- личестве точек обе оптимальные модели име- ют приблизительно одинаковую точность. При уменьшении количества точек и повыше- ния уровня шума критерий регулярности дает все более точные модели. Т а б л и ц а 2 Число точек 10 20 30 40 Уровень шума, % Cp AR Cp AR Cp AR Cp AR 0 0,0013 0,0013 0,0012 0,0012 0,0011 0,0012 0,0008 0,001 40 94,2 75,7 80,6 69,98 59,6 60,9 45,9 50,6 80 189,6 121,3 166,6 105,4 118,9 82,3 80,6 62,99 Заключение. Предложенная процедура фор- мирования множества методов структурной идентификации в виде прямого произведения множеств классов моделей, генераторов струк- тур, методов оценивания параметров и крите- риев качества моделей позволила выполнить постановку задачи тестирования методов мо- делирования как задачу минимизации значе- ния заданного критерия качества каждого ал- горитма или его компонентов. На основании предложенной методики комп- лексного тестирования различных методов мо- делирования и их компонентов разработан комплекс инструментальных средств для чис- ленного исследования и моделирования по 78 УСиМ, 2009, № 1 данным наблюдений с использованием раз- личных методов. Результаты тестовых испытаний, выполнен- ных с помощью инструментального комплекса, дали возможность сформулировать рекоменда- ции относительно сравнительной эффективно- сти применения алгоритмов структурно-пара- метрической идентификации. Разработанный комплекс применен для решения ряда практи- ческих задач моделирования. 1. Иванченко В.Н., Лябах Н.Н., Гуда А.Н. Исследова- ние свойств алгоритмов идентификации сложных процессов с помощью моделирования на ЭВМ // Автоматика. – 1992. – № 3. – С. 82–88. 2. Качала В.В. Сравнительный анализ алгоритмов структурной идентификации // Тр. Междунар. конф. «Идентификация систем и задачи управления» SICPRO’2000, Москва, ИПУ, 26–29 сентября 2000 г. – М.: ИПУ РАН. – 2000. – С. 133–143. 3. Степашко В.С. Конечная селекционная процедура сокращения полного перебора моделей // Автома- тика. – 1983. – № 4. – С. 84–88. 4. Ивахненко А.Г., Степашко В.С. Помехоустойчи- вость моделирования. – Киев: Наук. думка, 1985. – 216 с. 5. Herzberg A.M., Tsukanov A.V. The Monte–Carlo Com- parison of two Criteria for the Selection of Models // J. Statist. Comput. Simul. – 1985. – 22. – P. 113–126. 6. Herzberg A.M., Tsukanov A.V. The design of Experi- ments for Model Selection with the Jackknife Criterion // Utilitus Mathematica – 1985. – 28. – P. 243–253. 7. Herzberg A.M., Tsukanov A.V. A note on Modifica- tions of the Jackknife Criterion for Model Selection // Ibid – 1986. – 29. – P. 209–216. 8. Cтадник М.П. Модификация критерия Мэллоуза– Акаике для подбора порядка регрессионной модели // Автоматика и телемеханика. – 1988. – № 4. – С. 98–108. с. 9. Степашко В.С. Алгоритмы МГУА как основа ав- томатизации процесса моделирования по экспери- ментальным данным // Автоматика. – 1988. – № 4. – С. 44–55. 10. Себер Дж. Линейный регрессионный анализ. – М.: Мир, 1980. – 456 с. 11. Степашко В.С. Конечная селекционная процедура сокращения полного перебора моделей // Автома- тика.– 1983. – № 4. – С. 84–88. 12. Агеев М.И., Алик В.П. Марков Ю.И. Библиотека ал- горитмов 51б–100б: Справ. пособие. – Вып. 2. – М.: Сов. радио, 1976. – 136 с. 13. Akaike H. Fitting autoregressive model for prediction // Ann. Stat. – 1969. – 21. – P. 243–247. 14. Mallows C.L. Some comments on Cp // Technomet- rics. – 1973. – 15. – P. 661–667. 15. Степашко В.С., Кочерга Ю.Л. Методы и критерии решения задач структурной идентификации // Ав- томатика. – 1985. – № 5. – С. 29–37. 16. Hydro-acoustic monitoring of water environment / T.I. Nizamov, S.R. Ibrahimova, R.K. Quluzade et al. // Proc. of 3d Int. Conf. on Technical and Physical Problems in Power Engineering. – Ankara, Turkey, May 29–31, 2006. – P. 1108–1110. 17. Stepashko V.S., Yefimenko S.M. On the Effectiveness of Recurrent Methods of Parameter Estimation in Mac- romodeling Problems // Proc. of V International Work- shop «Computational Problems of Electrical Engi- neering», Jazleevets, Ukraine, Aug. 26–29, 2003. – P. 106–107. 18. Степашко В.С. Оптимизация и обобщение схем перебора моделей в алгоритмах МГУА // Автома- тика. – 1979. – № 4. – С. 36–43. 19. Степашко В.С., Ефименко С.Н. О последователь- ном оценивании параметров регрессионных моделей // Кибернетика и системный анализ. 2005. – N 4. – С. 184–187. © С.Н. Ефименко, В.С. Степашко, 2009
id	nasplib_isofts_kiev_ua-123456789-5537
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	0130-5395
language	Russian
last_indexed	2025-12-07T13:31:28Z
publishDate	2009
publisher	Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
record_format	dspace
spelling	Ефименко, С.Н. Степашко, В.С. 2010-01-26T11:27:01Z 2010-01-26T11:27:01Z 2009 Имитационный эксперимент как средство для исследования эффективности методов моделирования по данным наблюдений / С.Н. Ефименко, В.С. Степашко // Управляющие системы и машины. — 2009. — № 1. — С. 69-78. — Бібліогр.: 19 назв. — рос. 0130-5395 https://nasplib.isofts.kiev.ua/handle/123456789/5537 621.513 Разработана комплексная методология исследования эффективности алгоритмов структурно-параметрической идентификации с помощью статистических испытаний. Описан комплекс инструментальных средств, реализующий предложенную методологию. Разработанные программные средства использованы для сравнительного тестирования методов моделирования и для решения реальных экономических задач. Розроблено комплексну методологію дослідження ефективності алгоритмів структурно-параметричної ідентифікації за допомогою статистичних випробувань. Описано комплекс інструментальних засобів, який реалізує запропоновану методологію. Розроблені програмні засоби використано для порівняльного тестування методів моделювання та розв’язання реальних економічних задач. A comprehensive methodology for investigating the efficiency of the algorithms of structural and parametric identification with the use of statistical tests is developed. A complex of software tools realizing the suggested methodology is described. The developed software tools are used for the comparative testing of the modelling methods and for the solution of real economic problems. ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України Информационные технологии и системы Имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений A Simulation Experiment as the Means of Investigating the Efficiency of Simulation Methods According to the Observation Data Article published earlier
spellingShingle	Имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений Ефименко, С.Н. Степашко, В.С. Информационные технологии и системы
title	Имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений
title_alt	A Simulation Experiment as the Means of Investigating the Efficiency of Simulation Methods According to the Observation Data
title_full	Имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений
title_fullStr	Имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений
title_full_unstemmed	Имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений
title_short	Имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений
title_sort	имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений
topic	Информационные технологии и системы
topic_facet	Информационные технологии и системы
url	https://nasplib.isofts.kiev.ua/handle/123456789/5537
work_keys_str_mv	AT efimenkosn imitacionnyiéksperimentkaksredstvoissledovaniâéffektivnostimetodovmodelirovaniâpodannymnablûdenii AT stepaškovs imitacionnyiéksperimentkaksredstvoissledovaniâéffektivnostimetodovmodelirovaniâpodannymnablûdenii AT efimenkosn asimulationexperimentasthemeansofinvestigatingtheefficiencyofsimulationmethodsaccordingtotheobservationdata AT stepaškovs asimulationexperimentasthemeansofinvestigatingtheefficiencyofsimulationmethodsaccordingtotheobservationdata

Имитационный эксперимент как средство исследования эффективности методов моделирования по данным наблюдений

Репозитарії

Схожі ресурси