Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации

Рассмотрена задача оценки измерительной информации с целью выявления и исключения аномальных результатов измерений, определения весовых коэффициентов каждого из оставшихся результатов, согласования отдельных частей измерительной информации между собой для последующего использования в задачах вторичн...

Повний опис

Збережено в:
Бібліографічні деталі
Опубліковано в: :Реєстрація, зберігання і обробка даних
Дата:2008
Автор: Додонов, В.А.
Формат: Стаття
Мова:Російська
Опубліковано: Інститут проблем реєстрації інформації НАН України 2008
Теми:
Онлайн доступ:https://nasplib.isofts.kiev.ua/handle/123456789/7574
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации / В.А. Додонов // Реєстрація, зберігання і оброб. даних. — 2008. — Т. 10, № 2. — С. 101-120. — Бібліогр.: 20 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine
_version_ 1859833358902624256
author Додонов, В.А.
author_facet Додонов, В.А.
citation_txt Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации / В.А. Додонов // Реєстрація, зберігання і оброб. даних. — 2008. — Т. 10, № 2. — С. 101-120. — Бібліогр.: 20 назв. — рос.
collection DSpace DC
container_title Реєстрація, зберігання і обробка даних
description Рассмотрена задача оценки измерительной информации с целью выявления и исключения аномальных результатов измерений, определения весовых коэффициентов каждого из оставшихся результатов, согласования отдельных частей измерительной информации между собой для последующего использования в задачах вторичной обработки. Показано, что в ряду различных процедур такого анализа представляется перспективным поочередное использование методов помехоустойчивого (робастного) оценивания. Розглянуто задачу оцінки вимірювальної інформації з метою виявлення та виключення аномальних результатів вимірів, визначення вагових коефіцієнтів кожного з результатів, що залишилися, узгодження окремих частин вимірювальної інформації між собою для наступного використання в задачах вторинної обробки. Показано, що в ряді різних процедур такого аналізу представляється перспективним почергове використання методів завадостійкого (робастного) оцінювання. A problem of estimation of the measuring information with the purpose of revealing and elimination of abnormal results of measurements, determination of weight factors of each of the remained results, coordination of separate parts of the measuring information between themselves for subsequent use in problems of secondary processing is considered. It is shown, that in a series of various procedures of such analysis is promising the serial use of methods for noiseproof (robust) estimation.
first_indexed 2025-12-07T15:33:31Z
format Article
fulltext Методи захисту інформації в комп’ютерних системах і мережах ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 101 УДК 004.91 В. А. Додонов Институт проблем регистрации информации НАН Украины ул. Н. Шпака, 2, 03113 Киев, Украина Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации Рассмотрена задача оценки измерительной информации с целью выяв- ления и исключения аномальных результатов измерений, определения весовых коэффициентов каждого из оставшихся результатов, согла- сования отдельных частей измерительной информации между собой для последующего использования в задачах вторичной обработки. По- казано, что в ряду различных процедур такого анализа представляет- ся перспективным поочередное использование методов помехоустой- чивого (робастного) оценивания. Ключевые слова: измерительная информация, оценка, робастность, методы, обработка. Практика натурных испытаний образцов новой техники показывает, что на процесс измерений влияют три рода помех: внешние помехи, сбои измерительной аппаратуры, ошибки персонала [1–3]. Воздействие указанных помех приводит к появлению аномальных результатов измерений, уровень «загрязнения» которых составляет в среднем 5–10 % [4, 5]. Полученная измерительная информация (ИИ) используется для оценивания различных характеристик испытываемых образцов. Широко применяемые в на- стоящее время классические методы оценивания (ММАВ — метод максимума апостериорной вероятности, ММП — метод максимума правдоподобия, МНК — метод наименьших квадратов), предполагающие априори нормальный закон рас- пределения ошибок измерений, оказываются весьма чувствительными к наличию выбросов, что ведет в большинстве случаев к значительному снижению эффек- тивности процедур оценивания, к снижению точности оценивания характеристик [6–13]. В этих условиях возникает актуальная задача предварительного анализа ИИ с целью выявления и исключения аномальных результатов измерений, определения весовых коэффициентов каждого из оставшихся результатов, согласования от- дельных частей ИИ между собой для последующего использования в задачах вто- ричной обработки. В ряду различных процедур такого анализа представляется пе- © В. А. Додонов В. А. Додонов 102 рспективным использование методов помехоустойчивого (робастного) оценива- ния [7–10]. В статистике под робастностью понимают нечувствительность к ма- лым отклонениям от предположений [7]. При решении задач статистического анализа и, в частности, при вычислении оценок параметров распределений, проблема наличия в выборке аномальных из- мерений имеет чрезвычайно важное значение. Присутствие единственного ано- мального наблюдения может приводить к оценкам, которые совершенно не согла- суются с выборочными данными. В борьбе с грубыми погрешностями измерений, если они не были обнаружены в процессе измерений, используют два подхода: исключение резко выделяющихся аномальных измерений из дальнейшей обра- ботки; использование робастных методов обработки. В работе рассмотрена возможность применения методов помехоустойчивого оценивания для задач анализа регистрируемой при испытаниях образцов ИИ и приводится разработанный с применением этих методов алгоритм отбраковки аномальных результатов измерений. 1. Методы помехоустойчивого оценивания 1.1. Основные используемые в последнее время типы оценок. Еще в середине 19-го века были предложены первые методы обработки выпадающих измерений. Однако классические методы «жесткой» отбраковки позволяют выявлять лишь крайне грубые ошибки. С их помощью удается избежать аномальных результатов измерений, однако они ничем не могут помочь в ситуациях «скрытого» засорения [11–20]. МНК и его обобщения широко используются в практике статистических ис- следований, обладает рядом положительных свойств при независимых (имеющих одинаковую дисперсию) ошибках, распределенных по нормальному закону. Из- вестно, что выбросы, вызванные наличием у распределений, описывающих ошиб- ки измерений, более тяжелых по сравнению с нормальным распределением хво- стов или просто большими ошибками результатов измерений, оказывают чрезвы- чайно большое влияние на оценки по МНК. Кривые, подогнанные МНК, сильно смещены в сторону выбросных точек. Окончательная оценка остаточных разно- стей квадратов может ввести в заблуждение, так как в этом случае выбросы неот- личимы от нормальных результатов наблюдений. Создание помехоустойчивых методов оценивания вызвано стремлением улучшить существующие схемы МНК так, чтобы выбросы оказывали как можно меньшее влияние на конечные результаты. Одним из наиболее удачных является метод помехоустойчивого оценивания, основанный на принципе максимального правдоподобия. Основные используемые в последнее время типы оценок, выбором структуры которых можно обеспечить более выгодную по сравнению с выборочным сред- ним защищенность от влияния выбросов: линейные комбинации порядковых ста- тистик (L-оценки), оценки на основе ранговых тестов (R-оценки) и оценки типа оценок максимального правдоподобия (М-оценки). В работе для решения задач обработки ИИ предложено использовать М-оценки [12]. 1.2.М-оценки. Пусть Х1, Х2, …, Хn — последовательность независимых, одина- Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 103 наково распределенных случайных величин, имеющих непрерывную плотность вероятности f (x – Θ), где Θ — параметр сдвига. Логарифм функции правдоподо- бия можно записать как    n i i n i i xxfL 11 )Θ()Θ(ln)Θ(ln  , где )(ln)( xfxi  . Согласно ММП требуется минимизировать )Θ(ln L , или ми- нимизировать   )Θ()Θ( xK i . Предположим, что минимум можно найти пу- тем дифференцирования и решения уравнения K'(Θ) = 0, т.е. поиском соответст- вующего значения параметра сдвига Θ, которое удовлетворяет условию: 0)Θ( 1   n i ix , где )(/)()()( xfxfxρx  . Решение этого уравнения, минимизирующее )Θ(K , называется оценкой максимального правдоподобия или М-оценкой пара- метра Θ и обозначается Θ . В методе М-оценок желательно определить функцию  так, чтобы конечная оценка была защищена от влияния присутствующей в результатах наблюдений небольшой доли (около 10 %) выбросов. Кроме того, необходимо, чтобы метод М- оценок обеспечивал достаточно хорошую эффективность оценок. Например, ко- гда наблюдаемые результаты описываются распределением почти нормального вида, эффективность должна быть порядка 95 %. 5-процентная потеря эффектив- ности — это цена, выплачиваемая за достижение устойчивости оценок в тех слу- чаях, когда распределение ошибок заметно отличается от нормального. Используя строгое определение помехоустойчивости, Хьюбер [7] нашел со- ответствующий вид функций для  и  :          ., 2 ,, 2 2 2 axaxa axx           ., ,, ,, )(Ψ axa axx axa x Функции  и  связаны с распределением в основном нормального вида, однако имеют «утяжеленные хвосты», подчиняющиеся двойному экспоненциаль- ному распределению:        ,0,1 ,0,1 )(Ψ,)( x x xcxx 0)Θ( 1   n i ix дает оценку  , равную медиане выборки. В. А. Додонов 104 Соответствующая М-оценка определяется функциями  и  , реализующи- ми условие минимакса выражения  )(maxmin TV FТ , где F представляет собой семейство  — загрязненных распределений вида  ;)1( εНФε  V(T) — асимптотическая дисперсия; Т — класс оценок. 1.3. Применение метода М-оценок для анализа данных о траекториях дви- жения. В работе рассматривается решение задачи аппроксимации некоторой тра- ектории движения. Рассмотрим линейную модель: δΧΥ  Θ , (1) где Х — матрица условий измерений (конструкционная матрица) размерностью np; n — количество измерений; p — количество условий i-го измерения; δ — случайный вектор погрешностей размерностью n, имеющий нулевое среднее зна- чение и ковариационную матрицу I 2 ; Θ — параметры функции регрессии, ко- торые нужно оценить. Отметим, что все описанные далее методы не используют существенным об- разом линейной структуры модели и могут применяться к анализу нелинейной регрессионной модели. Требуется найти: )(min 1  ii n Xyρ . (2) Обозначим через r i остаточные разности (невязки) оценок Θ :  Χуr iii , (3) где Хi — i-я строка конструкционной матрицы Х. Рассмотрим р первых частных производных. Это означает, что необходимо решить систему р уравнений: pjxsr n ij ,1,0)/( 1  . (4) Результатом решения системы нормальных уравнений (4) являются оценки Θi . Предложено несколько видов функции  . Для устойчивого оценивания ис- пользуются наиболее распространенные «одномерные» оценочные функции (Тьюки, Хьюбера, Хампеля, Эндрюса и др.). Эти функции, как и многие другие, обладают одним существенным недостатком. Например, если значения случайной величины Х умножить на одну и ту же константу, то начальная оценка не обяза- Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 105 тельно изменится на ту же константу. Для того, чтобы М-оценка параметра мас- штаба обладала свойством инвариантности, выражение (3) нормируется и нахо- дится ,min 1       s ri n  (5) где s — помехоустойчивая оценка параметра масштаба. Для решения системы pjx s r ij i n ,10, ____ 1        (6) можно использовать итерационные схемы Ньютона, Н-метода или средневзве- шенного метода наименьших квадратов. Схема Ньютона:     ,/)( /)( 1 ' 1 12      sх sхs i i где в знаменателе второго члена суммирование производится по элементам, удов- летворяющим условию asхi  /Θ1 . Н-метод:   , /)( 1 12 n sхs i   где второй член — среднее по псевдоостаткам (винзорированное среднее). В данном случае МНК применяется к псевдоостаткам. Средневзвешенный метод наименьших квадратов:   , /)Θ( ΘΘ 1 12       w sхs w хw i i i ii где веса выбираются по формуле:   .,...,2,1; /)( /)( 1 1 ni sх sx w i i i     Следует отметить, что данные итерационные схемы схожи. Для получения начального приближения итерационного процесса необходи- В. А. Додонов 106 мо иметь предварительную оценку вектора Θ . Полезно, чтобы такая оценка была помехоустойчивой. Обозначим предварительную оценку, полученную любым способом, через Θ 1 . В качестве помехоустойчивой меры разброса s применяется медиана (ненулевых) отклонений: , 6745,0 1   ууmed s ii (7) где med — оператор вычисления медианы:         ;2),(2/1 ;12, 1 mnприrr mnприr rmed mm i i (8) где n — объем вариационного ряда; rmmr 1,  — m-й и (m + 1)-й его член. В этом случае берем медиану только ненулевых отклонений, иначе при больших значениях р многие остаточные разности окажутся равны нулю. Тогда обычная оценка с помощью медианы дает очень малое значение s, поэтому потеря эффективности велика. В работе [4] предложен другой вариант определения s: , 6745,0*2 25,075,0 уу s   (9) где у 75,0 , у 25,0 — соответствующие процентили выборочного распределения. 2. Решение системы нормальных уравнений для нахождения коэффициентов функции регрессии 2.1. Схема итерационного метода Гаусса-Ньютона. На k-м шаге итерации заменим систему р уравнений (6) линеаризацией в окрестности точки Θ k . pjx s s r s r x k j k jij k i k i n i ij ,1,0)](** )( )[( 1     , (10) где  Хуr i k i k i ; (11) pjx s s r x s r x k j k jij k i n i ij k i n i ij ,1,0)](** )( *)[( 1     , или в матричной форме: Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 107 , 11   kТkТkk ХX)'Х( (12) где  k' — диагональная матрица с диагональю ],...,[ 21  k n kkdiag и элементами s s r k i k i )(  ; (13)  k — вектор из п элементов с элементами )( s r k ik i  . (14) Итерационную процедуру продолжают до достижения достаточной степени сходимости процесса. 2.2. Средневзвешенный МНК. Заменим систему р уравнений (6) соответст- вующими аппроксимациями: pjXуxw iiij п i ,1,0)( ____ 1  , (15) где ni s Xу s Xу w ii ii i ,1, ][ ____ 1 1      . (16) Решение этой системы уравнений имеет вид: ,)(Θ 12 WXXWXX ТТ   (17) где W — диагональная матрица с элементами ],...,[ 21 wwwdiag n . Θ 2 можно ис- пользовать для продолжения итерационной процедуры и построения новой весо- вой матрицы. Итерационную процедуру продолжают до тех пор, пока не будет достигнута достаточная степень сходимости процесса. Окончательный результат обозначим  . Окончательный вес, относящийся к данному элементу выборки (результату измерения) указывает, принадлежит ли данный элемент к выборке. 3. Функция пси Наиболее часто используются следующие виды функции Ψ [4]. Функция Хьюбера: В. А. Додонов 108          ., ,, ,, )( axприa axприx axприa x (18) Для функции Хьюбера константа а должна быть порядка 1,5. Установлено, что для достижения асимптотической 95 %-й эффективности в предположении о нормальном распределении помех измерений а = 1,345. Для случая загрязнения измерений распределением Коши рекомендовано а = 1,1. Функция Хампеля:                 .,0 ,,* ,, ,0, *)()( xc cxba bc xc bxaa axx xsignx (19) Для функция Хампеля рекомендуемые значения констант: а =1,7; b = 3,4; с = 8,5. Встречаются и значения 3; 6; 9. Функция Эндрюса:         .,0 ,,sin )( aπxпри aπxпри a x x (20) Для функция Эндрюса а = 2,1. Фактически, если масштаб известен, величина а = 1,339 соответствует 5 %-й потере эффективности. Встречается и значение а = = 1,2. Биквадратная функция Тьюки:               .,0 ,,]1[ )( 2 2 axпри аxпри a x х x (21) Для биквадратной функция Тьюки рекомендовано значение а = 6,0. Если мас- штаб известен, тогда а = 4,685, что соответствует 5 %-й потере эффективности. 4. Получение начальных приближений Для решения системы уравнений (6) воспользуемся итерационными метода- ми. В качестве начального приближения Θ 1 итерационного процесса необходимо Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 109 иметь первоначальную оценку вектора Θ . Полезно, чтобы такая оценка была по- мехоустойчивой. Особенно чувствительны к выбору начального приближения оценки на базе немонотонных функций Ψ . При неудачном начальном приближении итерацион- ный процесс может сходиться к локальному минимуму, либо для его завершения потребуется значительное число шагов. Наиболее естественно за начальное приближение применить оценку, полу- ченную методом наименьших квадратов. Но этот подход может и не обеспечить получение хорошего начального значения  1 , так как оценка по МНК сильно за- висит от наличия в экспериментальных данных резких выбросов. В тех случаях, когда величины уi и компоненты  малы, начальное решение можно задавать в виде 0Θ 1  . В работах [5–17] описаны три помехоустойчивых метода получения началь- ного приближения: модифицированный метод Тейла; ортогональный метод Брау- на–Муда; метод на основе использования коэффициента корреляции Спирмэна. Остановимся на первых двух. 4.1. Модифицированный метод Тейла. В этом методе в линейной модели вы- деляется среди других член 0 . Далее, для получения остальных независимых переменных применяется процедура ортогонализации Грамма–Шмидта; значения ортогональных переменных ijx : хx ii 11  , , 1    j k ikjkijij xrхх pjni x xx r n ik n ikij jk ,2,,1, )( * 1 2 1       . (22) Линейная модель (1) в терминах ортогональных независимых переменных записывается так:   XY 0 . (23) Оценки коэффициентов регрессии получаются по схеме: 1,1,),/()(),(.1 ''  niijxxууjidm imjmij ; (24) ),(.2 ' jidmmedm  ; (25)  ''' :.3 mmm  ; (26) niXуу immii ,1,*:.4 '   . (27) 5. Повторять пп. 1–4, пока не будет достигнут нужный уровень сходимости. 6. уmed i i 0 . (28) В. А. Додонов 110 Чтобы вернуться к исходному базису, применим преобразование Грама- Шмидта к Θ 1 :  pp , 1,1,*, 1 0       piipr jp i j jpipip . (29) Число значений dm (i, j), равное , 2 )2)(1( ** 1 2    nn pCp N (30) слишком велико даже для не очень большого п. Одна из возможностей уменьшения объема вычислений dm(i, j) заключается в следующем. Для каждого m строится упорядоченная выборка величин niХ im ,1,  , в порядке возрастания их значений, и пусть       2 1 * n N . Тогда (при нечетном п) mХ N ,* является медианой случайных величин Х im . Затем строятся величины xx уу idm immiN iiN      ,* *)( , (31) где       .,1*,1 ,,*,1 nнечетномприN nчетномприN i Полученные значения )(idm используются в п. 2 схемы (24)–(27). 4.2. Ортогональный метод Брауна–Муда. В этом методе, также с помощью схемы Грамма–Шмидта (22), осуществляется переход к ортогональным независи- мым переменным. Метод реализуется по следующей схеме, начиная с 0Θ 0  : 1. xmedx im i m * ; (32) 2. xmedxxmedx im I Li mim IUi m   ; , (33) где },:{ * xxiI mimU  };:{ * xxiI mimL  3. уmedууmedу i I Liii IUi i   , ; (34) Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 111 4. xx уу δ mm ii m      ; (35) 5.  δ mmm : ; (36) 6. nixδуу immii ,1,*:  . (37) 7. Повторять пп. 3–6 до достижения сходимости (выполнить пп. 1–7 для ка- ждого из m = 1, р). 8. уmed i i 0 . (38) Затем происходит возвращение к исходному базису с помощью преобразова- ний (25). 5. Описание программы Разработана программа robust.ехе, предназначенная для обработки данных о траекториях движения. Она позволяет аппроксимировать некоторую функцию от времени y(t), представленную массивом наблюдений yi(ti), многочленом заданной степени р: )( 1 0 ttу i j p j ji    . Оценивание коэффициентов pjj ,0,Θ  производится помехоустойчивыми методами, что позволяет исключить или существенно уменьшить влияние ано- мальных результатов измерений на вычисляемые оценки. Начальное приближе- ние может быть либо задано, либо вычислено обычным МНК, либо помехоустой- чивым методом. Дальнейшее уточнение оценок Θ j может производиться в не- сколько этапов одним из приведенных выше методов, либо их чередованием. Этап заключается в выполнении заданного числа итераций или в достижении за- данной величины модуля относительного приращения. Кроме того, программа позволяет восстанавливать результаты наблюдений внутри интервала между двумя наблюдениями, а также идентифицировать непол- ные результаты измерений. Все исходные данные для работы программы нахо- дятся в файле input.dat, который должен находится в том же каталоге, что и ис- полняемая программа. Файл исходных данных имеет структуру, которая описана в таблице. Результатом работы программы является файл output.rеs, который соз- дается в процессе работы программы, и где представлены все результаты ее рабо- ты в удобном для восприятия виде. Программа написана на языке программирования С++ с использованием компилятора Воr1аnd С++ версии 2.0 и имеющейся в этой версии стандартной библиотеки классов. Программа включает в себя главную функцию main () и 15 функций, описанных далее. Также созданы новые классы vесtоr(double), vесtоr(int) и matrix(double), matrix(int). Их описание и реализация приведена в тек- сте программы. Алгоритм работы главной программы представлен на рисунке. В. А. Додонов 112 Начало Задано начальное приближение Вычисление начального приближения Установка признака наличия начального приближения 1 1 Расчет матрицы условий наблюдений Х 2 4 5 6 1 Выполнение одного шага итерационного метода 8 Вычисление критерия остановки 9Цикл 1 Число этапов меньше за- данного 3 Цикл 2 10 Вычислить 0 11 2 Цикл 2 Достигнута точность или количество шагов 7 да нет Ввод исход- ной инфор- мации о ме- тодах расче- тов и масси- вов измере- ний Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 113 Нужно восстановить значение функции Восстановить значение функции 13 14 2 Цикл 1 12 Идентификация выбросов 16 Конец Вывод результатов расчетов 17 Нужно идентифицировать выбросы 15 да нет нет да Алгоритм работы главной программы В. А. Додонов 114 5.1. Типы данных В программе определены следующие типы данных: Eпum Воо1 { fаlst, truе }; eпum Fiгst:СаlсМеthod { МNК, ВгоwпМооd, fu11Тhеil, shогtТhеil}; eпum ItегМеthоd (IМNК, GаussNеwtоn}; eпum fuпсРSItyре { Апdгеws, Наmреl, Нubеr, Тиkеу}; eпum StорТуре { Stерs, Рrесiz}; Структура файла исходных данных input.dat приведена в таблице. Структура файла исходных данных input.dat №№ поля Характеристика Наименование переменной программы Тип Значение по умолча- нию 1 Число измерений N unsigned int нет 2 Степень полинома P unsigned int 4 3 Признак наличия начального приближения first_exist Bool 0 4 Начальные значения Рj ,0,  (задаются, если поле 3 равно 1) Tetta_0, Tetta_P double, vector (double) 0, {0} 5 Число этапов решения EtapNumb unsigned int 1 Далее для каждого этана решения задаются поля 6 Метод получения начального приближе- ния (имеет смысл только для первого этапа) MN FirstCalc- Metod нет 7 Итерационный метод MI Iter- Method нет 8 Признак используемой функции пси FuncPSI funcPSI- tupe нет 9 Критерий прекращения итераций StopAt StopTupe нет StepNumb (если StopAt=Steps) unsigned int 1010 Значение критерия прекращения итераций Prezision (если StopAt=Preciz) double 0,01 11 Признак задания изменяемых начальных значений массива весов W setw Bool 0 12 Значения вектора-аналога диагональной матрицы весов W(N) vector (double) {1} Последующие поля исходных данных задаются один раз для всего файла исходных данных: 13 Признак восстановления аппроксими- руемой функции Values Bool нет 14 Шаг восстановления значений функции (имеет смысл, если в поле 13 значение равно 1) dT double нет 15 Признак идентификации выбросов IW Bool нет Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 115 5.2. Описание функций программы Главная программа main( ): 1. Объявление данных. 2. Открытие исходного файла данных. 3. Ввод размерностей. 4. Объявление массивов. 5. Ввод остальной информации. 6. Вычисление матрицы условий наблюдения Х. 7. Начало цикла расчетов; если достигнуто заданное количество этапов расчета, переход на п. 15. 8. Вычисление начального приближения (если оно не задано). 9. Начало цикла итераций. 10. Выполнить один шаг итерационного метода: если МI==МNK, то расчет методом наименьших квадратов, iterМNK(); если МI==GаussNеwtоп, то расчет методом Гаусса–Ньютона, itегGN(). 11. Вычисление критерия остановки: — если StорАt==Stерs, то сравнение с заданным количеством шагов; если StорАt==Ргесiz, то определение модуля относительного приращения, verifу_gооd(). 12. Если выполнен критерий остановки, конец цикла итераций, пе- реход к п. 13, иначе к п. 10. 13. Вычисление 0 , ТеtNull (). 14. Переход на п. 7. 15. Восстановить значения аппроксимируемой функции, если Vаluеs==tгuе. 16. Иден- тификация выбросов, если IW==true. 17. Вывод полученной в ходе расчетов ин- формации. Функция calc_first( ). Вычисление первого приближения. Параметры: method — задает метод получения начального приближения; tеt_0,tеtta — начальное (первое) приближение; у — вектор исходных измерений; Х — матрица условий наблюдения; W — вектор-аналог диагональной матрицы весов; рrесiz — точность вычислений. Возвращаемое значение: нет. Алгоритм: 1. Объявляется копия вектора измерений у. 2. Если метод вычис- лений — МНК, то переход к п. 3, иначе к п. 6. 3. Вычисление 0 — вызов ТеtNull(). 4. Вычисление 1 ...N — вызов funcМNК(). 5. Возврат в функцию main(). 6. Объявление ортогональной матрицы Х и массива аналогов коэффициен- тов корреляции при построении ортогонального базиса. 7. Если метод вычисле- ний — метод Брауна–Муда, переход к п. 8, иначе к п. 12. 8. Вычисление ортого- нальной матрицы Х — вызов to_оrtho(). 9. Вычисление вектора  — вызов funcВМ(). 10. Переход от ортогонального  к  в исходных координатах — вы- зов from_оrtho(). 11. Возврат в функцию main(). 12. Если метод вычислений — ме- тод Тейла, переход на п. 13, иначе к п. 18. 13. Вычисление ортогональной матри- цы Х — вызов tо_оrthо(). 14. Вычисление вектора  — вызов fТhеil(). 15. Возврат к  в исходных координатах — вызов from_оrthо(). 16. Вычисление 0 — вызов ТеtNull (). 17. Возврат в функцию main(). 18. Если метод вычислений — сокра- щенный метод Тейла, то переход к п. 19, иначе к п. 23. 19. Вычисление ортого- нальной матрицы Х — вызов to_огtho(). 20. Вычисление вектора  — вызов sТhеil(). 21. Возврат к  в исходных координатах — вызов frоm_ortho(). 22. Вы- числение 0 — вызов ТеtNull(). 23. Возврат в функцию main(). Функция from_ortho( ). Переход от вычисленного в ортогональном базисе Θ к  в исходных координатах. Параметры: tеttа_оrthо — вектор  в ортогональ- ном базисе (типа vесtоr(dоuble)); соrr — массив аналогов коэффициентов корре- ляции, вычисленный при переходе к ортогональному базису — vесtоr(dоuble). Возвращаемое значение: Значения вектора  в исходных координатах (типа vесtоr(dоuble)). Алгоритм: По формулам (25) вычисляются значения элементов  (ri в фор- В. А. Додонов 116 муле эквивалентно соrr.е1еm(i). Функция fThеil( ). Получение начального приближения методом Тейла. Ве- личины dm (i, j) вычисляются по формуле (24) схемы (24)–(27) по варианту с большим количеством вычислений. Параметры: у — вектор измерений типа dоuble (изменяется в процессе вычислений); оrthoX — ортогональная матрица ус- ловий наблюдения типа matrix(double); tetta — вектор оцениваемых коэффициен- тов регрессии (вычисляется) типа vector(double); рrесiz — требуемая точность вы- числений, тип double. Возвращаемые значения: нет. Алгоритм: 1. Объявления промежуточных данных. 2. Начало цикла вычис- лений. 3. Цикл по m(mi = 1): если m<=Р, то переход на п. 4, иначе переход на п. 8. 4. Цикл вычисления dm(i, j). 5. Вычисление (delta_tеtta – mediаnа()). 6. Выполне- ние итерации для m-го элемента — itеrаtion(). 7. m: = m + 1, переход на п. 3. 8. Проверка сходимости — verifу-gооd(). Eсли результат положительный, то пере- ход на п. 9, иначе переход на п. 2. 9. Возврат в вызывающую процедуру. Функция fuпсВМ( ). Получение начального приближения ортогональным ме- тодом Брауна–Муда. Параметры: Y — вектор измерений типа vесtоr(dоuble) — (изменяется в процессе вычислений); оrthoХ — ортогональная матрица условий наблюдений типа mаtrix(double); tetta — массив оцениваемых коэффициентов регрессии (вычисляется) типа vесtоr(double); рrесiz — требуемая точность вычис- лений, double. Возвращаемые значения: нет. Алгоритм: 1. Объявления промежуточных данных. 2. Цикл по m: если m<=Р(m1 = 1) то переход на п. 3, иначе — переход на п. 12. 3. Начало цикла вы- числений. 4. Сортировка m-го столбца матрицы оrthoХ по возрастанию — вызов variat(). 5. Вычисление медианы сортированного m-го столбца — вызов mtdiana(). 6. Цикл определения множеств Iц, I1, ХЕ1, ХIu, уIu: уI1 (по формуле (33)). 7. Опреде- ление хm_рlus, хm_minus, у_рlus, у_minus. 8. Вычисление delta-tеtta по формуле (34). 9. Вычисление итерации — вызов iteration(), вычисление относительного приращения m r_delta.еlem(m). 10. Если r_dе1ta.elem(m)>ргесiz, то переход на начало цикла, п. 3, иначе переход на п. 11. 11. m = m + 1. Переход на п. 2. 12. Воз- врат в вызывающую программу. Фунция funcМNК( ). Выполняет оценку параметров Θ по нормальным урав- нениям метода наименьших квадратов (17). Параметры: I — массив данных типа vесtоr(dоuble); Х — матрица условий наблюдений типа matrix(double); ww — век- тор-аналог диагональной матрицы весов vесtоr(dоuble); tеtta — вектор оценивае- мых параметров типа vector(double). Возвращаемое значение: нет. Алгоритм: 1. Транспонировать матрицу X. 2. Восстановить матрицу из век- тора ww. 3. Произвести вычисления по формуле (17). Функция iteration( ). Получение оценок тетты m-е на очередном шаге итера- ции, когда приращение дельта тетта m-го получено каким-либо помехоустойчи- вым методом. Возвращает модуль относительного приращения тетты. Параметры: у — вектор измерений (уточняется); оrthoХ — ортогональная матрица условий наблюдений; tetta — вектор оценок тетта (уточняется); delta_tetta — приращение тетта m-го; m — индекс параметра, оценка которого вычисляется. Возвращаемое значение: модуль относительного приращения m , типа double. Алгоритм: 1. Если 0m , то относительное приращение равно GRЕАТ, иначе расчет по формуле относительного приращения m . 2.  dmm . Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 117 3. Вычисление нового значения у на данном шаге итерации. 4. Возврат значения относительного приращения в вызывающую процедуру Функция iterGN( ). Итерационный метод Гаусса-Ньютона. Основное уравне- ние метода: ;_**)*_*( 1 valpsiXXabgpsiXdQ tt  Вычисляется новое приближение tetta, а также значения остаточных разно- стей z_оst, относительных приращений тетты zеl_delta, значение среднеквадра- тичной ошибки SКО. Параметры: у — вектор измерений; Х — матрица условий наблюдения; tеt_0 — тетта нулевое, нулевой коэффициент функции регрессии; tetta — коэффициенты функции регрессии; r_оst — остаточные разности; rе1_delta — относительные приращения тетта; SКО — значение среднеквадра- тичной погрешности; рsitуре — признак типа функции пси. Возвращаемое значе- ние: нет. Алгоритм: 1. Вычисление остаточных разностей. 2. Оценка SКО — вызов variat(), mеdiana(). 3. Объявление векторов значений  и Ψ' . 4. Вычисление зна- чений  и ' — вызов рsi(). 5. Вычисление вектора приращений  . 6. Вычис- ление вектора относительных приращений  . 7. Вычисление вектора  . 8. Воз- врат в вызывающую функцию main(). Функция iterМNК(). Итерационный средневзвешенный метод наименьших квадратов. Вычисляется новое приближение tetta, а также значения остаточных разностей z_ost, относительных приращений тетты zе1_delta, значение средне- квадратичной ошибки SКО. Параметры: у — вектор измерений; Х — матрица ус- ловий наблюдения; tеt_0 — тетта нулевое, нулевой коэффициент функции регрес- сии; tеttа — коэффициенты функции регрессии; r_оst — остаточные разности; rе1_delta — относительные приращения тетта; SКО — значение среднеквадра- тичной погрешности; рsitуре — признак типа функции пси. Возвращаемое значе- ние: нет. Алгоритм: 1. Вычисление остаточных разностей. 2. Оценка SКО — вызов variat(), mediana(). 3. Определение вектора W. 4. Вызов fuпсМNК(). 5. Вычисление относительного приращения  . 6. Возврат в вызывающую функцию main(). Функция mediana( ). Определение медианы упорядоченной выборки по за- данному количеству членов. Параметры: vес — упорядоченная выборка; end_numb — ограничитель, по первым епd_пumb членам определяется медиана. Возвращаемое значение: медиана выборки типа double. Алгоритм: 1. mid=епd_numb/2; окr=[mid]. 2. Если окr=mid, возврат в вызы- вающую процедуру значения vес(mid), иначе переход к п. 3. 3. Возврат в вызы- вающую процедуру значения (vес(оkr)+vес(оkr+1))/2. Функция рsi(). Вычисление функции  и ее производной  ' . Возвращает значение функции или ее производной в зависимости от параметра ргоizv. Пара- метры: агgum — аргумент функции; рsitуре — тип функции  ; ргоizv — указы- вает на возвращаемое значение: функция пси (false) или ее производная (true). Возвращаемое значение: Значение  или  ' типа double. Алгоритм: 1. Если тип функции — функция Эндрюса — вычисление пси по формуле Эндрюса, возврат в вызывающую функцию. Иначе переход к п. 2. 2. Ес- В. А. Додонов 118 ли тип функции — функция Хампеля, вычисление пси по формуле Хампеля, воз- врат в вызывающую функцию. Иначе переход к п. 3. 3. Если тип функции — функция Хьюбера — вычисление пси по формуле Хьюбера, возврат в вызываю- щую функцию. Иначе переход к п. 4. 4. Если тип функции — функция Тьюки — вычисление пси по формуле Тьюки, возврат в вызывающую функцию. Иначе пе- реход к п. 5. 5. Возврат значения GRЕАТ. Функция sТhеil( ). Получение начального приближения модифицированным методом Тейла. Величины dm(i) вычисляются по варианту с меньшим количест- вом вычислений, т.е. по формуле (30). Параметры: у — вектор измерений типа double (изменяется в процессе вычислений) огthоХ — ортогональная матрица ус- ловий наблюдения типа matrix(double); tetta — вектор оцениваемых коэффициен- тов регрессии (вычисляется) типа vесtor(double); ргесiz — требуемая точность вы- числений, тип double. Возвращаемые значения: нет. Алгоритм: 1. Объявления промежуточных данных. 2. Начало цикла вычис- лений. 3. Цикл по m(m1=1): если m<=Р, то переход на п. 4, иначе переход на п. 8. 4. Сортировка m-го столбца матрицы огthoХ — вызов vагiat(). 5. Цикл вычисления dm(i). 6. Вычисление delta_tetta — вызов mediana(). 7. Выполнение итераций для m-го элемента — вызов iteration(). 8. Проверка сходимости — вызов verify_gооd1(). Если результат положительный, то переход на п. 9, иначе переход на п. 2. 9. Возврат в вызывающую процедуру. Функция ТеtNull( ). Вычисление 0 . Параметры: у — вектор исходных изме- рений. Возвращаемое значение: 0 типа double. Алгоритм: 1. Построение вариационного ряда по вектору Y (сортировка) — вызов variat(). 2. Вычисление 0 как медианы вариационного ряда — вызов mediana(). 3. Возврат в вызывающую процедуру. Функция tо_огthо( ). Построение ортогонального базиса методом Грама– Шмидта. Параметры: Х — матрица условий наблюдений типа mаtrix(double); cоrr — массив аналогов коэффициента корреляции при построении ортогонального базиса (вычисляется). Возвращаемое значение: Возвращает ортогональную мат- рицу условий наблюдений, построенную на основе матрицы X, типа mаtrix(double). Алгоритм: 1. Вычисляются значения элементов ортогональной матрицы и массива соrr по формулам (22). Функция vаriat( ). Построение вариационного ряда (сортировка) выборки. Параметры: V — вектор выборки; епd_пumb — ограничительный номер, вариаци- онный ряд строится по первым еnd_numb членам. Возвращаемое значение: вариа- ционный ряд, типa vector(double). Алгоритм: 1. Объявление промежуточного вектора vес=v; i = 1. 2. Stop=да. 3. Если 1<еnd_numb, то п. 4, иначе п. 10. 4. Если vес(i + 1)>=vес(i) — переход к п. 9. 5. buf=vес(0). 6. vес(0=vес(i + 1). 7. vес(i + 1)=buf. 8. stop=нет. 9. i = i + 1 — пе- реход к п. 3. 10. Если stop=нет — переход к п. 2, иначе к п. 11. 11. Возврат значе- ния вектора vес в вызывающую процедуру. Функция vеrifi_gооd( ). Проверка сходимости оценок тетты. Возвращает ис- тину в случае сходимости. Параметры: delta_геl — вектор модулей относитель- ных приращений тетты; рrеciz — требуемая точность вычислений. Возвращаемое значение: типа Вооl. Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2008, Т. 10, № 2 119 Алгоритм: Если модуль относительного приращения хотя бы одного элемен- та вектора  превышает допустимую погрешность вычислений — возврат значе- ния false, иначе — true. Выводы Показано, что в ряду различных процедур анализа измерительной информа- ции представляется перспективным использование методов помехоустойчивого (робастного) оценивания. Обоснована возможность применения методов помехо- устойчивого оценивания для задач анализа регистрируемой при испытаниях об- разцов измерительной информации, приведен разработанный с применением этих методов алгоритм отбраковки аномальных результатов измерений. Предлагаемый алгоритм позволяет аппроксимировать измеряемую функцию на заданном интер- вале полиномом заданной степени. При оценивании коэффициентов полинома используются помехоустойчивые (робастные) методы. К достоинствам алгоритма следует отнести возможность гибкого применения (настройки) используемых вы- числительных процедур. 1. Додонов А.Г., Путятин В.Г., Валетчик В.А. Обработка оптических измерений траектории летательных аппаратов // Реєстрація, зберігання і оброб. даних. — 2004. — Т. 6, № 4. — С. 38–52. 2. Ершов А.А. Стабильные методы оценки параметров. Обзор // Автоматика и телемеханика. — 1978. — № 8. — С. 66–100. 3. Стогов Г.В., Макшанов А.В., Мусаев А.А. Устойчивые методы обработки измерений. Об- зор // Зарубежная радиоэлектроника. — 1982. — № 9. — С. 3–46. 4. Хогг Р.В. Введение в помехоустойчивое оценивание / В кн.: Устойчивые статистические методы оценки данных. — М.: Машиностроение, 1984. — С. 86–105. 5. Аджи У.С., Тернер Р.Х. Применение методов помехоустойчивого оценивания в анализе данных о траекториях движения / В кн.: Устойчивые статистические методы оценки данных. Пер. с англ. — М.: Машиностроение, 1984. — С. 12–26. 6. Алдонин Г.М. Робастность в природе и технике. — М.: Радио и связь, 2003. — 336 с. 7. Хьюбер П. Робастность в статистике / Пер. с англ. — М.: Мир, 1984. — 304 с. 8. Мактанов А.В., Мусаев А.А. Робастные методы обработки результатов измерений: Учеб- ное пособие: Радиоэлектронные системы и комплексы. — Вып. 3. — М.: МО СССР, 1980. — 144 с. 9. Huber P.J. Robust Regression: Asymptotics, Conjectures and Monte Carlo // Ann. Math. Statist. — 1973. — N 1. — Р. 799–821. 10. Huber P.J. Robust Statistics: A Review // Ann. Math. Statist. — 1972. — Vol. 43. — Р. 1041– 1067. 11. Лемешко Б.Ю. Робастные методы оценивания и отбраковка аномальных измерений // За- водская лаборатория. — 1997. — Т. 63, № 5. — С. 43–49. 12. Лемешко Б.Ю., Чимитова Е.В. Оптимальные L-оценки параметров сдвига и масштаба распределений по выборочным квантилям // Заводская лаборатория. Диагностика материалов. 2004. — Т. 70, № 1. — С. 54–66. 13. Линник Ю.В. Метод наименьших квадратов и основы обработки наблюдений. — М.: Нау- ка, 1962. — 269 с. В. А. Додонов 120 14. Поляк Б.Т. Устойчивые методы оценки параметров / В сб.: Структурная адаптация слож- ных систем управления. — Воронежский политехнический ин-т, 1977. — С. 66–71. 15. Тьюки Дж. Анализ результатов наблюдений. — М.: Мир, 1981. — 692 с. 16. Микешина Н.Г. Выявление и исключение аномальных значений // Заводская лаборатория. — 1966. — № 3. — С. 185–198. 17. Agee W.S., Nurner R.H. Robust Regression: M — Estimated. Tehnical Report. — White Sand and Missile Range, 1978. 18. Andrews D.F. A Robust Method of Multiple Linear Regression. — Technjmetrics, 1979. — Vol. 16, Nov. — Р. 523–531. 19. Грановский В.А., Сирая Т.Н. Методы обработки экспериментальных данных при измере- ниях. — Л.: Энергоатомиздат, 1990. — 288 с. 20. Фомин А.В., Новоселов О.Н., Плющев А.В. Отбраковка аномальных результатов измере- ний. — М.: Энергоатомиздат, 1985. — 198 с. Поступила в редакцию 11.01.2008
id nasplib_isofts_kiev_ua-123456789-7574
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn 1560-9189
language Russian
last_indexed 2025-12-07T15:33:31Z
publishDate 2008
publisher Інститут проблем реєстрації інформації НАН України
record_format dspace
spelling Додонов, В.А.
2010-04-02T12:34:07Z
2010-04-02T12:34:07Z
2008
Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации / В.А. Додонов // Реєстрація, зберігання і оброб. даних. — 2008. — Т. 10, № 2. — С. 101-120. — Бібліогр.: 20 назв. — рос.
1560-9189
https://nasplib.isofts.kiev.ua/handle/123456789/7574
004.91
Рассмотрена задача оценки измерительной информации с целью выявления и исключения аномальных результатов измерений, определения весовых коэффициентов каждого из оставшихся результатов, согласования отдельных частей измерительной информации между собой для последующего использования в задачах вторичной обработки. Показано, что в ряду различных процедур такого анализа представляется перспективным поочередное использование методов помехоустойчивого (робастного) оценивания.
Розглянуто задачу оцінки вимірювальної інформації з метою виявлення та виключення аномальних результатів вимірів, визначення вагових коефіцієнтів кожного з результатів, що залишилися, узгодження окремих частин вимірювальної інформації між собою для наступного використання в задачах вторинної обробки. Показано, що в ряді різних процедур такого аналізу представляється перспективним почергове використання методів завадостійкого (робастного) оцінювання.
A problem of estimation of the measuring information with the purpose of revealing and elimination of abnormal results of measurements, determination of weight factors of each of the remained results, coordination of separate parts of the measuring information between themselves for subsequent use in problems of secondary processing is considered. It is shown, that in a series of various procedures of such analysis is promising the serial use of methods for noiseproof (robust) estimation.
ru
Інститут проблем реєстрації інформації НАН України
Реєстрація, зберігання і обробка даних
Методи захисту інформації в комп’ютерних системах і мережах
Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации
Застосування методів завадостійкого оцінювання в задачах аналізу вимірювальної інформації
Application of Methods for Noiseproof Estimation in Problems of Analyzing the Measuring Information
Article
published earlier
spellingShingle Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации
Додонов, В.А.
Методи захисту інформації в комп’ютерних системах і мережах
title Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации
title_alt Застосування методів завадостійкого оцінювання в задачах аналізу вимірювальної інформації
Application of Methods for Noiseproof Estimation in Problems of Analyzing the Measuring Information
title_full Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации
title_fullStr Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации
title_full_unstemmed Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации
title_short Применение методов помехоустойчивого оценивания в задачах анализа измерительной информации
title_sort применение методов помехоустойчивого оценивания в задачах анализа измерительной информации
topic Методи захисту інформації в комп’ютерних системах і мережах
topic_facet Методи захисту інформації в комп’ютерних системах і мережах
url https://nasplib.isofts.kiev.ua/handle/123456789/7574
work_keys_str_mv AT dodonovva primeneniemetodovpomehoustoičivogoocenivaniâvzadačahanalizaizmeritelʹnoiinformacii
AT dodonovva zastosuvannâmetodívzavadostíikogoocínûvannâvzadačahanalízuvimírûvalʹnoíínformacíí
AT dodonovva applicationofmethodsfornoiseproofestimationinproblemsofanalyzingthemeasuringinformation