О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга
Рассматривается согласие нелинейных моделей мониторинга с наблюденными данными нелинейных моделей мониторинга. Эти модели основаны на суперпозиции осцилляторов со свободными параметрами. Оптимальную оценку свободных параметров модели, которые входят в модель как линейно, так и нелинейно, будем расс...
Gespeichert in:
| Veröffentlicht in: | Доповіді НАН України |
|---|---|
| Datum: | 2012 |
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Russisch |
| Veröffentlicht: |
Видавничий дім "Академперіодика" НАН України
2012
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/84413 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга / В.С. Мостовой // Доповiдi Нацiональної академiї наук України. — 2012. — № 9. — С. 107-110. — Бібліогр.: 10 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859606204747087872 |
|---|---|
| author | Мостовой, В.С. |
| author_facet | Мостовой, В.С. |
| citation_txt | О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга / В.С. Мостовой // Доповiдi Нацiональної академiї наук України. — 2012. — № 9. — С. 107-110. — Бібліогр.: 10 назв. — рос. |
| collection | DSpace DC |
| container_title | Доповіді НАН України |
| description | Рассматривается согласие нелинейных моделей мониторинга с наблюденными данными
нелинейных моделей мониторинга. Эти модели основаны на суперпозиции осцилляторов со свободными параметрами. Оптимальную оценку свободных параметров модели, которые входят в модель как линейно, так и нелинейно, будем рассматривать как задачу нелинейной регрессии. Оптимальность понимается в смысле глобального минимума целевого функционала. Точка в пространстве возможных значений свободных параметров модели, в которой критерий имеет глобальный минимум, принимается как оптимальное решение. Для выбранных нелинейных математических моделей нужно выяснить вопросы, связанные с существованием решения, его единственностью и устойчивостью решения в зависимости от начальных данных. Последнее обстоятельство особенно важно, поскольку алгоритмы, построенные на основании этих моделей, ориентированы на непосредственную обработку полевых наблюдений, а значит, на зависимость от характеристик измерительной аппаратуры, ошибок измерения и сопутствующего фона помех.
Розглянуто згоду нелiнiйних моделей монiторингу iз спостереженими даними нелiнiйних
моделей монiторингу. Цi моделi грунтуються на суперпозицiї осциляторiв з вiльними параметрами. Оптимальну оцiнку вiльних параметрiв моделi, якi входять у модель як лiнiйно, так i нелiнiйно, розглядатимемо як задачу нелiнiйної регресiї. Оптимальнiсть розумiється
в сенсi глобального мiнiмуму цiльового функцiонала. Точка в просторi можливих значень вiльних параметрiв моделi, в якiй критерiй має глобальний мiнiмум, приймається як оптимальне рiшення. Для вибраних нелiнiйних математичних моделей треба з’ясувати питання, що пов’язанi з iснуванням рiшення, його єдинiстю i стiйкiстю рiшення залежно вiд початкових даних. Остання обставина особлива важливо, оскiльки алгоритми, що побудованi на пiдставi цих моделей, орiєнтованi на безпосередню обробку польових спостережень, а це означає: залежнiсть вiд характеристик вимiрювальної апаратури, помилок вимiру i супутньому фону перешкод.
A compliance of observed data and nonlinear models of monitoring is considered. These models are
based on a superposition of oscillators with free parameters. Optimal estimation of free parameters
of a model, which enter into the model both linearly and nonlinearly, is considered as a problem
of nonlinear regression. The optimality is understood in the sense of the global minimum of an
objective functional. A point in the space of free parameters of the model, at which the criterion
has a global minimum, is accepted as the optimal solution of the problem. For the chosen nonlinear
mathematical models, it is necessary to find out the questions connected with the existence of a
solution and its uniqueness and stability depending on initial data. Last circumstance is especially
important, as the algorithms constructed on the basis of these models are oriented on the direct
processing of field data. This means the dependence on characteristics of a measuring equipment,
errors of measurement, and accompanying background noises.
|
| first_indexed | 2025-11-28T04:56:00Z |
| format | Article |
| fulltext |
УДК 550.834
© 2012
В.С. Мостовой
О корректности задачи нелинейной регрессии
и сходимости алгоритма поиска глобального минимума
в моделях мониторинга
(Представлено академиком НАН Украины В. И. Старостенко)
Рассматривается согласие нелинейных моделей мониторинга с наблюденными данными
нелинейных моделей мониторинга. Эти модели основаны на суперпозиции осциллято-
ров со свободными параметрами. Оптимальную оценку свободных параметров модели,
которые входят в модель как линейно, так и нелинейно, будем рассматривать как зада-
чу нелинейной регрессии. Оптимальность понимается в смысле глобального минимума
целевого функционала. Точка в пространстве возможных значений свободных парамет-
ров модели, в которой критерий имеет глобальный минимум, принимается как опти-
мальное решение. Для выбранных нелинейных математических моделей нужно выяс-
нить вопросы, связанные с существованием решения, его единственностью и устойчи-
востью решения в зависимости от начальных данных. Последнее обстоятельство осо-
бенно важно, поскольку алгоритмы, построенные на основании этих моделей, ориенти-
рованы на непосредственную обработку полевых наблюдений, а значит, на зависимость
от характеристик измерительной аппаратуры, ошибок измерения и сопутствующего
фона помех.
Согласие нелинейных моделей мониторинга, основанных на суперпозиции осцилляторов со
свободными параметрами [1–6], с наблюденными данными будем рассматривать как задачу
нелинейной регрессии [7, 8]. Для выбранных нелинейных математических моделей нужно
выяснить вопросы, связанные с существованием решения, его единственностью и устойчи-
востью решения в зависимости от начальных данных. Последнее обстоятельство особен-
но важно, поскольку алгоритмы, построенные на основании этих моделей, ориентированы
на непосредственную обработку полевых наблюдений, а значит, зависимость от характе-
ристик измерительной аппаратуры, ошибок измерения и сопутствующему фону помех.
1. Существование решения задачи регрессии. Предположим, что A — компактное
множество в R
n, B — произвольное множество в R
m, где n и m — натуральные числа;
F (·, ·) — непрерывная функция A×B → R, где A×B — прямое произведение множеств A
и B. Для произвольного y ∈ B рассмотрим следующую оптимизационную задачу:
min
x∈A
F (x, y). (1)
Лемма 1. Для произвольного y ∈ B существует точка x̂(y), минимизирующая F (·, y)
на множестве A.
Доказательство. По теореме о поведении непрерывной функции, заданной на ком-
пактном множестве, функция F (·, y) достигает точной нижней грани на множестве A. Сле-
довательно, существует точка x̂(y), минимизирующая F (·, y) на множестве A.
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2012, №9 107
2. Единственности решения задачи (1). При дополнительных условиях на функ-
цию F (·, ·) можно показать, что множество точек y ∈ B, таких что решение задачи (1) не
единственно, имеет меру Лебега ноль. Физическая или скорее вероятностная интерпрета-
ция данного утверждения следующая: если мы предположим, что результаты эксперимен-
тов — случайные величины с любым непрерывным распределением, например Гауссовым
или равномерным (на подмножестве R
m), тогда вероятность того, что решение задачи (1)
не единственно, равна нулю.
Таким дополнительным условием на функции вида F (·, ·) может быть представление
F (·, ·) в виде композиции непрерывной (но не равной константе) функции и функции, задан-
ной суперпозицией осцилляторов; а также преставление функции F (·, ·) в виде полинома,
отличного от константы. Заметим, что единственность решения оптимизационных задач
вида (1), рассмотренных в работах [1–6], подтверждена практическими их исследованиями
в численном эксперименте и обработке полевых наблюдений.
3. О непрерывной зависимости от начальных данных.
Лемма 2. Пусть C = {y ∈ B : решение задачи (1) не единственно}. Если дополнение
множества C, Cc = B \ C — открытое множество в B, то на множестве Cc решение
задачи (1), x̂ = x̂(y), непрерывно зависит от второй компоненты функции F (·, ·).
Доказательство. Из открытости Cc и непрерывности F (·, ·) следует, что для любого
y ∈ Cc существует некоторый шар (в Евклидовом пространстве) Bδ, такой, что для любой
точки ŷ ∈ Bδ (т. е. при ‖y − ŷ‖ < δ) мы получим: решение задачи (1), x̂(y) удовлетворяет:
‖x̂(y) − x̂(ŷ)‖ < ε для некоторого ε > 0. Следовательно, для любого y ∈ Cc мы получим,
что для любого ε > 0 существует δ > 0, такое, что для любого ŷ : ‖ŷ − y‖ < δ мы имеем
‖x̂(y) − x̂(ŷ)‖ < ε. Заключаем, что решение задачи (1) — непрерывная функция от второй
компоненты функции F (·, ·) на множестве Cc.
Отметим, открытость множества Cc выполняется для функций, используемых в по-
становке задачи регрессии (1), на практике. Как указано выше, для практических задач,
рассмотренных в работах [1–6], L(C) = 0, где L(C) — мера Лебега множества C. С вероят-
ностной точки зрения Лемма 2 показывает, что (при некоторых условиях на F (·, ) решение
задачи регрессии непрерывно зависит от начальных данных с вероятностью (1).
Таким образом, задачи вида (1) для функций F (·, ·), рассмотренных в работах [1–6], яв-
ляются корректными [9] c практической точки зрения. При этом строго мы можем показать
лишь первое условие корректности — существование решения. Остальные два условия —
единственность и непрерывная зависимость от начальных данных выполняются при допол-
нительных условиях на функцию F (·, ·) и подтверждаются практическими исследованиями
функций вида F (·, ·), рассмотренных в работах [1–6].
4. О сходимости алгоритма решения задачи регрессии. Предположим, что A —
компактное подмножество R
d, где d — натуральное число; F (·) — непрерывная функция
A → R. Рассмотрим следующую оптимизационную задачу:
min
x∈A
F (x). (2)
В данной части мы исследуем следующий алгоритм поиска приближенного решения
задачи (2):
1. На множестве A выбирается некоторая вероятностная мера P , такая, что для любого
множества C ⊆ A с положительной мерой Лебега (L(C) > 0) выполняется следующее
условие: P (C) > 0.
108 ISSN 1025-6415 Reports of the National Academy of Sciences of Ukraine, 2012, №9
2. Выбрасывается N случайных точек xn ∈ A, n = 1, N , каждая из которых имеет
распределение, удовлетворяющее условиям описанным в предыдущем пункте, так что xn,
n = 1, N — независимые одинаково распределенные случайные величины на A.
3. Для каждого n = 1, N используя алгоритм Левенберга–Марквардта [10] с начальной
точкой xn находим точку локального минимума x̂n.
4. Приближенным решением задачи (2) назовем точку yN ∈ {x̂1, . . . , x̂N}, такую, что
yN = min
n=1,N
F (x̂n).
Предположим, что δ — критерий остановки в алгоритме Левенберга–Маркварда, т. е. ал-
горитм Левенберга–Маркварда прекращается (и мы утверждаем, что локальный минимум
найден), если уменьшение значение функции F (·) при двух последовательных итерациях
алгоритма не превосходит δ.
Лемма 3. Алгоритм поиска глобального минимума функции F (·), описанный выше,
сходится к решению задачи (2) с точностью δ, т. е lim
N→∞
P [F (yN )−min
x∈A
F (x) > δ] = 0.
Доказательство. Пусть z — точка, минимизирующая функцию F (·) на множестве A,
т. е. F (z) = min
x∈A
F (x). Заметим, что существование z следует из Леммы 1. Так как функция
F (·) непрерывна, мы найдем такое число ρ(z) > 0, что Bρ(z)(z) = {y ∈ A : ‖y − z‖ 6 ρ(z)},
шар радиуса ρ(z) с центром в точке z, пересеченный с A, содержится в A, и для любого
z1 ∈ Bρ(z)(z) мы имеем: F (z1) > F (z). Из условия (1) в описании алгоритма следует, что при
выбросе случайной точки x выполняется следующее условие: P [x ∈ Bρ(z)(z)] > 0. Следо-
вательно, используя независимость случайных величин xn, n = 1, N , мы получим, что при
выбросе N точек (и соответственных N запусках алгоритма Левенберга–Макварда) прибли-
женное решение задачи (2) yN удовлетворяет следующему условию: P [F (yN )−F (z) 6 δ] >
> 1 − (P [x ∈ Bρ(z)(z)])
N . Так как P [x ∈ Bρ(z)(z)] > 0, мы заключаем, что lim
N→∞
P [F (yN ) −
− F (z) 6 δ] = 1.
Так как Лемма 3 выполняется для любого критерия остановки δ > 0, то, в частности,
из Леммы 3 следует, что алгоритм поиска решения задачи (2) сходится по вероятности.
Также следует отметить, что для задач, рассмотренных в работах [1–6], описанный выше
алгоритм позволяет эффективно решать задачи вида (2). В частности, для этих задач ско-
рость сходимости не является принципиальным вопросом, так как время поиска решения
составляет считанные секунды. Тем не менее скорость сходимости может быть определена
при дополнительных условиях на функцию F (·) и множество A в задаче (2).
1. Мостовой В.С., Мостовой С. В. Математическое моделирование оценки старения природных и тех-
ногенных объектов в системах мониторинга // Доп. НАН України. – 2011. – № 7. – С. 114–118.
2. Мостовой В.С., Мостовой С. В. Оптимальные оценки нелинейных параметров в моделях сейсмо-
акустического мониторинга // Там само. – 2011. – № 8. – С. 103–107.
3. Мостовой В. С, Мостовой С.В., Кондра С.М., Страшко Ж.С. Оценка информативных параметров
состояния строительных конструкций в режиме мониторинга / Пром. стр-во и инж. сооружения. –
2011. – № 1. – С. 24–29.
4. Мостовой В.С. Оптимальное обнаружение сигналов на фоне микросейсмического шума // Доп. НАН
України. – 2008. – № 1. – С. 106–110.
5. Мостовой В.С. Математическая модель накопления сейсмических сигналов при активном монито-
ринге // Там само. – 2008. – № 4. – С. 132–136.
6. Мостовой В.С., Мостовой С.В. Вариационный подход к решению обратной задачи при накоплении
сейсмических сигналов в активном мониторинге // Там само. – 2008. – № 8. – С. 113–116.
7. Математическая энциклопедия. Т. 4. – Москва: Сов. энцикл., 1977. – С. 742.
8. Bethea R.M., Duran B. S., Boullion T. L. Statistical methods for engineers and scientists. – New York:
Marcel Dekker, 1985. – 105 p.
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2012, №9 109
9. Evans L.C. Partial differential equations: methods and applications. – Providence, RI: Amer. Math. Soc.,
1998. – 668 p.
10. Marquardt D. An algorithm for least-squares estimation of nonlinear parameters // SIAM J. Appl. Math. –
1963. – 11. – P. 431–441.
Поступило в редакцию 09.12.2011Институт геофизики им. С.И. Субботина
НАН Украины, Киев
В.С. Мостовий
Про коректнiсть задач нелiнiйної регресiї i збiжностi алгоритму
пошуку глобального мiнiмуму в моделях монiторингу
Розглянуто згоду нелiнiйних моделей монiторингу iз спостереженими даними нелiнiйних
моделей монiторингу. Цi моделi грунтуються на суперпозицiї осциляторiв з вiльними пара-
метрами. Оптимальну оцiнку вiльних параметрiв моделi, якi входять у модель як лiнiйно,
так i нелiнiйно, розглядатимемо як задачу нелiнiйної регресiї. Оптимальнiсть розумiється
в сенсi глобального мiнiмуму цiльового функцiонала. Точка в просторi можливих значень
вiльних параметрiв моделi, в якiй критерiй має глобальний мiнiмум, приймається як опти-
мальне рiшення. Для вибраних нелiнiйних математичних моделей треба з’ясувати питан-
ня, що пов’язанi з iснуванням рiшення, його єдинiстю i стiйкiстю рiшення залежно вiд
початкових даних. Остання обставина особлива важливо, оскiльки алгоритми, що побудо-
ванi на пiдставi цих моделей, орiєнтованi на безпосередню обробку польових спостережень,
а це означає: залежнiсть вiд характеристик вимiрювальної апаратури, помилок вимiру
i супутньому фону перешкод.
V. S. Mostovyi
About the correctness of a nonlinear problem of regression and
convergence of an algorithm of search for a global minimum in models
of monitoring
A compliance of observed data and nonlinear models of monitoring is considered. These models are
based on a superposition of oscillators with free parameters. Optimal estimation of free parameters
of a model, which enter into the model both linearly and nonlinearly, is considered as a problem
of nonlinear regression. The optimality is understood in the sense of the global minimum of an
objective functional. A point in the space of free parameters of the model, at which the criterion
has a global minimum, is accepted as the optimal solution of the problem. For the chosen nonlinear
mathematical models, it is necessary to find out the questions connected with the existence of a
solution and its uniqueness and stability depending on initial data. Last circumstance is especially
important, as the algorithms constructed on the basis of these models are oriented on the direct
processing of field data. This means the dependence on characteristics of a measuring equipment,
errors of measurement, and accompanying background noises.
110 ISSN 1025-6415 Reports of the National Academy of Sciences of Ukraine, 2012, №9
|
| id | nasplib_isofts_kiev_ua-123456789-84413 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1025-6415 |
| language | Russian |
| last_indexed | 2025-11-28T04:56:00Z |
| publishDate | 2012 |
| publisher | Видавничий дім "Академперіодика" НАН України |
| record_format | dspace |
| spelling | Мостовой, В.С. 2015-07-07T14:09:19Z 2015-07-07T14:09:19Z 2012 О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга / В.С. Мостовой // Доповiдi Нацiональної академiї наук України. — 2012. — № 9. — С. 107-110. — Бібліогр.: 10 назв. — рос. 1025-6415 https://nasplib.isofts.kiev.ua/handle/123456789/84413 550.834 Рассматривается согласие нелинейных моделей мониторинга с наблюденными данными нелинейных моделей мониторинга. Эти модели основаны на суперпозиции осцилляторов со свободными параметрами. Оптимальную оценку свободных параметров модели, которые входят в модель как линейно, так и нелинейно, будем рассматривать как задачу нелинейной регрессии. Оптимальность понимается в смысле глобального минимума целевого функционала. Точка в пространстве возможных значений свободных параметров модели, в которой критерий имеет глобальный минимум, принимается как оптимальное решение. Для выбранных нелинейных математических моделей нужно выяснить вопросы, связанные с существованием решения, его единственностью и устойчивостью решения в зависимости от начальных данных. Последнее обстоятельство особенно важно, поскольку алгоритмы, построенные на основании этих моделей, ориентированы на непосредственную обработку полевых наблюдений, а значит, на зависимость от характеристик измерительной аппаратуры, ошибок измерения и сопутствующего фона помех. Розглянуто згоду нелiнiйних моделей монiторингу iз спостереженими даними нелiнiйних моделей монiторингу. Цi моделi грунтуються на суперпозицiї осциляторiв з вiльними параметрами. Оптимальну оцiнку вiльних параметрiв моделi, якi входять у модель як лiнiйно, так i нелiнiйно, розглядатимемо як задачу нелiнiйної регресiї. Оптимальнiсть розумiється в сенсi глобального мiнiмуму цiльового функцiонала. Точка в просторi можливих значень вiльних параметрiв моделi, в якiй критерiй має глобальний мiнiмум, приймається як оптимальне рiшення. Для вибраних нелiнiйних математичних моделей треба з’ясувати питання, що пов’язанi з iснуванням рiшення, його єдинiстю i стiйкiстю рiшення залежно вiд початкових даних. Остання обставина особлива важливо, оскiльки алгоритми, що побудованi на пiдставi цих моделей, орiєнтованi на безпосередню обробку польових спостережень, а це означає: залежнiсть вiд характеристик вимiрювальної апаратури, помилок вимiру i супутньому фону перешкод. A compliance of observed data and nonlinear models of monitoring is considered. These models are based on a superposition of oscillators with free parameters. Optimal estimation of free parameters of a model, which enter into the model both linearly and nonlinearly, is considered as a problem of nonlinear regression. The optimality is understood in the sense of the global minimum of an objective functional. A point in the space of free parameters of the model, at which the criterion has a global minimum, is accepted as the optimal solution of the problem. For the chosen nonlinear mathematical models, it is necessary to find out the questions connected with the existence of a solution and its uniqueness and stability depending on initial data. Last circumstance is especially important, as the algorithms constructed on the basis of these models are oriented on the direct processing of field data. This means the dependence on characteristics of a measuring equipment, errors of measurement, and accompanying background noises. ru Видавничий дім "Академперіодика" НАН України Доповіді НАН України Науки про Землю О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга Про коректнiсть задач нелiнiйної регресiї i збiжностi алгоритму пошуку глобального мiнiмуму в моделях монiторингу About the correctness of a nonlinear problem of regression and convergence of an algorithm of search for a global minimum in models of monitoring Article published earlier |
| spellingShingle | О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга Мостовой, В.С. Науки про Землю |
| title | О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга |
| title_alt | Про коректнiсть задач нелiнiйної регресiї i збiжностi алгоритму пошуку глобального мiнiмуму в моделях монiторингу About the correctness of a nonlinear problem of regression and convergence of an algorithm of search for a global minimum in models of monitoring |
| title_full | О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга |
| title_fullStr | О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга |
| title_full_unstemmed | О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга |
| title_short | О корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга |
| title_sort | о корректности задачи нелинейной регрессии и сходимости алгоритма поиска глобального минимума в моделях мониторинга |
| topic | Науки про Землю |
| topic_facet | Науки про Землю |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/84413 |
| work_keys_str_mv | AT mostovoivs okorrektnostizadačinelineinoiregressiiishodimostialgoritmapoiskaglobalʹnogominimumavmodelâhmonitoringa AT mostovoivs prokorektnistʹzadačneliniinoíregresiíizbižnostialgoritmupošukuglobalʹnogominimumuvmodelâhmonitoringu AT mostovoivs aboutthecorrectnessofanonlinearproblemofregressionandconvergenceofanalgorithmofsearchforaglobalminimuminmodelsofmonitoring |