Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров
Обґрунтовано загальний підхід до розв’язання задачі керування системами випадкової структури з нескінченною післядією, що використовує метод динамічного програмування Беллмана. Наведено функціональне рівняння Беллмана, на основі якого для лінійних систем можна побудувати оптимальне керування та отри...
Збережено в:
| Опубліковано в: : | Проблемы управления и информатики |
|---|---|
| Дата: | 2009 |
| Автор: | |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2009
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/209481 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров / В.И. Мусуривский // Проблемы управления и информатики. — 2009. — № 2. — С. 30-37. — Бібліогр.: 14 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860201968125870080 |
|---|---|
| author | Мусуривский, В.И. |
| author_facet | Мусуривский, В.И. |
| citation_txt | Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров / В.И. Мусуривский // Проблемы управления и информатики. — 2009. — № 2. — С. 30-37. — Бібліогр.: 14 назв. — рос. |
| collection | DSpace DC |
| container_title | Проблемы управления и информатики |
| description | Обґрунтовано загальний підхід до розв’язання задачі керування системами випадкової структури з нескінченною післядією, що використовує метод динамічного програмування Беллмана. Наведено функціональне рівняння Беллмана, на основі якого для лінійних систем можна побудувати оптимальне керування та отримати мінімальне значення критерію якості.
A general approach to solving control problem of systems of random structure with infinite aftereffect is substantiated. This approach is based on the Bellman method of dynamic programming. The Bellman functional equation is adduced, on its basis for linear systems one can synthesize optimal control and obtain the minimal value of performance criterion.
|
| first_indexed | 2025-12-07T18:10:45Z |
| format | Article |
| fulltext |
© В.И. МУСУРИВСКИЙ, 2009
30 ISSN 0572-2691
ОПТИМАЛЬНОЕ УПРАВЛЕНИЕ
И МЕТОДЫ ОПТИМИЗАЦИИ
УДК 517.929:519.217:519.837
В.И. Мусуривский
ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ
ЗАДАЧИ УПРАВЛЕНИЯ СИСТЕМАМИ
СЛУЧАЙНОЙ СТРУКТУРЫ С БЕСКОНЕЧНЫМ
ПОСЛЕДЕЙСТВИЕМ ПРИ НАЛИЧИИ
МАРКОВСКИХ ПАРАМЕТРОВ
Введение
Всестороннее изучение устойчивости и оптимальной стабилизации систем
случайной структуры без последействия предметно проведено в монографии [1],
где определено особое значение систем случайной структуры. В монографии
большое внимание уделено обоснованию метода решения задачи оптимальной
стабилизации таких систем, основанному на непосредственной связи между ме-
тодом функционалов Ляпунова–Красовского [1] и методом динамического про-
граммирования Беллмана [1, 2]. Принципиально новым моментом, предложенным
в этой монографии, явилось допущение о разрывах фазовых траекторий динами-
ческих систем в случайные моменты времени, в результате которых происходят
внутренние изменения структуры системы.
Вопросы устойчивости и оптимальной стабилизации систем случайной
структуры с конечным последействием изучены в работах [3 , 4], где доказаны
основные теоремы устойчивости и оптимальной стабилизации импульсных дина-
мических систем случайной структуры с конечным последействием.
Классическое начало изучению оптимального управления стохастическими
системами положено в монографии [5]. В фундаментальных работах [5–7] полу-
чены основные результаты и приведены основы использования марковских про-
цессов в теории исследования и оптимального управления динамических систем.
Оптимальному управлению динамическими системами с конечным после-
действием посвящена монография [8], где значительное место отведено изучению
оптимального управления стохастическими системами с последействиеми и полу-
чены необходимые условия существования и единственности решения задачи оп-
тимального управления стохастическими системами с конечным последействием.
Достаточные условия оптимальности задачи управления динамическими си-
стемами случайной структуры с конечным последействием получены в работе [9].
В настоящей работе обоснован общий подход к решению задачи управления
динамическими системами случайной структуры с бесконечным последействием
и марковскими параметрами, который использует метод динамического програм-
мирования Беллмана.
1. Постановка задачи
Пусть на вероятностном базисе })0,{,,,( tFFF tFP задана система
дифференциально-функциональных уравнений (ДФУ) с бесконечным последей-
ствием
dtutxtatdx t )),(,,()( (1)
Проблемы управления и информатики, 2009, № 2 31
с начальными условиями
YH ytx )(, 000 (2)
где ],,0[ Tt ,ru R ,),( ntx R ,}0),({ H txxt H — про-
странство кусочно-непрерывных функций ,)( ,0 с нормой
2/12
0
)}({sup
E [8]; функционал ,],0[:),,( nUTuta RH ,rU R
ru R — управление ,),( txtuu который является функционалом по 2-му
аргументу, измеримым относительно борелевской -алгебры в пространстве
.],0[ H TΗ
Здесь случайное изменение структуры динамической системы (1) происходит
вследствие введения в функционал )),(,,( utta скалярного чисто разрывного
марковского процесса [1, 10] ,)( lt R который допускает разложение
),(),,(},)(),()({ tοttpttt P (3)
),(),(1})(,)({ tοttptttt P ],,[, 21 Y (4)
где )( BAP — условная вероятность события A при выполнении события B,
)( tο — бесконечно малая величина относительно ,t функции ),,( tp и
),( tp заданы.
Наряду с (3), (4) рассмотрим простую марковскую цепь )(t с конечным
числом состояний },,,{ 21 kyyy Y и известными параметрами
,:}{
ij
ijiij qqq при этом
),()(})()({ tοttqyytytt ijjij P .,1, kji (5)
Замечание 1. Выражение «система случайной структуры … при наличии
марковских параметров» в дальнейшем будем трактовать как «система случайной
структуры».
При исследовании тривиального решения ДФУ (1), (2) ,0)( tx т.е. правая
часть (1) удовлетворяет условию
0),,0,( uyta ,0t .Yy (6)
Если a удовлетворяет условию Липшица по 2-му аргументу равномерно по всем
другим аргументам ,, H ,0t ,Yy ,ru R т.е.
,),,,(),,,( uytauyta (7)
то это решение
ntx R)( задачи (1), (2) существует ,0t ,H ru R и
при заданных реализациях марковской цепи .)( Y t
Будем считать, что все реализации процесса ),()( txtx непрерывны справа
и являются стохастически непрерывными [6, 11].
32 ISSN 0572-2691
Введем следующие обозначения [8]. Пусть )( — некоторая функция на
полуотрезке ],( T такая, что ,)()( H t ,0 при любом фик-
сированном ].,0[ Tt
Рассмотрим функционал 1:),( R ΗtV [8] в виде
,0)),(),0(,(),( tVtV
и обозначим
)),(,,(),(),( txtVtVxtV (8)
где ),()0( tx .0
Обозначим D — класс функционалов ),,( xtV для которых соответствующая
(8) функция ).],0([),( 2,1 nTxtV R C
Инфинитезимальным оператором VL в точке ),,( yxs назовем выражение
.
),,())}(,,({
lim),,(
0 st
yxtVtxtV
yxsV st
st
E
L (9)
Тогда на функционалах DV c учетом системы ДФУ (1), (2) можно вычис-
лить инфинитезимальный оператор [1, 8, 12]
),,(
),(
),(),,( uta
x
xtV
xtV
t
ytVL
,),,(),(),,( ijiijj
k
ij
qyxsVdzxzspyzsV
(10)
где
nx
V
x
V
x
V
,...,
1
— вектор-строка размерности n.
Если в момент изменения структуры ji yy фазовый вектор
ntx R)( из-
меняется по детерминированному закону [1]
,)),(()( jitxtx ij
(11)
где ))(( txij — n-измеримая функция, причем ,0)0( ij то VL исчисляется по
формуле
.)),,()),(,((),,( iji
k
ij
jij qyxtVyxtVa
x
V
t
V
ytV
L (12)
Заметим, что в случае, который наступает в момент изменения структуры
,ji yy фазовый вектор изменяется непрерывно .)()( ** xtxtx Тогда фор-
мула (12) упрощается:
.)),,(),,((),,( iji
k
ij
j qyxtVyxtVa
x
V
t
V
ytV
L (13)
Проблемы управления и информатики, 2009, № 2 33
2. Достаточные условия оптимального
управления системами случайной структуры
Основываясь на теореме 1 из работы [12], можно доказать следующее утвер-
ждение [13, 14].
Лемма 1. Пусть:
1) ;),( DtV
2) ),,( ysV L — инфинитезимальный оператор, в силу системы ДФУ (1),
(2) определенный при ],[ Tts с начальным условием .)(, ytxt
Тогда для ],[, 21 Tttt выполняется равенство
)},,({)},,({
12 1,,2,, jtytjtyt yxtVyxtV EE
.)},,({
2
1
,, dsyxsV
t
t
syt LE (14)
Замечание 2. Здесь }{,, ytE — условное математическое ожидание, вычис-
ленное с учетом того, что реализация процесса )(sx при ts фиксирована и сов-
падает с функцией ,H т.е. tx [8].
Доказательство. При условии (7) для (1), (2) существует решение задачи
Коши ntx R)( с точностью до стохастической эквивалентности (см. теорему 1
из [12]). Тогда для марковского процесса
),],0,([),,,,(),,,( 1212
n
t yuttxyutx R C ,0 ,0 21 tt
относительно минимальной -алгебры 2
1
t
t
F такой, что существуют приращения
)()( 12 tWtW и ),(
~
),(
~
12 AtVAtV ],,[, 21 Tttt ,nA R справедлива формула
Дынкина [10, теорема 1]:
)}),,,,(),(({ 1)(221,, 2211
yyutxttV ttytE
,)),,,(,(),,0( 11
)(
0
,, 1
22
1
dsyytxstVyV st
t
yt LE
где )( 22 t — первый момент выхода из }.{ rSr D Если ,)(lim 222 tt
r
то для так называемого регулярного решения задачи (1), (2) получаем
)}),,,,(,({ 121,, 211
yyutxttV ttytE
.)),,,(,(),,0( 11
0
,, 1
2
1
dsyytxstVyV st
t
yt LE
Записав формулу Дынкина на отрезке ],0[ 1t и вычтя ее из формулы Дынкина
на отрезке ],,0[ 2t приходим к равенству (14).
Лемма 1 доказана.
Задача оптимального управления заключается в том, что из множества допу-
стимых управлений U надо выбрать управление ,0u которое минимизирует
функционал
34 ISSN 0572-2691
,)),(,,,()(min),,(min)( ,,
0
T
t
u
s
u
s
u
Tyt
u
u
u
dsxsuyxsGxytIu FI E
UU
(15)
,0)( F ,0),,,( uytG (16)
где )(txu — решение задачи (1), (2) на управлении u.
Из леммы 1 следует такое утверждение.
Лемма 2. Пусть:
1) ;),( DtV
2) ],,0[ Tt Yy выполняется равенство
,0),,(),,( ytGytVL (17)
с краевым условием
,0),,( yTV (18)
),,( ytV L — инфинитезимальный оператор в силу системы ДФУ (1), (2).
Тогда функционал ),,( ytV можно выбрать в виде
,),,(),,( ,,
dsyxsGytV s
T
t
ytE (19)
где )(sx — решение задачи (1), (2) при ],[ Tts с начальным условием ,tx
.)( yt
Доказательство. Зафиксируем решение nsx R)( задачи (1), (2) для t0
Ts так, чтобы .Dtx
Проинтегрировав уравнение (17) от t до T по переменной s и вычислив
},{,, ytE получаем
.0),,(),,( ,,,,
yxtGdsyxsV s
T
t
yts
T
t
yt EE L
Согласно лемме 1, существует первое слагаемое, равное левой части ра-
венства (14):
)},,({}),,({),,( ,,,,,, yxtVyxTVdsyxsV tytTyts
T
t
yt EEE L
),,,()},,({,, ytVytVyt E
где 0),,( yxTV T Yy при условии (18).
Значит,
.),,(),,(,, ytVdsyxsV s
T
t
yt
LE
На основании этого равенства получаем (19).
Лемма 2 доказана.
Проблемы управления и информатики, 2009, № 2 35
Эта лемма позволяет определить функционал Беллмана ),,,( ytV который
назовем стоимостью управления.
Теорема (о достаточных условиях оптимальности). Пусть:
1) существует функционал ;),( DtV
2) управление U0u и при всех ],0[ Tt и Uu удовлетворяет условиям
,0),,,(),,(),,( uytGytVut tttL (20)
,0)),(,,,(),,()),(,,( 00 ttttt tuytGytVtutL (21)
),(),,( tt yTV F (22)
где L — инфинитезимальный оператор в силу (1), t — функция на ],( T та-
кая, что .H t
Тогда управление ),(0 tu оптимально для критерия качества ),,,0( 0 yI u
причем
),,(),,(inf),,(
0
ytVytIytI u
u
u
U
],,0[ Tt ,H .Yy (23)
Замечание 3. Функционал ),,( ytV называется стоимостью управления, или
функционалом Беллмана. Условие (21) записывают в виде уравнения Беллмана
.0))],(,,,(),,()),(,,([inf
ttttt
u
tuytGytVtutL
U
(24)
Доказательство. Следует заметить, что оптимальное управление U0u — одно-
временно и допустимое управление. Тогда существует траектория ),,,,( 0 yustx —
решение задачи (1), (2) с начальным условием ,Htx Yy как функции от
s на отрезке ],[ Tts под действием управления .
0u
Подставив ),,,,( 0 yustx в (24), получаем
,0)),,,(,(),),(,()),,,,(,( 00000 uyutxtGyutxtVuyutxt sssL (25)
где ,),,,,(),,( 00 yustxyutx ss ;0 управление 0u следует взять в
точке ).),(,( 0utxs s
Проинтегрировав равенство (25) по переменной ],[ Tts и вычислив },{,, ytE
получаем равенство
T
t
sytTu
dsyutxsVutxytV )),,(,()),((),,( 0
,,
0
0 LEF ,Yy (26)
в котором учтено предельное условие (22).
Пусть ),( tuu — произвольное управление из класса ,U которое не равно
оптимальному управлению ).,(0 tu Тогда при условии (20)
,0),),,,(,()),,(,()),,,(,( uyyutxtGyutxtVuyutxs sssL (27)
где )).,,(,( yutxsuu s
Далее, интегрируя (27) по переменной ],[ Tts и вычисляя }{,, ytE по
лемме 1, с учетом (18) получаем неравенство
36 ISSN 0572-2691
,),()),,,(,()),((),( ,,0
tVdsuyutxsGutxtV u
T
t
sTytu
FE (28)
что и доказывает существование оптимального управления U0u задачи (1), (2), (15).
Теорема доказана.
Полученная теорема дает достаточные условия оптимальности.
На основе этой теоремы и уравнения Беллмана для линейных систем с квадра-
тичным функционалом можно в явном виде построить оптимальное управление [8].
В.І. Мусурівський
ДОСТАТНІ УМОВИ ОПТИМАЛЬНОСТІ ЗАДАЧІ
КЕРУВАННЯ СИСТЕМАМИ ВИПАДКОВОЇ
СТРУКТУРИ З НЕСКІНЧЕННОЮ ПІСЛЯДІЄЮ
ЗА НАЯВНОСТІ МАРКОВСЬКИХ ПАРАМЕТРІВ
Обґрунтовано загальний підхід до розв’язання задачі керування системами ви-
падкової структури з нескінченною післядією, що використовує метод динаміч-
ного програмування Беллмана. Наведено функціональне рівняння Беллмана, на
основі якого для лінійних систем можна побудувати оптимальне керування
та отримати мінімальне значення критерію якості.
V.I. Musurivskiy
SUFFICIENT CONDITIONS OF OPTIMALITY
FOR CONTROL PROBLEM OF SYSTEMS
OF RANDOM STRUCTURE WITH INFINITE
AFTEREFFECT IN THE PRESENCE
OF MARKOVIAN PARAMETERS
A general approach to solving control problem of systems of random structure with
infinite aftereffect is substantiated. This approach is based on the Bellman method of
dynamic programming. The Bellman functional equation is adduced, on its basis for
linear systems one can synthesize optimal control and obtain the minimal value of
performance criterion.
1. Кац И.Я. Метод функций Ляпунова в задачах устойчивости и стабилизации систем случай-
ной структуры. — Екатеринбург : Изд-во Уральской государственной академии путей со-
общения, 1998. — 222 с.
2. Беллман Р. Динамическое программирование. — М. : Иностранная литератрура, 1960. —
324 с.
3. Королюк В.С., Мусуривский В.И., Ясинский В.К. Стабилизация импульсных динамических
систем с конечным последействием при наличии марковских параметров. Часть 1 // Проб-
лемы управления и информатики. — 2008. — № 1. — С. 16–35.
4. Королюк В.С., Мусуривский В.И., Ясинский В.К. Стабилизация импульсных динамических
систем с конечным последействием при наличии марковских параметров. Часть 2 // Там
же. — 2008. — № 3. — С. 5–20.
5. Гихман И.И., Скороход А.В. Управляемые случайные процессы. — Киев : Наук. думка,
1977. — 251 с.
6. Гихман И.И., Скороход А.В. Стохастические дифференциальные уравнения и их приложе-
ния. — Киев : Наук. думка, 1982. — 612 с.
7. Скороход А.В. Асимптотические методы теории стохастических дифференциальных урав-
нений. — Киев : Наук. думка, 1987. — 328 с.
8. Андреева Е.А., Колмановский В.Б., Шайхет Л.Е. Управление системами с последействи-
ем. — М. : Наука, 1992. — 336 с.
Проблемы управления и информатики, 2009, № 2 37
9. Ясинський В.К., Ясинська Л.І., Мусурівський В.І. Достатні умови оптимальності задачі ке-
рування динамічними системами із скінченною післядією // Крайові задачі диференціаль-
них рівнянь. — Чернівці : ЧНУ, 2008. — 16. — С. 324–330.
10. Дынкин Е.Б. Марковские процессы. — М. : Наука, 1969. — 859 с.
11. Биллингсли П. Сходимость вероятностных мер. — М. : Наука, 1977. — 352 с.
12. Царьков Е.Ф., Ясинский В.К. Квазилинейные стохастические функционально-дифференци-
альные уравнения. — Рига : Ориентир, 1992. — 328 с.
13. Вернигора І.В., Ясинська Л.І., Ясинський В.К. Властивості розв’язків динамічних систем ви-
падкової структури // Наук. вісник Чернівецького нац. ун-ту. Сер. Математика. — 2005. —
Вип. 239. — С. 19–24.
14. Черноусько Ф.Л., Колмановский В.Б. Оптимальное управление при случайных возмущени-
ях. — М. : Наука, 1978. — 486 с.
Получено 18.12.2008
|
| id | nasplib_isofts_kiev_ua-123456789-209481 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Russian |
| last_indexed | 2025-12-07T18:10:45Z |
| publishDate | 2009 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Мусуривский, В.И. 2025-11-22T18:30:27Z 2009 Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров / В.И. Мусуривский // Проблемы управления и информатики. — 2009. — № 2. — С. 30-37. — Бібліогр.: 14 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/209481 517.929:519.217:519.837 10.1615/JAutomatInfScien.v41.i4.40 Обґрунтовано загальний підхід до розв’язання задачі керування системами випадкової структури з нескінченною післядією, що використовує метод динамічного програмування Беллмана. Наведено функціональне рівняння Беллмана, на основі якого для лінійних систем можна побудувати оптимальне керування та отримати мінімальне значення критерію якості. A general approach to solving control problem of systems of random structure with infinite aftereffect is substantiated. This approach is based on the Bellman method of dynamic programming. The Bellman functional equation is adduced, on its basis for linear systems one can synthesize optimal control and obtain the minimal value of performance criterion. ru Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Оптимальное управление и методы оптимизации Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров Достатні умови оптимальності задачі керування системами випадкової структури з нескінченною післядією за наявності марковських параметрів Sufficient conditions of optimality for control problem of systems of random structure with infinite aftereffect in the presence of Markovian parameters Article published earlier |
| spellingShingle | Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров Мусуривский, В.И. Оптимальное управление и методы оптимизации |
| title | Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров |
| title_alt | Достатні умови оптимальності задачі керування системами випадкової структури з нескінченною післядією за наявності марковських параметрів Sufficient conditions of optimality for control problem of systems of random structure with infinite aftereffect in the presence of Markovian parameters |
| title_full | Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров |
| title_fullStr | Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров |
| title_full_unstemmed | Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров |
| title_short | Достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров |
| title_sort | достаточные условия оптимальности задачи управления системами случайной структуры с бесконечным последействием при наличии марковских параметров |
| topic | Оптимальное управление и методы оптимизации |
| topic_facet | Оптимальное управление и методы оптимизации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/209481 |
| work_keys_str_mv | AT musurivskiivi dostatočnyeusloviâoptimalʹnostizadačiupravleniâsistemamislučainoistrukturysbeskonečnymposledeistviemprinaličiimarkovskihparametrov AT musurivskiivi dostatníumovioptimalʹnostízadačíkeruvannâsistemamivipadkovoístrukturizneskínčennoûpíslâdíêûzanaâvnostímarkovsʹkihparametrív AT musurivskiivi sufficientconditionsofoptimalityforcontrolproblemofsystemsofrandomstructurewithinfiniteaftereffectinthepresenceofmarkovianparameters |