Оптимальный конечномерный регулятор состояния стохастического дифференциального объекта по его выходу. II. Стохастические измерения и теорема разделения

Введение. Приведем постановку общей задачи и основные результаты ее решения [1].

0.1. Постановка задачи при неполных измерениях. Если часть $Y_t\in {ℝ}^m$ случайного вектора состояния $(X_t\mathrm{,}{Y}_t)$ динамического объекта управления измеряется точно, то он описывается системой из двух стохастических дифференциальных уравнений Ито (двойная марковская модель управляемой системы):

$\begin{array}{c}d{X}_t\mathrm{<mo>=</mo>}a(t\mathrm{,}{X}_t\mathrm{,}{Y}_t\mathrm{,}{U}_t)dt+B(t\mathrm{,}{X}_t\mathrm{,}{Y}_t\mathrm{,}{U}_t)d{W}_t,\\ d{Y}_t\mathrm{<mo>=</mo>}c(t\mathrm{,}{X}_t\mathrm{,}{Y}_t\mathrm{,}{U}_t)dt+D(t\mathrm{,}{X}_t\mathrm{,}{Y}_t\mathrm{,}{U}_t)d{W}_t\mathrm{,}\end{array}\begin{array}{c}{X}_0\sim {\rho }_0(x|y),\\ Y_0\sim q_0(y).\end{array}$ (0.1)

Здесь $t\in [\mathrm{0,}T]$ — время работы объекта, $X_t\in {ℝ}^n$ — неизмеряемая часть вектора состояния объекта, $U_t\in \Omega \subset {ℝ}^l$ — вектор управления, $W_t\in {ℝ}^k$ — вектор стандартного винеровского процесса, закон распределения неизмеряемого вектора $X_0$ определяется условной плотностью вероятности ${\rho }_0(x|y)$, в то время как плотность вероятности $q_0(y)$ измеряемого вектора $Y_0$ может быть произвольной.

Требуется найти дифференциальное уравнение состояния динамического регулятора

$d{Z}_t\mathrm{<mo>=</mo>}f(t\mathrm{,}{Y}_t\mathrm{,}{Z}_t)dt+G(t\mathrm{,}{Y}_t\mathrm{,}{Z}_t)d{Y}_t\mathrm{,}{Z}_0=h(Y_0)\mathrm{,}$ (0.2)

с вектором состояния $Z_t\in {ℝ}^p$ размерности $p=\mathrm{1,2,}\dots$, выбираемой из условия компромисса между достижением приличного качества управления и обеспечением желаемого быстродействия этого регулятора на реализующем его вычислителе, и формулу его выхода

$U_t\mathrm{<mo>=</mo>}u(t\mathrm{,}{Y}_t\mathrm{,}{Z}_t)$. (0.3)

При этом неизвестные структурные функции регулятора — смещения $f(t,y,z)\in {ℝ}^p$, усиления $G(t,y,z)\in {ℝ}^{p\times m}$, начального состояния $h(y)\in {ℝ}^p$ и выхода $u(t,y,z)\in \Omega \subset {ℝ}^l$ — определяются из условия минимума функционала качества всей замкнутой системы управления:

$I[u(\cdot ),f(\cdot ),G(\cdot ),h(\cdot )]\mathrm{<mo>=</mo>}\text{M}\left[{\displaystyle \underset{0}{\overset{T}{\int }}\mu (t\mathrm{,}{X}_t\mathrm{,}{Y}_t\mathrm{,}{U}_t\mathrm{,}{Z}_t)dt}+\nu (X_T\mathrm{,}{Y}_T\mathrm{,}{Z}_T)\right]\to \min \forall q_0(y)$. (0.4)

Здесь $\text{M}$ — оператор математического ожидания, конечный момент времени $T$ является фиксированным, а функции потерь $\mu (t\mathrm{,}x\mathrm{,}y\mathrm{,}u\mathrm{,}z),\nu (x\mathrm{,}y\mathrm{,}z)$ — неотрицательными $\mu (\cdot )\ge \mathrm{0,}\nu (\cdot )\ge 0$. Такая зависимость последних от переменной z позволяет накладывать ограничения и на желаемую эффективность регулятора.

Задача построения такого же конечномерного регулятора, но для зависящего от времени оперативного критерия качества рассмотрена в [2].

0.2. Сведение задачи к детерминированной. Подстановка формулы выхода регулятора (0.3) в функционал (0.4) позволяет записать последний через совместную плотность вероятности $r\mathrm{<mo\; stretchy="false">(</mo>}t\mathrm{,}x\mathrm{,}y\mathrm{,}z\mathrm{<mo\; stretchy="false">)</mo>}$ всех элементов случайного вектора состояния ${\Xi }_t={(X_t^{\text{T}}\mathrm{,}{Y}_t^{\text{T}}\mathrm{,}{Z}_t^{\text{T}})}^{\text{T}}$ замкнутой системы управления (0.1)—(0.3):

$I\mathrm{<mo>=</mo>}{\displaystyle \underset{0}{\overset{T}{\int }}⟨{\mu }^u(t\mathrm{,}x\mathrm{,}y\mathrm{,}z)\mathrm{,}r(t\mathrm{,}x\mathrm{,}y\mathrm{,}z)⟩dt}+⟨\nu (T,x\mathrm{,}y\mathrm{,}z),r(T,x\mathrm{,}y\mathrm{,}z)⟩\to \min \forall q_0(y)$. (0.5)

Здесь и далее верхним индексом $u$ отмечены сложные функции, содержащие функцию выхода регулятора $u(\cdot )$, например ${\mu }^u\mathrm{<mo\; stretchy="false">(</mo>}t\mathrm{,}x,y\mathrm{,}z\mathrm{<mo\; stretchy="false">)</mo>}=\mu \left(t,x,y,u\mathrm{<mo\; stretchy="false">(</mo>}t\mathrm{,}y\mathrm{,}z\mathrm{<mo\; stretchy="false">)</mo>,}z\right)$, угловыми скобками обозначен интеграл усреднения функции с весом в виде совместной плотности $r(t,\cdot )$:

$⟨\eta \mathrm{,}r⟩={\rm M}[\eta (t\mathrm{,}{X}_t\mathrm{,}{Y}_t,Z_t)]={\displaystyle \iiint \eta (t\mathrm{,}x\mathrm{,}y\mathrm{,}z)r(t\mathrm{,}x\mathrm{,}y\mathrm{,}z)dxdydz}$,

а интегралы по переменным $x\mathrm{,}y\mathrm{,}z$ берутся по всему евклидову пространству соответствующей размерности, в частности

${\displaystyle \int \alpha (x)dx}\triangleq {\displaystyle \underset{{ℝ}^n}{\int }\alpha (x)dx}$.

Совместная плотность вероятности $r\mathrm{<mo\; stretchy="false">(</mo>}\cdot \mathrm{<mo\; stretchy="false">)</mo>}$ при определенных условиях гладкости функций дифференциальных уравнений объекта-измерителя (0.1) и регулятора (0.2) является решением уравнения Фоккера—Планка—Колмогорова (ФПК):

$\frac{\partial r(t,x,y,z)}{\partial t}\mathrm{<mo>=</mo>}{K}_{xyz}^{ufG}[r(t,x,y,z)],t\in [\mathrm{0,}T].$ (0.6)

Здесь $K_{xyz}^{ufG}$ — прямой производящий оператор диффузионного марковского процесса ${\Xi }_t$:

$\begin{array}{c}{K}_{xyz}^{ufG}=-{\nabla }_x^{\text{T}}{a}^u-{\nabla }_y^{\text{T}}{c}^u-{\nabla }_z^{\text{T}}(f+G{c}^u)+0.5\text{tr}[{\nabla }_x{\nabla }_x^{\text{T}}{Q}^u]+\text{tr}[{\nabla }_x{\nabla }_y^{\text{T}}{S}^{u\text{T}}+0.5{\nabla }_y{\nabla }_y^{\text{T}}{R}^u]+\\ +\text{tr}[{\nabla }_x{\nabla }_z^{\text{T}}G{S}^{u\text{T}}+{\nabla }_y{\nabla }_z^{\text{T}}G{R}^u+0.5{\nabla }_z{\nabla }_z^{\text{T}}G{R}^u{G}^{\text{T}}],\end{array}$

где $Q^u,R^u,S^u$ — коэффициенты диффузии исходного процесса ${(X_t^{\text{T}}\mathrm{,}{Y}_t^{\text{T}})}^{\text{T}}$:

$Q^u=B^u{B}^u{}^{\text{T}},R^u=D^u{D}^u{}^{\text{T}},S^u=B^u{D}^u{}^{\text{T}}$.

Начальным для уравнения (0.6) является условие

$r(\mathrm{0,}x\mathrm{,}y\mathrm{,}z)\mathrm{<mo>=</mo>}{\rho }_0(x|y)q_0(y)\delta [z-h(y)]\mathrm{,}$ (0.7)

где $\delta (\cdot )$ — функция Дирака.

При недифференцируемости коэффициентов уравнения (0.6) по переменным $x,y,z$ его решение будем понимать в обобщенном смысле как удовлетворяющее справедливому для любой пробной функции $\eta (t,x,y,z)\in {ℂ}^{\mathrm{1,2,2,2}}$ интегродифференциальному тождеству

$\frac{d}{dt}⟨\eta ,r⟩=⟨\frac{\partial \eta }{\partial t}+K_{xyz}^{*ufG}\left[\eta \right],r⟩\forall \eta (\cdot )$ (0.8)

с начальным условием

$⟨\eta ,r⟩\left|{}_{t=0}\right.\mathrm{<mo>=</mo>}{\displaystyle \iint \eta [\mathrm{0,}x\mathrm{,}y\mathrm{,}h(y)]{\rho }_0(x|y)q_0(y)dxdy}$ (0.9)

и с сопряженным к оператору $K_{xyz}^{ufG}$ обратным производящим оператором процесса ${\Xi }_t$:

$\begin{array}{c}{K}_{xyz}^{*ufG}\left[\eta \right]=a^u{}^{\text{T}}{\eta }_x+c^u{}^{\text{T}}{\eta }_y+{\left(f+G{c}^u\right)}^T{\eta }_z+0.5\text{tr[}{Q}^u{\eta }_{xx}\text{]}+\text{tr[}{S}^u{}^{\text{T}}{\eta }_{xy}+0.5R^u{\eta }_{yy}\text{]+}\\ +\text{tr[}G{S}^u{}^{\text{T}}{\eta }_{xz}+G{R}^u{\eta }_{yz}+0.5G{R}^u{G}^{\text{T}}{\eta }_{zz}].\end{array}$ (0.10)

Здесь нижними индексами обозначены столбцы первых и матрицы вторых частных производных скалярной функции $\eta (\cdot )$ соответственно.

Однако неопределенность в начальных условиях (0.7) или (0.9) функций $q_0(y)$, $h\mathrm{<mo\; stretchy="false">(</mo>}y\mathrm{<mo\; stretchy="false">)</mo>}$ не позволяет пользоваться уравнениями (0.6) или (0.8). В этих условиях совместную плотность $r\mathrm{<mo\; stretchy="false">(</mo>}\cdot \mathrm{<mo\; stretchy="false">)</mo>}$ удается заменить [3] на соответствующую ей условную плотность вероятности (УПВ) случайной величины $X_t$:

$\rho (t,x|y,z)=r(t,x,y,z)/{\displaystyle \int r(t,x,y,z)dx}.$

Далее операцию условного усреднения функции только по переменной х с весом $\rho (\cdot )$ будем обозначать чертой сверху:

$\overline{\eta }(t,y,z)={\displaystyle \int \eta (t,x,y,z)\rho (t,x|y,z)dx}$. (0.11)

В [3] показано, что УПВ в общем случае полностью определяется своим известным начальным значением $\rho (\mathrm{0,}x|y,z)={\rho }_0(x|y)$ и нелинейным интегродифференциальным тождеством:

$\frac{\partial }{\partial t}{\displaystyle \int \eta \rho dx}={\displaystyle \int \left(\frac{\partial \eta }{\partial t}+K_{xyz}^{*ufG}[\eta ]\right)\rho dx}-L_{yz}^{*ufG}\left[{\displaystyle \int \eta \rho dx}\right]\forall \eta (t,x,y,z)\in {ℂ}^{\mathrm{1,2,2,2}}$, (0.12)

в котором новый оператор $L_{yz}^{*ufG}$ имеет вид

$L_{yz}^{*ufG}[\xi ]={\xi }_y^{{\rm T}}{\overline{c}}^u+{\xi }_z^{{\rm T}}(f+G{\overline{c}}^u)+0.5\text{tr}\left[{\overline{R}}^u{\xi }_{yy}\right]+\text{tr}\left[G{\overline{R}}^u{\xi }_{yz}+0.5G{\overline{R}}^u{G}^{{\rm T}}{\xi }_{zz}\right],$ (0.13)

а его коэффициенты ${\overline{c}}^u(\cdot )$, ${\overline{R}}^u(\cdot )$ зависят от плотности $\rho (\cdot )$ как функции условного среднего (0.11).

Если функции $a(\cdot )$, $B(\cdot )$ из (0.1) непрерывно дифференцируемы по $x$ один и два раза соответственно, то из (0.12) следует, что плотность $\rho (\cdot )$ удовлетворяет интегродифференциальному уравнению в частных производных:

$\frac{\partial \rho }{\partial t}=K_x^u\left[\rho \right]-L_{yz}^{*ufG}[\rho ],K_x^u\left[\rho \right]=-{\nabla }_x^{{\rm T}}(a^u\rho )+0.5\text{tr}\left[{\nabla }_x{\nabla }_x^{{\rm T}}(Q^u\rho )\right]$. (0.14)

В результате исходная стохастическая задача (0.1)—(0.4) сведена к задаче управления детерминированным объектом (0.14) с распределенными параметрами в виде функций его состояния $\rho (\cdot )$ и управления $f(\cdot ),G(\cdot ),h(\cdot ),u(\cdot )$, оптимизируемых по критерию (0.5).

0.3. Достаточные условия оптимальности структуры регулятора. Пусть $\phi (t,x,y,z)\in {ℂ}^{\mathrm{1,2,2,2}}$ — функция Лагранжа—Кротова, тогда как $H_{yz}^{ufG}$ — “стохастический” гамильтониан

$H_{yz}^{ufG}[\phi ,\rho ]={\displaystyle \int \left(K_{xyz}^{*ufG}[\phi ]-{\mu }^u\right)\rho dx}$, (0.15)

который является линейным относительно функций $\phi (\cdot ),\rho (\cdot )$ функционалом с шестью параметрами $t,y,z,u,f,G$. Тогда справедливо следующее утверждение.

Теорема 1 [1]. Достаточным условием оптимальности в смысле (0.4) всех структурных функций $f(\cdot ),G(\cdot ),h(\cdot ),u(\cdot )$ регулятора (0.2), (0.3) является наличие такой дифференцируемой функции $\phi (t,x,y,z)$, что экстремумы

$\alpha (y,z)=\underset{\rho (\cdot )}{\min }{\displaystyle \int (\phi +\nu )\rho }dx{|}_{t=T}=0\forall y,z,$  (0.16)

$\beta (y)=\underset{h}{\max }{\displaystyle \int \phi (\mathrm{0,}x,y,h){\rho }_0(x|y)dx}\forall y,$ (0.17)

$\gamma (t,y,z)=\underset{\rho (\cdot )}{\max }\left\{{\displaystyle \int \frac{\partial \phi }{\partial t}\rho dx}+\underset{u,f,G}{\max }{H}_{yz}^{ufG}[\phi ,\rho ]\right\}=0\forall t\in (\mathrm{0,}T),y,z$ (0.18)

существуют и достигаются на множестве допустимых функций $D_{\rho }=\{u(\cdot ),f(\cdot ),G(\cdot ),h(\cdot ),\rho (\cdot )\}$, связанных тождеством для УПВ (0.12) или ее уравнением (0.14). При этом минимальное значение критерия (0.4) находится по функции (0.17) и плотности $q_0(y)$ начального измерения $Y_0$:

$\underset{D_{\rho }}{\min }I=-{\displaystyle \int \beta (y)q_0(y)dy}$.

Из соотношения (0.18) следует, что оптимальные функции $f^o(\cdot )$, $G^o(\cdot )$ уравнения состояния регулятора и оптимальная функция его выхода $u^o\mathrm{<mo\; stretchy="false">(</mo>}\cdot \mathrm{<mo\; stretchy="false">)</mo>}$ находятся в результате максимизации гамильтониана (0.15) по трем его параметрам $u,f,G$ из шести:

$\left\{u^o(t,y,z),f^o(t,y,z),G^o(t,y,z)\right\}=\underset{u\in \Omega \subset {ℝ}^l,f\in {ℝ}^p,G\in {ℝ}^{p\times m}}{\arg \max }{H}_{yz}^{ufG}[\phi ,\rho ]\forall t,y,z$. (0.19)

Функцию же начального состояния $h\mathrm{<mo\; stretchy="false">(</mo>}y\mathrm{<mo\; stretchy="false">)</mo>}$ регулятора получим из (0.17) подобной максимизацией условного среднего начального значения функции $\phi (\cdot )$:

$h^o(y)=\underset{h\in {ℝ}^p}{arg\max }{\displaystyle \int \phi (\mathrm{0,}x,y,h){\rho }_0(x|y)dx}\forall y$. (0.20)

0.4.Соотношения для экстремалей. Используя в (0.16), (0.18) необходимое условие экстремума оптимизируемых там функционалов, получим для рассматриваемой задачи управления детерминированным объектом с распределенными параметрами следующий аналог принципа максимума Понтрягина. Для наиболее простого случая дифференцируемости функций имеем следующий результат.

Теорема 2 [1].Экстремали уравнений регулятора $\tilde{u}(\cdot ),\tilde{f}(\cdot ),\tilde{G}(\cdot )$, порождаемая ими плотность вероятности $\tilde{\rho }(\cdot )$ и соответствующая им сопряженная функция $\tilde{\phi }(\cdot )$ удовлетворяют следующей системе уравнений:

$\frac{\partial \tilde{\rho }(t,x|y,z)}{\partial t}=K_x^{\tilde{u}}\left[\tilde{\rho }\right]-L_{yz}^{*\tilde{u}\tilde{f}\tilde{G}}[\tilde{\rho }],\tilde{\rho }{|}_{t=0}={\rho }_0(x|y)$,

$-\frac{\partial \tilde{\phi }(t,x,y,z)}{\partial t}=K_{xyz}^{*\tilde{u}\tilde{f}\tilde{G}}\left[\tilde{\phi }\right]-{\mu }^{\tilde{u}},\tilde{\phi }{|}_{t=T}=-\nu (x\mathrm{,}y\mathrm{,}z)$,

$\left(\tilde{u}(t,y,z),\tilde{f}(t,y,z),\tilde{G}(t,y,z)\right)=\underset{u\in \Omega \subset {ℝ}^l,f\in {ℝ}^p,G\in {ℝ}^{p\times m}}{\arg \max }{H}_{yz}^{ufG}[\tilde{\phi },\tilde{\rho }]\forall t,y,z$.

Эти уравнения образуют на интервале времени $t\in [\mathrm{0,}T]$ двухточечную краевую задачу, решая которую можно найти все пять экстремалей. После этого экстремаль начального условия регулятора $\tilde{h}(y)$ находится из (0.17):

$\tilde{h}(y)=\underset{h\in {ℝ}^p}{arg\max }{\displaystyle \int \tilde{\phi }(\mathrm{0,}x,y,h){\rho }_0(x|y)dx}\forall y$.

0.5. Оптимальная структура динамического регулятора. Решая задачу (0.19) нахождения частного максимума гамильтониана $H$ с помощью известного принципа сечений последовательно, от простого к сложному:

$\underset{u,f,G}{\max }{H}_{yz}^{ufG}[\phi ,\rho ]=\underset{u}{\max }\left[{\left.\underset{G}{\max }\left({\left.\underset{f}{\max }{H}_{yz}^{ufG}[\phi ,\rho ]\right|}_{\forall u,G}\right)\right|}_{\forall u}\right],$ (0.21)

можно найти следующие соотношения для нахождения структурных функций регулятора.

0.5.1. Функция смещения. Вычисляя в (0.21) первый, внутренний, частный максимум функции $H$ по параметру $f$, получим следующий результат.

Теорема 3 [1]. Частный максимум гамильтониана $H$ по линейно входящему в него параметру $f$ существует при условии инвариантности (независимости) $H$ от $f$:

$\overline{{\phi }_z}={\displaystyle \int {\phi }_z(t,x,y,z)}\rho (t,x|y,z)dx=0$,

а соответствующая оптимальная функция смещения регулятора определяется по формуле

$f(t,y,z)=-{\left(\overline{{\phi }_{zz}}\right)}^{-1}{\displaystyle \int \left(\frac{\partial }{\partial t}{\phi }_z+K_{xyz}^{*u0G}[{\phi }_z]\right)\rho dx}.$

Здесь действие оператора $K_{xyz}^{*u0G}$ на вектор-функцию ${\phi }_z$ осуществляется поэлементно:

$K_{xyz}^{*u0G}[{\phi }_z]={\left[K_{xyz}^{*u0G}[{\phi }_{z_i}]\right]}_{i=\overline{\mathrm{1,}p}}$.

0.5.2. Функция усиления. Согласно (0.21), сначала находится зависящая от переменной управления $u$ частично-оптимальная функция усиления

$G^u(t\mathrm{,}y\mathrm{,}z)=G_{\ast }(t\mathrm{,}y\mathrm{,}z;u)=\underset{G\in {ℝ}^{p\times m}}{\arg \max }{H}_{yz}^{u0G}[\phi ,\rho ]\forall t\mathrm{,}y\mathrm{,}z,u$ (0.22)

и соответствующее ей значение второго частного максимума гамильтониана

$H_{yz}^u[\phi ,\rho ]={\left.\underset{G}{\max }{H}_{yz}^{u0G}[\phi ,\rho ]\right|}_{\forall u}$ (0.23)

для его последующей максимизации по переменной $u$.

Теорема 4 [1]. Если шум измерителя не вырожден $R^u(\cdot )>0$, а матрица вторых производных функции Лагранжа—Кротова отрицательно определена ${\phi }_{zz}(\cdot )<0$, то частично-оптимальная функция усиления $G^u(\cdot )$ находится из алгебраического уравнения

${\displaystyle \int {\phi }_{zz}(t,x,y,z)G^u(t\mathrm{,}y\mathrm{,}z)R^u(t,x,y,z)\rho dx}=-{\displaystyle \int {\left[c^u{\phi }_z^{\text{T}}+S^u{}^{\text{T}}{\phi }_{xz}+R^u{\phi }_{yz}\right]}^{\text{T}}\rho dx},$

а гамильтониан (0.23) имеет вид

$H_{yz}^u[\phi ,\rho ]={\displaystyle \int \left(\begin{array}{c}-{\mu }^u+a^u{}^{\text{T}}{\phi }_x+c^u{}^{\text{T}}{\phi }_y+0.5\text{tr[}{Q}^u{\phi }_{xx}\text{]}+\\ +\text{tr[}{S}^u{}^{\text{T}}{\phi }_{xy}+0.5R^u{\phi }_{yy}\text{]}+\text{tr[}{G}^u{\Delta }_{xyz}^u[\phi ]+0.5G^u{R}^u{G}^u{}^{\text{T}}{\phi }_{zz}]\end{array}\right)\rho dx}.$

Здесь уже верхний индекс u у функций просто подчеркивает их зависимость от этой переменной, например $a^u=a\mathrm{<mo\; stretchy="false">(</mo>}t\mathrm{,}x,y\mathrm{,}u\mathrm{<mo\; stretchy="false">)</mo>}$.

0.5.3. Функция выхода. Осталось максимизировать функцию (6.9) по переменной управления.

Теорема 5[1]. Если функция (6.9) выпукла по переменной управления $u$, то оптимальная функция выхода регулятора $u(\cdot )$ определяется как единственное решение задачи параметрического нелинейного программирования:

$u(t,y,z)=\underset{u\in \Omega \subset {ℝ}^l}{\arg \max }{H}_{yz}^u[\phi ,\rho ],\forall t\mathrm{,}y\mathrm{,}z.$

Оптимальная же функция усиления регулятора $G(\cdot )$ находится подстановкой этого результата в частично-оптимальную функцию усиления (0.22):

$G(t,y,z)=G^{u(t,y,z)}(t\mathrm{,}y\mathrm{,}z)=G_{\ast }\left(t\mathrm{,}y\mathrm{,}z;u(t\mathrm{,}y\mathrm{,}z)\right).$

0.5.4. Функция начального состояния. Наконец, из (0.20) легко получим такое утверждение.

Теорема 6[1]. Оптимальная функция $h(y)$ определяется из условий

${\displaystyle \int {\phi }_z(\mathrm{0,}x,y,h){\rho }_0(x|y)dx}=0\forall y,{\displaystyle \int {\phi }_{zz}(\mathrm{0,}x,y,h){\rho }_0(x|y)dx}<0\forall y,h$,

первое из которых есть алгебраическое уравнение относительно переменной $h$, а второе гарантирует наличие соответствующего максимума.

1. Стохастические измерения состояния объекта. Рассмотрим теперь более простую скрытую марковскую модель управляемой системы, когда система уравнений (0.1) распадается на независимое от измерения $Y_t$ уравнение состояния объекта управления

$d{X}_t\mathrm{<mo>=</mo>}a(t\mathrm{,}{X}_t\mathrm{,}{U}_t)dt+B(t\mathrm{,}{X}_t\mathrm{,}{U}_t)d{W}_t,X_0\sim p_0(x),$ (1.1)

и на уравнение управляемого, в общем случае, измерителя

$d{Y}_t\mathrm{<mo>=</mo>}c(t\mathrm{,}{X}_t\mathrm{,}{U}_t)dt+D(t\mathrm{,}{X}_t\mathrm{,}{U}_t)d{W}_t\mathrm{,}{Y}_0=0.$ (1.2)

Нулевое начальное условие в (1.2) общности измерений не ограничивает, так как это уравнение является дифференциальной формой записи формулы неточных измерений:

$Y_t\mathrm{<mo>=</mo>}{\displaystyle \underset{0}{\overset{t}{\int }}c(\tau \mathrm{,}{X}_{\tau }\mathrm{,}{U}_{\tau })d\tau }+{\displaystyle \underset{0}{\overset{t}{\int }}D(\tau \mathrm{,}{X}_{\tau }\mathrm{,}{U}_{\tau })d{W}_{\tau }}.$

Отметим, что объект (1.1) и измеритель (1.2) возмущаются одним и тем же гауссовским белым шумом $V_t=d{W}_t/dt$. Чтобы обеспечить независимость отдельных возмущений для объекта и для измерителя, достаточно потребовать выполнения условия $B(\cdot )D^{\text{T}}(\cdot )\equiv 0$ [2]. Кроме того, если $B(\cdot )\equiv 0$, то уравнение $d{X}_t/dt\mathrm{<mo>=</mo>}a(t\mathrm{,}{X}_t\mathrm{,}{U}_t)$ задает поведение пучка траекторий объекта, порождаемых случайным начальным условием $X_0$. Если же $D(\cdot )\equiv 0$, то измерение ${\overline{Y}}_t=d{Y}_t/dt\mathrm{<mo>=</mo>}c(t\mathrm{,}{X}_t\mathrm{,}{U}_t)$ является точным, но может быть неполным, а если еще и $c(t\mathrm{,}x,u)=x$, что возможно только при равенстве размерностей $m=n$, то ${\overline{Y}}_t=X_t$ и вектор состояния объекта измеряется точно и полностью.

Для управляемой системы (1.1), (1.2) уравнения регулятора (0.2), (0.3) тоже будем искать в более простом виде:

$U_t\mathrm{<mo>=</mo>}u(t\mathrm{,}{Z}_t)$, $d{Z}_t\mathrm{<mo>=</mo>}f(t\mathrm{,}{Z}_t)dt+G(t\mathrm{,}{Z}_t)d{Y}_t\mathrm{,}{Z}_0\mathrm{<mo>=</mo>}h\mathrm{,}{Z}_t\in {ℝ}^p,$ (1.3)

а его структурные функции найдем из условия минимума частного вида критерия (0.4):

$I[u(\cdot ),f(\cdot ),G(\cdot ),h]\mathrm{<mo>=</mo>}\text{M}\left[{\displaystyle \underset{0}{\overset{T}{\int }}\mu (t\mathrm{,}{X}_t\mathrm{,}{U}_t\mathrm{,}{Z}_t)dt}+\nu (X_T\mathrm{,}{Z}_T)\right]\to \min$. (1.4)

Формально соотношения (1.1)—(1.4) отличаются от (0.1)—(0.4) лишь независимостью всех своих функций $a(\cdot ),$..., $\nu (\cdot )$ от переменной выхода $y$. Поэтому ее следует исключить и из приведенного выше алгоритма синтеза структуры регулятора. Например, теперь полное (совместное) усреднение функции $\eta (t\mathrm{,}{X}_t\mathrm{,}{Z}_t)$ производится по формуле

$⟨\eta (t\mathrm{,}x\mathrm{,}z)\mathrm{,}r(t\mathrm{,}x\mathrm{,}z)⟩={\displaystyle \iint \eta (t\mathrm{,}x\mathrm{,}z)r(t\mathrm{,}x\mathrm{,}z)dxdz}$.

В результате получим следующие результаты.

2. Плотности вероятности. Согласно (0.6)—(0.10), совместная плотность вероятности $r\mathrm{<mo\; stretchy="false">(</mo>}\cdot \mathrm{<mo\; stretchy="false">)</mo>}$ состояний объекта (1.1) и регулятора (1.3) в случае выполнения известных условий гладкости является решением прямой задачи Коши для линейного уравнения ФПК:

$\frac{\partial r(t,x,z)}{\partial t}\mathrm{<mo>=</mo>}{K}_{xz}^{ufG}[r],r{|}_{t=0}\mathrm{<mo>=</mo>}{p}_0(x)\delta (z-h)$

с прямым оператором

$K_{xz}^{ufG}=-{\nabla }_x^{\text{T}}{a}^u-{\nabla }_z^{\text{T}}(f+G{c}^u)+0.5\text{tr}[{\nabla }_x{\nabla }_x^{\text{T}}{Q}^u]+\text{tr}[{\nabla }_x{\nabla }_z^{\text{T}}G{S}^{u\text{T}}+0.5{\nabla }_z{\nabla }_z^{\text{T}}G{R}^u{G}^{\text{T}}]$.

Иначе она удовлетворяет линейному интегродифференциальному тождеству

$\frac{d}{dt}⟨\eta ,r⟩=⟨\frac{\partial \eta }{\partial t}+K_{xz}^{*ufG}[\eta ],r⟩,\forall \eta (t,x,z)\in {ℂ}^{\mathrm{1,2,2}}$

с сопряженным оператором

$K_{xz}^{*ufG}[\eta ]=a^u{}^{\text{T}}{\eta }_x+{(f+G{c}^u)}^{\text{T}}{\eta }_z+0.5\text{tr[}{Q}^u{\eta }_{xx}\text{]}+\text{tr[}G{S}^u{}^{\text{T}}{\eta }_{xz}+0.5G{R}^u{G}^{\text{T}}{\eta }_{zz}]$ (2.1)

и с начальным условием $⟨\eta ,r⟩\left|{}_{t=0}\right.\mathrm{<mo>=</mo>}{\displaystyle \int \eta (\mathrm{0,}x\mathrm{,}h)p_0(x)dx}$. Отметим, что начальные условия этих уравнения и тождества содержат неизвестный параметр $h$, так что и в этом случае уравнение ФПК и соответствующее ему тождество для решения задачи синтеза неприменимы.

Поэтому вместо совместной плотности $r\mathrm{<mo\; stretchy="false">(</mo>}\cdot \mathrm{<mo\; stretchy="false">)</mo>}$ тоже будем использовать условную плотность

$\rho (t,x|z)=r(t,x,z)/{\displaystyle \int r(t,x,z)dx}.$

Она в соответствии с (0.12)—(0.14) либо является гладким решением задачи Коши

$\frac{\partial \rho (t\mathrm{,}x|z)}{\partial t}=K_x^u[\rho ]-L_z^{*ufG}[\rho ],\rho (\mathrm{0,}x|z)=p_0(x)$  (2.2)

с операторами

$K_x^u[\rho ]=-{\nabla }_x^{{\rm T}}(a^u\rho )+0.5\text{tr}\left[{\nabla }_x{\nabla }_x^{{\rm T}}(Q^u\rho )\right],L_z^{*ufG}[\rho ]={\rho }_z^{{\rm T}}(f+G{\overline{c}}^u)+0.5\text{tr}\left[G{\overline{R}}^u{G}^{{\rm T}}{\rho }_{zz}\right],$

где чертой над функцией обозначено ее условное среднее:

$\overline{\eta }(t,z)={\displaystyle \int \eta (t,x,z)\rho (t,x|z)dx},$

либо определяется из своего нелинейного интегродифференциального тождества

$\frac{\partial }{\partial t}{\displaystyle \int \eta \rho dx}={\displaystyle \int \left(\frac{\partial \eta }{\partial t}+K_{xz}^{*ufG}[\eta ]\right)\rho dx}-L_z^{*ufG}\left[{\displaystyle \int \eta \rho dx}\right]\forall \eta (t,x,z)\in {ℂ}^{\mathrm{1,2,2}}.$  (2.3)

3. Достаточные условия оптимальности. Аналогично из разд. 0.3 получаем, что достаточным условием оптимальности функций регулятора (1.3) является наличие такой дифференцируемой функции $\phi (t,x,z)$ Лагранжа—Кротова, что экстремумы

$\alpha (z)=\underset{\rho (\cdot )}{\min }{\displaystyle \int (\phi +\nu )\rho }dx{|}_{t=T}=0\forall z,$ (3.1)

$\beta =\underset{h}{\max }{\displaystyle \int \phi (\mathrm{0,}x,h){\rho }_0(x|y)dx},$  (3.2)

$\gamma (t,z)=\underset{\rho (\cdot )}{\max }\left\{{\displaystyle \int \frac{\partial \phi }{\partial t}\rho dx}+\underset{u,f,G}{\max }{H}_z^{ufG}[\phi ,\rho ]\right\}=0\forall t,z$  (3.3)

существуют и достигаются на функциях $u\mathrm{<mo\; stretchy="false">(</mo>}t\mathrm{,}z\mathrm{<mo\; stretchy="false">)</mo>}$, $f(t\mathrm{,}z)$, $G(t\mathrm{,}z)$, $\rho (t\mathrm{,}x|z)$, связанных уравнением (2.2) или тождеством (2.3). Здесь гамильтониан имеет вид

$H_z^{ufG}[\phi ,\rho ]={\displaystyle \int \left(K_{xz}^{*ufG}[\phi ]-{\mu }^u\right)\rho dx}$,

а минимальное значение критерия (1.4) определяется как $\min I=-\beta$.

4. Уравнения для экстремалей. В свою очередь из разд. 0.4 имеем следующую систему уравнений для экстремалей:

$\frac{\partial \tilde{\rho }(t,x|z)}{\partial t}=K_x^{\tilde{u}}[\tilde{\rho }]-L_z^{*\tilde{u}\tilde{f}\tilde{G}}[\tilde{\rho }],\tilde{\rho }{|}_{t=0}=p_0(x),$

$-\frac{\partial \tilde{\phi }(t,x,z)}{\partial t}=K_{xz}^{*\tilde{u}\tilde{f}\tilde{G}}[\tilde{\phi }]-{\mu }^{\tilde{u}}(t,x,z),\tilde{\phi }{|}_{t=T}=-\nu (x,z),$

$\left(\tilde{u}(t,z),\tilde{f}(t,z),\tilde{G}(t,z)\right)=\underset{u\in \Omega \subset {ℝ}^l,f\in {ℝ}^p,G\in {ℝ}^{p\times m}}{\arg \max }{H}_z^{ufG}[\tilde{\phi },\tilde{\rho }]\forall t,z,$

а после решения этой двухточечной краевой задачи вычисляется и экстремальное начальное состояние регулятора:

$\tilde{h}=\underset{h\in {ℝ}^p}{arg\max }{\displaystyle \int \tilde{\phi }(\mathrm{0,}x,h)p_0(x)dx}.$

5. Оптимальная структура регулятора. Наконец, аналогичной модификацией утверждений теорем 1—6 из Введения получаем, что функция смещения $f(\cdot )$ регулятора (1.3) находится из условия инвариантности

$\overline{{\phi }_z}={\displaystyle \int {\phi }_z(t,x,z)}\rho (t,x|z)dx=0$ (5.1)

и определяется по формуле

$f(t,z)=-{\left(\overline{{\phi }_{zz}}\right)}^{-1}{\displaystyle \int \left(\frac{\partial }{\partial t}{\phi }_z+K_{xz}^{*u0G}[{\phi }_z]\right)\rho dx}.$ (5.2)

Частично-оптимальная функция усиления $G^u(\cdot )$ при выполнении условия ${\phi }_{zz}(\cdot )<0$ находится при любых допустимых значениях переменной $u$ из линейного матричного уравнения:

${\displaystyle \int {\phi }_{zz}{G}^u{R}^u\rho dx}=-{\displaystyle \int {[c^u{\phi }_z^{\text{T}}+S^u{}^{\text{T}}{\phi }_{xz}]}^{\text{T}}\rho dx},$ (5.3)

после чего функция $u(\cdot )$ выхода регулятора по-прежнему определяется частной максимизацией гамильтониана:

$u(t,z)=\underset{u\in \Omega \subset {ℝ}^l}{\arg \max }{H}_z^u[\phi ,\rho ]\forall t\mathrm{,}z,$

который теперь имеет вид

$H_z^u[\phi ,\rho ]={\displaystyle \int \left(-{\mu }^u+a^u{}^{\text{T}}{\phi }_x+0.5\text{tr[}{Q}^u{\phi }_{xx}\text{]}+\text{tr[}{G}^u(c^u{\phi }_z^{\text{T}}+S^u{}^{\text{T}}{\phi }_{xz})+0.5G^u{R}^u{G}^u{}^{\text{T}}{\phi }_{zz}]\right)\rho dx}.$  (5.4)

После этого сама оптимальная функция усиления регулятора находится подстановкой этой функции выхода в полученную из (5.3) частично-оптимальную функцию усиления:

$G(t,z)=G^{u(t,z)}(t\mathrm{,}z).$ (5.5)

Наконец, вектор $h$ начального состояния регулятора определяется из условий

${\displaystyle \int {\phi }_z(\mathrm{0,}x,h)p_0(x)dx}=\mathrm{0,}{\displaystyle \int {\phi }_{zz}(\mathrm{0,}x,h)p_0(x)dx}<0$. (5.6)

6. Пример теоремы разделения. Для проверки правильности приведенных в разд. 3, 5 достаточных условий оптимальности конечномерного регулятора (1.3) и процедур синтеза его структуры рассмотрим известную линейно-квадратично-гауссовскую (ЛКГ) задачу управления по неточным измерениям. Пусть возмущаемые стандартным винеровским процессом $W_t$ уравнения объекта (1.1) и измерителя (1.2) линейные, а начальная плотность вероятности $p_0(x)$ гауссовская с параметрами $m_0^x,D_0^x$:

$d{X}_t=[A(t)X_t+K(t)U_t]dt+B(t)d{W}_t,X_0\sim N(x||m_0^x,D_0^x),$  (6.1)

$d{Y}_t=[C(t)X_t+M(t)U_t]dt+D(t)d{W}_t,Y_0=0.$  (6.2)

Пусть также управление не ограниченное $U_t\in \Omega ={ℝ}^l$, а критерий оптимальности (1.4) не зависит от состояния регулятора и является квадратическим:

$I\mathrm{<mo>=</mo>}\frac{1}{2}\text{M}\left\{{\displaystyle \underset{0}{\overset{T}{\int }}\left[X_{\tau }^{\text{T}}{\rm X}(\tau )X_{\tau }+U_{\tau }^{\text{T}}\Phi (\tau )U_{\tau }\right]d\tau }+X_T^{\text{T}}\Pi X_T\right\}\to \min$ (6.3)

с весовыми матрицами ${\rm X}(t)\ge \mathrm{0,}\Phi (t)>\mathrm{0,}\Pi \ge 0$. Далее очевидные зависимости параметров системы и критерия от времени t будем опускать.

Исходные соотношения (6.1)—(6.3) этой задачи отличаются от общих выражений (1.1), (1.2), (1.4) линейностью функций сноса объекта и измерителя, зависимостью интенсивностей $Q,R,S$ гауссовских белых шумов $B(t)d{W}_t/dt$, $D(t)d{W}_t/dt$ только от времени, гауссовостью начального состояния $X_0$, а также квадратичностью интегранта и терминанта критерия (6.3) при их независимости от переменной z состояния регулятора:

a^u = Ax+Ku, c^u = Cx+Mu, Q^u = Q, R^u = R, S^u = S,

p₀(x) = N(x||m^x₀, D^x₀), μ^u = 0.5(x^TXx+u^TФu), ν = 0.5x^TПx. (6.4)

6.1. Классический регулятор. Известно, что в случае (6.1), (6.2) апостериорная плотность вероятности гауссовская, а потому для критерия (6.3) справедлива теорема разделения [4, 5], согласно которой оптимальный нелинейный бесконечномерный регулятор Стратоновича—Мортенсена становится линейным конечномерным и распадается на два независимо синтезируемых блока.

Сначала по всей предыстории измерений $Y_0^t$ инерционно вырабатывается оценка ${\widehat{X}}_t$ состояния $X_t$ управляемым линейным фильтром Калмана—Бьюси:

$d{\widehat{X}}_t=(A{\widehat{X}}_t+K{U}_t)dt+G\left[d{Y}_t-(C{\widehat{X}}_t+M{U}_t)dt\right],{\widehat{X}}_0=m_0^x,$ (6.5)

который, однако, оптимален в не связанном с критерием (6.3) среднеквадратическом смысле $\text{M}{\left|X_t-{\widehat{X}}_t\right|}^2\to \min$. Его $(n\times m)$ -матрица усиления G обновляющего процесса по формуле

$G=(P{C}^{\text{T}}+S)R^{-1}$ (6.6)

выражается через симметрическую матрицу ковариаций ошибки оценивания $P(t)=\mathrm{cov}(X_t-{\widehat{X}}_t)$, которая определяется с помощью не зависящего от управления $U_t$ прямого уравнения Риккати:

$\dot{P}=AP+P{A}^{\text{T}}+Q-[P{C}^{\text{T}}+S]R^{-1}[CP+S^{\text{T}}],P(0)=D_0^x$. (6.7)

Затем найденная оценка ${\widehat{X}}_t$ используется для получения управления $U_t$ с помощью безынерционного линейного регулятора

$U_t=u(t,{\widehat{X}}_t)={\Phi }^{-1}{K}^{\text{T}}L{\widehat{X}}_t$. (6.8)

Последний синтезируется независимо от фильтра (6.5), так как подобная зависимость $u_t=u(t,x_t)$ оптимальна в детерминированной задаче с полными измерениями вектора состояния:

${\dot{x}}_t=A{x}_t+K{u}_t,x_0=m_0^x,J\mathrm{<mo>=</mo>}\frac{1}{2}\left\{{\displaystyle \underset{0}{\overset{T}{\int }}\left[x_t^{\text{T}}{\rm X}(t)x_t+u_t^{\text{T}}\Phi (t)u_t\right]dt}+x_T^{\text{T}}\Pi x_T\right\}\to \min$.

Поэтому симметрическая $(n\times n)$ -матрица $L<0$ находится из соответствующего детерминированному регулятору обратного уравнения Риккати:

$-\dot{L}=A^{\text{T}}L+LA-{\rm X}+LK{\Phi }^{-1}{K}^{\text{T}}L,L(T)=-\Pi .$ (6.9)

Преимуществом такого линейного инерционного регулятора по сравнению с более общими нелинейными является наличие двух решаемых заранее независимых уравнений Риккати и быстрота обработки измерений фильтром (6.5), так как он имеет относительно малый порядок n.

6.2. Предлагаемый регулятор. Проверим, что в ЛКГ-задаче (6.1)—(6.3) предлагаемый регулятор (1.3) соответствующего уравнению фильтра (6.5) порядка $p=n$, так что далее $Z_t\in {ℝ}^n$, а потому сушествует разность $X_t-Z_t$, является линейным и удовлетворяет соотношениям (6.5)—(6.9) теоремы разделения. Для этого убедимся, что приведенным выше достаточным условиям оптимальности удовлетворяют структурные функции регулятора:

$u(t\mathrm{,}z)=V(t)z,f(t\mathrm{,}z)=F(t)z,G(t\mathrm{,}z)=G(t),h=m_0^x$ (6.10)

и порождаемая ими условная плотность вероятности $\rho (t,x|z)$. С этой целью выберем подходящую функцию Лагранжа—Кротова и получим связи функций (6.10) и начального состояния регулятора h с параметрами задачи. Например, функция смещения регулятора должна соответствовать уравнению фильтра (6.5) и иметь вид

$f(t,z)=(Az+Ku)-G(Cz+Mu).$ (6.11)

Зададим функцию Лагранжа—Кротова как сумму двух отрицательно определенных квадратических форм, стационарной $\psi (x-z)$ и нестационарной $\sigma (t,x)$:

$\begin{array}{c}\phi (t,x,z)=\psi (x-z)+\sigma (t,x),\\ \psi (x-z)=0.5{(x-z)}^T\Psi (x-z),\Psi ={\Psi }^{\text{T}}<\mathrm{0,}\\ \sigma (t,x)=0.5x^{\text{T}}\Sigma \left(t\right)x,\Sigma ={\Sigma }^{\text{T}}<\mathrm{0,}\end{array}$ (6.12)

с подлежащими определению весовыми матрицами $\Psi ,\Sigma$. Производные этой функции имеют вид

$\frac{\partial \phi }{\partial t}=0.5x^{\text{T}}\dot{\Sigma }x,$ $\begin{array}{c}{\phi }_x={\psi }_x+{\sigma }_x=\Psi (x-z)+\Sigma x,{\phi }_z={\psi }_z=-\Psi (x-z),\\ {\phi }_{xx}=\Psi +\Sigma ,{\phi }_{zz}=\Psi ,{\phi }_{xz}=-\Psi .\end{array}$ (6.13)

На этой основе далее последовательно получим следующие соотношения.

6.2.1. Условная плотность $\rho (t,x|z)$. Исключая из рассмотрения переменную измерений $Y_t$ подставкой (6.2) в (1.3), получаем, что на предполагаемых оптималях (6.10) система уравнений состояния объекта (6.1) и регулятора (1.3) является линейной:

$d\left[\begin{array}{c}{X}_t\\ Z_t\end{array}\right]=\left[\begin{array}{cc}A& A^{\prime }\\ A^{″}& A^{‴}\end{array}\right]\left[\begin{array}{c}{X}_t\\ Z_t\end{array}\right]dt+\left[\begin{array}{c}B\\ GD\end{array}\right]d{W}_t,A^{\prime }=KV,A^{″}=GC,A^{‴}=F+GMV$,

а ее начальные условия — гауссовские: $X_0\sim N(x||m_0^x,D_0^x),Z_0=h$. Поэтому совместная плотн cость вероятности этих состояний тоже гауссовская:

$r\mathrm{<mo\; stretchy="false">(</mo>}t\mathrm{,}x\mathrm{,}z\mathrm{<mo\; stretchy="false">)</mo>}=N(x,z||m_t^x,m_t^z,D_t^x,D_t^z,D_t^{xz})$,

а ее параметры могут быть найдены из уравнений метода моментов Пугачева—Дункана. Следовательно, по теореме о нормальной корреляции [6] гауссова и условная плотность

$\rho (t,x|z)=N[x\left|\right|\overline{x}(t,z),\Gamma (t,z)],$ (6.14)

а ее среднее и ковариация

$\overline{x}(t,z)={\rm M}[X_t|Z_t=z]={\displaystyle \int x\rho (t,x|z)dx}$, $\Gamma (t,z)=\mathrm{cov}[X_t|Z_t=z]={\displaystyle \int (x-\overline{x}){(x-\overline{x})}^{\text{T}}\rho (t,x|z)dx}$

в этом случае находятся по формулам

$\overline{x}(t,z)=m_t^x+D_t^{xz}{D}_t^z{}^{\oplus }(z-m_t^z),\Gamma (t)=D_t^x-D_t^{xz}{D}_t^z{}^{\oplus }{D}_t^{zx},$ (6.15)

где $\otimes$ — символ псевдообращения матрицы по Муру—Пенроузу. Подчеркнем, что относительно переменной z условное среднее $\overline{x}(t,z)$ является функцией линейной, тогда как ковариация зависит только от времени.

6.2.2. Функция смещения $f(t,z)$. Из определяющего ее условия инвариантности (5.1), которое в данном случае принимает вид $\overline{{\phi }_z}=\Psi {\displaystyle \int (z-x)}\rho (t,x|z)dx=0$, получаем, что в (6.15) условное среднее равно значению его условия $Z_t=z$: