初級Mathマニアの寝言

数学は色々なところで応用可能であり、多くの人が数学の抽象的な概念の意味や意義を鮮明に知ることができれば今まで以上に面白い物や仕組みが生まれるかもしれません。このブログは数学を専門にしない人のために抽象的な概念の意味や意義を分かりやすく説明することを目的としています。数学を使って何かしたい人のお役に立てたら幸いです。

可制御性グラミアンと可観測性グラミアン

制御理論

対象とする線形システム

f:id:ogyahogya:20170630161131p:plain

の可制御性と可観測性の定義は

ogyahogya.hatenablog.com

で紹介しましたが、この記事では可制御性と可観測性の「大きさ」を定量的に測る手段を紹介します。線形システムについては

ogyahogya.hatenablog.com

で紹介しています。この記事の中では行列 A を安定、つまり、 A のすべての固有値の実部は負であると仮定します。

入力エネルギー最小化問題

まず、線形写像 \Psi_c: L^2(-\infty,0] \rightarrow {\bf R}^n を

f:id:ogyahogya:20170630161918p:plain

と定義します。ここで、 L^2(-\infty,0] は区間 (-\infty,0] 上で定義された2乗可積分な関数全体の線形空間です。このような空間については、

ogyahogya.hatenablog.com

でも紹介しています。この \Psi_c(u) は無限の過去 t=-\infty に状態が0であるときの現在 t=0の状態 x(0) を表していると解釈できます。実際に、 \lim_{t\rightarrow -\infty} x(t) =0 とすると、行列 A が安定なので、\begin{align}
x(0) &= \lim_{t_0\rightarrow -\infty}\left(e^{-At_0}x(t_0)\right) + \int_{-\infty}^0 e^{A(0-t)}Bu(t)dt\\&=\int_{-\infty}^0 e^{-At}Bu(t)dt = \Psi_c(u)
\end{align}となるからです。

v_1, v_2\in L^2(-\infty,0] とするとき、 \langle v_1, v_2 \rangle_2:= \int_{-\infty}^0 v_1^T(t) v_2(t) dt によって \langle \cdot, \cdot \rangle_2 を定義し、 ||v_1||_2:=\sqrt{\langle v_1, v_1 \rangle_2} によって ||\cdot ||_2 を定義します。

このとき、次の入力エネルギー最小化問題を考えます。

f:id:ogyahogya:20170630164230p:plain

ただし、 ||\cdot|| はユークリッドノルムを表します。この問題は、「状態を原点から単位球面上に到達させることが可能な2乗可積分な入力の中で、エネルギーが最小になるものを求めよ。」ということを意味しています。

可制御性グラミアン

上の入力エネルギー最小化問題と次の可制御性グラミアン

f:id:ogyahogya:20170703161119p:plain

 は密接な関係があります。ここでは、その関係を見るための準備をします。

線形作用素 \Psi_c と行列 W_c の間には次の関係が成り立ちます。

f:id:ogyahogya:20170703161504p:plain

ここで、 \Psi_c^* は \Psi_c の共役作用素です。共役作用素はこちらで説明しましたので、興味がありましたら参照してください。

ogyahogya.hatenablog.com

上の関係が成り立つことは次のように確認できます。

f:id:ogyahogya:20170703163148p:plain

f:id:ogyahogya:20170703163648p:plain

任意の \xi\in {\bf R}^n に対して、上記の式が成り立つことから W_c=\Psi_c\Psi_c^* が成り立つことが証明できました。

可制御性グラミアンの表式から W_c は半正定値対称行列だということが分かります。実は、線形システムが可制御であることと、 W_c が正定値対称行列であることは等価です。ここでは簡単のために、線形システムは可制御であるとして話を進めます。

直交射影

 入力エネルギー最小化問題の解と可制御性グラミアンの関係を、すっきりと理解するために、直交射影の概念を紹介します。

f:id:ogyahogya:20170704093559p:plain

直交射影には、次の性質があります。

f:id:ogyahogya:20170704100020p:plain

入力エネルギー最小化問題の解と可制御性グラミアンの関係

入力エネルギー最小化問題の解は、次のように可制御性グラミアン W_c を用いて表現できることが分かります。

f:id:ogyahogya:20170703164814p:plain

実は、ある直交射影 P: L^2(-\infty,0] \rightarrow L^2(-\infty,0] が存在し、(※)を満たす任意の u\in L^2(\infty,0] に対して、 Pu=u_{最適} となって Pu も(※)を満たすことが示せます。直交射影の定義の下で示したように、 ||Pu||_2 \leq ||u||_2 なので、上の主張が成り立つということになります。

そのような直交射影 P は

f:id:ogyahogya:20170704101524p:plain

で与えられます。 Pu が(※)を満たすことは、

f:id:ogyahogya:20170704101724p:plain

から分かります。さらに、★が直交射影であることも少し計算すれば示せます。

さらに、入力エネルギーと可制御性グラミアンの間には、次の関係が成り立つことが分かります。

f:id:ogyahogya:20170704102951p:plain

なお、 W_c の逆行列 W_c^{-1} は、線形システムを可制御であると考えているので存在します。

 可制御性グラミアンの幾何学的解釈

ここでは、入力 u\in L^2(-\infty,0] ( ||u||_2\leq 1) で到達可能な状態を可制御性グラミアン W_c を用いて特徴付けます。この特徴付けは次の事実に基づきます。

f:id:ogyahogya:20170704111337p:plain

f:id:ogyahogya:20170704111350p:plain

上で示したことから、入力 u\in L^2(-\infty,0] ( ||u||_2\leq 1) で到達可能な状態は W_c^{1/2} x ( ||x||\leq 1 )だということが分かりました。

以上のことから「可制御性の大きさ」、すなわち、「制御のしやすさ」と可制御性グラミアン W_c の関係を調べることができます。このことを見るために、単位エネルギー ||u||_2= 1 の入力 u\in L^2(-\infty,0] で到達可能な状態の集合は

f:id:ogyahogya:20170704122935p:plain

であることに注意しましょう。今、 W_c^{1/2} の固有値を \lambda_1,\lambda_2,\ldots, \lambda_n、対応する正規直交固有ベクトルを v_1,v_2,\ldots,v_n とすると、

f:id:ogyahogya:20170704123212p:plain

となり、 \mathcal{E}_c は固有ベクトル v_1,v_2,\ldots,v_n の方向を主軸として固有値 \lambda_1,\lambda_2,\ldots,\lambda_n を主値とする楕円であることが分かります。イメージ図は下のような感じです。

f:id:ogyahogya:20170704123700p:plain

つまり、単位エネルギー ||u||_2= 1 の入力 u\in L^2(-\infty,0] で原点から最も遠くまで到達可能な方向が可制御性グラミアン W_c の最大固有値に対応する固有ベクトルの方向で、2番目に遠くまで到達可能な方向が２番目に大きい固有値に対応する固有ベクトルの方向、３番目に・・・ということになります。言い換えると、最も制御しやすい方向が可制御性グラミアン W_c の最大固有値に対応する固有ベクトルの方向で、最も制御しにくい方向が W_c の最小固有値に対応する固有ベクトルの方向だということです。

以上から、線系システムが可制御であっても、制御のしやすい方向としにくい方向があり、それらを定量的に調べるためには可制御性グラミアン W_c の固有値と固有ベクトルを調べれば良いということが分かりました。

可観測性グラミアン

次に、観測のしやすさを定量的に評価する可観測性グラミアンについて説明します。

今、現在の状態 x(0) を x_0 とします。このとき、 \Psi_o:{\bf R}^n\rightarrow [0,\infty) を

f:id:ogyahogya:20170704142459p:plain

で定義します。線形写像 \Psi_o は [0,t] 上で入力を u=0 としたときの線形システムの出力値と関係付きます。なぜなら、 y(t) = C\exp (At) x_0 = \Psi_o x_0 が成り立つからです。可制御性グラミアンの時と同様の計算で、 \Psi_o は可観測性グラミアン

f:id:ogyahogya:20170704142729p:plain

と

f:id:ogyahogya:20170704142927p:plain

の関係があることが分かります。ここでは、 L^2 [0,\infty) 上に内積を \langle f_1, f_2 \rangle_2 := \int_0^{\infty} f_1(t)^Tf_2(t) dt で定め、ノルムを ||f||_2:= \sqrt{\langle f, f \rangle_2} で定めることにします。すると、出力は y=\Psi_o x_0 のため、出力エネルギーが

f:id:ogyahogya:20170704143554p:plain

と可観測性グラミアン W_0 を用いて表せることが分かります。可制御性グラミアンの時と同様に、可観測性グラミアン W_o を用いて定義された集合

f:id:ogyahogya:20170704143756p:plain

は楕円であり、主軸は W_o の固有ベクトルの方向で、主値は固有値の平方根ということになります。これは球面上の状態 x_0 にも「観測のしやすさ 」があり、可観測性グラミアン W_o の最大固有値に対応する固有ベクトルの方向の状態が最も観測しやすく、最小固有値に対応する固有ベクトルの方向の状態が最も観測しにくいという意味になります。（ここで、観測のしやすさを出力エネルギー ||y||_2^2 の大小で解釈しています。）

参考文献

 記事を書くにあたって次の本を参考にしました。

A Course in Robust Control Theory: A Convex Approach (Texts in Applied Mathematics)

A Course in Robust Control Theory: A Convex Approach (Texts in Applied Mathematics)

 

 

行列の指数関数と対数関数

多様体とか

この記事では、行列の指数関数と対数関数について解説します。Lie群とLie環という概念を理解するための準備に相当します。

●行列の内積とノルム

{\bf R}^{n\times n} をn行n列の実数を成分に持つ行列全体の集合とします。このとき、 {\bf R}^{n\times n} に以下の内積とノルムを導入できます。

f:id:ogyahogya:20170202134934p:plain

任意の A, B\in {\bf R}^{n\times n} に対して ||AB||\leq ||A||\cdot ||B|| が成り立つことがコーシー・シュワルツの不等式を使うことで確認できます。

●行列の指数関数

実数 x の指数関数 e^x を x=0 の周りでテイラー展開すると e^x = \sum_{k=0}^{\infty} \frac{1}{k!} x^k でした。これと形式的に同じになるように行列の指数関数が次のように定義されます。

f:id:ogyahogya:20170202140703p:plain

右辺の無限級数が収束することは以下のように分かります。

f:id:ogyahogya:20170202140816p:plain

●行列の指数関数の性質

行列の指数関数の性質は以下の結果を利用して明らかにすることができます。

f:id:ogyahogya:20170202144600p:plain

解であることは \gamma(t)=\exp(tX) を左辺と右辺に代入して等しくなることを見れば良いです。一意性は、微分方程式の解の一意性定理から従います。

指数関数の性質を明らかにする前に、二つの行列が可換であるか否かを判定するカッコ積を導入しておきます。

f:id:ogyahogya:20170202145056p:plain

つまり、 [X,Y]=0 なら X と Y の積は可換です。

次の結果が重要です。

f:id:ogyahogya:20170202151228p:plain

これを応用して、以下の結果が得られます。

f:id:ogyahogya:20170202151802p:plain

これは指数関数の値域は一般線形群 {\rm GL}(n,{\bf R}) であることを意味しています。

f:id:ogyahogya:20170202152621p:plain

さらに、以下の結果も成り立ちます。

f:id:ogyahogya:20170202152800p:plain

これらより、 X\in {\bf R}^{n\times n} に対して、 \gamma(t)=\exp(tX) は加法群 {\bf R} から {\rm GL}(n,{\bf R}) への微分可能な準同型写像 \gamma:{\bf R}\rightarrow {\rm GL}(n,{\bf R}) を与えていることが分かります。この曲線 \gamma は実は次のように \dot{\gamma}(0) を用いて表されます。

f:id:ogyahogya:20170202154506p:plain

●行列の対数関数

実数 x の対数関数 \log x を x=1 の周りでテイラー展開すると \log x = \sum_{k=1}^{\infty} \frac{(-1)^{k-1}}{k} (x-1)^k でした。これと形式的に同じになるように行列の対数関数が次のように定義されます。

f:id:ogyahogya:20170206140134p:plain

上のように、一般の行列 A\in {\bf R}^{n\times n} に対しては A が単位行列に近いときに対数関数 \log(A) は定義できます。

次の結果は \exp は 0 の近傍と I_n の近傍の間の微分同相写像であり、逆写像は \log で与えられることを示しています。

f:id:ogyahogya:20170206140629p:plain

この対数関数を利用して、次の公式が得られます。

f:id:ogyahogya:20170206144838p:plain

 上の公式は X と Y が可換でないときには指数関数 \exp X と \exp Y の積にカッコ積 [ X, Y ] の影響が出てくることを表現しています。

●参考文献

 記事を書くにあたって、以下の本を参考にしました。

別冊数理科学 演習形式で学ぶ リー群・リー環 2012年 03月号 [雑誌]

別冊数理科学 演習形式で学ぶ リー群・リー環 2012年 03月号 [雑誌]

 

 

等質空間

多様体とか

この記事では、等質空間の概念について説明します。等質空間なるものをなぜ紹介するかというと、また別の記事で実数を成分に持つ正定値対称行列全体の集合 {\rm Sym}_+(n, {\bf R})を幾何学的に考えたいからです。そのような集合を考えたい理由は、 {\rm Sym}_+(n, {\bf R}) 上での最適化問題が工学の問題を考えていると自然に出てくるからです。実際の問題の例はまた今度書くと思いますが、この記事では等質空間について説明します。

●群

等質空間の定義を理解するためには、群の概念を知っている必要がありますので、群の定義を確認しておきましょう。

f:id:ogyahogya:20170126125302p:plain

実数や整数は馴染みがあると思いますが、実数全体の集合や整数全体の集合は和に関して群になっています（単位元は両方とも0)。しかし、実数全体の集合は積に関して群になっていません。0の逆元が存在しないからです。同様に、整数全体の集合も積に関しては逆元が存在しないので、積に関して群になっていません。

重要な群の例に次の一般線形群があります。

f:id:ogyahogya:20170126133611p:plain

{\rm GL}(n,{\bf R}) が通常の行列の積に関して群になっていることは次のように確かめられます。結合法則が成り立つことは、一般線形群の要素が行列であり、行列の積は結合法則を満たすことから言えます。次に、単位元の存在は、単位行列が単位元になることから言えます。最後に、逆元の存在ですが、任意の A\in {\rm GL}(n,{\bf R}) に対して \det A\neq 0 なので言えます。

  H\subset G が部分群であるとは、 H が G の演算によって群になることを言います。一般線形群 {\rm GL}(n,{\bf R}) の部分群の重要な例に次の直交群があります。

f:id:ogyahogya:20170126135942p:plain

●群の左剰余類への分解

群の部分群が与えられたら以下のように左剰余類というものを考えることができます。

f:id:ogyahogya:20170130143542p:plain

左剰余類の概念を使って、考えている群の上に以下のように同値関係を導入することができます。

f:id:ogyahogya:20170130143705p:plain

しがたって、同値関係 \sim による商集合を考えることができます。左剰余類を使った同値関係による商集合は次のように表されることが多いです。

f:id:ogyahogya:20170130143931p:plain

商集合という概念はこちらの記事で解説しましたので、興味があったら見てください。

 ogyahogya.hatenablog.com

 

●群の作用

群は集合の要素を変換する役目があります。つまり、 G を群、 X を集合とした時、写像 f: G\times X \rightarrow X が与えられるという形で群は登場することが多いです。この f(g,x) を単に g\cdot x と書くことにします ( g\in G, x\in X)。

f:id:ogyahogya:20170126141331p:plain

群の作用でも特に推移的に作用することが大事です。

f:id:ogyahogya:20170126154633p:plain

定義から、群が集合に推移的に作用していれば、集合の一つの元に群のある要素をかけることによって集合の任意の元が得られることを意味しています。

例えば、一般線形群 {\rm GL}(n,{\bf R}) は正定値対称行列全体の集合 {\rm Sym}_+(n,{\bf R}) に次のように推移的に作用します。

f:id:ogyahogya:20170126154646p:plain

したがって、 {\rm Sym}_+(n,{\bf R}) の任意の元は  {\rm Sym}_+(n,{\bf R}) の単位元である単位行列に {\rm GL}(n,{\bf R}) のある元を作用させること得られます。

●等質空間

この記事で解説したかった等質空間は次のように定義されます。

f:id:ogyahogya:20170130161010p:plain

上で示したことから、正定値対称行列全体の集合 {\rm Sym}_+(n,{\bf R}) は等質空間ということになります。

これから集合が等質空間だったら何が言えるかを見ていきましょう。そのために、まず集合の要素を動かさない群の要素の集まりである等方部分群を定義します。

f:id:ogyahogya:20170130144849p:plain

集合 X に作用する群 G の等方部分群 G_x は名前の通り、 G の部分群になっています。よって、等方部分群 G_x によって群 G 上に同値関係を導入できて、その商集合 G/G_x を考えることができます。実は等質空間 X は商集合 G/G_x と次のように同一視できます。

f:id:ogyahogya:20170130145330p:plain

 この定理は次のように証明できます。

f:id:ogyahogya:20170130152522p:plain

この定理を使うと、以下のように正定値対称行列全体の集合という等質空間を一般線形群の直交群による商集合として考えられることが分かります。

f:id:ogyahogya:20170130161310p:plain

この事実が正定値対称行列全体の集合のリーマン幾何学を考える際に役立ちます（これについてはそのうち書くと思います。）。

●参考文献

 この記事を書く際に以下の本を参考にしました。

代数概論 (数学選書)

代数概論 (数学選書)

 

 

商集合

集合と位相

この記事では、商集合という概念について説明します。この概念を理解しないと、少し高度な数学は理解できないというぐらい重要な概念です。

●同値関係

同値関係という概念を使って商集合は定義されます。同値関係よりも一般的な二項関係の概念は以下の通りです。

f:id:ogyahogya:20170127122158p:plain

(a,b)\in R のとき、 aRb と書きます。

例えば、  \leq := \{ (a,b)\in {\bf R}\times {\bf R} | a-bは0以下\}は二項関係であり、 (1,2)\in \leq なので 1\leq 2 と書こうというわけです。

S を任意の集合として、 \mathcal{P}(S) を S のベキ集合として、 \subset := \{ (A,B)\in \mathcal{P}(S)\times \mathcal{P}(S)\,|\, a\in B\,\, \forall a\in A\} とすると \subset は二項関係であり、 \{1,2\}\times \{1,2,3\} \in \subset となるので、 \{1,2\} \subset \{1,2,3\} と書こうというわけです。

{\rm People} をすべての人間の集合として、 \Rightarrow := \{ (x,y)\in {\rm People} \times {\rm People}\, |\, x\,\, {\rm loves}\,\, y\} と定義すると、 \Rightarrow は二項関係であり、 {\rm 私} \Rightarrow 妻 かつ 妻 \Rightarrow 私 が成り立ちます。

同値関係は以下のように定義されます。

f:id:ogyahogya:20170127123922p:plain

例えば、整数全体の集合 {\bf Z} には以下のような同値関係が考えられます。

f:id:ogyahogya:20170128105230p:plain

上で定義した二項関係 \leq は同値関係になっていません。なぜなら、対称律が成り立たないためです。実際に、 1\leq 2 ですが、 2\leq 1 とはならないため、対称律は成り立たないことが分かります。また、上で定義した \subset は同値関係ではありません。なぜなら、対称律を満たさないからです。さらに、上で定義した \Rightarrow は同値関係になりません。なぜなら、反射律、対称律、推移律が成り立ちそうにないからです(特に対称律が成り立たないのは残念です)。

●商集合

集合に同値関係を定めることで、その集合を分割できます。対象としている集合の要素で同値なものを集めた集合を同値類と呼びます。

f:id:ogyahogya:20170128110616p:plain

 例えば、上で整数全体の集合 {\bf Z} 上に同値関係 \sim_2 を定義しましたが、これを使うと以下の同値類が作れます。

f:id:ogyahogya:20170128113102p:plain

同値関係 \sim_2 の定義から以下が成り立つことが分かります。

f:id:ogyahogya:20170128113415p:plain

これは同値関係 \sim_2 のもとでは、整数全体の集合 {\bf Z} は [0] と [1] によってなる事を意味しています。つまり、以下が成り立ちます。

f:id:ogyahogya:20170128113433p:plain

このように、集合 S に同値関係 \sim が定められると、その集合を同値類によって直和分解できます。

同値類全体の集合を商集合と呼び、以下のように書きます。

f:id:ogyahogya:20170128114155p:plain

例えば、 {\bf Z} の \sim_2 による商集合は以下のようになります。

f:id:ogyahogya:20170128114516p:plain

このように商集合は集合の集合になっています。

●同値関係による写像の分解

S/\sim の要素である a\in S の同値類を \bar{a} と書くことにすると、以下の S の S/\sim への自然な写像と呼ばれる写像を定義できます。

f:id:ogyahogya:20170128120008p:plain

二つの集合間の写像が与えられると、その写像を使って同値関係を以下のように定義できます。

f:id:ogyahogya:20170128120942p:plain

この同値関係を使うことで、写像が以下のように分解できます。

f:id:ogyahogya:20170128132959p:plain

とくに、写像 f が全射であるなら以下の可換図式が得られます。

f:id:ogyahogya:20170128133140p:plain

●参考文献

 記事を書くにあたって、以下の本を参考にしました。

集合・位相入門

集合・位相入門

 

 

凸解析

最適化

この記事では最適化理論の基盤となる凸解析の理論を解説します。

●最適化問題とは

目的関数と呼ばれる関数 f:{\bf R}^n\rightarrow {\bf R} を制約条件 x\in S \subset {\bf R}^n のもとで最小化する問題を最適化問題と呼びます。特に、 f が凸関数で、 S が凸集合である時、凸最適化問題と呼びます。凸最適化問題は効率的に解く方法がたくさん研究されています。

●凸集合と凸関数と凹関数

 次の性質を満たす集合を凸集合と呼びます。

f:id:ogyahogya:20160517164152p:plain

つまり、ある集合の任意の２点を結んだ線分がその集合に含まれるなら、その集合は凸集合です。凸集合と非凸集合のイメージ図は次のような感じになります。

f:id:ogyahogya:20160517164353p:plain

次の性質を満たす関数を凸関数と呼びます。

f:id:ogyahogya:20160517164505p:plain

凸関数と非凸関数のイメージ図は次のような感じになります。

f:id:ogyahogya:20160517173323p:plain

凸集合と凸関数はエピグラフという概念を通じて関係付けることができます。

f:id:ogyahogya:20160517173418p:plain

例えば、次のようにエピグラフを図示することができます。

f:id:ogyahogya:20160517173512p:plain

 凸集合と凸関数は次の関係があります。

f:id:ogyahogya:20160517173611p:plain

凸関数は最小化のしやすい関数ですが、最大化のしやすい関数としては次の凹関数があります。

f:id:ogyahogya:20160518161105p:plain

●狭義凸関数

凸関数は最小化しやすい関数ですが、最小値を与える点は一つとは限りません。最小値を与える点が存在すれば一つである凸関数を狭義凸関数と言います。

f:id:ogyahogya:20160519093017p:plain

f:id:ogyahogya:20160519093049p:plain

f:id:ogyahogya:20160519093101p:plain

狭義凸関数だからといって、最小値が必ず存在するとは限りません。最小値の存在しない狭義凸関数の例としては x や e^x があります。

 ●凸集合と凸関数の性質（極一部）

任意の数の凸集合の共通部分は凸集合になります。

f:id:ogyahogya:20160518163118p:plain

ある集合上の点によってパラメトライズされた凸関数は、そのパラメータについての上限を取っても凸関数となります。つまり、以下が成り立ちます。

f:id:ogyahogya:20160518163936p:plainこれにより、凸関数の共役関数が凸関数になることが保障されます(共役関数は今度紹介します)。また、これが

で紹介したレート関数が凸関数になる理由です。これが成り立つことは次の関係式より分かります。

f:id:ogyahogya:20160518171916p:plain

実際に、 f(x,y) は x について凸関数なので、 {\rm epi}\, f(\cdot,y) は凸集合となり、凸集合の共通部分は凸集合であることから {\rm epi}\, g も凸集合となる事が分かり、その結果 g は凸関数となることが分かります。上の関係式は以下のように証明できます。

f:id:ogyahogya:20160518172255p:plain

凹関数に関しても次のように同様の関係が成り立ちます。

f:id:ogyahogya:20160518172353p:plainこれにより、ラグランジアンから双対関数を定義したときに、双対関数が凹関数になることが保障されます(ラグランジアンと双対関数は今度紹介します)。

●微分可能な凸関数

微分可能な凸関数は次のように特徴付けられます。

f:id:ogyahogya:20160519094417p:plain

これは

f:id:ogyahogya:20160519094446p:plain

を意味していて、

f:id:ogyahogya:20160519094509p:plain

というような関係にあるということです。

また、微分可能な凸関数の最小値を与える点は勾配がゼロになる点です。

f:id:ogyahogya:20160519094910p:plain

●勾配情報の重要性

微分可能な関数 f(x) は勾配 \nabla f(x) を求めることができます。勾配の情報は関数の最小化を考えるにあたって便利です。このことを実感するために、次のようなユークリッド空間上の制約なしの最小化問題を考えましょう。

f:id:ogyahogya:20160519110919p:plain

ただし、目的関数 f は微分可能な凸関数であるとします。この問題を解くためには、現在の点を x_k としたときに f が減少する方向に進んでいけば良いです。つまり、

f:id:ogyahogya:20160519111247p:plain

の \eta_k が f の減少する方向であれば良いわけです。目的関数 f が減少する方向を調べるには点 x_k から微小に動いたときの f の関数値がどのように変化するかを調べれば良いわけで、そのようなことを調べるためには

f:id:ogyahogya:20160519112446p:plain

を t=0 で微分すれば良いです ( g_{\eta_k} の t=0 での微分は f の点 x_k での \eta_k 方向の微分を意味しているので)。 そこで、関数 g_{\eta_k} の t=0 での微分を計算してみると

f:id:ogyahogya:20160519112808p:plain

となります。よって、現在の点 x_k から \nabla f(x_k) の逆方向に進むと目的関数 f は減少するということが分かります。このことをもとに、進行方向を表す \eta_k を

f:id:ogyahogya:20160519122030p:plain

とした最適化アルゴリズムを最急降下法と呼びます。目的関数 f が微分可能な凸関数であれば \nabla f(x_k)=0 が点 x_k で最小値を取っている証となるので最急降下法のようなアルゴリズムを \nabla f(x_k)\approx 0 となるまで単純に反復すれば良いということになります。このように勾配情報は凸関数の最小化を実行するにあたって重要な情報となります。

●劣微分と劣勾配

上で勾配情報は凸関数の最小化を実行するにあたって重要だと述べましたが、凸関数は必ずしも微分可能であるとは限りません。例えば、 |x| は凸関数ですが、 x=0 で微分可能ではありません。しかし、勾配のようなものを微分可能でない凸関数に対しても定義することができます。まず、微分可能な凸関数 f の点 x での勾配 \nabla f(x) はエピグラフ {\rm epi}\, f の点 x における支持超平面を特徴付けたことを思い出しましょう。この支持超平面は \alpha= f(x)+\nabla f(x)^T (y-x) を満たす点 (y,\alpha) から形成されていました。微分可能でない凸関数 fに対しても、エピグラフ {\rm epi}\, f の点 x における支持超平面を考えることができ、その支持超平面を特徴付ける「勾配のようなもの」の集まりを劣微分と言います。

f:id:ogyahogya:20160519125824p:plain

そして、劣微分の要素である「勾配のようなもの」を劣勾配と言います。

f:id:ogyahogya:20160519130224p:plain

劣勾配は通常の勾配の一般化になっていることが次の性質が成り立つことから分かります。

f:id:ogyahogya:20160519130326p:plain

つまり、凸関数が微分可能だったら劣勾配は勾配と一致するというわけです。また、ある点における劣微分がゼロを含んでいたら(劣勾配にゼロのものがあったら)、その点で関数は最小値をとります。

f:id:ogyahogya:20160519130354p:plain

劣微分の計算方法を具体例で示しておきます。

f:id:ogyahogya:20160519130944p:plain

上の |x| という微分可能でない凸関数は、スパースな解が期待できるような最適化問題(最適解の成分はたくさんゼロになると期待できるような問題)によく利用されています。

●参考文献

(1) もっと数学的に細かいことが書いています。

非線形最適化の基礎

非線形最適化の基礎

 

 (2) スパースな解が期待できるような最適化問題について解説しています。

スパース性に基づく機械学習 (機械学習プロフェッショナルシリーズ)

スパース性に基づく機械学習 (機械学習プロフェッショナルシリーズ)

 

 

共役作用素

関数解析

この記事では今後の記事を書くために必要となる共役作用素について簡単にまとめます。共役作用素とは次のように定義される線形作用素です。

f:id:ogyahogya:20151031155753p:plain

正確には上の T の定義域は H_1 で稠密である必要があります。そのときに, 上の T^* が一意に定まります。

有界線形作用素 T の作用素ノルムと T^* の作用素ノルムは一致することが示せます。ここで、線形作用素の作用素ノルムとは

f:id:ogyahogya:20151031173840p:plain

のことです。これは、

ogyahogya.hatenablog.comで書いたリースの表現定理を利用することで証明できます。

f:id:ogyahogya:20151031174542p:plain

f:id:ogyahogya:20151031174811p:plain

f:id:ogyahogya:20151031174820p:plain

f:id:ogyahogya:20151031174906p:plain

●参考文献

 もっと詳しく色々書いてます。

ヒルベルト空間と量子力学 改訂増補版 (共立講座 21世紀の数学 16)

ヒルベルト空間と量子力学 改訂増補版 (共立講座 21世紀の数学 16)

 

 

伝達関数

制御理論

この記事では線形システムの制御で重要な役割を果たす伝達関数について説明します。

●ラプラス変換

伝達関数を理解するためには関数のラプラス変換を知っている必要があります。ラプラス変換は次のように定義されます。

f:id:ogyahogya:20151024152142p:plain

上のラプラス変換は前の記事で説明したフーリエ変換に似ていますが、次のような違いがあります。

f:id:ogyahogya:20151027174428p:plain

 

ogyahogya.hatenablog.com

 

●伝達関数

線形システムの伝達関数は次のように入力関数のラプラス変換と出力関数のラプラス変換の比で定義されます。

f:id:ogyahogya:20151024153012p:plain

伝達関数は次のように座標変換のもとで不変です。

f:id:ogyahogya:20151024153121p:plain

●伝達関数と可制御性・可観測性

伝達関数の概念と前の記事で説明した可制御性と可観測性の概念は次のように結びつきます。

f:id:ogyahogya:20151024154914p:plain

 

ogyahogya.hatenablog.com

 

●伝達関数とインパルス応答行列

線形システムの入力としてインパルスというディラックのデルタ関数を加えたときの出力と伝達関数は次のように結びつきます。

f:id:ogyahogya:20151024155714p:plain

ディラックのデルタ関数については前の記事で詳しく説明しましたので興味のある人は見てください。

 

ogyahogya.hatenablog.com

 

●周波数応答

 上の議論よりインパルス応答行列のラプラス変換が伝達関数なわけですが、次のようにインパルス応答行列のフーリエ変換を周波数応答行列と言います。

f:id:ogyahogya:20151024161418p:plain

周波数応答行列と伝達関数の間には次のような関係があります。

f:id:ogyahogya:20151024161521p:plain

1入力1出力の周波数応答行列は周波数応答関数と呼ばれます。周波数応答関数が分かると過渡応答が分かるため制御工学では周波数応答関数を理解するが大事です。周波数応答関数を図的に理解する方法として、ナイキスト線図やボード線図と呼ばれるものがあります。ナイキスト線図やボード線図については制御工学の本を見てください。

●伝達関数の H^2 ノルム

線形システムの A 行列が安定、つまり、 A のすべての固有値の実部が負のときに

f:id:ogyahogya:20151024163532p:plain

が定義できて、これを伝達関数 G の H^2 ノルムと言います。前の記事で説明したプランシュレルの定理（パーセバルの等式ともいう）より

f:id:ogyahogya:20151024163650p:plain

となります。さらに

f:id:ogyahogya:20151024163818p:plain

なので

f:id:ogyahogya:20151024163840p:plain

となることが分かります。つまり、制御する側からすると ||G||_2 は小さいほど嬉しいわけです。

伝達関数の H^2 ノルムを定義通り計算しようとすると無限区間の積分を計算しなければならず、面倒です。しかし、 H^2 ノルムは定義通りに計算する必要はなく、以下のように容易に計算できます。まず、インパルス応答行列 g(t) を ||G||_2 の中へ代入すると次のようになります。

f:id:ogyahogya:20151024165233p:plain

さらに、

f:id:ogyahogya:20151024165403p:plain

 が成り立つことに注意すると、

f:id:ogyahogya:20151024165425p:plain

が成り立つことが分かります。上の W_c や W_o に関する線形行列方程式はリヤプノフ方程式と呼ばれており、解は上のように積分の形で具体的に表示できるのですが、実際には積分を計算せずに他の解法アルゴリズムを用いて数値的に求めます。例えば、有名な計算ソフトフェアであるMatlabにはリヤプノフ方程式を解くlyapというコマンドが用意されていますが、その解法は積分を計算していません。

最後に、 W_c は可制御性グラミアン、 W_o は可観測性グラミアンと呼ばれ可制御ならば W_c は正定値対称行列となり、可観測ならば W_o は正定値対称行列となることに注意しておきます。

●参考文献

伝達関数の H^2 ノルムの辺りのところを参考にしました。

LMIによるシステム制御 - ロバスト制御系設計のための体系的アプローチ

LMIによるシステム制御 - ロバスト制御系設計のための体系的アプローチ