ガトー微分とフレッシェ微分：方向微分と勾配の一般化

この記事ではノルム空間の間に定義された関数のガトー微分とフレッシェ微分について解説します。この記事の全体を通して $\mathcal{E}, \mathcal{F}$ を ${\bf R}$ 上のノルム空間とします。ここで、ノルム空間とはノルムが定義されたベクトル空間のことです。例えば、 ${\bf R}^m$ は $m$ 次元のベクトル空間で任意の $x=(x_1,x_2,\ldots, x_m)\in {\bf R}^m$ に対して $||\cdot ||$ を $||x||:= \sqrt{x_1^2+x_2^2+\cdots +x_m^2}$ と定義することで $||\cdot||$ はノルムとなり、 ${\bf R}^m$ は $m$ 次元のノルム空間ということになります。

ノルム空間 $\mathcal{E}, \mathcal{F}$ は有限次元かもしれないし、

で紹介したような2乗可積分な関数全体の集合 $L^2({\bf R})$ のように無限次元かもしれないことに注意してください。

全微分と方向微分
ノルム空間の間の線形写像の連続性と有界性
ガトー微分：方向微分の一般化
フレッシェ微分：勾配の一般化
参考文献

全微分と方向微分

まず、 $\mathcal{E}={\bf R}^n, \mathcal{F}={\bf R}^m$ とします。このとき、 $f:{\bf R}^n\rightarrow {\bf R}^m$ が $p\in {\bf R}^n$ において全微分可能であるとは線形写像 $L:{\bf R}^n \rightarrow {\bf R}^m$ が存在して、\begin{align} \lim_{h\rightarrow 0} \frac{||f(p+h) -f(p) -Lh||}{||h||} = 0 \end{align} となるときに言います。ここで、 $||\cdot ||$ はユークリッドノルムです。この線形写像 $L$ は存在したら一意に定まって、 $f$ の $p$ での微分と言い \begin{align} \frac{\partial f}{\partial x}(p) \end{align} と書きます。行列 $\frac{\partial f}{\partial x}(p)\in {\bf R}^{m\times n}$ は $f$ の $p$ でのヤコビ行列と言います。特に、 $m=1$ のときのヤコビ行列を勾配と言います。

また、関数 $f:{\bf R}^n\rightarrow {\bf R}^m$ の $p\in U$ での $0\neq h\in {\bf R}^n$ に沿った方向微分とは\begin{align} \lim_{t\rightarrow 0} \frac{f(p+th)-f(p)}{t} \end{align} のことでした。方向微分とヤコビ行列の間には、ヤコビ行列が存在するなら、 \begin{align} \lim_{t\rightarrow 0} \frac{f(p+th)-f(p)}{t}=\frac{\partial f}{\partial x}(p) h \end{align} という関係があります。特に、 $m=1$ のときは、\begin{align} hに沿った方向微分 = 勾配とhの内積 \end{align} という関係が得られます。

以下で紹介するガトー微分は方向微分の一般化、フレッシェ微分は勾配の一般化です。その前に、線形写像の連続性と有界性の関係について紹介しておきます。

ノルム空間の間の線形写像の連続性と有界性

ノルム空間の間の関数 $f:\mathcal{E}\rightarrow \mathcal{F}$ が点 $x^*\in \mathcal{E}$ で連続であるとは、任意の $\epsilon＞0$ に対して、ある $\delta＞0$ が存在して\begin{align} ||x-x^*||<\delta \Rightarrow ||f(x)-f(x^*)||<\epsilon \end{align} が成り立つことでした。ここで、 $\Rightarrow$ の左の $||\cdot||$ は $\mathcal{E}$ のノルムで $\Rightarrow$ の右の $||\cdot||$ は $\mathcal{F}$ のノルムであることに注意してください。

関数 $f:\mathcal{E}\rightarrow \mathcal{F}$ が線形で、ある $K\geq 0$ が存在して、任意の $x\in \mathcal{E}$ に対して\begin{align} ||f(x)|| \leq K ||x|| \end{align} が成り立つときに関数 $f$ を有界線形写像と言います。

ノルム空間の間の線形写像 $f:\mathcal{E}\rightarrow \mathcal{F}$ に対して一般に\begin{align} 連続 \Leftrightarrow 有界 \end{align} が成り立ちます。さらに $\mathcal{E}$ が有限次元なら常に線形写像 $f$ は有界、つまり連続になります。 $\mathcal{E}$ が無限次元の場合は不連続線型写像 - Wikipediaで説明されているように線形写像 $f$ は連続になるとは限りません。

ガトー微分：方向微分の一般化

ガトー微分は次のように方向微分の一般化です。

f:id:ogyahogya:20180828105037p:plain

通常の方向微分は $\mathcal{E}, \mathcal{F}$ が有限次元のユークリッド空間になっているガトー微分です。上のガトー微分の定義は $\mathcal{E}, \mathcal{F}$ が無限次元の関数空間も含んだ定義になっているという違いがあることに注意してください。

ガトー微分 ${\rm D}_h f(x)$ は $f$ について線形です。実際に、 $f,g:\mathcal{E}\rightarrow \mathcal{F}$ のガトー微分 ${\rm D}_h f(x),\, {\rm D}_h g(x)$ が存在したとすると、\begin{align} \begin{cases} {\rm D}_h (f+g)(x) = {\rm D}_h f(x) + {\rm D}_h g(x)\\ {\rm D}_h(\alpha f) (x) = \alpha {\rm D}_h f(x) \end{cases} \end{align} が成り立つからです。ここで、 $\alpha\in {\bf R}$ です。

しかし、ガトー微分 ${\rm D}_h f(x)$ は以下の例のように $h$ について一般には線形ではありません。

f:id:ogyahogya:20180829111952p:plain

上の例は関数 $f$ が不連続でしたが、たとえ $f$ が連続であってもガトー微分 ${\rm D}_h f(x)$ は以下の例のように $h$ について一般には線形にはなりません。

f:id:ogyahogya:20180829123734p:plain

フレッシェ微分：勾配の一般化

フレッシェ微分可能は次のように全微分可能の概念の一般化です。

f:id:ogyahogya:20180829170257p:plain

フレッシェ微分 ${\rm D} f(x)$ はガトー微分 ${\rm D}_h f(x)$ とは異なり、 ${\rm D} f(x)[h]$ の $h$ について線形であることに注意してください。また、 $\mathcal{E}$ が有限次元ならフレッシェ微分 ${\rm D} f(x)$ は常に連続となりますので定義に連続という条件は必要ありませんが、 $\mathcal{E}$ が無限次元だと一般には ${\rm D} f(x)$ は連続にならないため連続の条件を定義に入れています。フレッシェ微分可能と全微分可能の定義と比較すると、 $\mathcal{E}={\bf R}^n,\, \mathcal{F}={\bf R}^m$ のときに点 $x\in {\bf R}^n$ でのフレッシェ微分 ${\rm D} f(x)$ はヤコビ行列 $\frac{\partial f}{\partial x}(x)$ ということになり、 $m=1$ ならフレッシェ微分 ${\rm D} f(x)$ は勾配だということになります。

フレッシェ微分可能の定義の中で ${\rm D}f(x)[h]$ には名前を付けていませんでしたが、実は次の定理で示すように ${\rm D} f(x)[h]$ は方向微分 ${\rm D}_h f(x)$ に一致します。

f:id:ogyahogya:20180829142043p:plain

f:id:ogyahogya:20180829145725p:plain

上の定理が言ってることは、 $f:\mathcal{E}\rightarrow \mathcal{F}$ が $\mathcal{E}$ の開集合のある点 $a$ でフレッシェ微分可能であるための必要条件は、 $a$ で $f$ が連続であることを言っています。つまり、上の例で示したように不連続な点でガトー微分は存在することがありましたが、フレッシェ微分は存在しません。

関数 $f:\mathcal{E}\rightarrow \mathcal{F}$ の $x\in \mathcal{E}$ でのフレッシェ微分は存在したら一意に定まります。実際に、フレッシェ微分が ${\rm D} f(x)$ と ${\rm D}' f(x)$ というように二通り存在したと仮定します。このとき、フレッシェ微分の定義から \begin{align} \lim_{h\rightarrow 0} \frac{ ||({\rm D} f(x) - {\rm D}' f(x))[h]||}{||h||} = 0 \end{align} が成り立ちます。この関係式から ${\rm D} f(x)={\rm D}'f(x)$ が言えるのでフレッシェ微分は一意に定まることが言えます。このことは上の関係式より、 $\epsilon$ を十分小さな正数とすると、\begin{align} \frac{ ||({\rm D} f(x) - {\rm D}' f(x))[\epsilon h]||}{||\epsilon h||}=\frac{ ||({\rm D} f(x) - {\rm D}' f(x))[h]||}{||h||} \end{align} の左辺がいくらでもゼロに近くなるということから言えます。なぜなら、右辺は $\epsilon$ に依らないので、等号が成り立つためには、\begin{align} ||({\rm D} f(x) - {\rm D}' f(x))[h] ||=0 \end{align} が成り立つ必要があるからです。これとノルムの定義から \begin{align} {\rm D} f(x)[h]= {\rm D}' f(x)[h] \end{align} が任意の $h\in \mathcal{E}$ に対して成り立つことが分かったので、 ${\rm D} f(x)={\rm D}'f(x)$ となります。