発展的な線形代数の資料について

　以下に線形代数の発展版の資料があります．

www.kazuhirosato.work

www.kazuhirosato.work

特異値分解

この記事では線形代数の基本定理とも言われるほど応用上非常に重要な特異値分解について解説します。今はやりのデータサイエンスでもかなり使われています。

対称行列のスペクトル分解

特異値分解は対称行列のスペクトル分解に密接に関係しているので、まずは対称行列のスペクトル分解について説明します。

実数を成分に持つ正方行列 が対称行列だとしましょう。すなわち、 です。このとき、\begin{align} Av_i = \lambda_i v_i \end{align} となる と が存在します。ただし、 です。よく知られているように、このような を の固有値、 を の固有値 に対応する固有ベクトルと呼びます。行列 が対称なので、固有ベクトルの集合 を の正規直交基底とすることができます。いま、\begin{align} V &:= \begin{pmatrix} v_1 & v_2 & \cdots & v_n \end{pmatrix},\quad D:= {\rm diag} (\lambda_1,\lambda_2,\ldots, \lambda_n) \end{align} とすると、\begin{align} A = VDV^T\end{align} となります。右辺の を対称行列 のスペクトル分解と言います。より詳しくは、以下の記事を参照してください。

特異値分解

次に、 で でも良い場合を考えてみましょう。正方でない、つまり の場合は、 の固有値や固有ベクトルを考えることができないので をスペクトル分解することができません。しかし、 は に入っているので正方であり、しかも対称行列です。よって、 のスペクトル分解を考えることができます。

対称行列 のスペクトル分解を\begin{align} A^TA = VDV^T\end{align}としましょう。ただし、 は対角行列で対角成分に の固有値 が並び、 の各列ベクトルは の固有ベクトル からなる の正規直交基底 で構成されているとします。ただし、 とします。このとき、\begin{align} \langle Av_i, Av_j\rangle = \lambda_j \langle v_i, v_j \rangle = \begin{cases} \lambda_i\quad (i=j)\\ 0\quad\,\,\,\,\,\, (i\neq j) \end{cases} \end{align} となります。ただし、 はユークリッド内積です。したがって、 は直交しており、ゼロでないベクトルは の基底を構成します。また、 とすると\begin{align} ||Av_i||^2 = \lambda_i \end{align} となるので が分かります。よって、 だとすると、\begin{align} \lambda_i = 0\quad (k<i\leq n)\end{align} となります。したがって、\begin{align} u_i:= \frac{Av_i}{||Av_i||} = \frac{1}{\sqrt{\lambda_i}} Av_i\quad (1\leq i\leq k) \end{align} は の正規直交基底を構成します。もし、 の場合は、この正規直交基底を の正規直交基底へ延長することもできます。実際に、この正規直交基底をなすベクトル に一次独立な 個のベクトルをもってきて次の記事で解説したグラム・シュミットの直交化法を利用することで の正規直交基底 を作ることができます。

以上より、\begin{align} Av_i &= \sigma_i u_i\quad (1\leq i\leq k)\\ Av_i &=0\quad\,\,\,\,\,\, (k<i\leq n) \end{align} となります。ただし、 です。このことより、 を用いると（作り方から であることに注意)、行列 は\begin{align} A=U\Sigma V^T \end{align} と分解できることが分かります。ただし、\begin{align} U:=\begin{pmatrix} u_1 & u_2 & \cdots & u_m \end{pmatrix}\end{align} で は の正規直交基底です。この を の特異値分解、 を の特異値、 の各列を左特異ベクトル、 の各列を右特異ベクトルと言います。特異値分解は、以下のように任意の行列による写像が回転や拡大の写像に分解できることを意味しています。

また、特異値分解は\begin{align} A= \sum_{i=1}^k \sigma_i u_i v_i^T \end{align} というように、 個分だけランク1の行列を加算することを意味します。この表現を用いると、任意の に対して\begin{align} Ax = \sigma_1x_1u_1+\sigma_2x_2u_2+\cdots +\sigma_k x_k u_k \end{align}が成り立つことが分かります。特に、 なら\begin{align} Ax = \sigma_1u_1+\sigma_2u_2+\cdots +\sigma_k  u_k \end{align}となります。このことを の に対して可視化したのが上の図です。

行列の作用素ノルム

任意の に対して\begin{align} ||A||:= \max_{x\in {\bf R}^n\backslash\{0\}} \frac{||Ax||}{||x||} = \max_{||x||=1} ||Ax|| \end{align}とすると はノルムとなります。このノルムを作用素ノルムと言います。以下のように、行列 の作用素ノルムは最大特異値になります。

例えば、 となる任意の の作用素ノルムは になります。なぜなら、任意の に対して\begin{align} ||Ux||^2=x^TU^TUx=||x||^2 \end{align} が成り立つからです。また、サイズの異なる行列 に対して\begin{align} ||AB||\leq ||A||\cdot ||B|| \end{align}が成り立ちます。なぜなら、任意の に対して\begin{align} ||ABx||\leq ||A||\cdot ||Bx||\leq ||A||\cdot ||B||\cdot ||x|| \end{align} が成り立つからです。さらに、以下が成り立ちます。

証明は以下の通りです。

行列の低ランク近似

与えられた行列 の最適な近似が特異値分解を利用することで以下のように得られます。この結果はエッカート・ヤング(Eckart-Young)の定理と言われています。

証明は以下の通りです。

 この定理は以下を意味します。

この定理は行列 のランクを だとしたときに、ランク 以下で に最も近い行列が 自身を特異値分解することで得られることを示しており、このことから特異値分解が応用上非常に重要だということになります。例えばデータサイエンスの文脈では、 はデータを格納した行列ということが多いですが、この のサイズが非常に大きい（ が非常に大きい）と情報処理が大変になります。このようなときに、 を特異値分解して、 に最も近い低ランクな行列を構成する特異値と特異ベクトルを抽出しておけば、データ処理が非常に簡単になります。

参考文献

この記事を書くにあたって参考にした文献です。

世界標準MIT教科書 ストラング:線形代数イントロダクション

現代線形代数 ―分解定理を中心として―

Approximation of Large-Scale Dynamical Systems (Advances in Design and Control)

行列のシュール分解

この記事では、与えられた複素正方行列 のシュール分解を紹介します。また、応用上よく利用される実対称行列のスペクトル分解はシュール分解の特別な場合であることも説明します。

シュール分解

以下のような行列 の固有値が対角成分に並んだ上三角行列への分解をシュール分解と言います。

ただし、 は複素共役転置を表します。これの証明は以下の通りです。

証明の中でグラム・シュミットの直交化法を利用しました。グラム・シュミットの直交化法は以下の記事で解説しています。

正規行列：シュール分解によって対角化可能な行列

一般の行列 はシュール分解によって上三角行列に分解できることを上で示しましたが、 が正規行列、すなわち\begin{align} AA^{\dagger} = A^{\dagger}A \end{align}を満たすなら以下で示すようにシュール分解によって対角化できます。正規行列の例としては、複素数を成分にもつユニタリ行列、エルミート行列、反エルミート行列や実数を成分に持つ直交行列、対称行列、反対称行列があります。

証明は以下の通りです。

エルミート行列

正規行列の特別な場合であるエルミート行列に限定したときに、シュール分解がどうなるかを調べます。そのために、エルミート行列 のすべての固有値は実数だったことを思い出しましょう。実際に、 とすると、\begin{align} x^{\dagger}Ax = \lambda x^{\dagger}x \end{align} となりますが、 は非ゼロの実数で、なので左辺も実数なので、 は実数となります。したがって、エルミート行列 のシュール分解を考えると、次の結論を得ます。

すなわち、エルミート行列は固有値によって重み付けされた直交射影の和として表現されます。実数の世界での直交射影は

で説明しましたが、少し修正すると複素数に対しても成り立ちますので、 は が張る1次元部分空間への直交射影だということになります。

対称行列

エルミート行列の特別な場合である実数を成分に持つ対称行列に限定したときに、シュール分解がどうなるかを調べます。そのために、対称行列 の固有値は実数であり、固有ベクトルとして実ベクトルを常に選ぶことができることを思い出しましょう。実際に、固有値が実数であることはエルミート行列のところの議論と同じですし、固有ベクトルを実ベクトルとして選ぶことが可能なのは以下のように示せます。

したがって、対称行列 のシュール分解を考えると、次の結論を得ます。

すなわち、エルミート行列の場合と同様に、対称行列は固有値によって重み付けされた直交射影の和として表現されます。ただし、ここの直交射影は

で説明した直交射影とまったく同じです。

参考文献

記事を書くにあたって参考にした文献です。

これならわかる工学部で学ぶ数学

現代線形代数 ―分解定理を中心として―

世界標準MIT教科書 ストラング:線形代数イントロダクション

グラム・シュミットの直交化法とQR分解

この記事では、グラム・シュミットの直交化法とQR分解について解説します。

グラム・シュミットの直交化法

ベクトル は一次独立だとします。このとき、 は の基底となります。しかし、 は の正規直交基底ではないかもしれません。グラム・シュミットの直交化法は の任意の基底 から以下のように正規直交基底を構成する方法です。\begin{align} q_1 &:=\frac{a_1}{||a_1||}\\ q_k &:= \frac{a_k-P_{q_1,\ldots,q_{k-1}}(a_k)}{||a_k-P_{q_1,\ldots,q_{k-1}}(a_k)||}\quad (k=2,\ldots,n) \end{align}

ただし、 は 上への直交射影で、\begin{align}Q_{k-1}:= \begin{pmatrix} q_1 & q_2 & \cdots & q_{k-1} \end{pmatrix}\in {\bf R}^{n\times (k-1)}\end{align}

です。ベクトル の作り方から となるので、直交射影 は

で説明したように、\begin{align}P_{q_1,\ldots,q_{k-1}} = Q_{k-1}Q_{k-1}^T=q_1q_1^T+q_2q_2^T+\cdots+ q_{k-1}q_{k-1}^T \end{align} となります。

の場合のグラム・シュミットの直交化法は次のような感じでイメージできます。

の場合は次のような感じです。

 QR分解

ベクトル は一次独立だとして、\begin{align} A:= \begin{pmatrix} a_1 & a_2 & \cdots & a_n \end{pmatrix}\in {\bf R}^{n\times n} \end{align} だとします。グラム・シュミットの直交化法により、 とすると、以下のように行列 を分解できます。

このように、行列 を直交行列 と 上三角行列 へ分解することを のQR分解と言います。QR分解の構成から、QR分解することはグラム・シュミットの直交化をすることと同値ですので、 の各列ベクトルが一次独立なら常に のQR分解を実行することができます。

注意1

でベクトル は一次独立だとします ( の場合は一次独立にならないので考えません）。 の場合は上と同じなので、 の場合の注意を書いときます。

の場合も上のグラム・シュミットの直交化法はまったく同じように実行できて、 から正規直交ベクトル を得ることができます。このとき\begin{align} A:= \begin{pmatrix} a_1 & a_2 & \cdots & a_n \end{pmatrix}\in {\bf R}^{m\times n} \end{align} は\begin{align} A=QR \end{align} というようにQR分解できます。ただし、 は の場合と同じ の上三角行列ですが、\begin{align} Q:= \begin{pmatrix} q_1 & q_2 & \cdots & q_n \end{pmatrix}\in {\bf R}^{m\times n} \end{align}は各列が正規直交しているものの、 なので直交行列とは言えません。このような各列が正規直交している行列全体の集合をシュティーフェル多様体と言い、色々な応用で出てきます。

注意2

でベクトル は一次独立だとします。注意1との違いはベクトルの成分が実数ではなく、複素数だということです。この場合もグラム・シュミットの直交化法が適用できます。ただし、ノルムの定義や直交射影に若干の変更が必要です。すなわち、 の場合のノルムは（陽に書いていませんでしたが）\begin{align} ||x||^2 = x_1^2+x_2^2+\cdots +x_m^2 \end{align} だとしていましたが、 のノルムは\begin{align} ||x||^2 = |x_1|^2+|x_2|^2+\cdots +|x_m|^2 \end{align} に変更する必要があります。また、直交射影は\begin{align} P_{q_1,\ldots,q_{k-1}} =Q_{k-1}Q_{k-1}^{\dagger} \end{align} と変更されます。ただし、 は複素共役転置を表しています。この変更のもとで、\begin{align} A:= \begin{pmatrix} a_1 & a_2 & \cdots & a_n \end{pmatrix}\in {\bf C}^{m\times n} \end{align} は\begin{align} A=QR \end{align} というようにQR分解できます。ただし、 は各列が正規直交しており、 は上三角行列です。さらに、 の場合には はユニタリ行列となります。

参考文献

この記事を書くにあたって参考にした文献です。

世界標準MIT教科書 ストラング:線形代数イントロダクション

射影行列

この記事では射影行列について解説します。

射影行列の定義と性質

行列 が射影行列であるとは、\begin{align} P^2 =P \end{align} を満たすときに言います。

行列 が射影行列のとき、\begin{align} Q:= I_n-P \end{align} も射影行列であり（ は の単位行列）、\begin{align} PQ=QP =0 \end{align} であり、\begin{align} {\bf R}^n = {\rm Im}\, P\oplus {\rm Im}\, Q\end{align} が成り立ちます。さらに、\begin{align} {\rm Ker}\, P = {\rm Im}\, Q\end{align} が成り立ち、\begin{align} {\bf R}^n = {\rm Im}\, P\oplus {\rm Ker}\, P\end{align} となります。

ここで、 は以下の記事で紹介した直和を表しています。

が射影行列、 は明らかなので、まずは が成り立つことを示します。任意の は となるので が成り立ちますので が成り立つことを確かめたら良いです。そこで、任意の をとってみると、ある によって が成り立ちますので、 が成り立つことが分かります。また、 なので となり、 なので が成り立つことになり、 が示せました。次に、 が成り立つことを示します。任意の をとると、 なので となり、 が分かります。また、 なので が成り立つので、 が言えました。

上のことは 上の射影行列が与えられたら の直和分解が得られることを示していますが、逆に の直和分解が与えられたら射影行列が定まります。

ならば、, となる射影行列 が一意に定まり、 となります。言い換えると、 ならば、任意の は と一意に表されますが、 を に移す写像 と を に移す写像 が一意に定まります。この を に沿った への射影行列、 を に沿った への射影行列と言います。

上の の存在は、 より、任意の はある と によって と一意に分解できることから , とおくと、 が成り立つことから分かります。一意性は、 と書いてみると、 となることから分かります。

以上のことから次のことが言えます。

行列 が射影行列であるということは は に沿った への射影行列であることを意味します。

したがって、射影行列は以下のようにベクトル空間を直和分解する写像のように思えます。

直交射影行列

ユークリッド空間 には内積 が定義されているとします。射影行列 が対称行列、つまり、 のとき、 を直交射影行列と言います。行列 が直交射影行列だとすると、ユークリッド空間 は次のように と に直交直和分解されます。

行列 が直交射影行列ではなく、単なる射影行列だと にはなりますが、これが直交直和とは限らないことが \begin{align} P= \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix} \end{align} の上の例から分かります。
一次独立なベクトルたちが張る空間への直交射影行列は次のように表現できます。

特に、 が正規直交していると、 への直交射影行列 は なので\begin{align} P = AA^T=a_1a_1^T+a_2a_2^T+\cdots +a_ma_m^T \end{align} となり、任意の に対して、\begin{align} Px = (a_1^Tx)a_1+(a_2^Tx)a_2+\cdots +(a_m^Tx)a_m \end{align} となります。したがって、 は を各 軸へ直交射影したベクトルの和として表現されます。例えば、 の は次のように 軸と 軸へ を直交射影したベクトルの和ということになります。

行列 が直交射影行列ならば となるので以下が成り立つことが分かります。

つまり、任意のベクトル の直交射影 の大きさは の大きさ以下になります。行列 が直交射影ではなく、単なる射影行列だとこのようなことは言えません。実際に、次のような例があります。

この直交射影の概念は、以下の記事の中でも利用しているようにシステム制御理論でもよく使われます。

参考文献

記事を書くにあたって次の本を参考にしました。

UP応用数学選書10 射影行列・一般逆行列・特異値分解 新装版

ベクトル空間の直和分解

この記事では、ベクトル空間の直和分解について解説します。

ベクトル空間の和と直和

ベクトル空間 の二つの部分空間 が与えられているとします。このとき、 は の部分空間でないかもしれませんが、\begin{align} V_1+V_2 := \{ x_1 + x_2\,|\, x_1\in V_1, x_2\in V_2 \} \end{align} は の部分空間になっています。この は を含む最小の部分空間になっており、 と の和と言います。基底を構成するベクトルの数をカウントすることで、\begin{align} \dim (V_1+V_2) = \dim V_1 + \dim V_2 - \dim (V_1\cap V_2) \end{align} が成り立つことが分かります。

もし、 かつ が成り立つならば、 は と の直和であると言ったり、 と に直和分解されると言ったりして、\begin{align} V= V_1\oplus V_2 \end{align} と書き、 は の補空間と言います ( は の補空間)。 であることと、 かつ が成り立つことは同値です。また、 であることと、任意の が\begin{align} x = x_1 + x_2,\quad x_1\in V_1,\, x_2\in V_2 \end{align} として一意に表せることは同値です。

不変部分空間による直和分解と行列の分解

今、 を複素数全体の集合として、 とします。ベクトル空間 が -不変部分空間であるとは、 任意の に対して が成り立つときに言います。

を -不変部分空間として は と直和分解されるとしましょう。ただし、 とします。このとき、ある可逆な行列 が存在して\begin{align} P^{-1}AP = \begin{pmatrix} A_1 & 0 \\ 0 & A_2 \end{pmatrix} \end{align} と書けます。ただし、 です。実際に、ある一次独立なベクトル を用いて と書くことができ、\begin{align} A \begin{pmatrix} p_1& p_2 & \cdots & p_n \end{pmatrix} =\begin{pmatrix} p_1& p_2 & \cdots & p_n \end{pmatrix} \begin{pmatrix} A_1 & 0 \\ 0 & A_2 \end{pmatrix} \end{align} と表現できることから分かります。

逆に、\begin{align} P^{-1}AP = \begin{pmatrix} A_1 & 0 \\ 0 & A_2 \end{pmatrix} \end{align} が成り立つと、-不変部分空間 が存在して が成り立つことが分かります。

ここで説明した不変部分空間の概念は以下の記事で説明したようにシステム制御理論の中でもよく使われています。

内積空間の直交直和分解

ベクトル空間 には内積 が導入されているとします。つまり、 は内積空間とします。ベクトル空間 の部分集合 が与えられたとすると、 の内積を用いて の部分空間\begin{align} U^{\perp}:= \{ x\in V\,|\, (x,y)=0,\,\,\forall y\in U\} \end{align}が定義できます。この を の直交補空間と言います。 が の部分空間だとすると、\begin{align} V = U\oplus U^{\perp} \end{align} が成り立ちます。

内積空間の例であるユークリッド空間の直交直和分解

ユークリッド空間 には内積 が定義されているとして、ユークリッド空間 から への線形写像 が与えられているとします。つまり、 です。線形写像 が与えられているので、\begin{align} {\rm Im}\, A &:= \{ Ax\,|\, x\in {\bf R}^n\} \\ {\rm Ker}\,A &:= \{x\in {\bf R}^n\,|\, Ax=0\} \end{align} が定義できます。 を の像空間と言い、 を の核と言います。 は の部分空間であり、 は の部分空間になっています。

線形写像の像空間と核という概念を使うと、ユークリッド空間は次のように直交直和分解できます。\begin{align} {\bf R}^m &= {\rm Im}\, A \oplus ({\rm Im}\,A)^{\perp} \\ {\bf R}^n &= {\rm Ker}\, A\oplus ({\rm Ker}\,A)^{\perp} \end{align}これと\begin{align} {\rm Ker}\, A^T = ({\rm Im}\, A)^{\perp} \end{align} より、以下のような感じで考えることができます。

上のユークリッド空間の直交直和分解と\begin{align} {\rm rank}\, A:= \dim ({\rm Im}\, A) = {\rm rank}\, A^T \end{align} より、次元定理\begin{align} n = {\rm rank}\,A + \dim {\rm Ker} A \end{align} が得られます。

参考文献

 記事を書くにあたって次の本を参考にしました。

線型代数学(新装版) (数学選書)

多様体上の接続と平行移動

この記事では多様体上の接続と平行移動という概念について解説します。なお、この記事を理解するためには多様体、接空間、ベクトル場といった概念を理解しておく必要がありますが、それらについては以下の記事を参考にしてください。

多様体上のアファイン接続

多様体上のアファイン接続という概念は多様体上の異なる2点の接空間を関係付ける（つなげる）概念であり、以下のように定義されます。                                                                                              

ここで、 は 上の滑らかなベクトル場全体の集合です。定義の(i)と(ii)から は について -線形で、(iii)と(iv)から は について -線形であることが分かります。また、(ii)は がライプニッツ則を満たすことを意味しています。

アファイン接続の定義はかなり抽象的であるため、異なる接空間のつながり方を定めていることがイメージしにくいと思います。そこで、以下で詳しくアファイン接続が接空間をつなげている様子を見ていきたいと思います。そのために、まず共変微分が具体的には何なのかを考えます。

ユークリッド空間の場合の共変微分

まず、多様体がユークリッド空間の場合には、方向微分は共変微分になることを説明します。

多様体 がユークリッド空間 の場合を考えましょう。ユークリッド空間 上の任意の滑らかなベクトル場 が与えられているとします。このとき、 の点 での に沿った方向微分（ガトー微分)とは、

で紹介したように、\begin{align} ({\rm D}_X Y)(p):={\rm D}_{X(p)} Y(p) = \lim_{t\rightarrow 0} \frac{Y(p+tX(p)) -Y(p)}{t} \end{align} のことです。ベクトル場のベクトル場に沿った方向微分は共変微分と同じ形をしている以下の性質を満たします。

方向微分が上の性質を満たすことの証明はどれも簡単ですが、(ii) と (iii) を証明しておきます。まず (ii) の証明をします。任意の に対して \begin{align} ({\rm D}_X (fY))(p) = \lim_{t\rightarrow 0} \frac{ (fY)(p+tX(p)) -(fY)(p)}{t} \end{align} が成り立ちますが、右辺は \begin{align} \lim_{t\rightarrow 0} \frac{ f(p+tX(p))Y(p+tX(p)) -f(p)Y(p+tX(p))}{t} + \lim_{t\rightarrow 0} \frac{f(p)Y(p+tX(p)) -f(p)Y(p)}{t} \end{align} のことですので (ii) が成り立ちます。次に (iii) の証明をします。 ベクトル場 は滑らかなのでガトー微分とフレッシェ微分が一致して \begin{align} {\rm D}_X Z(p) = {\rm D} Z(p)[X(p)] \end{align} が成り立ちます。フレッシェ微分 (ここでは普通のヤコビ行列) は線形ですので、 \begin{align} {\rm D}_{X+Y} Z(p) = {\rm D} Z(p) [X(p)+Y(p)] = {\rm D} Z(p)[X(p)] + {\rm D} Z(p)[Y(p)] = {\rm D}_X Z(p) + {\rm D}_Y Z(p) \end{align} となるので (iii) が成り立ちます。

任意の に対して方向微分 も の要素となるので、多様体 がユークリッド空間の場合は方向微分は共変微分になっているということが確認できました。つまり、ユークリッド空間の場合は方向微分によってアファイン接続が定義できるということです。

ユークリッド空間の部分多様体の場合の共変微分

次に、多様体がユークリッド空間の部分多様体の場合には、方向微分は共変微分にならず、方向微分の接空間への射影が共変微分になることを説明します。

局所座標を使わない説明

上と同じように多様体 で任意の滑らかなベクトル場 が与えられているとします。そして、 をユークリッド空間 の部分多様体だとします。ベクトル場 は 上で与えられていますが、 上に制限して だとも考えることができます。このとき の に沿った方向微分 は に入っているでしょうか？ 一般には入っていません。つまり、 は多様体 の点 での接空間 の要素ですが、 は接空間 の要素にはなっていないことがあります。これは、 は言えますが、 は言えないということです。 なら が言えないので を共変微分とは言えないということになります。

しかし、 と直交直和分解すると、 を                                                                                            \begin{align} {\rm D}_X Y(p) = {\rm P}_p ({\rm D}_X Y(p)) + {\rm P}^{\perp}_p({\rm D}_X Y(p)) \end{align} と一意に分解することができます。ここで、\begin{align} {\rm P}_p: T_p {\bf R}^n \rightarrow T_p U \end{align} は射影です。この事実を利用して\begin{align} \nabla_X Y(p):={\rm P}_p ({\rm D}_X Y(p)) \end{align} と を定義すると は共変微分の性質 (i)~(iv) を満たします。つまり、方向微分の接空間への射影は共変微分になり、これによってアファイン接続が定義できました。ここまでの議論を図示すると以下のような感じです。

局所座標と曲線を使った説明

次に、多様体がユークリッド空間の部分多様体の場合で、ユークリッド空間上のベクトル場を与えられた曲線から定められる速度ベクトル場に沿った方向微分は共変微分には一般にはならないことを局所座標を用いて確認します。

多様体 と任意の滑らかなベクトル場 を考えます。そして、 をユークリッド空間 の 次元の部分多様体だとして、 上の曲線 が与えられているとします。

曲線 は局所座標 を用いて と書けます。部分多様体 の曲線 上ではベクトル場 と速度ベクトル場 は \begin{align} X(c(t)) &= \sum_{i=1}^m f_i(x_1(t),x_2(t),\ldots, x_m(t)) \left( \frac{\partial}{\partial x_i}\right)_{c(t)} \\ \dot{c}(t) &= \sum_{i=1}^m \dot{x}_i(t) \left(\frac{\partial}{\partial x_i}\right)_{c(t)} \end{align} と書けます。つまり、 です。

これからベクトル場 を曲線の速度ベクトル場 に沿って方向微分します。ここで、 は曲線 上の滑らかなベクトル場全体の集合です。曲線 上では になることを注意してください。ベクトル場のベクトル場に沿った方向微分の性質 (i)~(iv) を用いると方向微分 は以下のように計算できます。

つまり ですが、 とは以下の理由で言えません。                                                                                            

さらに、 がベクトル場 の積分曲線、つまり だとすると、上の計算結果より\begin{align} {\rm D}_{\dot{c}} \dot{c}(c(t)) = \sum_{j=1}^m \ddot{x}_j(t) \left( \frac{\partial}{\partial x_j}\right)_{c(t)} + \sum_{i=1}^m \sum_{j=1}^m \dot{x}_i(t)\dot{x}_j(t) {\rm D}_{(\frac{\partial}{\partial x_i})_{c(t)}}\left( \frac{\partial}{\partial x_j}\right)_{c(t)} \end{align}が得られます。以下の具体例で具体的に見るように、この は局所座標を用いた曲線の2回微分 、つまり加速度ベクトルに等しいです。したがって曲線 の速度ベクトル は に入っていますが、加速度ベクトル は一般には に入っていないということが分かりました。 

具体例

ここまでの内容を具体的に見てみます。例として、多様体 を以下の単位球面とします。この球面の上半分を局所座標 を用いてパラメータ表示します。

この球面上に曲線 があり、この曲線に沿ったベクトル場 があるとします。このとき、ベクトル場 を同じベクトル場 に沿って共変微分するとどうなるか具体的に見てみます。

そのために、まず点 での接ベクトル が\begin{align} \dot{c}(t) = \dot{x}_1(t) \left(\frac{\partial}{\partial x_1}\right)_{c(t)} + \dot{x}_2(t) \left(\frac{\partial}{\partial x_2}\right) _{c(t)} \end{align} と書けたことを思い出しましょう。つまり、接空間 は \begin{align} T_{c(t)} M={\rm span}\, \{\left(\frac{\partial}{\partial x_1}\right)_{c(t)}, \left(\frac{\partial}{\partial x_2}\right)_{c(t)} \} \end{align} と書けました。しかし、 という書き方は接ベクトルの微分作用素としての側面を強調した書き方のため分かりにくいかもしれません。接ベクトルを矢印のベクトルとして理解するために、 と の2次元の部分空間を同一視して考えましょう。つまり、 を2次元のユークリッド空間だと考えましょう。

具体的には以下のように を2次元のユークリッド空間だと考えることができます。上の図で示した写像 を用いて曲線 を\begin{align} c(t) = q(x_1(t),x_2(t))=q(x(t)) \end{align} と書きます。そうすると、接ベクトル は\begin{align} \dot{c}(t) = \dot{x}_1(t)\frac{\partial q}{\partial x_1}(x(t))+\dot{x}_2(t)\frac{\partial q}{\partial x_2}(x(t)) \end{align} となります。ここで、\begin{align} \frac{\partial q}{\partial x_1}(x(t)) = \begin{pmatrix} 1 \\ 0 \\ -\frac{x_1(t)}{\sqrt{1-x_1^2(t)-x_2^2(t)}} \end{pmatrix}, \,\,\,\, \frac{\partial q}{\partial x_2}(x(t)) = \begin{pmatrix} 0 \\ 1 \\ -\frac{x_2(t)}{\sqrt{1-x_1^2(t)-x_2^2(t)}} \end{pmatrix} \end{align} です。したがって、 を2次元のユークリッド空間だと考えてるということは を と同一視するということを意味しています。

さらに、接ベクトル を について微分して加速度ベクトル を計算すると以下のようになります。\begin{align} \ddot{c}(t) = \sum_{i=1}^2 \left( \ddot{x}_i(t) \frac{\partial q}{\partial x_i}(x(t))+\dot{x}^2_i(t)\frac{\partial^2 q}{\partial x_i^2}(x(t)) \right) +2\dot{x}_1(t)\dot{x}_2(t)\frac{\partial^2 q}{\partial x_1\partial x_2}(x(t)) \end{align}ここで、 なので、\begin{align} \ddot{c}(t) = {\rm D}_{\dot{c}}\dot{c}(c(t)) \end{align} となることを確認できました。

もっと詳しく加速度ベクトル を調べます。表記を簡単にするために、 と書いて、 と と の外積によって を定義すると、 は の基底ベクトルになるため \begin{align} \frac{\partial^2 q}{\partial x_i \partial x_j}(x(t)) = \Gamma^1_{ij}(x(t))q_1(x(t))+\Gamma^2_{ij}(x(t))q_2(x(t)) + v_{ij} e \end{align} と書くことができます。ここで、 なので が成り立ちます。したがって、加速度ベクトルは \begin{align} \ddot{c}(t) =& \sum_{i=1}^2(\ddot{x}_i(t) + \dot{x}_1^2(t) \Gamma_{11}^i + 2\dot{x}_1(t)\dot{x}_2(t) \Gamma_{12}^i + \dot{x}_2^2(t) \Gamma_{22}^i) q_i\\ &+ (\dot{x}_1^2(t)v_{11} + 2\dot{x}_1(t) \dot{x}_2(t)v_{12} + \dot{x}_2^2(t) v_{22} ) e \end{align} となります。この式から一般には加速度ベクトル には 方向の成分があることが分かります。よって、ベクトル の定義から と は直交しているため、 の成分がゼロにならない限り は接空間 からはみ出るということを意味しています。

加速度ベクトル の の成分がゼロになると実は は接空間 の要素だということになりますが、一般にはならないことを念のため数値的に確認します。まず、 なので \begin{align} e = \begin{pmatrix} \frac{x_1(t)}{\sqrt{1-x_1^2(t)-x_2^2(t)}} \\ \frac{x_2(t)}{\sqrt{1-x_1^2(t)-x_2^2(t)}} \\ 1 \end{pmatrix} \end{align} となります。また、\begin{align} \frac{\partial^2 q}{\partial x_1^2} = \begin{pmatrix} 0 \\ 0 \\ \frac{x_2^2-1}{(1-x_1^2-x_2^2)^{3/2}} \end{pmatrix},\,\, \frac{\partial^2 q}{\partial x_2^2} = \begin{pmatrix} 0 \\ 0 \\ \frac{x_1^2-1}{(1-x_1^2-x_2^2)^{3/2}} \end{pmatrix},\,\,  \frac{\partial^2 q}{\partial x_1 \partial x_2} = \begin{pmatrix} 0 \\ 0 \\ -\frac{x_1x_2}{(1-x_1^2-x_2^2)^{3/2}} \end{pmatrix} \end{align}となります。したがって、\begin{align} \frac{\partial^2 q}{\partial x_1^2} &= \frac{x_1(1-x_2^2)}{1-x_1^2-x_2^2}q_1 + \frac{x_2(1-x_2^2)}{1-x_1^2-x_2^2}q_2 -\frac{1-x_2^2}{\sqrt{1-x_1^2-x_2^2}}e \\ \frac{\partial^2 q}{\partial x_2^2} &= \frac{x_1(1-x_1^2)}{1-x_1^2-x_2^2}q_1 + \frac{x_2(1-x_1^2)}{1-x_1^2-x_2^2}q_2 -\frac{1-x_1^2}{\sqrt{1-x_1^2-x_2^2}}e \\ \frac{\partial^2 q}{\partial x_1 \partial x_2} &= \frac{x_1^2 x_2}{1-x_1^2-x_2^2}q_1 + \frac{x_1x_2^2}{1-x_1^2-x_2^2}q_2 -\frac{x_1x_2}{\sqrt{1-x_1^2-x_2^2}}e \end{align}です。よって、 のとき、\begin{align} \frac{\partial^2 q}{\partial x_1^2} &= \frac{2}{3}q_1 -\frac{2\sqrt{3}}{3}e \\ \frac{\partial^2 q}{\partial x_2^2} &= \frac{1}{2}q_1 -\frac{\sqrt{3}}{2}e \end{align} となって、\begin{align} \Gamma_{11}^1 = \frac{1}{2},\,\, \Gamma_{11}^2 = 0,\,\, \Gamma_{22}^1= \frac{1}{2},\,\, \Gamma_{22}^2 = 0,\,\, \Gamma_{12}^1=\Gamma_{12}^2=0,\,\, v_{11}= -\frac{2\sqrt{3}}{3},\,\, v_{22} = -\frac{\sqrt{3}}{2},\,\, v_{12} = 0  \end{align} が得られます。つまり、加速度ベクトル の 成分は \begin{align} -\frac{2\sqrt{3}}{3} \dot{x}_1^2(t) -\frac{\sqrt{3}}{2}\dot{x}_2^2(t) \end{align} となって、 でない限り 成分はゼロにならないことが分かりました。これは一般には であることを意味しています。

ユークリッド空間の部分多様体の場合における平行と平行移動の概念

上の説明よりユークリッド空間 上のベクトル場 を 次元部分多様体 上の曲線 の速度ベクトル場 に沿って方向微分すると\begin{align} {\rm D}_{\dot{c}}X(c(t)) \not\in T_{c(t)} M \end{align} でした。そこで、上で説明した射影 を用いて\begin{align} \nabla_{\dot{c}(t)} X(c(t)) := {\rm P}_{c(t)} ( {\rm D}_{\dot{c}} X(c(t)) ) \end{align} を定義します。すると、 はアファイン接続となります。射影 は線形なので\begin{align} \nabla_{\dot{c}} X(c(t)) = \sum_{j=1}^m \frac{df_j}{dt}(c(t)) \left( \frac{\partial}{\partial x_j}\right)_{c(t)} + \sum_{i=1}^m \sum_{j=1}^m \dot{x}_i(t) f_j(t) \nabla_{(\frac{\partial}{\partial x_i})_{c(t)}}\left( \frac{\partial}{\partial x_j}\right)_{c(t)} \end{align} となりますが、ある滑らかな関数 を用いて\begin{align} \nabla_{(\frac{\partial}{\partial x_i})_{c(t)}}\left( \frac{\partial}{\partial x_j}\right)_{c(t)} = \sum_{k=1}^m \Gamma_{ij}^k(c(t)) \left( \frac{\partial}{\partial x_k}\right)_{c(t)} \end{align}と書けますので、\begin{align} \nabla_{\dot{c}} X(c(t)) = \sum_{k=1}^m \left( \frac{df_k}{dt}(c(t)) + \sum_{i=1}^m \sum_{j=1}^m \Gamma_{ij}^k(c(t)) \dot{x}_i(t) f_j(t) \right) \left( \frac{\partial}{\partial x_k}\right)_{c(t)} \end{align}となります。これがゼロになるとき、つまり、\begin{align} \nabla_{\dot{c}} X(c(t)) = 0 \end{align} が成り立つときにベクトル場 がアファイン接続 に関して曲線 に沿って平行であると言います。また、 は\begin{align}  \frac{df_k}{dt}(c(t)) + \sum_{i=1}^m \sum_{j=1}^m \Gamma_{ij}^k(c(t)) \dot{x}_i(t) f_j(t)=0 \quad (k=1,2,\ldots, m) \end{align} のことであることに注意しましょう。ただし、 で です。この微分方程式は\begin{align}\frac{d}{dt} \begin{pmatrix} f_1 \\ \vdots \\ f_m \end{pmatrix} = -
\begin{pmatrix} \sum_{i=1}^m\Gamma_{i1}^1\dot{x}_i & \cdots & \sum_{i=1}^m\Gamma_{im}^1\dot{x}_i \\ \vdots & & \vdots \\ \sum_{i=1}^m\Gamma_{i1}^m\dot{x}_i & \cdots & \sum_{i=1}^m\Gamma_{im}^m\dot{x}_i \end{pmatrix}\begin{pmatrix} f_1 \\ \vdots \\ f_m \end{pmatrix} \end{align} と書けるのでベクトル場 の成分 に関して線形の微分方程式となっていることが分かります。したがって、点 における接ベクトル を任意に与えると、曲線 に沿って平行なベクトル場であって、 を満たすものが、初期条件 のもとでの上の線形微分方程式の解として一意に定まります。このようにして定まる を曲線 に沿って を から まで平行移動して得られる接ベクトルと言います。

このように平行と平行移動の概念が定義されました。しかし、この定義を満たしたときに平行と呼ぶ理由や、平行の定義に曲線が登場する理由は自明ではないと思います。そこで以下では、これらの理由を説明します。

平行の名前の由来

以下では、 が成り立つときに平行と呼ぶ理由を調べます。まず、2次元ユークリッド空間 の場合では以下のことが成り立つときに（ が成り立つかは知らなかったとしても）ベクトル場を平行と呼ぶことを自然に感じる人が多いと思います。

上と同じベクトル場 に加えて曲線 が与えられたすると、次のようにベクトル場 はアファイン接続 (この場合は通常の方向微分から定義される）に関し曲線 に沿って平行、つまり であることが分かります。

このようにユークリッド空間に直交座標系を入れて考える場合、各点から出る矢印ベクトルがすべて同じ大きさと向きを持つようなベクトル場 は曲線 が与えられたときに を満たします。

では、ユークリッド空間に直交座標系 ではない以下のような曲線座標系 を導入したらどうなるでしょうか？

共変微分（方向微分）の結果が座標に依存するようでは困るので、直交座標系 のときに だったら曲線座標系 の場合でも と言いたいです。では、どのように曲線座標系 の場合でも だと言えるのでしょうか？直交座標系 の場合は と から が言えました。曲線座標系 の場合でも  と から言えるのでしょうか？一般にはそのようには言えませんが、 を曲線座標系 で表現したときの の成分と の成分がゼロになることから言えるということになります。つまり、曲線座標系 の場合ではベクトル場 がアファイン接続 に関し曲線 に沿って平行であるというのは \begin{align} \frac{dh_k}{dt}(y_1(t),y_2(t)) + \sum_{i=1}^2 \sum_{j=1}^2 \Gamma_{ij}^k(y_1(t),y_2(t))\dot{y}_i(t) h_j(t) = 0\quad (k=1,2) \end{align} が成り立つときに言います。直交座標系を使うと がゼロになりましたが、曲線座標系を使うとゼロにならなくなってしまうことからベクトル場が平行だということを上の微分方程式を満たすときに言おうということになります。なぜかというと、このときに直交座標系の場合と同様に になるからです。

平行の概念を曲線を使って考える理由

ここでは、曲線を使わないで2点でのベクトルが平行であるかを議論することは一般には意味がないことを多様体 が以下の単位球の場合に説明します。

ただし、\begin{align} \frac{\partial p}{\partial v} = \begin{pmatrix} -\cos u \sin v \\ \cos u \cos v \\ 0 \end{pmatrix} \end{align} なので \begin{align} -\frac{\pi}{2}< u < \frac{\pi}{2},\quad -\pi \leq v \leq \pi \end{align} とします。

このとき、 となる 上の任意の滑らかなベクトル場 は\begin{align} X(u,v) = f_1(u,v)e_1+ f_2(u,v)e_2 \end{align} と書けます。また、 上に曲線 があるとすると、この曲線に関する速度ベクトル場は\begin{align} \dot{c} = \dot{u}(t)\frac{\partial}{\partial u} + \dot{v}(t) \frac{\partial}{\partial v} \end{align} となります。共変微分として方向微分の接空間への射影を採用してアファイン接続 を定めます。そうすると、ベクトル場 がアファイン接続 に関して曲線 に沿って平行である、つまり、 は\begin{align} \frac{d}{dt}\begin{pmatrix} f_1 \\ f_2 \end{pmatrix} = \begin{pmatrix} 0 & \dot{v} \sin u \\ -\dot{v}\sin u & 0 \end{pmatrix} \begin{pmatrix} f_1 \\ f_2 \end{pmatrix} \end{align}ということになります。

いま、 を定数で とすると、 なので上の微分方程式の解は\begin{align}\begin{cases}  f_1(u(t),v(t)) = \cos (\lambda t)f_1(u(0),v(0)) +\sin (\lambda t) f_2(u(0),v(0)) \\ f_2(u(t),v(t)) = -\sin(\lambda t) f_1(u(0),v(0)) + \cos (\lambda t) f_2(u(0),v(0)) \end{cases} \end{align} となります。ただし、 です。よって、 のとき\begin{align} \begin{cases} f_1(u(\pi),v(\pi)) = \cos (\lambda \pi) \\ f_2(u(\pi),v(\pi)) = -\sin(\lambda \pi) \end{cases} \end{align} となります。つまり、時刻 で\begin{align} X(u(0),v(0))= \begin{pmatrix} 0 \\ 1\\ 0 \end{pmatrix} \end{align} のベクトルが時刻 で \begin{align} X_1:= X(u(\pi),v(\pi))= \cos (\lambda \pi)\begin{pmatrix} 0 \\ -1\\ 0 \end{pmatrix} -\sin(\lambda \pi) \begin{pmatrix} \sin \alpha \\ 0 \\ \cos \alpha \end{pmatrix} \end{align}

となります。このベクトル は点 のベクトル を曲線 に沿って点 まで平行移動したベクトルとなっていることに注意してください。

同様に、 を定数で とすると、 時刻 で\begin{align} X(u(0),v(0))= \begin{pmatrix} 0 \\ 1\\ 0 \end{pmatrix} \end{align} のベクトルが時刻 で \begin{align} X_2:=X(u(\pi),v(\pi))= \cos (\lambda \pi)\begin{pmatrix} 0 \\ -1\\ 0 \end{pmatrix} +\sin(\lambda \pi) \begin{pmatrix} \sin \alpha \\ 0 \\ \cos \alpha \end{pmatrix} \end{align}となることが分かります。このベクトル は点 のベクトル を曲線 に沿って点 まで平行移動したベクトルとなっています。

上の二つのベクトル と は なら異なりますが、\begin{align} p(\alpha,\pi)=p(\alpha,-\pi) = \begin{pmatrix} -\cos \alpha\\ 0 \\ \sin \alpha \end{pmatrix} \end{align} となっており、 と は同じ点のベクトルとなっています。しかも、この二つのベクトルは両方とも点 のベクトル を平行移動して得られたベクトルでした。違いは、どの曲線に沿って平行移動したかだけです。

このように、同じ場所の同一のベクトルを異なる曲線に沿って平行移動すると、以下の図のような感じで一般には異なるベクトルが得られるので曲線を使って平行の概念を定義します。

一般の多様体の場合の平行と平行移動の概念

ここまでの話は多様体 をユークリッド空間の部分多様体としてきました。つまり、多様体 の外の世界もあるとしてきました。外の世界も考えていたので多様体の接空間からはみ出たベクトルを射影して接空間に落とすということも考えることができました。

以下では多様体 の外の世界は考えないで説明します。つまり、アファイン接続は定義の(i)~(iv)を満たす抽象的な写像のことであり、部分多様体のときの場合のように「方向微分の射影」から定義されません。しかし、抽象的なままでは分かりにくいので部分多様体の場合をイメージしながら理解すれば良いかと思います（多様体がユークリッド空間の部分多様体の場合にも以下の議論は成り立ちますし、応用上はユークリッド空間の部分多様体を考える場合の方が多いと思われますので）。

次元の多様体 にアファイン接続 が定義されているとします。このとき、多様体 の座標近傍 で \begin{align} \nabla_{\frac{\partial}{\partial x_i}} \frac{\partial}{\partial x_j} = \sum_{k=1}^m\Gamma_{ij}^k \frac{\partial}{\partial x_k} \end{align} で定まる 個の滑らかな関数 を局所座標系 に関する接続係数と言います。

多様体 上の滑らかな曲線 に沿って定義されたベクトル場 が\begin{align} \nabla_{\dot{c}}X(c(t))=0 \end{align} を満たすとき、 はアファイン接続 に関して に沿って平行であると言います。これは、多様体 がユークリッド空間の部分多様体の場合の平行の定義と一致しています。 座標近傍 上で を局所座標表示すると、 が部分多様体の場合のときと同様に、\begin{align}  \frac{df_k}{dt}(c(t)) + \sum_{i=1}^m \sum_{j=1}^m \Gamma_{ij}^k(c(t)) \dot{x}_i(t) f_j(t)=0 \quad (k=1,2,\ldots, m) \end{align} となります。ただし、 で です。この微分方程式は\begin{align}\frac{d}{dt} \begin{pmatrix} f_1 \\ \vdots \\ f_m \end{pmatrix} = -
\begin{pmatrix} \sum_{i=1}^m\Gamma_{i1}^1\dot{x}_i & \cdots & \sum_{i=1}^m\Gamma_{im}^1\dot{x}_i \\ \vdots & & \vdots \\ \sum_{i=1}^m\Gamma_{i1}^m\dot{x}_i & \cdots & \sum_{i=1}^m\Gamma_{im}^m\dot{x}_i \end{pmatrix}\begin{pmatrix} f_1 \\ \vdots \\ f_m \end{pmatrix} \end{align} と書けるのでベクトル場 の成分 に関して線形の微分方程式となっていることが分かります。したがって、点 における接ベクトル を任意に与えると、曲線 に沿って平行なベクトル場であって、 を満たすものが、初期条件 のもとでの上の線形微分方程式の解として一意に定まります。このようにして定まる を曲線 に沿って を から まで平行移動して得られる接ベクトルと言います。

平行移動を定める線形微分方程式の中には接続係数 が含まれていて、この接続係数はアファイン接続から定まります。平行移動は異なる2点の接空間の要素である接ベクトルを関係付けていますから、アファイン接続は異なる2点の接空間のつながり方（関係性）を定めているというように考えることができます。

参考文献

(1) アファイン接続などの説明の参考にしました。

情報幾何学の基礎 (数理情報科学シリーズ)

(2) 平行の概念を曲線を使って定義する理由の解説を参考にしました。

曲線と曲面の微分幾何

 (3) 多様体がユークリッド空間の部分多様体である場合には、方向微分の接空間への射影が共変微分になることの説明の参考にしました。

Optimization Algorithms on Matrix Manifolds