線形代数を基礎とする応用数理入門に書かれている内容は最新の研究とも密接に関係しています．以下ではそのことを紹介します． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 …

本ブログの内容と以下の本の内容の関係を紹介します（随時更新します）． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 第1章と第2章の内容と関係するブログ記事 第1…

線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ)という本を出版しました！ 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ) 作者:佐藤 一宏 サイエンス社 Amazon この…

以下に線形代数の発展版の資料があります． www.kazuhirosato.work www.kazuhirosato.work

この記事では線形代数の基本定理とも言われるほど応用上非常に重要な特異値分解について解説します。今はやりのデータサイエンスでもかなり使われています。 対称行列のスペクトル分解 特異値分解 行列の作用素ノルム 行列の低ランク近似 参考文献 対称行列…

この記事では、与えられた複素正方行列 のシュール分解を紹介します。また、応用上よく利用される実対称行列のスペクトル分解はシュール分解の特別な場合であることも説明します。 シュール分解 以下のような行列 の固有値が対角成分に並んだ上三角行列への…

この記事では、グラム・シュミットの直交化法とQR分解について解説します。 グラム・シュミットの直交化法 ベクトル は一次独立だとします。このとき、 は の基底となります。しかし、 は の正規直交基底ではないかもしれません。グラム・シュミットの直交化…

この記事では射影行列について解説します。 射影行列の定義と性質 行列 が射影行列であるとは、\begin{align} P^2 =P \end{align} を満たすときに言います。 行列 が射影行列のとき、\begin{align} Q:= I_n-P \end{align} も射影行列であり（ は の単位行列…

この記事では、ベクトル空間の直和分解について解説します。 ベクトル空間の和と直和 ベクトル空間 の二つの部分空間 が与えられているとします。このとき、 は の部分空間でないかもしれませんが、\begin{align} V_1+V_2 := \{ x_1 + x_2\,|\, x_1\in V_1, …

この記事では多様体上の接続と平行移動という概念について解説します。なお、この記事を理解するためには多様体、接空間、ベクトル場といった概念を理解しておく必要がありますが、それらについては以下の記事を参考にしてください。 多様体上のアファイン接…

この記事ではノルム空間の間に定義された関数のガトー微分とフレッシェ微分について解説します。この記事の全体を通して を 上のノルム空間とします。ここで、ノルム空間とはノルムが定義されたベクトル空間のことです。例えば、 は 次元のベクトル空間で任…

この記事では、多様体上のベクトル場について解説します。なお、この記事を理解するためには多様体や接空間などの概念を理解しておくことが必要です。それらについては を参考にしてください。 多様体上のベクトル場 ベクトル場全体の集合の代数構造 積分曲…

この記事では、可制御・可観測な線形システム全体の集合は多様体になることを説明します。ここで言う線形システムとは、 で解説した のことですが、状態方程式表現は行列の三つ組 で決定するので、一つの線形システムは の一点である\begin{align} (A,B,C)\e…

この記事はarXivについてのメモです。 arXivとは arXivとは理数系の英語の原稿を無料で読むことができる以下のウェブサイトです。 https://arxiv.org/ arXivは以下のような特徴を持ちます。 1) arXivは査読がないので誰でもすぐに掲載できます。一方で、専門…

この記事では、電力網のネットワーク、交通網のネットワーク、人間関係のネットワーク、神経ネットワーク、遺伝子ネットワークのようなネットワークシステムの性質を解析する際に重要なグラフラプラシアンについて解説します（枝に向きのないネットワークだ…

この記事では、下図のように を観測してパラメータ を推定しようとしたとき、推定したいパラメータ と推定値 の二乗誤差 の期待値が最小となる推定値（最小平均二乗誤差推定値） は条件付き期待値 で与えられ、この推定値は不偏推定値になることを説明します…

対象とする線形システム の可制御性と可観測性の定義は ogyahogya.hatenablog.com で紹介しましたが、この記事では可制御性と可観測性の「大きさ」を定量的に測る手段を紹介します。線形システムについては ogyahogya.hatenablog.com で紹介しています。この…

この記事では、行列の指数関数と対数関数について解説します。Lie群とLie環という概念を理解するための準備に相当します。 ●行列の内積とノルム をn行n列の実数を成分に持つ行列全体の集合とします。このとき、 に以下の内積とノルムを導入できます。 任意の…

この記事では、等質空間の概念について説明します。等質空間なるものをなぜ紹介するかというと、また別の記事で実数を成分に持つ正定値対称行列全体の集合 を幾何学的に考えたいからです。そのような集合を考えたい理由は、 上での最適化問題が工学の問題を…

この記事では、商集合という概念について説明します。この概念を理解しないと、少し高度な数学は理解できないというぐらい重要な概念です。 ●同値関係 同値関係という概念を使って商集合は定義されます。同値関係よりも一般的な二項関係の概念は以下の通りで…

この記事では最適化理論の基盤となる凸解析の理論を解説します。 ●最適化問題とは 目的関数と呼ばれる関数 を制約条件 のもとで最小化する問題を最適化問題と呼びます。特に、 が凸関数で、 が凸集合である時、凸最適化問題と呼びます。凸最適化問題は効率的…

この記事では今後の記事を書くために必要となる共役作用素について簡単にまとめます。共役作用素とは次のように定義される線形作用素です。 正確には上の の定義域は で稠密である必要があります。そのときに, 上の が一意に定まります。 有界線形作用素 の…

この記事では線形システムの制御で重要な役割を果たす伝達関数について説明します。 ●ラプラス変換 伝達関数を理解するためには関数のラプラス変換を知っている必要があります。ラプラス変換は次のように定義されます。 上のラプラス変換は前の記事で説明し…

前の記事で説明した線形システムの制御を考えるにあたって重要な可制御性と可観測性の概念について説明します。以下の記事 では、可制御可観測なシステム全体の集合の性質について解説しており、この記事の続編のような記事となっています。 ●線形代数の復習…

制御の目的は対象とするシステムに適切な入力を加えて所望の出力を実現することです。 この記事では制御を実行する手順と、システムの最も重要な数学モデルである線形システムについて説明します。 ●制御の手順 制御するときに考える入力や出力は一つだけと…

今回は確率分布が作る幾何学について説明します。 ●フィッシャー情報行列とリーマン多様体 まずは、前の記事で説明したような応用上よく出てくるガウス分布が幾何学的に次のように理解できることに注意しましょう（多様体についてはこちら）。 上の例のよう…

この記事ではリーマン多様体という概念を説明します。リーマン多様体とは簡単に言うと多様体の各点に内積が導入された集合のことです。多様体のことを知らない人のために、まずは多様体から説明しましょう。その後に接空間、２つの多様体間の写像の微分、余…

で平均から大きく離れたところの生起確率の簡単な評価を与えました。今回はその評価をさらに精密にして、数理的な構造をもっと詳しく見たいと思います。前の記事で次の評価を与えました。 上の は確率変数 の積率母関数、 は確率変数 のキュムラント母関数 (…

前回簡単に説明した大偏差原理をエントロピーの概念を使って詳しく説明するために、今回はエントロピーについて説明します。また、カルバック・ライブラー情報量、最尤推定法などについても説明します。 ●エントロピー 有限個の事象のエントロピーは次のよう…

前の記事では中心極限定理について説明しました。中心極限定理の主張は次のようにも解釈できます。 しかし、中心極限定理だけでは次のような疑問が生じます。 図で気持ちを書くとこんな感じです。 平均と同じオーダーの偏差が生じる確率を0と答えるのではな…