この記事では、下図のように を観測してパラメータ を推定しようとしたとき、推定したいパラメータ と推定値 の二乗誤差 の期待値が最小となる推定値（最小平均二乗誤差推定値） は条件付き期待値 で与えられ、この推定値は不偏推定値になることを説明します…

今回は確率分布が作る幾何学について説明します。 ●フィッシャー情報行列とリーマン多様体 まずは、前の記事で説明したような応用上よく出てくるガウス分布が幾何学的に次のように理解できることに注意しましょう（多様体についてはこちら）。 上の例のよう…

で平均から大きく離れたところの生起確率の簡単な評価を与えました。今回はその評価をさらに精密にして、数理的な構造をもっと詳しく見たいと思います。前の記事で次の評価を与えました。 上の は確率変数 の積率母関数、 は確率変数 のキュムラント母関数 (…

前回簡単に説明した大偏差原理をエントロピーの概念を使って詳しく説明するために、今回はエントロピーについて説明します。また、カルバック・ライブラー情報量、最尤推定法などについても説明します。 ●エントロピー 有限個の事象のエントロピーは次のよう…

前の記事では中心極限定理について説明しました。中心極限定理の主張は次のようにも解釈できます。 しかし、中心極限定理だけでは次のような疑問が生じます。 図で気持ちを書くとこんな感じです。 平均と同じオーダーの偏差が生じる確率を0と答えるのではな…

この記事では、 ogyahogya.hatenablog.com で少し書いた中心極限定理について詳しく説明します。中心極限定理は直感的にはたくさんの確率変数の和の確率分布関数はガウス分布(正規分布)になるということを述べています。一つ一つの確率変数にあまりきつい条…

前の記事で確率測度や、確率測度から定義される確率分布関数というものを紹介しました。今回はこの記事で少しだけ書いた中心極限定理をきちんと説明するために確率測度の例や確率測度の弱収束について紹介したいと思います。 ●確率分布関数から確率測度を定…

超関数とは関数の概念を一般化したもので、もともとは物理の方で導入されたディラックのデルタ関数という計算に便利なものを数学的に正当化しようとして考え出されました。ディラックのデルタ関数は直感的にはガウス分布の確率密度関数の分散を0に限りなく近…

フーリエ変換は色々な分野で応用されている便利な道具です。例えば、信号の解析をするためにフーリエ変換の原理を取り込んだFFTアナライザというものが計測関係の企業で使われています。FFTアナライザの中で行われていることはググるとたくさん出てきますの…

前の記事では確率変数という概念を導入しました。今回は確率変数の和の確率分布関数はどうなるかを考えてみましょう。つまり、下の図のように二つの確率変数 が与えられたとき という新しい確率変数の確率分布はどうなるか？ということを説明したいと思いま…

確率の議論で超重要な概念である確率変数というものを説明します． ●確率変数は確率と関連付いた写像である 確率変数は写像です。では、どの集合からどの集合への写像かというと標本空間から実数の空間への写像です。イメージとしてはこんな感じです。 しか…

コインを投げたとき表が出る「確率」は で、サイコロを投げたとき1が出る「確率」は だとかよく言いますが、「確率」とは何でしょうか？そもそもなぜ「確率」というものを考える必要があるのでしょうか？ ●「確率」を考える理由 「確率」の定義を考える前に…