前回簡単に説明した大偏差原理をエントロピーの概念を使って詳しく説明するために、今回はエントロピーについて説明します。また、カルバック・ライブラー情報量、最尤推定法などについても説明します。 ●エントロピー 有限個の事象のエントロピーは次のよう…

前の記事では中心極限定理について説明しました。中心極限定理の主張は次のようにも解釈できます。 しかし、中心極限定理だけでは次のような疑問が生じます。 図で気持ちを書くとこんな感じです。 平均と同じオーダーの偏差が生じる確率を0と答えるのではな…

この記事では、 ogyahogya.hatenablog.com で少し書いた中心極限定理について詳しく説明します。中心極限定理は直感的にはたくさんの確率変数の和の確率分布関数はガウス分布(正規分布)になるということを述べています。一つ一つの確率変数にあまりきつい条…

前の記事で確率測度や、確率測度から定義される確率分布関数というものを紹介しました。今回はこの記事で少しだけ書いた中心極限定理をきちんと説明するために確率測度の例や確率測度の弱収束について紹介したいと思います。 ●確率分布関数から確率測度を定…

超関数とは関数の概念を一般化したもので、もともとは物理の方で導入されたディラックのデルタ関数という計算に便利なものを数学的に正当化しようとして考え出されました。ディラックのデルタ関数は直感的にはガウス分布の確率密度関数の分散を0に限りなく近…

フーリエ変換は色々な分野で応用されている便利な道具です。例えば、信号の解析をするためにフーリエ変換の原理を取り込んだFFTアナライザというものが計測関係の企業で使われています。FFTアナライザの中で行われていることはググるとたくさん出てきますの…

前の記事では確率変数という概念を導入しました。今回は確率変数の和の確率分布関数はどうなるかを考えてみましょう。つまり、下の図のように二つの確率変数 が与えられたとき という新しい確率変数の確率分布はどうなるか？ということを説明したいと思いま…

確率の議論で超重要な概念である確率変数というものを説明します． ●確率変数は確率と関連付いた写像である 確率変数は写像です。では、どの集合からどの集合への写像かというと標本空間から実数の空間への写像です。イメージとしてはこんな感じです。 しか…

コインを投げたとき表が出る「確率」は で、サイコロを投げたとき1が出る「確率」は だとかよく言いますが、「確率」とは何でしょうか？そもそもなぜ「確率」というものを考える必要があるのでしょうか？ ●「確率」を考える理由 「確率」の定義を考える前に…

小学校、中学校、高校までは数学が得意だったけど、大学で習う数学はよく分からないという人は意外と多いのではないでしょうか？大学以上の数学が小、中、高に比べて習得しにくい本質的な原因は何なのか考えてみましょう。原因が分かれば大学以上の数学も学…