平均から大きく離れたところの生起確率

前の記事では中心極限定理について説明しました。中心極限定理の主張は次のようにも解釈できます。 

しかし、中心極限定理だけでは次のような疑問が生じます。

図で気持ちを書くとこんな感じです。

平均と同じオーダーの偏差が生じる確率を0と答えるのではなく数式で答えるのが大偏差原理です。つまり、 と大偏差の生起確率の関係を教えてくれます。この記事では簡単な不等式を使って大偏差を調べる方法を述べて、難しい議論は次回以降にすることにします。

●チェビシェフの不等式

チェビシェフの不等式から大偏差に関する単純な解答が得られます。ここで、チェビシェフの不等式とは

のことです。実際にチェビシェフの不等式から大偏差に関する情報が得られることが次のように分かります。

よって、チェビシェフの不等式より平均からの の偏差が生じる確率が であることが分かります。しかし、次のマルコフ不等式を利用してみるとこの評価はひどく悪いことが分かります。

●マルコフ不等式

マルコフ不等式からも大偏差に関する解答が得られます。ここで、マルコフ不等式とは

のことです。実際にマルコフ不等式から大偏差に関する情報が得られることが次のように分かります。

マルコフ不等式を利用するとチェビシェフの不等式の時とは異なり平均からの の偏差が生じる確率が指数関数によって評価されています。

●クラメールの定理

マルコフ不等式からの帰結を精密にした結果がクラメールの定理と言われるものです。クラメールの定理が主張する大偏差に関する評価は情報理論のエントロピーの概念と密接に関係しているので、次回の記事でエントロピーを紹介した後にクラメールの定理を紹介したいと思います。

●参考文献

 エントロピーと大偏差の関係が書いてる。

Large Deviations Techniques and Applications (Applications of Mathematics)

●予告

 情報理論のエントロピーの概念を説明します。