大偏差原理 - 初級Mathマニアの寝言

で平均から大きく離れたところの生起確率の簡単な評価を与えました。今回はその評価をさらに精密にして、数理的な構造をもっと詳しく見たいと思います。前の記事で次の評価を与えました。

f:id:ogyahogya:20150125114343p:plain

上の $M(\theta)$ は確率変数 $X_1$ の積率母関数、 $\ln M(\theta)$ は確率変数 $X_1$ のキュムラント母関数 (物理では自由エネルギー) と呼ばれています。上の指数関数の中の $\sup_{\theta\geq 0} (\theta x - \ln M(\theta))$ は $\theta\geq 0$ のもとで $\theta x -\ln M(\theta)$ の上限を意味しています。これを改造することで $P(\sum_{i=1}^n X_i \geq nx)$ の上界だけでなく下界も与えることができます。それがクラメールの定理です。

●レート関数

まず、上の評価式の中にある $\sup_{\theta\geq 0} (\theta x - \ln M(\theta))$ の $\theta\geq 0$ という制約を外した

f:id:ogyahogya:20150125124620p:plain

を考えましょう。この $I(x)$ はキュムラント母関数をルジャンドル変換したものであり、レート関数と呼ばれています。レート関数は

で説明している理由で凸関数となっていることが分かります。また、レート関数は平均値で最小値0となることが以下のように分かります。

f:id:ogyahogya:20150125134721p:plain

●大偏差原理

次の定理はクラメールの定理と呼ばれる大偏差原理です。

f:id:ogyahogya:20150125142308p:plain

上の $\theta^*$ の存在の仮定は $M(\theta)$ が $\theta^*$ で微分可能であることを保証するためにあります。この定理によって、平均から大きく離れたところの生起確率がレート関数 $I(x)$ によって特徴付けられることが分かりました。証明に興味のある方は詳しくは参考文献を読んでいただくことにしますが、ポイントは次の通りです。