初級Mathマニアの寝言

数学は色々なところで応用可能であり、多くの人が数学の抽象的な概念の意味や意義を鮮明に知ることができれば今まで以上に面白い物や仕組みが生まれるかもしれません。このブログは数学を専門にしない人のために抽象的な概念の意味や意義を分かりやすく説明することを目的としています。数学を使って何かしたい人のお役に立てたら幸いです。

大偏差原理

前の記事で平均から大きく離れたところの生起確率の簡単な評価を与えました。今回はその評価をさらに精密にして、数理的な構造をもっと詳しく見たいと思います。前の記事で次の評価を与えました。

f:id:ogyahogya:20150125114343p:plain

上の  M(\theta) は確率変数  X_1積率母関数 \ln M(\theta) は確率変数  X_1キュムラント母関数 (物理では自由エネルギー) と呼ばれています。上の指数関数の中の  \sup_{\theta\geq 0} (\theta x - \ln M(\theta))  \theta\geq 0 のもとで  \theta x -\ln M(\theta) の上限を意味しています。これを改造することで  P(\sum_{i=1}^n X_i \geq nx) の上界だけでなく下界も与えることができます。それがクラメールの定理です。

●レート関数

まず、上の評価式の中にある  \sup_{\theta\geq 0} (\theta x - \ln M(\theta))  \theta\geq 0 という制約を外した

f:id:ogyahogya:20150125124620p:plain

を考えましょう。この  I(x)レート関数と呼ばれています。こちらの記事で説明している理由で、 レート関数  I(x) はキュムラント母関数をルジャンドル変換したものであり、凸関数となっています。次のようにレート関数は平均値で最小値0となります。

f:id:ogyahogya:20150125134721p:plain

●大偏差原理

次の定理はクラメールの定理と呼ばれる大偏差原理です。

f:id:ogyahogya:20150125142308p:plain

上の  \theta^* の存在の仮定は  M(\theta) \theta^*微分可能であることを保証するためにあります。この定理によって、平均から大きく離れたところの生起確率がレート関数  I(x) によって特徴付けられることが分かりました。証明に興味のある方は詳しくは参考文献を読んでいただくことにしますが、ポイントは次の通りです。

f:id:ogyahogya:20150125141742p:plain

要するに以前説明した中心極限定理を平均から大きく離れたところで適用できるように確率分布関数を改造するのです(平均から大きく離れたところの生起確率は単純に中心極限定理を適用しても見積れない。詳しくはこちら)。これは確率測度を変換していることを意味します。確率分布関数と確率測度の関係についてはこちらをご覧ください。

●レート関数とカルバックライブラー情報量

レート関数は前の記事で説明したカルバックライブラー情報量と次のように結びつきます。

f:id:ogyahogya:20150125143312p:plain

もっと一般的な状況でレート関数とカルバックライブラー情報量の関係がありますが、興味のある方は参考文献を参照してください。

●参考文献

記事を書くときに参考にした文献です。

(1)大偏差原理の証明を参考にしました。

Large Deviations For Performance Analysis: QUEUES, Communication and Computing (Stochastic Modeling Series)

Large Deviations For Performance Analysis: QUEUES, Communication and Computing (Stochastic Modeling Series)

 

(2)凸関数やルジャンドル変換について詳しい説明が書いてます。 

Convex Optimization

Convex Optimization

 

 

(3) 大偏差原理のもっと深いことが書いてます。 

Large Deviations Techniques and Applications (Stochastic Modelling and Applied Probability)

Large Deviations Techniques and Applications (Stochastic Modelling and Applied Probability)

 

●予告

今回名前だけ出して説明しなかった凸関数やルジャンドル変換は情報を幾何学的に研究する学問の中でも重要な役割を果たします。次回からはしばらく情報幾何学について説明していきたいと思います。