初級Mathマニアの寝言

数学は色々なところで応用可能であり、多くの人が数学の抽象的な概念の意味や意義を鮮明に知ることができれば今まで以上に面白い物や仕組みが生まれるかもしれません。このブログは数学を専門にしない人のために抽象的な概念の意味や意義を分かりやすく説明することを目的としています。数学を使って何かしたい人のお役に立てたら幸いです。

クラメール・ラオの不等式

前の記事でフィッシャー情報行列という確率分布の作る空間にリーマン多様体の構造を定める行列を紹介しました。今回はフィッシャー情報行列とクラメール・ラオの不等式の関係を説明します。

●不偏推定量

未知のパラメータを何らかの方法で推定すると真の値と推定値の間には誤差が生じます。クラメール・ラオの不等式は推定値が不偏推定量となる任意の推定法を使ってもこれより誤差の分散が小さくできないという理論的限界を示している不等式です。この記事ではその不等式を導出します。

ここでは推定したいパラメータが確率的に変動するものとして議論します。パラメータが確率的に変動するということは、数学的にはパラメータが確率変数であるということです。確率変数であるパラメータの値を何らかの観測値から推定するということは気持ちとしては次の図のようになり、パラメータが確率変数であることから観測値、推定値、推定誤差がすべて確率変数になります。

f:id:ogyahogya:20150416181718p:plain

上の図を見て予想できるように推定値  \hat{x} を作る観測値  y の関数  f がめちゃくちゃだと推定誤差  e が大きくなっていします。そこで、この記事では  \hat{x} が次の不偏推定量という性質を持つ  f に限定し議論します。

f:id:ogyahogya:20150418142654p:plain

●フィッシャー情報行列

クラメール・ラオの不等式は前の記事で定義したフィッシャー情報行列と関係しています。その記事の中ではパラメータは確定的なものとして扱っていました。ここでは、パラメータは確率的なものとして扱うので結果としてフィッシャー情報行列の定義も次のように少し変更が必要です。

f:id:ogyahogya:20150417103601p:plain

●クラメール・ラオの不等式

クラメール・ラオの不等式は次のように誤差の共分散行列とフィーシャー情報行列の関係を表した不等式です。

f:id:ogyahogya:20150417104646p:plain

 上の不等式は次の等式を利用して証明できます(正確には微分積分の順序交換を保証する条件を付ける必要あり)。

f:id:ogyahogya:20150418144032p:plain

f:id:ogyahogya:20150418145727p:plain

f:id:ogyahogya:20150418145830p:plain

クラメール・ラオの不等式は一般には不等式といいながら行列の半正定値性を意味していることに注意しましょう。不等式というと、実数や整数の集合の中の要素の順序関係を言っていると思うかもしれませんが、実は半順序集合と呼ばれる集合の中には自然に不等式(順序)の関係を導入することができます。例えば、いくつかの集合を要素とする集合は集合の包含関係で順序関係を論じることができます。また、半正定値対称行列の集合の中にも任意の二つの要素の順序関係を二つの要素の差の半正定値性によって定義できます。このように考えるとクラメール・ラオの不等式を  E_{y|x}(ee^T) \geq G^{-1}(x) と書いても意味がよく分かります。

もっと明示的にクラメール・ラオの不等式が誤差の共分散行列とフィーシャー情報行列の関係を表した不等式になっていることが次のように分かります。

f:id:ogyahogya:20150418150816p:plain

特に、 x\in {\bf R}、つまり推定したいパラメータが一つであるときにはクラメール・ラオの不等式は通常の実数の世界の順序関係の意味で次のように書けます。

f:id:ogyahogya:20150418152202p:plain

●参考文献

 クラメール・ラオの不等式の証明を参考にしました。

非線形カルマンフィルタ

非線形カルマンフィルタ

 

 ●予告

クラメール・ラオの不等式と前の記事の中で簡単に説明した最尤推定の関係について詳しく説明します。