Notion in statistics
数理統計学 において 、 フィッシャー情報量 とは、観測可能な 確率変数 Xが、 X をモデル化する分布の 未知のパラメータ θに関して持つ 情報 量を測定する方法である。正式には、 スコア の 分散 、つまり 観測情報 の 期待値で ある 。
最尤推定 の漸近理論におけるフィッシャー情報量の役割は、 統計学者 サー・ロナルド・フィッシャー（ フランシス・イシドロ・エッジワース による初期の研究結果を受けて ）によって強調され、研究されました。フィッシャー情報行列は、 最尤推定 値 に関連する 共分散行列を計算するために使用されます。また、 ワルド検定 などの検定統計量の定式化にも使用できます 。
ベイズ統計 において、フィッシャー情報量は ジェフリーズの規則 に従って 非情報 事前分布 を導出する際に役割を果たします。 [1]また、事前分布が十分に滑らかであれば、 事後分布 の大標本共分散としても現れます（ 指数族 に対して ラプラス が予見した ベルンシュタイン・フォン・ミーゼスの定理 として知られる結果 ）。 [2]事後分布を ラプラス近似 で近似する場合にも同じ結果が使用され 、フィッシャー情報量は近似されたガウス分布の共分散として現れます。 [3]
尤度関数がシフト不変性 に従う科学的性質（物理的、生物学的など）の統計システムは、 最大フィッシャー情報量に従うことが示されている。 最大値のレベルは、システムの制約の性質に依存する。
意味 フィッシャー情報量は、観測可能なランダム変数 が、の確率が依存する未知の パラメータ について持つ 情報量を測定する方法です 。 を の値を条件とする の 確率密度関数 （または 確率質量関数 ） とします。これは、 の既知の値 が与えられた場合 に、 の特定の結果が観測される確率を表します。 が の変化に対して鋭くピークになっている 場合 、データから の「正しい」値を示すことが容易です。 つまり、データが パラメータ について多くの情報を提供しているということです 。 が平坦で広がっている場合、 の実際の「真の」値を推定するには、サンプルとなる母集団全体を用いて得られる の実際の「真の」値を推定するために、 を多数サンプルする必要があります 。 これ は、 に関する何らかの分散を調べることを示唆しています 。 X {\displaystyle X} θ {\displaystyle \theta } X {\displaystyle X} f ( X ; θ ) {\displaystyle f(X;\theta )} X {\displaystyle X} θ {\displaystyle \theta } X {\displaystyle X} θ {\displaystyle \theta } f {\displaystyle f} θ {\displaystyle \theta } θ {\displaystyle \theta } X {\displaystyle X} θ {\displaystyle \theta } f {\displaystyle f} X {\displaystyle X} θ {\displaystyle \theta } θ {\displaystyle \theta }
正式には、 尤度関数 の 自然対数 の 偏微分は スコア と 呼ばれます 。ある正則性条件下では、 真のパラメータ （つまり、 が実際に として分布している）の場合、 真のパラメータ値 で評価されたスコアの 期待値 （第一 モーメント ）は0である ことが示されます。 [5] θ {\displaystyle \theta } θ {\displaystyle \theta } X {\displaystyle X} f ( X ; θ ) {\displaystyle f(X;\theta )} θ {\displaystyle \theta }
E [ ∂ ∂ θ log f ( X ; θ ) | θ ] = ∫ R ∂ ∂ θ f ( x ; θ ) f ( x ; θ ) f ( x ; θ ) d x = ∂ ∂ θ ∫ R f ( x ; θ ) d x = ∂ ∂ θ 1 = 0. {\displaystyle {\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\,\,\right|\,\,\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}1\\[6pt]={}&0.\end{aligned}}} フィッシャー 情報 はスコアの 分散 として定義される：
I ( θ ) = E [ ( ∂ ∂ θ log f ( X ; θ ) ) 2 | θ ] = ∫ R ( ∂ ∂ θ log f ( x ; θ ) ) 2 f ( x ; θ ) d x , {\displaystyle {\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,} 注意してください 。フィッシャー情報量の高い確率変数は、スコアの絶対値が高くなることが多いことを意味します。確率変数 X は平均化されているため、フィッシャー情報量は特定の観測値の関数ではありません。 I ( θ ) ≥ 0 {\displaystyle {\mathcal {I}}(\theta )\geq 0}
log f ( x ; θ )が θ に関して2回微分可能であり、さらに特定の正則性条件が満たされる 場合 、フィッシャー情報は次のようにも表される
I ( θ ) = − E [ ∂ 2 ∂ θ 2 log f ( X ; θ ) | θ ] , {\displaystyle {\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right],} 2番目の形式の導出
まず の2次導関数をとります 。 log f ( X ; θ ) {\displaystyle \log f(X;\theta )}
∂ 2 ∂ θ 2 log f ( X ; θ ) = ∂ 2 ∂ θ 2 f ( X ; θ ) f ( X ; θ ) − ( ∂ ∂ θ f ( X ; θ ) f ( X ; θ ) ) 2 = ∂ 2 ∂ θ 2 f ( X ; θ ) f ( X ; θ ) − ( ∂ ∂ θ log f ( X ; θ ) ) 2 {\displaystyle {\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}} ここで、両辺の各項の期待値を取ります。
E [ ∂ 2 ∂ θ 2 log f ( X ; θ ) | θ ] = E [ ∂ 2 ∂ θ 2 f ( X ; θ ) f ( X ; θ ) | θ ] − E [ ( ∂ ∂ θ log f ( X ; θ ) ) 2 | θ ] E [ ∂ 2 ∂ θ 2 log f ( X ; θ ) | θ ] = E [ ∂ 2 ∂ θ 2 f ( X ; θ ) f ( X ; θ ) | θ ] − I ( θ ) I ( θ ) = − E [ ∂ 2 ∂ θ 2 log f ( X ; θ ) | θ ] + E [ ∂ 2 ∂ θ 2 f ( X ; θ ) f ( X ; θ ) | θ ] {\displaystyle {\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]&=\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]-\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]\\\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]&=\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]-{\mathcal {I}}(\theta )\\{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]+\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]\end{aligned}}} 次に、最後の項が 0 に等しいことを示します。
E [ ∂ 2 ∂ θ 2 f ( X ; θ ) f ( X ; θ ) | θ ] = ∫ R f ( x ; θ ) ∂ 2 ∂ θ 2 f ( x ; θ ) f ( x ; θ ) d x = ∂ 2 ∂ θ 2 ∫ R f ( x ; θ ) d x = ∂ 2 ∂ θ 2 ( 1 ) = 0 {\displaystyle \operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }f(x;\theta ){\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(x;\theta )}{f(x;\theta )}}\,dx={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx={\frac {\partial ^{2}}{\partial \theta ^{2}}}(1)=0} したがって、
I ( θ ) = − E [ ∂ 2 ∂ θ 2 log f ( X ; θ ) | θ ] {\displaystyle {\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]}
したがって、フィッシャー情報量は、 サポート曲線 （対数尤度のグラフ）の曲率として捉えることができます。 最大尤度 推定値付近では、フィッシャー情報量が低い場合、最大値が「鈍い」、つまり近傍に同様の対数尤度を与える点が多数存在することを示します。逆に、フィッシャー情報量が高い場合、最大値が「鋭い」ことを示します。
規則性条件 規則性の条件は次のとおりです。 [8]
f ( X ; θ ) の θ に関する 偏微分は、 ほぼどこにでも 存在します。（この集合が θ に依存しない限り、空集合上には存在しない可能性があります 。） f ( X ; θ )の積分は、 θ に関して積分符号の下で微分することができます 。 f ( X ; θ )の サポートは θ に 依存しません 。 θ がベクトルである 場合、 θ のすべての成分について正則性条件が成立する必要があります。正則性条件を満たさない密度の例は簡単に見つかります。Uniform(0, θ )変数の密度は条件1と3を満たしません。この場合、フィッシャー情報は定義から計算できますが、通常想定される特性を持ちません。
可能性の観点から X を与えられたときの θ の 尤度 は常に確率 f ( X ; θ ) に比例するため、それらの対数は必然的に θ に依存しない定数だけ異なり、またこれらの対数の θ に関する導関数は必然的に等しくなります。したがって、 フィッシャー情報量の定義において、 log f ( X ; θ ) の代わりに 対数尤度 l ( θ ; X ) を代入することができます。
あらゆるサイズのサンプル 値 Xは 、単一の分布から抽出された単一の標本を表すことも、分布の集合から抽出された標本の集合を表すこともできます。n個の標本があり、対応するn個の分布が統計的に独立している場合、 フィッシャー 情報 量 は 必然 的に、その分布から抽出された各標本の単一標本フィッシャー情報量の合計になります。特に、 n 個の分布が 独立しており、同一の分布をして いる場合、フィッシャー情報量は必然的に、共通分布から抽出された単一標本のフィッシャー情報量の n 倍になります。言い換えれば、 母集団から抽出されたサイズ nの標本のiid観測値のフィッシャー情報量は、 n と同じ母集団から抽出された単一観測値のフィッシャー情報量とnの積に等しくなります。
クラ メール・ラオ境界 は、フィッシャー情報量の逆関数が θ の 不偏推定値 の分散の下限値であると述べている。Van Trees (1968)とFrieden (2004)は、フィッシャー情報量の使用を説明する結果である クラメール・ラオ境界 を導く以下の方法を示している。
非公式には、まず不偏推定量を 考えることから始めます 。数学的には、「不偏」とは θ ^ ( X ) {\displaystyle {\hat {\theta }}(X)}
E [ θ ^ ( X ) − θ | θ ] = ∫ ( θ ^ ( x ) − θ ) f ( x ; θ ) d x = 0 regardless of the value of θ . {\displaystyle \operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \,\,\right|\,\,\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ regardless of the value of }}\theta .} この式はθ に依存せずゼロなので、 θ に関する偏微分 もゼロになる。 積の法則 により、この偏微分は
0 = ∂ ∂ θ ∫ ( θ ^ ( x ) − θ ) f ( x ; θ ) d x = ∫ ( θ ^ ( x ) − θ ) ∂ f ∂ θ d x − ∫ f d x . {\displaystyle 0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.} 各 θ について、尤度関数は確率密度関数であるため、 となる。 の偏微分に関する 連鎖律 を用いて を で割って を掛ける ことで、 ∫ f d x = 1 {\displaystyle \int f\,dx=1} log f {\displaystyle \log f} f ( x ; θ ) {\displaystyle f(x;\theta )}
∂ f ∂ θ = f ∂ log f ∂ θ . {\displaystyle {\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.} 上記の2つの事実を用いると、
∫ ( θ ^ − θ ) f ∂ log f ∂ θ d x = 1. {\displaystyle \int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.} 積分関数を因数分解すると
∫ ( ( θ ^ − θ ) f ) ( f ∂ log f ∂ θ ) d x = 1. {\displaystyle \int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.} 積分における式を2乗すると、 コーシー・シュワルツの不等式 は次のようになる。
1 = ( ∫ [ ( θ ^ − θ ) f ] ⋅ [ f ∂ log f ∂ θ ] d x ) 2 ≤ [ ∫ ( θ ^ − θ ) 2 f d x ] ⋅ [ ∫ ( ∂ log f ∂ θ ) 2 f d x ] . {\displaystyle 1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].} 2番目の括弧で囲まれた因子はフィッシャー情報量と定義され、1番目の括弧で囲まれた因子は 推定値の 平均二乗誤差 （MSE）です。推定値は不偏なので、そのMSEは分散に等しくなります。この不等式を整理すると、 θ ^ {\displaystyle {\hat {\theta }}}
Var ( θ ^ ) ≥ 1 I ( θ ) . {\displaystyle \operatorname {Var} ({\hat {\theta }})\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.} 言い換えれば、 θ を推定できる精度は、基本的に尤度関数のフィッシャー情報によって制限されます。
あるいは、確率変数、 のコーシー・シュワルツ不等式を 確率変数 および に適用し、 不偏 推定量について次の式が成り立つことを観察すれば、 同じ結論を直接得ることができる。 | Cov ( A , B ) | 2 ≤ Var ( A ) Var ( B ) {\displaystyle |\operatorname {Cov} (A,B)|^{2}\leq \operatorname {Var} (A)\operatorname {Var} (B)} θ ^ ( X ) {\displaystyle {\hat {\theta }}(X)} ∂ θ log f ( X ; θ ) {\displaystyle \partial _{\theta }\log f(X;\theta )} Cov [ θ ^ ( X ) , ∂ θ log f ( X ; θ ) ] = ∫ θ ^ ( x ) ∂ θ f ( x ; θ ) d x = ∂ θ E [ θ ^ ] = 1. {\displaystyle \operatorname {Cov} [{\hat {\theta }}(X),\partial _{\theta }\log f(X;\theta )]=\int {\hat {\theta }}(x)\,\partial _{\theta }f(x;\theta )\,dx=\partial _{\theta }\operatorname {E} [{\hat {\theta }}]=1.}
例
単一パラメータベルヌーイ実験 ベルヌーイ 試行は 、0と1の2つの結果を持つ確率変数であり、1の確率は θである。結果は、表（1）の確率が θ 、裏（0）の確率が 1 − θ であるような、偏ったコインを投げることによって決まると考えることができる 。
Xを 分布 から1つの標本を抽出したベルヌーイ試行とする。Xに含まれるフィッシャー情報量は 次 のように計算できる。
I ( θ ) = − E [ ∂ 2 ∂ θ 2 log ( θ X ( 1 − θ ) 1 − X ) | θ ] = − E [ ∂ 2 ∂ θ 2 ( X log θ + ( 1 − X ) log ( 1 − θ ) ) | θ ] = E [ X θ 2 + 1 − X ( 1 − θ ) 2 | θ ] = θ θ 2 + 1 − θ ( 1 − θ ) 2 = 1 θ ( 1 − θ ) . {\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\,\,\right|\,\,\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\,\,\right|\,\,\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}} フィッシャー情報は加法的であるため、 n回 の独立した ベルヌーイ試行 に含まれるフィッシャー情報 は、
I ( θ ) = n θ ( 1 − θ ) . {\displaystyle {\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.} がn回 の独立したベルヌーイ試行 の可能な結果 の1つであり 、が i回目の試行の j 番目の結果 である場合 、確率は 次のように与えられる。 x i {\displaystyle x_{i}} 2 n {\displaystyle 2^{n}} x i j {\displaystyle x_{ij}} x i {\displaystyle x_{i}}
p ( x i , θ ) = ∏ j = 0 n θ x i j ( 1 − θ ) x i j {\displaystyle p(x_{i},\theta )=\prod _{j=0}^{n}\theta ^{x_{ij}}(1-\theta )^{x_{ij}}} i 番目の試行 の標本平均は である 。標本平均の期待値（ 標本分布 上）は μ i = ( 1 / n ) ∑ j = 1 n x i j {\displaystyle \mu _{i}=(1/n)\sum _{j=1}^{n}x_{ij}}
E ( μ ) = ∑ x i μ i p ( x i , θ ) = θ , {\displaystyle E(\mu )=\sum _{x_{i}}\mu _{i}\,p(x_{i},\theta )=\theta ,} ここで、合計はすべての 可能な試行結果の合計である。標本平均の二乗の期待値は 2 n {\displaystyle 2^{n}}
E ( μ 2 ) = ∑ x i μ i 2 p ( x i , θ ) = ( 1 + ( n − 1 ) θ ) θ n {\displaystyle E(\mu ^{2})=\sum _{x_{i}}\mu _{i}^{2}\,p(x_{i},\theta )={\frac {(1+(n-1)\theta )\theta }{n}}} 平均値の分散は
E ( μ 2 ) − E ( μ ) 2 = θ ( 1 − θ ) n {\displaystyle E(\mu ^{2})-E(\mu )^{2}={\frac {\theta (1-\theta )}{n}}} フィッシャー情報量は、 n回の ベルヌーイ試行 における成功回数の平均の 分散 の逆数であることが分かる 。これは一般的に正しい。この場合、クラメール・ラオの境界は等式となる。
見積もり θ から X ~ ベルン (√ θ ） もう1つの例として、ある に対してそれぞれ と という 確率 を持つ、0 と 1 の可能性のある結果を持つ 確率変数を考えてみましょう 。私たちの目標は、 の観測値からを推定することです 。 X {\displaystyle X} p 0 = 1 − θ {\displaystyle p_{0}=1-{\sqrt {\theta }}} p 1 = θ {\displaystyle p_{1}={\sqrt {\theta }}} θ ∈ [ 0 , 1 ] {\displaystyle \theta \in [0,1]} θ {\displaystyle \theta } X {\displaystyle X}
この場合のフィッシャー情報量は以下の式で表される 。この式は、以下に示す再パラメータ化公式の変更から直接導くこともできる。より一般的には、十分に正則な関数であって となるものに対して 、 から 取り出すフィッシャー情報量 は同様に計算され、以下の式で表される。 I ( θ ) = E [ ( ∂ ∂ θ log f ( X ; θ ) ) 2 | θ ] = ( 1 − θ ) ( − 1 2 θ ( 1 − θ ) ) 2 + θ ( 1 2 θ ) 2 = 1 4 θ ( 1 1 − θ + 1 θ ) . {\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=\mathrm {E} \left[\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}{\Bigg |}\,\theta \right]\\&=(1-{\sqrt {\theta }})\left({\frac {-1}{2{\sqrt {\theta }}(1-{\sqrt {\theta }})}}\right)^{2}+{\sqrt {\theta }}\left({\frac {1}{2\theta }}\right)^{2}\\&={\frac {1}{4\theta }}\left({\frac {1}{1-{\sqrt {\theta }}}}+{\frac {1}{\sqrt {\theta }}}\right)\end{aligned}}.} f {\displaystyle f} f ( θ ) ∈ [ 0 , 1 ] {\displaystyle f(\theta )\in [0,1]} θ {\displaystyle \theta } X ∼ Bern ( f ( θ ) ) {\displaystyle X\sim \operatorname {Bern} (f(\theta ))} I ( θ ) = f ′ ( θ ) 2 ( 1 1 − f ( θ ) + 1 f ( θ ) ) . {\displaystyle {\mathcal {I}}(\theta )=f'(\theta )^{2}\left({\frac {1}{1-f(\theta )}}+{\frac {1}{f(\theta )}}\right).}
N個 のパラメータがあり 、 θ が N ×1 ベクトルの場合、フィッシャー情報量は N × N 行列 の形をとる。この行列は フィッシャー情報行列 （FIM） と呼ばれ、典型的な要素を持つ。 θ = [ θ 1 θ 2 … θ N ] T , {\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\theta _{2}&\dots &\theta _{N}\end{bmatrix}}^{\textsf {T}},}
[ I ( θ ) ] i , j = E [ ( ∂ ∂ θ i log f ( X ; θ ) ) ( ∂ ∂ θ j log f ( X ; θ ) ) | θ ] . {\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\,\,\right|\,\,\theta \right].} FIMは N × N の半正定値行列 である。正定値行列である場合、 N 次元 パラメータ 空間 上に リーマン計量 [11] を定義する。 情報幾何学の分野では、これを用いてフィッシャー情報量を 微分幾何学 に結び付けており 、この文脈ではこの計量は フィッシャー情報計量 として知られている。
一定の正則性条件下では、フィッシャー情報行列は次のようにも書ける。
[ I ( θ ) ] i , j = − E [ ∂ 2 ∂ θ i ∂ θ j log f ( X ; θ ) | θ ] . {\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]\,.} 結果はいくつかの点で興味深いものです。
2つのパラメータ成分ベクトル θ 1 と θ 2 が情報直交であるとは、フィッシャー情報行列がブロック対角行列であり、これらの成分が別々のブロックに分かれていることを意味する。 [16]直交パラメータは、 最大尤度推定値が 漸近的に無相関であるという意味で扱いやすい。統計モデルの解析方法を検討する際には、特に対象となるパラメータが1次元であるのに対し、 ニューサンスパラメータは 任意の次元を持つことができる場合、モデルの直交パラメータ化の探索に時間を費やすことが推奨 される。 [17]
特異統計モデル フィッシャー情報行列がすべての θ に対して正定値である場合、対応する 統計モデルは 正則 であると言われ、そうでない場合、統計モデルは 特異 であると言われます 。 [18] 特異統計モデルの例としては、正規 混合 、二項混合、多項混合、 ベイジアンネットワーク 、 ニューラルネットワーク 、 ラジアル基底関数 、 隠れマルコフモデル 、 確率的文脈自由文法 、縮小ランク回帰、 ボルツマンマシンなど があります。
機械学習 で は、ランダムな現象から隠れた構造を抽出するような統計モデルを考案すれば、自然に特異なものとなる。 [19]
多変量正規分布 N 変数 多変量正規分布 の FIMは 特別な形をとる。K次元のパラメータベクトルを 、正規確率変数のベクトルを とする 。 これら の 確率変数の平均値を 、 共分散行列 を とする。すると、 に対して、 FIMの ( m , n )項は次のように表される。 [20] X ∼ N ( μ ( θ ) , Σ ( θ ) ) {\displaystyle \,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)} θ = [ θ 1 … θ K ] T {\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}} X = [ X 1 … X N ] T {\displaystyle X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}} μ ( θ ) = [ μ 1 ( θ ) … μ N ( θ ) ] T {\displaystyle \,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}} Σ ( θ ) {\displaystyle \,\Sigma (\theta )} 1 ≤ m , n ≤ K {\displaystyle 1\leq m,\,n\leq K}
I m , n = ∂ μ T ∂ θ m Σ − 1 ∂ μ ∂ θ n + 1 2 tr ( Σ − 1 ∂ Σ ∂ θ m Σ − 1 ∂ Σ ∂ θ n ) , {\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),} ここで、は ベクトルの 転置を 表し、 は 正方行列 の トレース を表し 、次のようになります。 ( ⋅ ) T {\displaystyle (\cdot )^{\textsf {T}}} tr ( ⋅ ) {\displaystyle \operatorname {tr} (\cdot )}
∂ μ ∂ θ m = [ ∂ μ 1 ∂ θ m ∂ μ 2 ∂ θ m ⋯ ∂ μ N ∂ θ m ] T ; ∂ Σ ∂ θ m = [ ∂ Σ 1 , 1 ∂ θ m ∂ Σ 1 , 2 ∂ θ m ⋯ ∂ Σ 1 , N ∂ θ m ∂ Σ 2 , 1 ∂ θ m ∂ Σ 2 , 2 ∂ θ m ⋯ ∂ Σ 2 , N ∂ θ m ⋮ ⋮ ⋱ ⋮ ∂ Σ N , 1 ∂ θ m ∂ Σ N , 2 ∂ θ m ⋯ ∂ Σ N , N ∂ θ m ] . {\displaystyle {\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}} 特殊ではあるが、非常によくあるケースとして、 定数 の場合が挙げられます。その場合、 Σ ( θ ) = Σ {\displaystyle \Sigma (\theta )=\Sigma }
I m , n = ∂ μ T ∂ θ m Σ − 1 ∂ μ ∂ θ n . {\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\ } この場合、フィッシャー情報行列は、 最小二乗 推定理論 の 正規方程式 の係数行列と同一視することができます。
もう一つの特殊なケースは、平均と共分散が2つの異なるベクトルパラメータ、例えば β と θ に依存する場合です。これは特に空間データの解析でよく見られ、相関残差を持つ線形モデルがよく用いられます。この場合、 [21]
I ( β , θ ) = diag ( I ( β ) , I ( θ ) ) {\displaystyle {\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)} どこ
I ( β ) m , n = ∂ μ T ∂ β m Σ − 1 ∂ μ ∂ β n , I ( θ ) m , n = 1 2 tr ( Σ − 1 ∂ Σ ∂ θ m Σ − 1 ∂ Σ ∂ θ n ) {\displaystyle {\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}}
プロパティ
チェーンルール エントロピー や 相互情報量 と同様に 、フィッシャー情報量も 連鎖律 分解を有する。特に、 X と Yが 共分布する確率変数である場合、以下の式が成り立つ。 [22]
I X , Y ( θ ) = I X ( θ ) + I Y ∣ X ( θ ) , {\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta ),} ここで 、およびは、 特定の値 X = xを与えられた Y の条件付き密度に関して計算された 、 に対する Y のフィッシャー情報量です 。 I Y ∣ X ( θ ) = E X [ I Y ∣ X = x ( θ ) ] {\displaystyle {\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]} I Y ∣ X = x ( θ ) {\displaystyle {\mathcal {I}}_{Y\mid X=x}(\theta )} θ {\displaystyle \theta }
特別なケースとして、2 つのランダム変数が 独立して いる場合、2 つのランダム変数によって得られる情報は、各ランダム変数からの個別の情報の合計になります。
I X , Y ( θ ) = I X ( θ ) + I Y ( θ ) . {\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).} したがって、 n 個の 独立かつ同一に分布する 観測値 のランダム サンプルの情報は、 サイズ 1 のサンプルの情報の n倍になります。
f -発散 すべての、 、 （無限大の場合もある） に対して有限な 凸 関数 が与えられると、 f ダイバージェンスが定義されます 。 が において厳密に凸である場合 、 において局所的に となるとき、フィッシャー情報行列は [23] の意味で計量行列となります。 ここで 、 は によってパラメータ化された分布です 。つまり、確率密度関数 となる分布です 。 f : [ 0 , ∞ ) → ( − ∞ , ∞ ] {\displaystyle f:[0,\infty )\to (-\infty ,\infty ]} f ( x ) {\displaystyle f(x)} x > 0 {\displaystyle x>0} f ( 1 ) = 0 {\displaystyle f(1)=0} f ( 0 ) = lim t → 0 + f ( t ) {\displaystyle f(0)=\lim _{t\to 0^{+}}f(t)} D f {\displaystyle D_{f}} f {\displaystyle f} 1 {\displaystyle 1} θ ∈ Θ {\displaystyle \theta \in \Theta } ( δ θ ) T I ( θ ) ( δ θ ) = 1 f ″ ( 1 ) D f ( P θ + δ θ ∥ P θ ) {\displaystyle (\delta \theta )^{T}I(\theta )(\delta \theta )={\frac {1}{f''(1)}}D_{f}(P_{\theta +\delta \theta }\parallel P_{\theta })} P θ {\displaystyle P_{\theta }} θ {\displaystyle \theta } f ( x ; θ ) {\displaystyle f(x;\theta )}
この形式では、フィッシャー情報行列がリーマン計量であり、変数の変更に応じて正しく変化することが明らかです。（再パラメータ化のセクションを参照。）
十分な統計 十分統計量 によって提供される情報は 、標本 Xの情報と同じである。これは 、 十分統計量に対する ネイマンの因数分解基準 を用いることで確認できる。T ( X )が θ に対して十分であれ ば、
f ( X ; θ ) = g ( T ( X ) , θ ) h ( X ) {\displaystyle f(X;\theta )=g(T(X),\theta )h(X)} ある関数 g と hに対して、 h ( X )が θ から独立していること は
、
∂ ∂ θ log [ f ( X ; θ ) ] = ∂ ∂ θ log [ g ( T ( X ) ; θ ) ] , {\displaystyle {\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],} そして、フィッシャー情報量の定義から情報の等価性が導かれる。より一般的には、 T = t ( X )が 統計量 である 場合、
I T ( θ ) ≤ I X ( θ ) {\displaystyle {\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )} Tが 十分な統計量 である 場合に限り、 等式となる 。 [24]
再パラメータ化 フィッシャー情報量は問題のパラメータ化に依存する。θ と η が 推定 問題の2つのスカラーパラメータ化であり、 θ が η の 連続微分可能な 関数である 場合、
I η ( η ) = I θ ( θ ( η ) ) ( d θ d η ) 2 {\displaystyle {\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}} ここで 、とはそれぞれ η と θ のフィッシャー情報量である 。 I η {\displaystyle {\mathcal {I}}_{\eta }} I θ {\displaystyle {\mathcal {I}}_{\theta }}
ベクトルの場合、 と が 推定問題をパラメータ化する k ベクトルであり、 が の連続微分可能関数であるとする と、 θ {\displaystyle {\boldsymbol {\theta }}} η {\displaystyle {\boldsymbol {\eta }}} θ {\displaystyle {\boldsymbol {\theta }}} η {\displaystyle {\boldsymbol {\eta }}}
I η ( η ) = J T I θ ( θ ( η ) ) J {\displaystyle {\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}} ここで、 k × k ヤコビ行列 の( i , j )番目の要素 は次のように定義される。 J {\displaystyle {\boldsymbol {J}}}
J i j = ∂ θ i ∂ η j , {\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},} そして、 転置行列は J T {\displaystyle {\boldsymbol {J}}^{\textsf {T}}} J . {\displaystyle {\boldsymbol {J}}.}
情報幾何学 において、これは リーマン多様体 上の座標変換とみなされ 、曲率の本質的性質は異なるパラメータ化の下でも変化しない。一般に、フィッシャー情報行列は熱力学的状態の多様体に対するリーマン計量（より正確にはフィッシャー・ラオ計量）を提供し、相転移の分類における情報幾何学的複雑性尺度として用いることができる。 例えば 、熱力学的計量テンソルのスカラー曲率は相転移点で（そして相転移点でのみ）発散する。 [27]
熱力学の文脈では、フィッシャー情報行列は対応する秩序パラメータ の変化率と直接関係している 。 [28] 特に、このような関係はフィッシャー情報行列の個々の要素の発散を介して二次相転移を識別する。
等周不等式 フィッシャー情報行列は、等周不等式 のような不等式において役割を果たします 。 [29] 与えられたエントロピーを持つすべての確率分布の中で、フィッシャー情報行列のトレースが最小となるのはガウス分布です。これは、与えられた体積を持つすべての有界集合の中で、球の表面積が最小となることに似ています。
証明は、 密度関数 を持つ多変数確率変数 に 位置パラメータ を加えて密度族 を形成することを含む 。そして、 ミンコフスキー・シュタイナーの公式 との類推により、 の「表面積」は 次のように定義される。 X {\displaystyle X} f {\displaystyle f} { f ( x − θ ) ∣ θ ∈ R n } {\displaystyle \{f(x-\theta )\mid \theta \in \mathbb {R} ^{n}\}} X {\displaystyle X}
S ( X ) = lim ε → 0 e H ( X + Z ε ) − e H ( X ) ε {\displaystyle S(X)=\lim _{\varepsilon \to 0}{\frac {e^{H(X+Z_{\varepsilon })}-e^{H(X)}}{\varepsilon }}} ここで、 は共分散行列 を持つガウス変数である 。「表面積」という名称は、エントロピー冪が 「有効支持集合」の体積であることから適切である。 [ 30] 有効支持集合の体積の「微分」もミンコフスキー・シュタイナーの公式によく似ている。証明の残りの部分では、 エントロピー冪不等式 を用いる。これは ブルン・ミンコフスキー不等式 に似ている。フィッシャー情報行列のトレースは の因数であることが分かる 。 Z ε {\displaystyle Z_{\varepsilon }} ε I {\displaystyle \varepsilon I} e H ( X ) {\displaystyle e^{H(X)}} S ( X ) {\displaystyle S(X)} S ( X ) {\displaystyle S(X)}
アプリケーション
実験の最適設計 フィッシャー情報量は 最適実験計画 において広く用いられている。推定値分散とフィッシャー情報量の相互関係により、 分散 を 最小化することは 情報 量 を最大化する ことに相当する 。
線形 （または 線形化 ） 統計モデルが 複数の パラメータ を持つ場合 、 パラメータ推定値の 平均は ベクトル であり、その 分散は 行列 です 。分散行列の逆行列は「情報行列」と呼ばれます。パラメータベクトルの推定値の分散は行列であるため、「分散を最小化する」問題は複雑になります。 統計理論を用いて、統計学者は実数値 要約統計量 を用いて情報行列を圧縮します 。実数値関数であるため、これらの「情報基準」を最大化することができます。
伝統的に、統計学者は推定量と設計を評価する際に、 共分散行列（不偏推定量の）の 要約統計量（通常は正の実数値（ 行列式 や 行列トレース など））を考慮してきました。正の実数値を扱うことにはいくつかの利点があります。単一のパラメータの推定量が正の分散を持つ場合、分散とフィッシャー情報量はどちらも正の実数です。したがって、これらは非負実数の凸錐の要素となります（凸錐の非ゼロ要素は同じ錐内に逆数を持ちます）。
いくつかのパラメータについて、共分散行列と情報行列は、 半 順序ベクトル空間における 非負定値 対称行列の凸錐の要素であり 、 レーヴナー （Löwner）順序のもとで成立する。この錐は、行列の加法と逆行列、そして正の実数と行列の乗算に対して閉じている。行列理論とレーヴナー順序に関する解説は、Pukelsheim に掲載されている。 [31]
従来の最適性基準は、不変理論 の意味での情報行列の不変量です 。代数的には、従来の最適性基準は、 （フィッシャー）情報行列の 固有値 の 関数です（ 最適設計を 参照）。
ベイズ統計におけるジェフリーズ事前分布 ベイズ統計学 では 、フィッシャー情報量は ジェフリーズ事前分布 を計算するために使われます。ジェフリーズ事前分布は連続分布パラメータの標準的な非情報事前分布です。 [32]
計算神経科学 フィッシャー情報量は、神経コード の精度の限界を見つけるために用いられてきた 。この場合、 Xは通常、低次元変数 θ （ 刺激 パラメータなど） を表す多数のニューロンの共同応答である 。特に、神経応答のノイズにおける相関の役割が研究されてきた。 [33]
疫学 フィッシャー情報量は、SARS-CoV-2の 再生産数 を推定する上で、さまざまなデータソースがどの程度有益であるかを研究するために使用されました。 [34]
機械学習 フィッシャー情報は、 弾性重み統合 [35] などの機械学習技術で使用され、 人工ニューラルネットワーク における 壊滅的な忘却を 軽減します 。
フィッシャー情報は、2次勾配降下法ネットワークのトレーニングにおける損失関数のヘッセ行列の代替として使用することができます。 [36]
色の識別 ダ・フォンセカら [37]は、 フィッシャー情報量 を用いて、 網膜光受容体の 応答関数から マカダム楕円 （色識別楕円）をどの程度 導出できるかを調査した。
相対エントロピーとの関係 フィッシャー情報量は 相対エントロピー と関連している。 [38] 2つの分布と間の 相対エントロピー、または カルバック ・ライブラー情報量は 次のように表される。 p {\displaystyle p} q {\displaystyle q}
K L ( p : q ) = ∫ p ( x ) log p ( x ) q ( x ) d x . {\displaystyle KL(p:q)=\int p(x)\log {\frac {p(x)}{q(x)}}\,dx.} ここで、によってパラメータ化された 確率分布の族を考える 。族内の2つの分布間の カルバック・ライブラー距離 は 次のように表される。 f ( x ; θ ) {\displaystyle f(x;\theta )} θ ∈ Θ {\displaystyle \theta \in \Theta }
D ( θ , θ ′ ) = K L ( p ( ⋅ ; θ ) : p ( ⋅ ; θ ′ ) ) = ∫ f ( x ; θ ) log f ( x ; θ ) f ( x ; θ ′ ) d x . {\displaystyle D(\theta ,\theta ')=KL(p({}\cdot {};\theta ):p({}\cdot {};\theta '))=\int f(x;\theta )\log {\frac {f(x;\theta )}{f(x;\theta ')}}\,dx.} が固定されている場合 、同じ族の2つの分布間の相対エントロピーは で最小になります 。 が に近い場合 、前の式を2次まで級数展開することができます。 θ {\displaystyle \theta } θ ′ = θ {\displaystyle \theta '=\theta } θ ′ {\displaystyle \theta '} θ {\displaystyle \theta }
D ( θ , θ ′ ) = 1 2 ( θ ′ − θ ) T ( ∂ 2 ∂ θ i ′ ∂ θ j ′ D ( θ , θ ′ ) ) θ ′ = θ ( θ ′ − θ ) + o ( ( θ ′ − θ ) 2 ) {\displaystyle D(\theta ,\theta ')={\frac {1}{2}}(\theta '-\theta )^{\textsf {T}}\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }(\theta '-\theta )+o\left((\theta '-\theta )^{2}\right)} しかし、2階微分は次のように書ける。
( ∂ 2 ∂ θ i ′ ∂ θ j ′ D ( θ , θ ′ ) ) θ ′ = θ = − ∫ f ( x ; θ ) ( ∂ 2 ∂ θ i ′ ∂ θ j ′ log ( f ( x ; θ ′ ) ) ) θ ′ = θ d x = [ I ( θ ) ] i , j . {\displaystyle \left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }\,dx=[{\mathcal {I}}(\theta )]_{i,j}.} したがって、フィッシャー情報量は、条件付き分布の相対エントロピーの 曲率を そのパラメータに関して表します。
歴史 フィッシャー情報は、初期の統計学者、特に F・Y・エッジワース によって議論されました。 例えば、サベージ は次のように述べています。「[フィッシャー情報]において、彼[フィッシャー]はある程度先取りされていました（エッジワース1908–9、特に502、507–8、662、677–8、82–5、および彼[エッジワース]が引用するピアソンとフィロン1898[...]を含む参考文献）。」初期の歴史的資料 や、この初期の研究に関するレビューが数多く存在します。
参照 情報理論 で用いられる他の尺度 :
注記 ^ ロバート・クリスチャン (2007). 「非情報的事前分布」. ベイズ選択 （第2版）. シュプリンガー. pp. 127– 141. ISBN 978-0-387-71598-8 。 ^ ル・カム、ルシアン （1986年） 『統計的意思決定理論における漸近的手法 』ニューヨーク：シュプリンガー、pp. 618– 621. ISBN 0-387-96307-3 。 ^ Kass, Robert E.; Tierney, Luke; Kadane, Joseph B. (1990). 「ラプラス法に基づく事後展開の妥当性」. Geisser, S.; Hodges, JS; Press, SJ; Zellner, A. (編). ベイズ法と尤度法による統計・計量経済学 . Elsevier. pp. 473– 488. ISBN 0-444-88376-2 。 ^ Suba Rao. 「統計的推論に関する講義」 (PDF) 。 2020年9月26日時点の オリジナル (PDF)からアーカイブ。 2013年4月12日 閲覧 。 ^ マーク J シャービッシュ (1995)。 統計理論 。ニューヨーク州ニューヨーク: スプリンガー ニューヨーク。 p. 111.ISBN 978-1-4612-4250-5 . OCLC 852790658。 ^ Nielsen, Frank (2023). 「多変量正規分布間のフィッシャー・ラオ距離の簡易近似法」. エントロピー . 25 (4): 654. arXiv : 2302.08175 . Bibcode :2023Entrp..25..654N. doi : 10.3390/e25040654 . PMC 10137715. PMID 37190442 . ^ ニールセン、フランク (2013). 「クラメール＝ラオ下限と情報幾何学」. Connected at Infinity II . Texts and Readings in Mathematics. Vol. 67. pp. 18– 37. arXiv : 1301.3578 . doi :10.1007/978-93-86279-56-9_2. ISBN 978-93-80250-51-9 . S2CID 16759683。 ^ Spall, JC (2005). 「非標準設定におけるフィッシャー情報行列のモンテカルロ計算」. 計算およびグラフィカル統計ジャーナル . 14 (4): 889– 909. doi :10.1198/106186005X78800. S2CID 16090098. ^ Spall, JC (2008)、「フィッシャー情報行列のモンテカルロ推定のための改良法」、 アメリカ制御会議論文集 、シアトル、ワシントン州、2008年6月11～13日、pp. 2395～2400。https://doi.org/10.1109/ACC.2008.4586850 ^ Das, S.; Spall, JC; Ghanem, R. (2010). 「事前情報を用いたフィッシャー情報行列の効率的なモンテカルロ計算」. 計算統計とデータ分析 . 54 (2): 272– 289. doi :10.1016/j.csda.2009.09.018. ^ バーンドルフ＝ニールセン, OE; コックス, DR (1994). 推論と漸近論 . チャップマン＆ホール. ISBN 978-0-412-49440-6 。 ^ Cox, DR; Reid, N. (1987). 「パラメータ直交性と近似条件付き推論（考察付き）」. J. Royal Statistical Soc. B. 49 : 1– 39. doi : 10.1111/j.2517-6161.1987.tb01422.x. ^ 渡辺 誠 (2008), Accardi, L.; Freudenberg, W.; Ohya, M. (編), "Algebraic geometrical method in singular statistical estimation", Quantum Bio-Informatics , World Scientific : 325– 336, Bibcode :2008qbi..conf..325W, doi :10.1142/9789812793171_0024, ISBN 978-981-279-316-4 。 ^ 渡辺 誠 (2013). 「広く適用可能なベイズ情報量基準」. 機械学習研究ジャーナル . 14 : 867–897 . ^ Malagò, Luigi; Pistone, Giovanni (2015). 「確率的最適化の観点から見たガウス分布の情報幾何学」. 2015 ACM Conference on Foundations of Genetic Algorithms XIII の議事録 . pp. 150– 162. doi :10.1145/2725494.2725510. ISBN 978-1-4503-3434-1 . S2CID 693896。 ^ Mardia, KV; Marshall, RJ (1984). 「空間回帰における残差共分散モデルの最大尤度推定」 Biometrika . 71 (1): 135–46 . doi :10.1093/biomet/71.1.135. ^ Zamir, R. (1998). 「データ処理論によるフィッシャー情報不等式の証明」. IEEE Transactions on Information Theory . 44 (3): 1246– 1250. CiteSeerX 10.1.1.49.6628 . doi :10.1109/18.669301. ^ Polyanskiy, Yury (2017). 「情報理論に関する講義ノート、第29章、ECE563 (UIUC)」 (PDF) . 情報理論に関する講義ノート . 2022年5月24日時点のオリジナルより アーカイブ (PDF) . 2022年5月24日 閲覧 。 ^ マーク J シャービッシュ (1995)。 統計理論 。スプリンガー・フェルラーク。 p. 113. ^ Janke, W.; Johnston, DA; Kenna, R. (2004). 「情報幾何学と相転移」. Physica A. 336 ( 1–2 ) : 181. arXiv : cond-mat/0401092 . Bibcode :2004PhyA..336..181J. doi :10.1016/j.physa.2004.01.023. S2CID 119085942. ^ Prokopenko, M.; Lizier, Joseph T.; Lizier, JT; Obst, O.; Wang, XR (2011). 「フィッシャー情報量と秩序パラメータの関係」. Physical Review E. 84 ( 4) 041116. Bibcode :2011PhRvE..84d1116P. doi :10.1103/PhysRevE.84.041116. PMID 22181096. S2CID 18366894. ^ Costa, M.; Cover, T. (1984年11月). 「エントロピー冪不等式とブルン・ミンコフスキー不等式の類似性について」. IEEE Transactions on Information Theory . 30 (6): 837– 839. doi :10.1109/TIT.1984.1056983. ISSN 1557-9654. ^ Cover, Thomas M. (2006). 『情報理論の要素 』 Joy A. Thomas (第2版). ホーボーケン, ニュージャージー: Wiley-Interscience. p. 256. ISBN 0-471-24195-4 . OCLC 59879802. ^ Pukelsheim, Friedrich (1993). 最適実験計画法 . ニューヨーク: Wiley. ISBN 978-0-471-61971-0 。 ^ ベルナルド、ホセ・M.; スミス、エイドリアン・FM (1994). ベイズ理論 . ニューヨーク: ジョン・ワイリー・アンド・サンズ. ISBN 978-0-471-92416-6 。 ^ Abbott, Larry F.; Dayan, Peter (1999). 「集団コードの精度に対する相関変動の影響」. Neural Computation . 11 (1): 91– 101. doi :10.1162/089976699300016827. PMID 9950724. S2CID 2958438. ^ Parag, KV; Donnelly, CA; Zarebski, AE (2022). 「ノイズの多い流行曲線における情報の定量化」. Nature Computational Science . 2 (9): 584– 594. doi : 10.1038/s43588-022-00313-1 . hdl : 10044/1/100205 . PMID : 38177483. S2CID : 248811793. ^ カークパトリック, ジェームズ; パスカヌ, ラズヴァン; ラビノウィッツ, ニール; ヴェネス, ジョエル; デジャルダン, ギヨーム; ルス, アンドレイ A.; ミラン, キエラン; クアン, ジョン; ラマーリョ, ティアゴ (2017-03-28). 「ニューラルネットワークにおける壊滅的な忘却の克服」. Proceedings of the National Academy of Sciences . 114 (13): 3521– 3526. arXiv : 1612.00796 . Bibcode :2017PNAS..114.3521K. doi : 10.1073/pnas.1611835114 . ISSN 0027-8424. PMC 5380101. PMID 28292907 . ^ Martens, James (2020年8月). 「自然勾配法に関する新たな知見と展望」. Journal of Machine Learning Research (21). arXiv : 1412.1193 . ^ da Fonseca, Maria; Samengo, In'es (2016年12月1日). 「色空間における距離の情報理論的概念からの人間の色彩識別能力の導出」. Neural Computation . 28 (12): 2628– 2655. arXiv : 1611.07272 . doi :10.1162/NECO_a_00903. PMID 27764598. ^ Gourieroux & Montfort (1995)、87ページ
参考文献 クラメール、ハラルド （1946年） 『統計の数学的手法 』プリンストン数学シリーズ、プリンストン：プリンストン大学出版局、 ISBN 0-691-08004-6 。 エッジワース, FY (1908年6月). 「頻度定数の確率誤差について」. 王立統計学会誌 . 71 (2): 381– 397. doi :10.2307/2339461. JSTOR 2339461. エッジワース, FY (1908年9月). 「周波数定数の確率誤差について（続）」. 王立統計学会誌 . 71 (3): 499– 512. doi :10.2307/2339293. JSTOR 2339293. エッジワース, FY (1908年12月). 「周波数定数の確率誤差について（続）」. 王立統計学会誌 . 71 (4): 651– 678. doi :10.2307/2339378. JSTOR 2339378. フィッシャー, RA (1922-01-01). 「理論統計の数学的基礎について」. ロンドン王立協会哲学論文集, シリーズA. 222 ( 594–604 ) : 309–368 . 書誌コード :1922RSPTA.222..309F. doi : 10.1098/rsta.1922.0009 . hdl : 2440/15172 . フリーデン, BR (2004). 『フィッシャー情報からの科学：統合』 ケンブリッジ大学出版局. ISBN 0-521-00911-1 。 Frieden, B. Roy; Gatenby, Robert A. (2013). 「ハーディの公理から導かれる最大フィッシャー情報量の原理の統計システムへの応用」. Physical Review E. 88 ( 4) 042144. arXiv : 1405.0007 . Bibcode :2013PhRvE..88d2144F. doi :10.1103/PhysRevE.88.042144. PMC 4010149. PMID 24229152 . Hald, A. (1999年5月). 「最大尤度法の歴史と逆確率法および最小二乗法との関係について」. 統計科学 . 14 (2): 214– 222. doi : 10.1214/ss/1009212248 . JSTOR 2676741. Hald, A. (1998). 『1750年から1930年までの数理統計史』 ニューヨーク: Wiley. ISBN 978-0-471-17912-2 。 レーマン, EL ; カセラ, G. (1998). 点推定理論 （第2版）. シュプリンガー. ISBN 978-0-387-98502-2 。 ル・カム、リュシアン （1986年） 『統計的意思決定理論における漸近的手法 』シュプリンガー・フェアラーク社、 ISBN 978-0-387-96307-5 。 プラット, ジョン・W. (1976年5月). 「F・Y・エッジワースとRA・フィッシャーによる最大尤度推定の効率性について」 Annals of Statistics . 4 (3): 501– 514. doi : 10.1214/aos/1176343457 . JSTOR 2958222. ラオ、C. ラダクリシュナ (1945). 「統計パラメータの推定において達成可能な情報と精度」. 統計におけるブレークスルー . シュプリンガー統計シリーズ. 第37巻. pp. 81– 91. doi :10.1007/978-1-4612-0919-5_16. ISBN 978-0-387-94037-3 . S2CID 117034671。 ; サベージ, LJ (1976年5月). 「RAフィッシャーの再読について」 Annals of Statistics . 4 (3): 441– 500. doi : 10.1214/aos/1176343456 . JSTOR 2958221. シャービッシュ、マーク J. (1995)。 統計理論 。ニューヨーク：スプリンガー。 ISBN 978-0-387-94546-0 。 スティグラー、SM （1986年） 『統計の歴史：1900年以前の不確実性の測定』 ハーバード大学出版局、 ISBN 978-0-674-40340-6 。 [ ページが必要 ] スティグラー, SM (1978). 「フランシス・イシドロ・エッジワース統計学者」 . 王立統計学会誌, シリーズA. 141 ( 3): 287– 322. doi :10.2307/2344804. JSTOR 2344804. スティグラー、SM （1999年） 『表の統計：統計概念と手法の歴史 』ハーバード大学出版局、 ISBN 978-0-674-83601-3 。 [ ページが必要 ] Van Trees, HL (1968). 検出、推定、変調理論 第1部 . ニューヨーク: Wiley. ISBN 978-0-471-09517-0 。 
![{\displaystyle {\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\,\,\right|\,\,\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}1\\[6pt]={}&0.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5fbbd3c291802a2edc6a1a7a3c80a73e0f0f4f33)
![{\displaystyle {\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5b42c307d86cd82e445114a38d89f7ae7fead52e)
![{\displaystyle {\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2f4a712be0daeddf988106967a54e2e6611ce944)
![{\displaystyle {\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]&=\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]-\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]\\\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]&=\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]-{\mathcal {I}}(\theta )\\{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]+\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c13934f1e7142184c9d1abb303d5a8180de35ae6)
![{\displaystyle \operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }f(x;\theta ){\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(x;\theta )}{f(x;\theta )}}\,dx={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx={\frac {\partial ^{2}}{\partial \theta ^{2}}}(1)=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6e07817d8944180d85382bd83f66c7bc2592625c)
![{\displaystyle {\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ef075adb55d82ebf1e8d45abd2a4c1b8ac2d309c)
![{\displaystyle \operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \,\,\right|\,\,\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ }}\theta の値に関係なく。}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7a942571b47fa474486bb33795447267df7d503a)
![{\displaystyle 1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b8ee8002e46c71c03fbe279ea1045596543b4509)
![{\displaystyle \operatorname {Cov} [{\hat {\theta }}(X),\partial _{\theta }\log f(X;\theta )]=\int {\hat {\theta }}(x)\,\partial _{\theta }f(x;\theta )\,dx=\partial _{\theta }\operatorname {E} [{\hat {\theta }}]=1.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/dc86efe5b4d8c608c9212ea0799d9a399943ab5d)
![{\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\,\,\right|\,\,\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\,\,\right|\,\,\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b51d9675dbbeffc24c582950da88b8f8438dd167)
![{\displaystyle \theta \in [0,1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fead1e7dceab4be5ab2e91f5108144722daa8c36)
![{\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=\mathrm {E} \left[\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}{\Bigg |}\,\theta \right]\\&=(1-{\sqrt {\theta }})\left({\frac {-1}{2{\sqrt {\theta }}(1-{\sqrt {\theta }})}}\right)^{2}+{\sqrt {\theta }}\left({\frac {1}{2\theta }}\right)^{2}\\&={\frac {1}{4\theta }}\left({\frac {1}{1-{\sqrt {\theta }}}}+{\frac {1}{\sqrt {\theta }}}\right)\end{aligned}}.}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/52266d20e7291a54da676cb697728d724ab01b5d)
![{\displaystyle f(\theta )\in [0,1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3fac8bdee037ca1a3d42ba42ee6000448c477f7f)
![{\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\,\,\right|\,\,\theta \right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ccbbe3a423ab34a3c9ac9989f134642de46c52c6)
![{\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]\,.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d7d2030360016af26f46a49480f7f8ddc4386837)
![{\displaystyle {\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b9563f25377f20a259795079006042014f62e2ee)
![{\displaystyle {\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ecebc33561ebf425962059511de15739d58b227f)
![{\displaystyle {\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0597b3e4e15806338f76e41e02af60263455c8d3)
![{\displaystyle f:[0,\infty )\to (-\infty ,\infty ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6fb2206a6fa5ea459545ee7ff25b0495c0d9481b)
![{\displaystyle {\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/49cf755a988eba8851adf6724177890708a898fb)
![{\displaystyle \left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }\,dx=[{\mathcal {I}}(\theta )]_{i,j}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/02bab191b23a6d1a0812342f41d4e4eeec455bcb)
