観測情報

統計学において、観測情報、あるいは観測フィッシャー情報とは、「対数尤度」（尤度関数の対数）の二階微分（ヘッセ行列）の負の値である。これは、フィッシャー情報量の標本ベース版である。

意味

独立かつ同一分布に従う確率変数を観測するとする。密度はf ( X ;θ)で、θは（おそらく未知の）ベクトルである。このとき、データが与えられた場合のパラメータの対数尤度は、 $X_{1},\ldots ,X_{n}$ $\theta$ $X_{1},\ldots ,X_{n}$

\ell (\theta |X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}\log f(X_{i}|\theta )

。

観測情報行列を次のように定義する。 $\theta ^{*}$

{\mathcal {J}}(\theta ^{*})=-\left.\nabla \nabla ^{\top }\ell (\theta )\right|_{\theta =\theta ^{*}}

=-\left.\left({\begin{array}{cccc}{\tfrac {\partial ^{2}}{\partial \theta _{1}^{2}}}&{\tfrac {\partial ^{2}}{\partial \theta _{1}\partial \theta _{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{1}\partial \theta _{p}}}\\{\tfrac {\partial ^{2}}{\partial \theta _{2}\partial \theta _{1}}}&{\tfrac {\partial ^{2}}{\partial \theta _{2}^{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{2}\partial \theta _{p}}}\\\vdots &\vdots &\ddots &\vdots \\{\tfrac {\partial ^{2}}{\partial \theta _{p}\partial \theta _{1}}}&{\tfrac {\partial ^{2}}{\partial \theta _{p}\partial \theta _{2}}}&\cdots &{\tfrac {\partial ^{2}}{\partial \theta _{p}^{2}}}\\\end{array}}\right)\ell (\theta )\right|_{\theta =\theta ^{*}}

情報行列の逆行列は対応する最大尤度推定値の漸近共分散行列であるため、有意性検定や信頼区間の構築を目的として、観測情報はしばしば最大尤度推定値で評価される。 ^[1]最大尤度推定値の不変性により、観測情報行列を逆行列にする前に評価することができる。

代替定義

アンドリュー・ゲルマン、デイビッド・ダンソン、ドナルド・ルービン^[2]は、観測情報をパラメータの事後確率で定義している。 $p(\theta |y)$

$I(\theta )=-{\frac {d^{2}}{d\theta ^{2}}}\log p(\theta |y)$

フィッシャー情報

フィッシャー情報とは、パラメータを持つ仮説モデルに従って分布する単一の観測値を与えられた場合の観測情報の期待値である。 ${\mathcal {I}}(\theta )$ $X$ $\theta$

{\mathcal {I}}(\theta )=\mathrm {E} ({\mathcal {J}}(\theta ))

。

期待情報との比較

観測情報と期待情報の比較は、現在も活発に研究と議論が続いている分野です。EfronとHinkley ^[3]は、MLEの精度に影響する補助統計量がある場合、1パラメータ族における最尤推定量の分布に正規近似を用いる際に、期待情報よりも観測情報を優先する頻度主義的な正当性を示しました。LindsayとLiは、誤差項を無視すれば、観測情報行列が真の情報の近似として平均二乗誤差を最小にすることを示しました。 ^[4] LindsayとLiの場合、期待情報行列は、得られたML推定値での評価が依然として必要であり、ランダム性が生じます。 $O(n^{-3/2})$

しかし、信頼区間の構築を主な焦点とする場合、期待される情報が観測された情報よりも優れているという結果が報告されている。YuanとSpallは、スカラーパラメータの信頼区間構築において、平均二乗誤差の観点から期待される情報が観測された情報よりも優れていることを示した。^[5]この結果は後に多パラメータの場合にも一般化されたが、その主張は期待される情報行列が観測された情報行列と少なくとも同等の性能を示すという点に弱められた。^[6]

参照

参考文献

^ Dodge, Y. (2003)オックスフォード統計用語辞典、OUP. ISBN 0-19-920613-9
^ ゲルマン, アンドリュー; カーリン, ジョン; スターン, ハル;ダンソン, デイビッド; ヴェタリ, アキ;ルービン, ドナルド(2014). ベイズデータ分析（第3版）p. 84.
^ Efron, B. ; Hinkley, DV (1978). 「最大尤度推定量の精度評価：観測フィッシャー情報量と期待フィッシャー情報量の比較」Biometrika . 65 (3): 457– 487. doi :10.1093/biomet/65.3.457. JSTOR 2335893. MR 0521817.
^ Lindsay, Bruce G.; Li, Bing (1997年10月1日). 「観測されたフィッシャー情報の2次最適性について」. The Annals of Statistics . 25 (5). doi : 10.1214/aos/1069362393 .
^ Yuan, Xiangyu; Spall, James C. (2020年7月). 「スカラーケースにおける期待フィッシャー情報量と観測フィッシャー情報量を用いた信頼区間」. 2020 American Control Conference (ACC) . pp. 2599– 2604. doi :10.23919/ACC45564.2020.9147324. ISBN 978-1-5386-8266-1. S2CID 220888731。
^ Jiang, Sihang; Spall, James C. (2021年3月24日). 「区間推定における期待フィッシャー情報量と観測フィッシャー情報量の比較」. 2021年第55回情報科学・システム年次会議 (CISS) . pp. 1– 6. doi :10.1109/CISS50987.2021.9400253. ISBN 978-1-6654-1268-1. S2CID 233332868。

[1] Dodge, Y. (2003)オックスフォード統計用語辞典、OUP. ISBN 0-19-920613-9

[2] ゲルマン, アンドリュー; カーリン, ジョン; スターン, ハル;ダンソン, デイビッド; ヴェタリ, アキ;ルービン, ドナルド(2014). ベイズデータ分析（第3版）p. 84.

[3] Efron, B. ; Hinkley, DV (1978). 「最大尤度推定量の精度評価：観測フィッシャー情報量と期待フィッシャー情報量の比較」Biometrika . 65 (3): 457– 487. doi :10.1093/biomet/65.3.457. JSTOR 2335893. MR 0521817.

[4] Lindsay, Bruce G.; Li, Bing (1997年10月1日). 「観測されたフィッシャー情報の2次最適性について」. The Annals of Statistics . 25 (5). doi : 10.1214/aos/1069362393 .

[5] Yuan, Xiangyu; Spall, James C. (2020年7月). 「スカラーケースにおける期待フィッシャー情報量と観測フィッシャー情報量を用いた信頼区間」. 2020 American Control Conference (ACC) . pp. 2599– 2604. doi :10.23919/ACC45564.2020.9147324. ISBN 978-1-5386-8266-1. S2CID 220888731。

[6] Jiang, Sihang; Spall, James C. (2021年3月24日). 「区間推定における期待フィッシャー情報量と観測フィッシャー情報量の比較」. 2021年第55回情報科学・システム年次会議 (CISS) . pp. 1– 6. doi :10.1109/CISS50987.2021.9400253. ISBN 978-1-6654-1268-1. S2CID 233332868。