Non-informative prior distribution
ベイズ統計学 において 、 ジェフリーズ事前分布は、 パラメータ空間 における 非情報 事前分布 である 。 ハロルド・ジェフリーズ卿にちなんで名付けられた [1]。 その密度関数は、 フィッシャー情報 行列の 行列式 の 平方根 に比例する 。
p ( θ ) ∝ | I ( θ ) | 1 / 2 . {\displaystyle p\left(\theta \right)\propto \left|I(\theta )\right|^{1/2}.\,}
この分布は、パラメータベクトルの 座標変更 に対して不変であるという重要な特徴を持つ 。つまり、ジェフリーズ事前分布を使用して 確率空間 の体積に割り当てられる相対確率は、ジェフリーズ事前分布を定義するために使用されたパラメータ化に関係なく同じである。このため、これは スケールパラメータ とともに使用する場合特に興味深い。 [2] 具体的な例として、 ベルヌーイ分布は 、発生確率 p 、または オッズ r = p / (1 − p ) でパラメータ化できる。これらの一方の一様事前分布は、通常の方法で再パラメータ化を考慮しても、他方の一様事前分布と同じではないが、一方のジェフリーズ事前分布は、他方のジェフリーズ事前分布に再パラメータ化される。 θ {\textstyle \theta }
指数族 モデルの 最大尤度推定 では 、ジェフリーズ事前分布に基づくペナルティ項が点推定における漸近的バイアスを減らすことが示された。 [3] [4]
再パラメータ化
1パラメータの場合 および が 統計モデル の 2 つの可能なパラメータ化であり 、が の 連続的に微分可能な 関数 である場合、 事前分布 と が 通常の 変数変換定理 によって関連付けられている場合、事前分布 は再パラメータ化に対して「不変」である
といえます 。 θ {\textstyle \theta } φ {\textstyle \varphi } θ {\textstyle \theta } φ {\textstyle \varphi } p θ ( θ ) {\textstyle p_{\theta }(\theta )} p φ ( φ ) = p θ ( θ ) | d θ d φ | , {\displaystyle p_{\varphi }(\varphi )=p_{\theta }(\theta )\left|{\frac {d\theta }{d\varphi }}\right|,} p θ ( θ ) {\textstyle p_{\theta }(\theta )} p φ ( φ ) {\textstyle p_{\varphi }(\varphi )}
フィッシャー情報量 は再パラメータ化 によって次のように変換され、 事前分布を次のように定義して 、 望ましい「不変性」を与える。 [5] I φ ( φ ) = I θ ( θ ) ( d θ d φ ) 2 , {\displaystyle I_{\varphi }(\varphi )=I_{\theta }(\theta )\left({\frac {d\theta }{d\varphi }}\right)^{2},} p φ ( φ ) ∝ I φ ( φ ) {\textstyle p_{\varphi }(\varphi )\propto {\sqrt {I_{\varphi }(\varphi )}}} p θ ( θ ) ∝ I θ ( θ ) {\textstyle p_{\theta }(\theta )\propto {\sqrt {I_{\theta }(\theta )}}}
複数パラメータの場合 1パラメータの場合と同様に、 連続的に微分可能な関数 を 持つ統計モデルの2つの可能なパラメータ化を と とします 。が 要素を 持つ ヤコビ 行列 で
ある場合、 事前分布を再 パラメータ化において「不変」
と呼びます。 フィッシャー情報行列は再パラメータ化によって のように変換されるため
、 となり 、事前分布を と定義することで 、 目的の「不変性」が得られます。 θ → {\textstyle {\vec {\theta }}} φ → {\textstyle {\vec {\varphi }}} θ → {\textstyle {\vec {\theta }}} φ → {\textstyle {\vec {\varphi }}} p θ ( θ → ) {\textstyle p_{\theta }({\vec {\theta }})} p φ ( φ → ) = p θ ( θ → ) | det J | , {\displaystyle p_{\varphi }({\vec {\varphi }})=p_{\theta }({\vec {\theta }})~|\det J|\,,} J {\textstyle J} J i j = ∂ θ i ∂ φ j . {\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \varphi _{j}}}.} I φ ( φ → ) = J T I θ ( θ → ) J , {\displaystyle I_{\varphi }({\vec {\varphi }})=J^{T}I_{\theta }({\vec {\theta }})J,} det I φ ( φ ) = det I θ ( θ ) ( det J ) 2 {\displaystyle \det I_{\varphi }(\varphi )=\det I_{\theta }(\theta )(\det J)^{2}} p φ ( φ → ) ∝ det I φ ( φ → ) {\textstyle p_{\varphi }({\vec {\varphi }})\propto {\sqrt {\det I_{\varphi }({\vec {\varphi }})}}} p θ ( θ → ) ∝ det I θ ( θ → ) {\textstyle p_{\theta }({\vec {\theta }})\propto {\sqrt {\det I_{\theta }({\vec {\theta }})}}}
属性 実用的かつ数学的な観点から、共役分布族の限界を通じて得られるものなどの他の事前分布の代わりにこの非情報事前分布を使用する正当な理由は、確率空間の体積の相対確率が、パラメータ空間を記述するために選択されたパラメータ変数のセットに依存しないことです。
ジェフリーズ事前分布は 正規化 できない場合があり、その場合は 不適切な事前分布 となります。例えば、分散が既知の ガウス分布 の場合、分布平均のジェフリーズ事前分布は 実数直線 全体にわたって均一です。
ジェフリーズ事前分布の使用は、 多くの統計学者に受け入れられているが、決して全員ではない、強いバージョンの 尤度原理 に違反しています。ジェフリーズ事前分布を使用する場合、 についての推論は、 の関数としての観測データの確率だけでなく 、実験計画によって決定されるすべての可能な実験結果の集合にも依存します。これは、フィッシャー情報が、選択された集合の期待値から計算されるためです。したがって、ジェフリーズ事前分布、およびそれを使用して行われた推論は、2 つの実験 の尤度関数が同じであっても、同じパラメータを含む 2 つの実験で異なる可能性があります。これは、強い尤度原理に違反しています。 θ → {\textstyle {\vec {\theta }}} θ → {\textstyle {\vec {\theta }}} θ → {\textstyle {\vec {\theta }}}
最小説明長 統計に対する最小記述長 アプローチでは、 記述の長さが使用されるコードのビット数で測定される場合、データを可能な限りコンパクトに記述することが目標です。分布の パラメトリック族 の場合、コードを、パラメーター化された族の分布の1つに基づく最良のコードと比較します。主な結果は、 指数族 において、サンプルサイズが大きい場合、漸近的に、指数族の要素とジェフリーズ事前分布の混合である分布に基づくコードが最適であるというものです。この結果は、パラメーターセットを完全なパラメーター空間の内部のコンパクトなサブセットに制限した場合に当てはまります [ 引用が必要 ] 。完全なパラメーターを使用する場合は、結果の修正版を使用する必要があります。
例 パラメータ (またはパラメータ セット) の Jeffreys 事前分布は、統計モデルによって異なります。
平均パラメータを持つガウス分布 を固定した 実数値の ガウス分布 の場合 、平均のジェフリーズ事前分布はである 。つまり 、 のジェフリーズ事前分布 は に依存しない 。これは実数直線上の正規化されていない一様分布、つまりすべての点に対して 1（または他の固定定数）となる分布である。これは 不適正事前分布 であり、定数の選択次第で、 実数上の唯一の 並進不変分布（実数の加法に関する ハール測度 ）となる。これは、平均が 位置 の測度であること、並進不変が位置に関する情報を持たないことに対応する。 x {\textstyle x} f ( x ∣ μ ) = e − ( x − μ ) 2 / 2 σ 2 2 π σ 2 {\displaystyle f(x\mid \mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}}} σ {\textstyle \sigma } μ {\textstyle \mu } p ( μ ) ∝ I ( μ ) = E [ ( d d μ log f ( x ∣ μ ) ) 2 ] = E [ ( x − μ σ 2 ) 2 ] = ∫ − ∞ + ∞ f ( x ∣ μ ) ( x − μ σ 2 ) 2 d x = σ 2 / σ 4 ∝ 1. {\displaystyle {\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {\sigma ^{2}/\sigma ^{4}}}\propto 1.\end{aligned}}} μ {\textstyle \mu } μ {\textstyle \mu }
標準偏差パラメータを持つガウス分布 実数値 が固定された ガウス分布 の場合 、標準偏差のジェフリーズ事前分布は、同様 に 、実数値のジェフリーズ事前分布は 、実数直線上の非正規化一様分布であるため、この分布は、 x {\textstyle x} f ( x ∣ σ ) = e − ( x − μ ) 2 / 2 σ 2 2 π σ 2 , {\displaystyle f(x\mid \sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}},} μ {\textstyle \mu } σ > 0 {\textstyle \sigma >0} p ( σ ) ∝ I ( σ ) = E [ ( d d σ log f ( x ∣ σ ) ) 2 ] = E [ ( ( x − μ ) 2 − σ 2 σ 3 ) 2 ] = ∫ − ∞ + ∞ f ( x ∣ σ ) ( ( x − μ ) 2 − σ 2 σ 3 ) 2 d x = 2 σ 2 ∝ 1 σ . {\displaystyle {\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma }}.\end{aligned}}} log σ = ∫ d σ / σ {\textstyle \log \sigma =\int d\sigma /\sigma } 対数事前分布 。同様に、 の Jeffreys 事前分布 スケール 不変（ の乗算に関する Haar 測度 ）となる唯一の事前分布（倍数を除く）であり 標準偏差 スケール の尺度であること 、スケール不変であることに対応し、スケールに関する情報がないことに対応します。実数上の一様分布と同様に、これは 不適切な事前分布 。 log σ 2 = 2 log σ {\textstyle \log \sigma ^{2}=2\log \sigma }
速度パラメータ付きポアソン分布 非負整数 の ポアソン分布 の場合 、 速度パラメータ の Jeffreys 事前分布 は、 非負の実数直線上の正規化されていない一様分布と
同等 です
。 n {\textstyle n} f ( n ∣ λ ) = e − λ λ n n ! , {\displaystyle f(n\mid \lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},} λ ≥ 0 {\textstyle \lambda \geq 0} p ( λ ) ∝ I ( λ ) = E [ ( d d λ log f ( n ∣ λ ) ) 2 ] = E [ ( n − λ λ ) 2 ] = ∑ n = 0 + ∞ f ( n ∣ λ ) ( n − λ λ ) 2 = 1 λ . {\displaystyle {\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\lambda }}\log f(n\mid \lambda )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n\mid \lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}} λ = ∫ d λ / λ {\textstyle {\sqrt {\lambda }}=\int d\lambda /{\sqrt {\lambda }}}
ベルヌーイ試行 確率 で表が出るコイン と確率 で裏が出るコインについて 、与えられた 確率は である 。パラメータ のジェフリーズ事前分布 は γ ∈ [ 0 , 1 ] {\textstyle \gamma \in [0,1]} 1 − γ {\textstyle 1-\gamma } ( H , T ) ∈ { ( 0 , 1 ) , ( 1 , 0 ) } {\textstyle (H,T)\in \{(0,1),(1,0)\}} γ H ( 1 − γ ) T {\textstyle \gamma ^{H}(1-\gamma )^{T}} γ {\textstyle \gamma }
p ( γ ) ∝ I ( γ ) = E [ ( d d γ log f ( x ∣ γ ) ) 2 ] = E [ ( H γ − T 1 − γ ) 2 ] = γ ( 1 γ − 0 1 − γ ) 2 + ( 1 − γ ) ( 0 γ − 1 1 − γ ) 2 = 1 γ ( 1 − γ ) . {\displaystyle {\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\gamma }}\log f(x\mid \gamma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{aligned}}}
これは 逆正弦分布 であり、を満たす ベータ分布 です 。さらに、 で あれば、つまり のJeffreys事前分布 は区間 において一様です 。同様に、 は円 全体にわたって一様です 。 α = β = 1 / 2 {\textstyle \alpha =\beta =1/2} γ = sin 2 ( θ ) {\textstyle \gamma =\sin ^{2}(\theta )} Pr [ θ ] = Pr [ γ ] d γ d θ ∝ 1 ( sin 2 θ ) ( 1 − sin 2 θ ) 2 sin θ cos θ = 2 . {\displaystyle \Pr[\theta ]=\Pr[\gamma ]{\frac {d\gamma }{d\theta }}\propto {\frac {1}{\sqrt {(\sin ^{2}\theta )(1-\sin ^{2}\theta )}}}~2\sin \theta \cos \theta =2\,.} θ {\textstyle \theta } [ 0 , π / 2 ] {\textstyle [0,\pi /2]} θ {\textstyle \theta } [ 0 , 2 π ] {\textstyle [0,2\pi ]}
北 偏った確率を持つサイコロ 同様に、出目確率がで 、それぞれが非負で を満たす面サイコロ を投げる場合 、 のジェフリーズ事前分布は、すべての（アルファ）パラメータが半分に設定された ディリクレ分布 です。これは、各可能性のある出目に対して の 擬似カウント を半分 にすることと同じです。 N {\textstyle N} γ → = ( γ 1 , … , γ N ) {\textstyle {\vec {\gamma }}=(\gamma _{1},\ldots ,\gamma _{N})} ∑ i = 1 N γ i = 1 {\textstyle \sum _{i=1}^{N}\gamma _{i}=1} γ → {\textstyle {\vec {\gamma }}}
同様に、各 について と書くと 、 についての Jeffreys 事前分布は - 次元 単位球面 上で均一です ( つまり 、 -次元 単位球 の表面上で均一です )。 γ i = φ i 2 {\textstyle \gamma _{i}=\varphi _{i}^{2}} i {\textstyle i} φ → {\textstyle {\vec {\varphi }}} ( N − 1 ) {\textstyle (N-1)} N {\textstyle N}
一般化
確率マッチング事前分布 1963年、 ウェルチ とピアーズは、スカラーパラメータ θ に対して、ジェフリーズの事前分布は、 事後予測確率が 頻度主義的確率と一致し、 選択された幅の 信頼区間が頻度主義的 信頼区間 と一致するという意味で「確率マッチング」であることを示した。 [6] その後、ピアーズは、これはマルチパラメータの場合には当てはまらないことを示し、 [7]代わりに、 フィッシャー情報量 を含む特定 の偏微分方程式 を解く確率分布として暗黙的にのみ定義される確率マッチング事前分布の概念を導いた 。 [8]
α平行事前分布 情報幾何学 のツールを用いることで 、ジェフリーズ事前分布を一般化し、統計モデルの幾何学的情報を符号化した事前分布を求めることができる。この事前分布は、パラメータの座標の変化に対して不変である。 [9] 特殊なケースとして、いわゆるワイル事前分布が ワイル多様体 上の 体積形式 として定義される。 [10]
参考文献 ^ Jeffreys H (1946). 「推定問題における事前確率の不変形式」. Proceedings of the Royal Society of London . Series A, Mathematical and Physical Sciences. 186 (1007): 453– 461. Bibcode :1946RSPSA.186..453J. doi :10.1098/rspa.1946.0056. JSTOR 97883. PMID: 20998741. ^ Jaynes ET (1968年9月). 「事前確率」 (PDF) . IEEE Transactions on Systems Science and Cybernetics . 4 (3): 227– 241. doi :10.1109/TSSC.1968.300117. ^ ファース、デイヴィッド (1992). 「バイアス低減、ジェフリーズ事前分布、そしてGLIM」. ファーメイル、ルートヴィヒ、フランシス、ブライアン、ギルクリスト、ゲルハルト、タッツ（編）. 『GLIMと統計モデリングの進歩』 . ニューヨーク: シュプリンガー. pp. 91– 100. doi :10.1007/978-1-4612-2952-0_15. ISBN 0-387-97873-9 。 ^ Magis, David (2015). 「多項式項目反応モデルにおける熟達度の重み付き尤度とJeffreysのモーダル推定に関する考察」 Psychometrika . 80 : 200–204 . doi :10.1007/s11336-013-9378-5. ^ Robert CP, Chopin N, Rousseau J (2009). 「ハロルド・ジェフリーズの確率理論の再考」. 統計科学 . 24 (2). arXiv : 0804.3173 . doi : 10.1214/09-STS284 . ^ Welch, BL; Peers, HW (1963). 「重み付き尤度の積分に基づく信頼点の公式について」. 王立統計学会誌 . シリーズB (方法論). 25 (2): 318– 329. doi :10.1111/j.2517-6161.1963.tb00512.x. ^ Peers, HW (1965). 「複数のパラメータがある場合の信頼点とベイズ確率点について」. 英国王立統計学会誌 . シリーズB (方法論). 27 (1): 9– 16. doi :10.1111/j.2517-6161.1965.tb00581.x. ^ Scricciolo, Catia (1999). 「確率マッチング事前分布：レビュー」. イタリア統計学会誌 . 8. 83. doi :10.1007/BF03178943. ^ Takeuchi, J.; Amari, S. (2005). 「α-平行事前分布とその特性」. IEEE Transactions on Information Theory . 51 (3): 1011– 1023. doi :10.1109/TIT.2004.842703. ^ Jiang, Ruichao; Tavakoli, Javad; Zhao, Yiqiang (2020). 「Weyl Prior and Bayesian Statistics」. Entropy . 22 (4). 467. doi : 10.3390/e22040467 . PMC 7516948 .
さらに読む Kass RE, Wasserman L (1996). 「形式ルールによる事前分布の選択」 アメリカ統計学会誌 . 91 (435): 1343– 1370. doi :10.1080/01621459.1996.10477003. リー、ピーター・M. (2012). 「ジェフリーズの法則」. ベイズ統計入門 （第4版）. Wiley. pp. 96– 102. ISBN 978-1-118-33257-3 。 
![{\displaystyle {\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {\sigma ^{2}/\sigma ^{4}}}\propto 1.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/14fbb8e7f15527e1bf3f92e0166c36925a2c4fb1)
![{\displaystyle {\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}\propto {\frac {1}{\sigma }}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a752bb97cff70f27c9a52abe0a0a79cc661b8759)
![{\displaystyle {\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\lambda }}\log f(n\mid \lambda )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n\mid \lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cbd9171898d4d2a7069504b0b48ca959603cb435)
![{\textstyle \gamma \in [0,1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/025c81e9b49c4d2102aa817dc7d72beb98d47f66)
![{\displaystyle {\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\gamma }}\log f(x\mid \gamma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5b453907ce8162f35c3672f0dce2db860188ebc6)
![{\displaystyle \Pr[\theta ]=\Pr[\gamma ]{\frac {d\gamma }{d\theta }}\propto {\frac {1}{\sqrt {(\sin ^{2}\theta )(1-\sin ^{2}\theta )}}}~2\sin \theta \cos \theta =2\,.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f81c40a664402b25e0a8ce837f01d436ef4aa558)
![{\textstyle [0,\pi /2]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6291f71c2eaa60acb714a88e1ead782cb9d22ea0)
![{\textstyle [0,2\pi ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/523a05953740b71c516bf11e31a3de1ff84bc3f9)
