ベイズ係数

ベイズ係数は、2 つの競合する統計モデルの比率であり、その証拠によって表され、一方のモデルが他方のモデルよりもどれだけ支持されているかを定量化するために使用されます。^{[1]問題のモデルは、}帰無仮説や対立仮説などの共通のパラメーターセットを持つことができますが、これは必須ではありません。たとえば、線形近似と比較して非線形モデルである可能性もあります。ベイズ係数は、最大化尤度ではなく統合 (つまり周辺) 尤度を使用する点で、尤度比検定のベイズ類似物と考えることができます。そのため、両方の数量は単純な仮説 (たとえば、2 つの特定のパラメーター値) の下でのみ一致します。^[2]また、帰無仮説有意性検定とは対照的に、ベイズ係数は帰無仮説を棄却するか棄却しないかだけを許可するのではなく、帰無仮説を支持する証拠の評価をサポートします。 ^[3]

ベイズ因子の計算は概念的には単純ですが、モデルと仮説の複雑さによっては困難になる場合があります。^[4]周辺尤度の閉形式表現は一般的に利用できないため、MCMCサンプルに基づく数値近似が提案されています。^[5] 特定の特殊なケースでは、簡略化された代数式を導出できます。例えば、制約のない対立仮説に対する正確な（等式制約付き）仮説の場合のサベージ・ディッキー密度比などです。^[6]^[7]統合尤度にラプラス近似を適用することで導出される別の近似は、ベイズ情報量基準（BIC）として知られています。^{[8]大規模なデータセットでは、事前分布の影響が弱まるにつれて、ベイズ因子はBICに近づきます。小規模なデータセットでは、事前分布は一般的に重要であり、比率の2つの積分のいずれかが有限でない場合、ベイズ因子は未定義となるため、事前分布は}不適切であってはなりません。

定義

ベイズ係数は、2つの周辺尤度の比です。つまり、2つの統計モデルの尤度を、それらのパラメータの事前確率で積分したものです。^[9]

データDが与えられた場合のモデルMの事後確率は、ベイズの定理によって与えられます。 $\Pr(M|D)$

\Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.

重要なデータ依存項は、モデルMの仮定の下でデータが生成される確率を表します。これを正しく評価することが、ベイズモデル比較の鍵となります。 $\Pr(D|M)$

観測データDに基づいて2つのモデルから選択するというモデル選択問題が与えられた場合、モデルパラメータベクトルとによってパラメータ化された2つの異なるモデルM ₁とM ₂の妥当性は、次のように与えられるベイズ係数Kによって評価されます $\theta _{1}$ $\theta _{2}$

K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.

2つのモデルの事前確率が等しく、つまりM ₁とM ₂の事後確率の比に等しい場合、ベイズ係数はM 1 とM 2 の事後確率の比に等しくなります。ベイズ係数の積分値の代わりに、各統計モデルのパラメータの最大尤度推定値に対応する尤度を使用すると、検定は古典的な尤度比検定になります。尤度比検定とは異なり、このベイズモデル比較は、各モデルのすべてのパラメータ（それぞれの事前確率に関して）を積分するため、単一のパラメータセットに依存しません。ベイズ係数を使用する利点は、モデル構造を過度に含めた場合のペナルティが自動的に、そして非常に自然に含まれることです。^{[10]したがって、}過剰適合を防ぎます。尤度の明示的なバージョンが利用できない、または数値的に評価するにはコストがかかりすぎるモデルの場合、ベイズフレームワークでのモデル選択に近似ベイズ計算を使用できます。^[11]ただし、ベイズ係数の近似ベイズ推定値はしばしば偏りがあるという注意点があります。^[12] $\Pr(M_{1})=\Pr(M_{2})$

その他のアプローチは次のとおりです

モデル比較を意思決定問題として扱い、各モデル選択の期待値またはコストを計算する。
最小メッセージ長（MML）を使用する。
最小記述長（MDL）を使用する。

解釈

K > 1の値は、 M _1がM ₂よりも検討中のデータによって強く支持されていることを意味します。古典的な仮説検定では、1つの仮説（またはモデル）に優先的な状態（「帰無仮説」）を与え、それに反する証拠のみを考慮することに注意してください。ベイズ係数が帰無仮説に反するだけでなく、それを支持する証拠も生成できるという事実は、この分析方法の主な利点の1つです。^[13]

ハロルド・ジェフリーズは、以下の解釈のための尺度（ジェフリーズの尺度）を示しました。^[14] $K$

K	dHart	ビット	証拠の強さ
< 10 ⁰	< 0	< 0	否定的（M ₂を支持）
10 ⁰～10 ^1/2	0～5	0～1.6	ほとんど言及する価値がない
10 ^1/2～10 ¹	5～10	1.6～3.3	かなり
10 ¹～10 ^3/2	10～15	3.3～5.0	強い
10 ^3/2～10 ²	15～20	5.0～6.6	非常に強い
> 10 ²	> 20	> 6.6	決定的

2列目は、対応する証拠の重みをデシハートリー（デシバンとも呼ばれる）で示しています。3列目には、わかりやすくするためにビットが追加されています。表は反対方向に続き、例えば、は決定的な証拠となります。 $K\leq 10^{-2}$ $M_{2}$

広く引用されている別の表は、KassとRaftery（1995）によって提供されています。^[10]

log ₁₀ K	K	証拠の強さ
0～1/2	1～3.2	言及する以上の価値はない
1/2～1	3.2～10	かなり
1～2	10～100	強い
> 2	> 100	決定的

IJグッドによると、仮説への信念度の変化に関して、日常生活における人間の知覚可能な差異は約1.3倍、1デシバン、1/3ビット、またはオッズ比で1:1から5:4です。 ^[15]

例

成功または失敗を生成する確率変数があるとします。成功確率がq = 1 ⁄ 2であるモデルと、qが未知でqの事前分布が[0,1]に一様であるモデルを比較します。200のサンプルを取り、115の成功と85の失敗が見つかりました。尤度は二項分布に従って計算できます。 $M_{1}$ $M_{2}$

{{200 \choose 115}q^{115}(1-q)^{85}}.

したがって、 $M_{1}$

P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0.006

一方、 $M_{2}$

P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}\approx 0.005

比率は1.2となり、わずかながらにを示唆しているとしても、「ほとんど言及する価値がない」と言えます $M_{1}$

の頻度主義仮説検定(ここでは帰無仮説とみなされる) では、まったく異なる結果が生成されるでしょう。このような検定では、は 5% の有意水準で棄却されるべきであるとされています。なぜなら、 q = 1 ⁄ 2の場合に 200 のサンプルから 115 以上の成功を得る確率は0.02 であり、両側検定では 115 と同程度かそれ以上に極端な数値を得る確率は 0.04 だからです。115 は 100 から 2 標準偏差以上離れていることに注意してください。したがって、頻度主義仮説検定では 5% の有意水準で有意な結果が得られますが、ベイズ係数ではこれを極端な結果とはほとんど見なされません。ただし、非一様事前分布 (たとえば、成功数と失敗数が同じ桁になると予想することを反映する事前分布) では、ベイズ係数が頻度主義仮説検定とより一致する可能性があることに注意してください。 $M_{1}$ $M_{1}$

古典的な尤度比検定では、 qの最大尤度推定値、すなわち、 ${\hat {q}}={\frac {115}{200}}=0.575$

\textstyle P(X=115\mid M_{2})={{200 \choose 115}{\hat {q}}^{115}(1-{\hat {q}})^{85}}\approx 0.06

（すべての可能なqを平均するのではなく）が求められます。これにより尤度比は0.1となり、M2_が示唆されます。

$M_{2}$ は、データをより厳密にモデル化できる自由パラメータを持つため、より複雑なモデルです。ベイズ係数がこれを考慮に入れることができるため、ベイズ推論はオッカムの剃刀の理論的根拠と一般化として提唱され、第1種の誤りを削減してきました。^[16] $M_{1}$

一方、現代の相対尤度法は、古典的な尤度比とは異なり、モデル内の自由パラメータの数を考慮に入れます。相対尤度法は次のように適用できます。モデルM ₁はパラメータが0個なので、赤池情報量基準（AIC）値はです。モデルM ₂はパラメータが1個なので、AIC値はです。したがって、情報損失を最小化するために、M _1はM ₂の約倍の確率になります。したがって、 M ₂がわずかに好ましいですが、M ₁を除外することはできません。 $2\cdot 0-2\cdot \ln(0.005956)\approx 10.2467$ $2\cdot 1-2\cdot \ln(0.056991)\approx 7.7297$ $\exp \left({\frac {7.7297-10.2467}{2}}\right)\approx 0.284$

参照

統計的比率

参考文献

^ Morey, Richard D.; Romeijn, Jan-Willem; Rouder, Jeffrey N. (2016). 「ベイズ因子の哲学と統計的証拠の定量化」. Journal of Mathematical Psychology . 72 : 6–18 . doi : 10.1016/j.jmp.2015.11.001 .
^ Lesaffre, Emmanuel; Lawson, Andrew B. (2012). 「ベイズ仮説検定」. Bayesian Biostatistics . Somerset: John Wiley & Sons. pp. 72– 78. doi : 10.1002/9781119942412.ch3. ISBN 978-0-470-01823-1.
^ Ly, Alexander; et al. (2020). 「P値仮説検定の実際的な代替手段としてのサー・ハロルド・ジェフリーズのベイズ的方法論」. Computational Brain & Behavior . 3 (2): 153– 161. doi : 10.1007/s42113-019-00070-x . hdl : 2066/226717 .
^ Llorente, Fernando; et al. (2023). 「モデル選択と仮説検定のための周辺尤度計算：広範なレビュー」SIAM Review . 掲載予定: 3– 58. arXiv : 2005.08334 . doi :10.1137/20M1310849. S2CID 210156537.
^ コングドン、ピーター (2014). 「モデル確率または周辺尤度の推定の実践」.応用ベイズモデリング（第2版）. Wiley. pp. 38– 40. ISBN 978-1-119-95151-3.広く用いられているアプローチは、 Chib, Siddhartha (1995)が提案した方法です。「ギブス出力からの周辺尤度」。アメリカ統計学会誌。90 (432): 1313– 1321. doi :10.2307/2291521。この方法は後に、メトロポリス・ヘイスティングス・サンプラーが使用されるケースにも対応できるように拡張されました。Chib , Siddhartha; Jeliazkov, Ivan (2001). 「メトロポリス・ヘイスティングス出力からの周辺尤度」。アメリカ統計学会誌。96 ( 453 ): 270– 281. doi :10.1198/016214501750332848
^ クープ、ゲイリー (2003). 「モデル比較：サベージ・ディッキー密度比」ベイズ計量経済学. サマセット: ジョン・ワイリー・アンド・サンズ. pp. 69– 71. ISBN 0-470-84567-8.
^ Wagenmakers, Eric-Jan; Lodewyckx, Tom; Kuriyal, Himanshu; Grasman, Raoul (2010). 「心理学者のためのベイズ仮説検定：サベージ・ディッキー法のチュートリアル」（PDF） .認知心理学. 60 (3): 158– 189. doi :10.1016/j.cogpsych.2009.12.001. PMID 20064637. S2CID 206867662
^ Ibrahim, Joseph G.; Chen, Ming-Hui; Sinha, Debajyoti (2001). 「モデル比較」.ベイズ生存分析. Springer Series in Statistics. ニューヨーク: Springer. pp. 246– 254. doi :10.1007/978-1-4757-3447-8_6. ISBN 0-387-95277-2.
^ Gill, Jeff (2002). 「ベイズ仮説検定とベイズ係数」.ベイズ法：社会科学と行動科学へのアプローチ. Chapman & Hall. pp. 199– 237. ISBN 1-58488-288-3.
^ ab Robert E. Kass & Adrian E. Raftery (1995). 「ベイズ係数」(PDF) . Journal of the American Statistical Association . 90 (430): 791. doi :10.2307/2291091. JSTOR 2291091.
^ Toni, T.; Stumpf, MPH (2009). 「システム生物学および集団生物学における動的システムのためのシミュレーションに基づくモデル選択」. Bioinformatics . 26 (1): 104–10 . arXiv : 0911.1705 . doi :10.1093/bioinformatics/btp619 . PMC 2796821. PMID 19880371
^ Robert, CP; J. Cornuet; J. Marin & NS Pillai (2011). 「近似ベイズ計算モデルの選択における信頼性の欠如」. Proceedings of the National Academy of Sciences . 108 (37): 15112– 15117. Bibcode : 2011PNAS..10815112R. doi : 10.1073 /pnas.1102900108 . PMC 3174657. PMID 21876135
^ ウィリアムズ、マット、バース、マイケル (2017). 「発達研究における仮説検定へのベイズ係数の利用」.人間発達研究. 14 (4): 321–337 . doi :10.1080/15427609.2017.1370964.
^ ジェフリーズ、ハロルド (1998) [1961]. 『確率論』（第3版）. オックスフォード、イギリス. 432ページ. ISBN 9780191589676.{{cite book}}: CS1 maint: location missing publisher (link)
^ Good, IJ (1979). 「確率と統計の歴史研究. XXXVII AM 第二次世界大戦におけるチューリングの統計的研究」. Biometrika . 66 (2): 393–396 . doi :10.1093/biomet/66.2.393. MR 0548210.
^ ベイジアン砥石でオッカムの剃刀を研ぐ

参考文献

Bernardo, J.; Smith, AFM (1994).ベイジアン理論. John Wiley. ISBN 0-471-92416-4.
Denison, DGT; Holmes, CC; Mallick, BK; Smith, AFM (2002).非線形分類と回帰のためのベイジアン手法. John Wiley. ISBN 0-471-49036-9.
Dienes, Z. (2019). 理論が何を予測しているかをどうやって知るのか？心理科学における方法と実践の進歩 doi :10.1177/2515245919876960
Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). 「セクション9.6.5.パターン分類（第2版）」Wiley. pp. 487– 489. ISBN 0-471-05669-3.
Gelman, A.; Carlin, J.; Stern, H.; Rubin, D. (1995).ベイズデータ分析. ロンドン：Chapman & Hall . ISBN 0-412-03991-5.
Jaynes, ET (1994).確率論：科学の論理. 2018年10月24日アーカイブ. Wayback Machine . 第24章.
Kadane, Joseph B.; Dickey, James M. (1980). 「ベイズ決定理論とモデルの単純化」、Kmenta, Jan; Ramsey, James B. (編). 『計量経済モデルの評価』、ニューヨーク：アカデミック・プレス、pp. 245– 268. ISBN 0-12-416550-8.
Lee, PM (2012).ベイズ統計学入門. Wiley. ISBN 9781118332573.
リチャード、マーク；ヴェサー、ヤン（2021）「予測市場の効率性検定：マルチンゲール法、尤度比、ベイズ因子分析」Risks . 9 (2): 31. doi : 10.3390/risks9020031 . hdl : 10419/258120 .
ウィンクラー、ロバート（2003）「ベイズ推論と意思決定入門（第2版）」確率論. ISBN 0-9647938-4-9.

外部リンク

BayesFactor — 一般的な研究デザインにおけるベイズ因子を計算するためのRパッケージ
ベイズ因子計算機 — 情報に基づいたベイズ因子を計算するオンライン計算機
ベイズ因子計算機（ Wayback Machineに2015年5月7日にアーカイブ）— BayesFactorパッケージの大部分のウェブベース版

[1] Morey, Richard D.; Romeijn, Jan-Willem; Rouder, Jeffrey N. (2016). 「ベイズ因子の哲学と統計的証拠の定量化」. Journal of Mathematical Psychology . 72 : 6–18 . doi : 10.1016/j.jmp.2015.11.001 .

[2] Lesaffre, Emmanuel; Lawson, Andrew B. (2012). 「ベイズ仮説検定」. Bayesian Biostatistics . Somerset: John Wiley & Sons. pp. 72– 78. doi : 10.1002/9781119942412.ch3. ISBN 978-0-470-01823-1.

[3] Ly, Alexander; et al. (2020). 「P値仮説検定の実際的な代替手段としてのサー・ハロルド・ジェフリーズのベイズ的方法論」. Computational Brain & Behavior . 3 (2): 153– 161. doi : 10.1007/s42113-019-00070-x . hdl : 2066/226717 .

[4] Llorente, Fernando; et al. (2023). 「モデル選択と仮説検定のための周辺尤度計算：広範なレビュー」SIAM Review . 掲載予定: 3– 58. arXiv : 2005.08334 . doi :10.1137/20M1310849. S2CID 210156537.

[5] コングドン、ピーター (2014). 「モデル確率または周辺尤度の推定の実践」.応用ベイズモデリング（第2版）. Wiley. pp. 38– 40. ISBN 978-1-119-95151-3.広く用いられているアプローチは、 Chib, Siddhartha (1995)が提案した方法です。「ギブス出力からの周辺尤度」。アメリカ統計学会誌。90 (432): 1313– 1321. doi :10.2307/2291521。この方法は後に、メトロポリス・ヘイスティングス・サンプラーが使用されるケースにも対応できるように拡張されました。Chib , Siddhartha; Jeliazkov, Ivan (2001). 「メトロポリス・ヘイスティングス出力からの周辺尤度」。アメリカ統計学会誌。96 ( 453 ): 270– 281. doi :10.1198/016214501750332848

[6] クープ、ゲイリー (2003). 「モデル比較：サベージ・ディッキー密度比」ベイズ計量経済学. サマセット: ジョン・ワイリー・アンド・サンズ. pp. 69– 71. ISBN 0-470-84567-8.

[7] Wagenmakers, Eric-Jan; Lodewyckx, Tom; Kuriyal, Himanshu; Grasman, Raoul (2010). 「心理学者のためのベイズ仮説検定：サベージ・ディッキー法のチュートリアル」（PDF） .認知心理学. 60 (3): 158– 189. doi :10.1016/j.cogpsych.2009.12.001. PMID 20064637. S2CID 206867662

[8] Ibrahim, Joseph G.; Chen, Ming-Hui; Sinha, Debajyoti (2001). 「モデル比較」.ベイズ生存分析. Springer Series in Statistics. ニューヨーク: Springer. pp. 246– 254. doi :10.1007/978-1-4757-3447-8_6. ISBN 0-387-95277-2.

[9] Gill, Jeff (2002). 「ベイズ仮説検定とベイズ係数」.ベイズ法：社会科学と行動科学へのアプローチ. Chapman & Hall. pp. 199– 237. ISBN 1-58488-288-3.

[kassraftery1995-10] Robert E. Kass & Adrian E. Raftery (1995). 「ベイズ係数」(PDF) . Journal of the American Statistical Association . 90 (430): 791. doi :10.2307/2291091. JSTOR 2291091.

[Toni2009b-11] Toni, T.; Stumpf, MPH (2009). 「システム生物学および集団生物学における動的システムのためのシミュレーションに基づくモデル選択」. Bioinformatics . 26 (1): 104–10 . arXiv : 0911.1705 . doi :10.1093/bioinformatics/btp619 . PMC 2796821. PMID 19880371

[Robert2011-12] Robert, CP; J. Cornuet; J. Marin & NS Pillai (2011). 「近似ベイズ計算モデルの選択における信頼性の欠如」. Proceedings of the National Academy of Sciences . 108 (37): 15112– 15117. Bibcode : 2011PNAS..10815112R. doi : 10.1073 /pnas.1102900108 . PMC 3174657. PMID 21876135

[13] ウィリアムズ、マット、バース、マイケル (2017). 「発達研究における仮説検定へのベイズ係数の利用」.人間発達研究. 14 (4): 321–337 . doi :10.1080/15427609.2017.1370964.

[14] ジェフリーズ、ハロルド (1998) [1961]. 『確率論』（第3版）. オックスフォード、イギリス. 432ページ. ISBN 9780191589676.{{cite book}}: CS1 maint: location missing publisher (link)

[15] Good, IJ (1979). 「確率と統計の歴史研究. XXXVII AM 第二次世界大戦におけるチューリングの統計的研究」. Biometrika . 66 (2): 393–396 . doi :10.1093/biomet/66.2.393. MR 0548210.

[16] ベイジアン砥石でオッカムの剃刀を研ぐ