共役事前分布

Concept in probability theory

ベイズ確率論では、尤度関数 が与えられた場合、事後分布が事前確率分布と同じ確率分布族に属する場合、事前分布と事後分布はその尤度関数に関する共役分布と呼ばれ、事前分布は尤度関数の共役事前分布と呼ばれます。 ${\displaystyle p(x\mid \theta )}$ ${\displaystyle p(\theta \mid x)}$ ${\displaystyle p(\theta )}$ ${\displaystyle p(x\mid \theta )}$

共役事前分布は代数的な便宜であり、事後分布の閉形式の表現を与えます。そうでない場合は、数値積分が必要になる場合があります。さらに、共役事前分布は、尤度関数が事前分布をどのように更新するかを明確にする可能性があります。

この概念と「共役事前分布」という用語は、ハワード・ライファとロバート・シュライファーによってベイズ決定理論の研究の中で導入された。^{[1]同様の概念は}、ジョージ・アルフレッド・バーナードによって独立に発見されていた。^[2]

例

共役事前分布の形は、一般に、分布の確率密度関数または確率質量関数を調べることで決定できます。例えば、[0,1]における成功確率が不明なベルヌーイ試行の成功回数からなる確率変数を考えてみましょう。この確率変数は二項分布に従い、確率質量関数は 次のようになります。 ${\displaystyle s}$ ${\displaystyle n}$ ${\displaystyle q}$

${\displaystyle p(s)={n \choose s}q^{s}(1-q)^{n-s}}$

通常の共役事前分布は、パラメータ( , ) を持つベータ分布です。 ${\displaystyle \alpha }$ ${\displaystyle \beta }$

${\displaystyle p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}$

ここで、およびは、既存の信念または情報を反映するように選択され（均一分布を与えます）、正規化定数として機能するベータ関数です。 ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle \alpha =1}$ ${\displaystyle \beta =1}$ ${\displaystyle \mathrm {B} (\alpha ,\beta )}$

この文脈では、およびは、基礎モデルのパラメータ（ここでは ）と区別するために、ハイパーパラメータ（事前分布のパラメータ）と呼ばれます。共役事前分布の典型的な特徴は、ハイパーパラメータの次元が元の分布のパラメータの次元よりも1つ大きいことです。すべてのパラメータがスカラー値の場合、パラメータよりもハイパーパラメータが1つ多くなりますが、これはベクトル値パラメータと行列値パラメータにも当てはまります。（指数族に関する一般的な記事 を参照してください。また、大きな次元が関係する例として、多変量正規分布の共分散行列の共役事前分布であるウィシャート分布も検討してください。） ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle q}$

このランダム変数をサンプリングして成功と失敗を得ると、 ${\displaystyle s}$ ${\displaystyle f=n-s}$

${\displaystyle {\begin{aligned}P(s,f\mid q=x)&={s+f \choose s}x^{s}(1-x)^{f},\\P(q=x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid y)P(y)dy}}\\&={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},\end{aligned}}}$

これはパラメータ を持つ別のベータ分布です。この事後分布は、より多くのサンプルの事前分布として使用できます。ハイパーパラメータは、追加情報が追加されるたびに単純に追加されます。 ${\displaystyle (\alpha +s,\beta +f)}$

解釈

疑似観察

共役事前分布のハイパーパラメータは、パラメータによって指定された特性を持つ疑似観測値を一定数観測したことに対応すると考えると、多くの場合有用です。例えば、ベータ分布のと の値は、事後モードを用いて最適なパラメータ設定を選択した場合の成功と失敗、または事後平均を用いて最適なパラメータ設定を選択した場合の成功と失敗に対応すると考えることができます。一般に、ほぼすべての共役事前分布において、ハイパーパラメータは疑似観測値の観点から解釈できます。これは、しばしば複雑になりがちな更新方程式の背後にある直感的な理解を深め、事前分布に適したハイパーパラメータを選択するのに役立ちます。 ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle \alpha -1}$ ${\displaystyle \beta -1}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$

動的システム

共役事前分布の条件付けは、ある種の（離散時間）動的システムを定義するものと考えることができます。与えられたハイパーパラメータセットから、入力データによってこれらのハイパーパラメータが更新されるため、ハイパーパラメータの変化はシステムの一種の「時間発展」、つまり「学習」と見なすことができます。異なる点から開始すると、時間の経過とともに異なるフローが生成されます。これもまた、線形演算子によって定義される動的システムと類似していますが、異なるサンプルが異なる推論につながるため、これは単純に時間に依存するのではなく、むしろ時間経過に伴うデータに依存することに注意してください。関連するアプローチについては、再帰ベイズ推定とデータ同化を参照してください。

実例

あなたの街でレンタカーサービスが運営されているとしましょう。ドライバーは市内であればどこでも車を返却・回収できます。アプリを使って車を探してレンタルできます。

一日のどの時間帯でも、自宅の住所から近い距離でレンタカーが見つかる確率を知りたいとします。

3 日間にわたってアプリを確認すると、自宅住所から近い距離に次の数の車があることがわかります。 ${\displaystyle \mathbf {x} =[3,4,1]}$

データがポアソン分布に従うと仮定します。その場合、モデルのパラメータの最大尤度推定値を計算すると、次のようになります。この最大尤度推定値を用いて、特定の日に少なくとも1台の車が利用可能である確率を計算できます。 ${\textstyle \lambda ={\frac {3+4+1}{3}}\approx 2.67.}$ ${\textstyle p(x>0|\lambda \approx 2.67)=1-p(x=0|\lambda \approx 2.67)=1-{\frac {2.67^{0}e^{-2.67}}{0!}}\approx 0.93}$

これは、観測データ を生成した可能性が最も高いポアソン分布です。しかし、データは、、 、などを持つ別のポアソン分布から来ている可能性もあります。実際、観測データを生成する可能性のあるポアソン分布は無数に存在します。データ点が比較的少ないため、どのポアソン分布がこのデータを生成したのかは、正確には分かりません。直感的には、代わりに、観測したデータ を前提として、各ポアソン分布の確率を、それぞれの確率で重み付けした加重平均をとるべきです。 ${\displaystyle \mathbf {x} }$ ${\displaystyle \lambda =3}$ ${\displaystyle \lambda =2}$ ${\displaystyle p(x>0|\lambda )}$ ${\displaystyle \mathbf {x} }$

一般的に、この量は事後予測分布 と呼ばれます。ここで、 は新しいデータ点、は観測データ、はモデルのパラメータです。ベイズの定理を用いると、 を展開することができます。したがって、この積分は一般に計算が困難です。しかし、共役事前分布 を選択した場合、閉じた形式の式を導くことができます。これは、以下の表の事後予測列に相当します。 ${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta )p(\theta |\mathbf {x} )d\theta \,,}$ ${\displaystyle x}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \theta }$ ${\displaystyle p(\theta |\mathbf {x} )={\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}\,,}$ ${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta ){\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}d\theta \,.}$ ${\displaystyle p(\theta )}$

例に戻ると、ポアソン分布の割合に対する事前分布としてガンマ分布を選択した場合、事後予測は負の二項分布となり、これは下の表から分かります。ガンマ分布は2つのハイパーパラメータ によってパラメータ化されており、これらを選択する必要があります。ガンマ分布のプロットを見ると、平均的な自動車台数に対する妥当な事前分布であると思われる が選択されます。事前ハイパーパラメータの選択は本質的に主観的であり、事前の知識に基づいています。 ${\displaystyle \alpha ,\beta }$ ${\displaystyle \alpha =\beta =2}$

事前ハイパーパラメータと事後ハイパーパラメータを計算できる。 ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\textstyle \alpha '=\alpha +\sum _{i}x_{i}=2+3+4+1=10}$ ${\textstyle \beta '=\beta +n=2+3=5}$

事後ハイパーパラメータが与えられれば、最終的に事後予測値を計算する。 ${\textstyle p(x>0|\mathbf {x} )=1-p(x=0|\mathbf {x} )=1-NB\left(0\,|\,10,{\frac {5}{1+5}}\right)\approx 0.84}$

このはるかに保守的な推定値は、事後予測で考慮されるモデル パラメータの不確実性を反映しています。

共役分布表

nを観測数とします。以下のすべてのケースにおいて、データは n 個の点（多変量の場合はランダムベクトル）から構成されていると仮定します。 ${\displaystyle x_{1},\ldots ,x_{n}}$

尤度関数が指数族に属する場合、共役事前分布が存在し、これもまた指数族に属することが多いです。「指数族: 共役分布」を参照してください。

尤度関数が離散分布である場合

可能性 ${\displaystyle p(x_{i}|\theta )}$	モデルパラメータ ${\displaystyle \theta }$	共役事前分布（および事後分布） ${\displaystyle p(\theta |\Theta ),p(\theta |\mathbf {x} ,\Theta )=p(\theta |\Theta ')}$	事前ハイパーパラメータ ${\displaystyle \Theta }$	事後ハイパーパラメータ[注1] ${\displaystyle \Theta '}$	ハイパーパラメータの解釈	事後予測[注2] ${\displaystyle p({\tilde {x}}|\mathbf {x} ,\Theta )=p({\tilde {x}}|\Theta ')}$
ベルヌーイ	p（確率）	ベータ	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$成功、失敗[注3] ${\displaystyle \beta }$	${\displaystyle p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}}$ （ベルヌーイ）
試行回数が既知の二項分布、 m	p（確率）	ベータ	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$成功、失敗[注3] ${\displaystyle \beta }$	${\displaystyle \operatorname {BetaBin} ({\tilde {x}}|\alpha ',\beta ')}$ （ベータ二項分布）
既知の故障数rを持つ負の二項分布	p（確率）	ベータ	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$成功、失敗の総数[注3]（つまり、実験、固定されていると仮定） ${\displaystyle \beta }$ ${\displaystyle {\frac {\beta }{r}}}$ ${\displaystyle r}$	${\displaystyle \operatorname {BetaNegBin} ({\tilde {x}}|\alpha ',\beta ')}$ （ベータ負二項分布）
ポアソン	λ（レート）	ガンマ	${\displaystyle k,\,\theta \in \mathbb {R} \!}$	${\displaystyle k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!}$	${\displaystyle k}$間隔内の合計発生回数 ${\displaystyle {\frac {1}{\theta }}}$	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid k',{\frac {1}{\theta '+1}}\right)}$ （負の二項分布）
			${\displaystyle \alpha ,\,\beta \!}$ [注4]	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!}$	${\displaystyle \alpha }$間隔内の合計発生回数 ${\displaystyle \beta }$	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid \alpha ',{\frac {\beta '}{1+\beta '}}\right)}$ （負の二項分布）
カテゴリカル	p（確率ベクトル）、 k（カテゴリの数、つまりpの大きさ）	ディリクレ	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),}$カテゴリーIの観測数はどこですか？ ${\displaystyle c_{i}}$	${\displaystyle \alpha _{i}}$カテゴリーの出現[注3] ${\displaystyle i}$	${\displaystyle {\begin{aligned}p({\tilde {x}}=i)&={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}}$ （カテゴリカル）
多項式	p（確率ベクトル）、 k（カテゴリの数、つまりpの大きさ）	ディリクレ	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!}$	${\displaystyle \alpha _{i}}$カテゴリーの出現[注3] ${\displaystyle i}$	${\displaystyle \operatorname {DirMult} ({\tilde {\mathbf {x} }}\mid {\boldsymbol {\alpha }}')}$ （ディリクレ多項式）
総人口規模Nが既知の超幾何モデル	M（対象会員数）	ベータ二項分布[3]	${\displaystyle n=N,\alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$成功、失敗[注3] ${\displaystyle \beta }$
幾何学的	p 0（確率）	ベータ	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$実験、完全な失敗[注3] ${\displaystyle \beta }$

尤度関数が連続分布の場合

可能性 ${\displaystyle p(x_{i}|\theta )}$	モデルパラメータ ${\displaystyle \theta }$	共役事前分布（および事後分布） ${\displaystyle p(\theta |\Theta ),p(\theta |\mathbf {x} ,\Theta )=p(\theta |\Theta ')}$	事前ハイパーパラメータ ${\displaystyle \Theta }$	事後ハイパーパラメータ[注1] ${\displaystyle \Theta '}$	ハイパーパラメータの解釈	事後予測[注5] ${\displaystyle p({\tilde {x}}|\mathbf {x} ,\Theta )=p({\tilde {x}}|\Theta ')}$
既知の分散σ 2を持つ正規分布	μ（平均）	普通	${\displaystyle \mu _{0},\,\sigma _{0}^{2}\!}$	${\displaystyle {\frac {1}{{\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}}}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}}$	平均は、全体の精度（すべての個々の精度の合計）と標本平均を使用して観測から推定された。 ${\displaystyle 1/\sigma _{0}^{2}}$ ${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}({\tilde {x}}|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})}$[4]
既知の精度τを持つ正規分布	μ（平均）	普通	${\displaystyle \mu _{0},\,\tau _{0}^{-1}\!}$	${\displaystyle {\frac {\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}}{\tau _{0}+n\tau }},\,\left(\tau _{0}+n\tau \right)^{-1}}$	平均は、全体の精度（すべての個々の精度の合計）と標本平均を使用して観測から推定された。 ${\displaystyle \tau _{0}}$ ${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {x}}\mid \mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)}$[4]
平均μ が既知の正規分布	σ 2（分散）	逆ガンマ	${\displaystyle \mathbf {\alpha ,\,\beta } }$ [注 6]	${\displaystyle \mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}}$	分散は、標本分散（すなわち、既知の平均からの偏差の二乗和） を持つ観測値から推定された。 ${\displaystyle 2\alpha }$ ${\displaystyle \beta /\alpha }$ ${\displaystyle 2\beta }$ ${\displaystyle \mu }$	${\displaystyle t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')}$[4]
平均μ が既知の正規分布	σ 2（分散）	スケール逆カイ二乗	${\displaystyle \nu ,\,\sigma _{0}^{2}\!}$	${\displaystyle \nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!}$	分散は標本分散を含む観測値から推定された ${\displaystyle \nu }$ ${\displaystyle \sigma _{0}^{2}}$	${\displaystyle t_{\nu '}({\tilde {x}}|\mu ,{\sigma _{0}^{2}}')}$[4]
平均μ が既知の正規分布	τ（精度）	ガンマ	${\displaystyle \alpha ,\,\beta \!}$ [注4]	${\displaystyle \alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!}$	精度は、サンプル分散（すなわち、既知の平均からの偏差の二乗和） を含む観測値から推定された。 ${\displaystyle 2\alpha }$ ${\displaystyle \beta /\alpha }$ ${\displaystyle 2\beta }$ ${\displaystyle \mu }$	${\displaystyle t_{2\alpha '}({\tilde {x}}\mid \mu ,\sigma ^{2}=\beta '/\alpha ')}$[4]
正常[注7]	μとσ 2交換可能性 を仮定	正規逆ガンマ	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$標本平均は	平均は標本平均を用いた観測値から推定され、分散は標本平均と偏差の二乗和を用いた観測値から推定された。 ${\displaystyle \nu }$ ${\displaystyle \mu _{0}}$ ${\displaystyle 2\alpha }$ ${\displaystyle \mu _{0}}$ ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\nu '\alpha '}}\right)}$[4]
普通	μとτ交換可能性 を仮定	正規ガンマ	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$標本平均は	平均は標本平均を用いた観測値から推定され、精度は標本平均と偏差の二乗和を用いた観測値から推定された。 ${\displaystyle \nu }$ ${\displaystyle \mu _{0}}$ ${\displaystyle 2\alpha }$ ${\displaystyle \mu _{0}}$ ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)}$[4]
共分散行列Σが既知の多変量正規分布	μ（平均ベクトル）	多変量正規分布	${\displaystyle {\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),}$ ${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$標本平均は	平均は、全体の精度（すべての個々の精度の合計）と標本平均を使用して観測から推定された。 ${\displaystyle {\boldsymbol {\Sigma }}_{0}^{-1}}$ ${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})}$[4]
精度が既知の多変量正規分布Λ	μ（平均ベクトル）	多変量正規分布	${\displaystyle \mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}}$	${\displaystyle \left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)}$ ${\displaystyle \mathbf {\bar {x}} }$標本平均は	平均は、全体の精度（すべての個々の精度の合計）と標本平均を使用して観測から推定された。 ${\displaystyle {\boldsymbol {\Lambda }}_{0}}$ ${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1}\right)}$[4]
平均μが既知の多変量正規分布	Σ（共分散行列）	逆ウィシャート	${\displaystyle \nu ,\,{\boldsymbol {\Psi }}}$	${\displaystyle n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}}$	共分散行列は、観測値と対偏差積の合計から推定された。 ${\displaystyle \nu }$ ${\displaystyle {\boldsymbol {\Psi }}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)}$[4]
平均μが既知の多変量正規分布	Λ（精度行列）	ウィシャート	${\displaystyle \nu ,\,\mathbf {V} }$	${\displaystyle n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}}$	共分散行列は、観測値と対偏差積の合計から推定された。 ${\displaystyle \nu }$ ${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}\mid {\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)}$[4]
多変量正規分布	μ（平均ベクトル）とΣ（共分散行列）	正規逆ウィシャート	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}}$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle {\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}}$ ${\displaystyle \mathbf {\bar {x}} }$標本平均は ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	平均は標本平均を用いた観測値から推定され、共分散行列は標本平均と対偏差積の合計を用いた観測値から推定された。 ${\displaystyle \kappa _{0}}$ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ ${\displaystyle \nu _{0}}$ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ ${\displaystyle {\boldsymbol {\Psi }}=\nu _{0}{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)}$[4]
多変量正規分布	μ（平均ベクトル）とΛ（精度行列）	通常のウィシャート	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V} }$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle \left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$標本平均は ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	平均は標本平均を用いた観測値から推定され、共分散行列は標本平均と対偏差積の合計を用いた観測値から推定された。 ${\displaystyle \kappa _{0}}$ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ ${\displaystyle \nu _{0}}$ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ ${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)}$[4]
制服	${\displaystyle U(0,\theta )\!}$	パレート	${\displaystyle x_{m},\,k\!}$	${\displaystyle \max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!}$	${\displaystyle k}$最大値を持つ観測値 ${\displaystyle x_{m}}$
最小値がわかっているパレート図x m	k（形状）	ガンマ	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!}$	${\displaystyle \alpha }$各観測値の大きさの合計（つまり、各観測値と最小値の比の対数）を持つ観測値 ${\displaystyle \beta }$ ${\displaystyle x_{m}}$
形状βが既知のワイブル	θ（スケール）	逆ガンマ[3]	${\displaystyle a,b\!}$	${\displaystyle a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!}$	${\displaystyle a}$各観測値のβ乗の合計を持つ観測値 ${\displaystyle b}$
対数正規分布	事後ハイパーパラメータのデータに自然対数を適用した後の正規分布の場合と同じです。詳細については、Fink (1997, pp. 21–22) を参照してください。
指数関数	λ（レート）	ガンマ	${\displaystyle \alpha ,\,\beta \!}$ [注4]	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$観察結果は[5] ${\displaystyle \beta }$	${\displaystyle \operatorname {Lomax} ({\tilde {x}}\mid \beta ',\alpha ')}$ （ロマックス分布）
形状αが既知のガンマ	β（レート）	ガンマ	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha _{0}/\alpha }$合計を伴う観測 ${\displaystyle \beta _{0}}$	${\displaystyle \operatorname {CG} ({\tilde {\mathbf {x} }}\mid \alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')}$ [注 8]
既知の形状αを持つ逆ガンマ	β（逆スケール）	ガンマ	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!}$	${\displaystyle \alpha _{0}/\alpha }$合計を伴う観測 ${\displaystyle \beta _{0}}$
既知のレートβを持つガンマ	α（形状）	${\displaystyle \propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}}$	${\displaystyle a,\,b,\,c\!}$	${\displaystyle a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!}$	${\displaystyle b}$または観測値（推定用、推定用）と積 ${\displaystyle c}$ ${\displaystyle b}$ ${\displaystyle \alpha }$ ${\displaystyle c}$ ${\displaystyle \beta }$ ${\displaystyle a}$
ガンマ[3]	α（形状）、β（逆スケール）	${\displaystyle \propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}}$	${\displaystyle p,\,q,\,r,\,s\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!}$	${\displaystyle \alpha }$積の観測値から推定された；和の観測値から推定された ${\displaystyle r}$ ${\displaystyle p}$ ${\displaystyle \beta }$ ${\displaystyle s}$ ${\displaystyle q}$
ベータ	α、β	${\displaystyle \propto {\frac {\Gamma (\alpha +\beta )^{k}\,p^{\alpha }\,q^{\beta }}{\Gamma (\alpha )^{k}\,\Gamma (\beta )^{k}}}}$	${\displaystyle p,\,q,\,k\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q\prod _{i=1}^{n}(1-x_{i}),\,k+n\!}$	${\displaystyle \alpha }$観測から推定された補集合の積と積 ${\displaystyle \beta }$ ${\displaystyle k}$ ${\displaystyle p}$ ${\displaystyle q}$

参照

• ベータ二項分布

注記

1. する。例えば、 ${\displaystyle \alpha }$ ${\displaystyle \alpha '}$
2. これは、観測データ点を与えられた場合の、パラメータを周辺化して表した新しいデータ点の事後予測分布です。プライム記号（''）が付いた変数は、パラメータの事後値を示します。 ${\displaystyle {\tilde {x}}}$
3. ベータ分布のパラメータを成功と失敗の数に関して正確に解釈するには、分布から点推定値を抽出する関数が何であるかに依存します。ベータ分布の平均は成功と失敗に対応し、最頻値は成功と失敗に対応します。ベイズ主義者は一般に、点推定値として事後最頻値よりも事後平均を用いることを好みます。これは2次損失関数によって正当化され、との使用は数学的に便利です。一方、との使用には、一様事前分布が0の成功と0の失敗に対応するという利点があります。同じ問題がディリクレ分布にも当てはまります。 ${\displaystyle {\frac {\alpha }{\alpha +\beta }},}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle {\frac {\alpha -1}{\alpha +\beta -2}},}$ ${\displaystyle \alpha -1}$ ${\displaystyle \beta -1}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle \alpha -1}$ ${\displaystyle \beta -1}$ ${\displaystyle {\rm {Beta}}(1,1)}$
4. βはレートまたは逆スケールです。ガンマ分布のパラメータ化では、θ = 1/ βおよびk = αです。
5. これは、観測データ点が与えられた場合に、パラメータを周辺化して得られる新しいデータ点の事後予測分布です。プライム記号（'）の付いた変数は、パラメータの事後値を示します。およびは、それぞれ正規分布およびスチューデントのt分布、または多変量の場合は多変量正規分布および多変量t分布を指します。 ${\displaystyle {\tilde {x}}}$ ${\displaystyle {\mathcal {N}}}$ ${\displaystyle t_{n}}$
6. 逆ガンマの観点からは、スケールパラメータは ${\displaystyle \beta }$
7. 平均と分散が不明だが、両者の間には固定された線形関係がある、異なる共役事前分布が、共役混合分布としての一般化逆ガウス分布を持つ正規分散平均混合分布に見つかります。
8. は複合ガンマ分布です。ここでは一般化されたベータプライム分布です。 ${\displaystyle \operatorname {CG} ()}$ ${\displaystyle \operatorname {\beta '} ()}$

参考文献

1. ハワード・ライファとロバート・シュライファー著『応用統計的意思決定理論』ハーバード大学経営大学院研究部、1961年。
2. Jeff Miller他著「数学用語の最も古い使用例」『共役事前分布』。電子文書、2005年11月13日改訂、2005年12月2日閲覧。
3. Fink, Daniel (1997). 「共役事前分布の概要」(PDF) . CiteSeerX  10.1.1.157.5540 . 2009年5月29日時点のオリジナル(PDF)からアーカイブ。
4. Murphy, Kevin P. (2007), ガウス分布の共役ベイズ分析(PDF)
5. Liu, Han; Wasserman, Larry (2014). 統計的機械学習(PDF) . p. 314.

Retrieved from "https://en.wikipedia.org/w/index.php?title=Conjugate_prior&oldid=1322994043"