数学的決定規則

推定理論および意思決定理論において、ベイズ推定量またはベイズ作用とは、損失関数の事後期待値（すなわち事後期待損失）を最小化する推定量または意思決定規則である。これは、効用関数の事後期待値を最大化するとも言える。ベイズ統計学において推定量を定式化する別の方法として、最大事後推定がある。

意味

[編集]

未知のパラメータが事前分布 を持つことが分かっていると仮定する。 を（何らかの測定値x に基づく）の推定値とし、 を二乗誤差などの損失関数とする。のベイズリスクは と定義され、ここで期待値は の確率分布に対して取られる。これはリスク関数を の関数として定義する。推定値は、すべての推定値の中でベイズリスクを最小化する場合にベイズ推定値と呼ばれる。同様に、各 の事後期待損失を最小化する推定値はベイズリスクも最小化することからベイズ推定値となる。^{[ 1 ]} ${\displaystyle \theta }$ ${\displaystyle \pi }$ ${\displaystyle {\widehat {\theta }}={\widehat {\theta }}(x)}$ ${\displaystyle \theta }$ ${\displaystyle L(\theta ,{\widehat {\theta }})}$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle E_{\pi }(L(\theta ,{\widehat {\theta }}))}$ ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle {\widehat {\theta }}}$ ${\displaystyle E(L(\theta ,{\widehat {\theta }})|x)}$ ${\displaystyle x}$

事前分布が不適切である場合、それぞれの ${\displaystyle x}$事後期待損失を最小化する推定量は一般化ベイズ推定量と呼ばれる。^{[ 2 ]}

例

[編集]

最小平均二乗誤差推定

[編集]

主要記事:最小平均二乗誤差

ベイズ推定に最もよく使われるリスク関数は平均二乗誤差（MSE）であり、二乗誤差リスクとも呼ばれる。MSEは次のように定義される。

${\displaystyle \mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],}$

ここで、期待値はとの結合分布から取られます。 ${\displaystyle \theta }$ ${\displaystyle x}$

事後平均

[編集]

MSEをリスクとして使用すると、未知のパラメータのベイズ推定値は事後分布の平均となる。^{[ 3 ]}

${\displaystyle {\widehat {\theta }}(x)=E[\theta |x]=\int \theta \,p(\theta |x)\,d\theta .}$

これは、最小平均二乗誤差(MMSE) 推定値として知られています。

共役事前分布のベイズ推定量

[編集]

主要記事:共役事前分布

ある事前確率分布を他の事前確率分布よりも優先する固有の理由がない場合、簡略化のために共役事前分布が選択されることがあります。共役事前分布とは、あるパラメトリック族に属する事前分布であり、その事後分布も同じ族に属すると定義されます。これは重要な特性です。ベイズ推定量とその統計特性（分散、信頼区間など）はすべて事後分布から導出できるからです。

共役事前分布は、現在の測定の事後分布を次の測定の事前分布として使用する逐次推定に特に有用です。逐次推定では、共役事前分布を使用しない限り、事後分布は測定を追加するたびに複雑になり、ベイズ推定値を計算するには数値的手法を用いる必要があります。

以下に共役事前分布のいくつかの例を示します。

• が正規分布、事前分布が正規分布、事後分布も正規分布であり、MSEに基づくベイズ推定値は次のように与えられる。 ${\displaystyle x|\theta }$ ${\displaystyle x|\theta \sim N(\theta ,\sigma ^{2})}$ ${\displaystyle \theta \sim N(\mu ,\tau ^{2})}$

${\displaystyle {\widehat {\theta }}(x)={\frac {\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}}\mu +{\frac {\tau ^{2}}{\sigma ^{2}+\tau ^{2}}}x.}$

• がiidポアソン確率変数であり、事前分布がガンマ分布である場合、事後分布もガンマ分布し、MSEに基づくベイズ推定量は次のように与えられる。 ${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle x_{i}|\theta \sim P(\theta )}$ ${\displaystyle \theta \sim G(a,b)}$

${\displaystyle {\widehat {\theta }}(X)={\frac {n{\overline {X}}+a}{n+b}}.}$

• がiid一様分布し、事前分布がパレート分布する場合、事後分布もパレート分布し、MSEに基づくベイズ推定値は次のように与えられる。 ${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle x_{i}|\theta \sim U(0,\theta )}$ ${\displaystyle \theta \sim Pa(\theta _{0},a)}$

${\displaystyle {\widehat {\theta }}(X)={\frac {(a+n)\max {(\theta _{0},x_{1},...,x_{n})}}{a+n-1}}.}$

代替リスク関数

[編集]

リスク関数は、推定値と未知のパラメータ間の距離をどのように測定するかに応じて選択されます。MSEは、主にその単純さから、最も一般的に使用されているリスク関数です。ただし、代替的なリスク関数が使用されることもあります。以下に、そのような代替例をいくつか示します。事後一般化分布関数を と表記します。 ${\displaystyle F}$

事後中央値とその他の四分位値

[編集]

主要記事:推定値のバイアス § 中央値不偏推定値

の「線形」損失関数は、ベイズ推定値として事後中央値を生成します。 ${\displaystyle a>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})=a|\theta -{\widehat {\theta }}|}$

${\displaystyle F({\widehat {\theta }}(x)|X)={\tfrac {1}{2}}.}$

もう一つの「線形」損失関数。過大評価と過小評価に異なる「重み」を割り当てます。事後分布から分位点を算出し、前述の損失関数を一般化したものです。 ${\displaystyle a,b>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})={\begin{cases}a|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}\geq 0\\b|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}<0\end{cases}}}$

${\displaystyle F({\widehat {\theta }}(x)|X)={\frac {a}{a+b}}.}$

後方モード

[編集]

次の損失関数はより複雑です。事後分布の曲率と特性に応じて、事後最頻値、またはそれに近い点のいずれかを生成します。最頻値を近似値 ( )として使用するために、パラメータ の値は小さくすることが推奨されます。 ${\displaystyle K>0}$ ${\displaystyle L>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})={\begin{cases}0,&{\mbox{for }}|\theta -{\widehat {\theta }}|<K\\L,&{\mbox{for }}|\theta -{\widehat {\theta }}|\geq K.\end{cases}}}$

Lp推定値

[編集]

損失が次のように与えられるリスクも考えられます。 ${\displaystyle L^{P}}$

${\displaystyle L(\theta ,{\hat {\theta }})=|\theta -{\hat {\theta }}|^{p},\,p>0.}$

最適推定量は閉形式で特徴付けるのが難しいが、ケーススタディの場合と多くの類似した性質を共有している。^{[ 4 ]} ${\displaystyle L^{p}}$ ${\displaystyle L^{2}}$

他にも損失関数は考えられますが、平均二乗誤差が最も広く使用され、検証されています。他の損失関数は統計学、特にロバスト統計学で使用されます。

一般化ベイズ推定量

[編集]

参照:許容決定規則 § ベイズ規則と一般化ベイズ規則

これまでのところ、事前分布は真の確率分布であると仮定されてきた。 ${\displaystyle p}$

${\displaystyle \int p(\theta )d\theta =1.}$

しかし、場合によってはこれが制約的な要件となることがあります。例えば、すべての実数の集合Rをカバーする分布において、すべての実数が等確率で出現するような分布は存在しません。しかし、ある意味では、そのような「分布」は、非情報事前分布、すなわち、未知のパラメータの特定の値に対する選好を示唆しない事前分布として自然に選択されるように思われます。関数 を定義することは可能ですが、これは無限の質量を持つため、適切な確率分布とは言えません。 ${\displaystyle p(\theta )=1}$

${\displaystyle \int {p(\theta )d\theta }=\infty .}$

このような測度は 確率分布ではないため、不適切な事前分布と呼ばれます。 ${\displaystyle p(\theta )}$

不適切な事前分布の使用は、ベイズリスクが定義されないことを意味します（事前分布は確率分布ではなく、その下で期待値を取ることができないため）。結果として、ベイズリスクを最小化するベイズ推定量について語ることはもはや意味がありません。しかし、多くの場合、事後分布を定義することができます。

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta }}.}$

これは定義であり、ベイズの定理の応用ではありません。ベイズの定理は、すべての分布が適切な場合にのみ適用できるからです。しかし、結果として得られる「事後分布」が有効な確率分布となることは珍しくありません。この場合、事後期待損失は

${\displaystyle \int {L(\theta ,a)p(\theta |x)d\theta }}$

は典型的には明確に定義され有限である。適切な事前分布の場合、ベイズ推定量は事後期待損失を最小化することを思い出してほしい。事前分布が適切でない場合、事後期待損失を最小化する推定量は一般化ベイズ推定量と呼ばれる。^{[ 2 ]}

例

[編集]

典型的な例としては、型の損失関数を用いた位置パラメータの推定が挙げられます。ここでは位置パラメータ、すなわち が与えられます。 ${\displaystyle L(a-\theta )}$ ${\displaystyle \theta }$ ${\displaystyle p(x|\theta )=f(x-\theta )}$

このような場合、特に他に主観的な情報がない場合には、不適切な事前分布を使用するのが一般的です。これにより、 ${\displaystyle p(\theta )=1}$

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{p(x)}}={\frac {f(x-\theta )}{p(x)}}}$

事後期待損失は

${\displaystyle E[L(a-\theta )|x]=\int {L(a-\theta )p(\theta |x)d\theta }={\frac {1}{p(x)}}\int L(a-\theta )f(x-\theta )d\theta .}$

一般化ベイズ推定値は、与えられた に対してこの式を最小化する値である。これは、 ${\displaystyle a(x)}$ ${\displaystyle x}$

${\displaystyle \int L(a-\theta )f(x-\theta )d\theta }$与えられた        （1）に対して ${\displaystyle x.}$

この場合、一般化ベイズ推定量は、ある定数 に対して の形をとることが示されます。これを確認するには、のときに(1)を最小化する値を とします。次に、異なる値 が与えられたとき、 を最小化する必要があります。 ${\displaystyle x+a_{0}}$ ${\displaystyle a_{0}}$ ${\displaystyle a_{0}}$ ${\displaystyle x=0}$ ${\displaystyle x_{1}}$

${\displaystyle \int L(a-\theta )f(x_{1}-\theta )d\theta =\int L(a-x_{1}-\theta ')f(-\theta ')d\theta '.}$        （2）

これは（1）と同一であるが、が に置き換えられている。したがって、 を最小化する式は で与えられ、最適推定量は以下の形になる。 ${\displaystyle a}$ ${\displaystyle a-x_{1}}$ ${\displaystyle a-x_{1}=a_{0}}$

${\displaystyle a(x)=a_{0}+x.\,\!}$

経験ベイズ推定量

[編集]

主要記事:経験ベイズ法

経験ベイズ法によって導出されるベイズ推定量は、経験ベイズ推定量と呼ばれます。経験ベイズ法では、ベイズ推定量の開発において、関連するパラメータの観測から得られる補助的な経験データを使用することができます。これは、推定されたパラメータが共通の事前分布から得られるという仮定の下で行われます。例えば、異なるパラメータについて独立した観測を行った場合、他の観測データを使用することで、特定のパラメータの推定性能が向上することがあります。

経験的ベイズ推定にはパラメトリックアプローチとノンパラメトリックアプローチの両方がある。 ^{[ 5 ]}

例

[編集]

以下は、パラメトリック経験ベイズ推定の簡単な例です。過去の観測値が条件付き分布 であると仮定し、に基づいてを推定することに関心があります。は共通の事前分布を持ち、これは未知のパラメータに依存していると仮定します。例えば、 は正規分布で、平均と分散が不明であるとします。過去の観測値を用いて、 の平均と分散を以下の方法で決定できます。 ${\displaystyle x_{1},\ldots ,x_{n}}$ ${\displaystyle f(x_{i}|\theta _{i})}$ ${\displaystyle \theta _{n+1}}$ ${\displaystyle x_{n+1}}$ ${\displaystyle \theta _{i}}$ ${\displaystyle \pi }$ ${\displaystyle \pi }$ ${\displaystyle \mu _{\pi }\,\!}$ ${\displaystyle \sigma _{\pi }\,\!.}$ ${\displaystyle \pi }$

まず、最大尤度法を使用して周辺分布の平均と分散を推定します。 ${\displaystyle \mu _{m}\,\!}$ ${\displaystyle \sigma _{m}\,\!}$ ${\displaystyle x_{1},\ldots ,x_{n}}$

${\displaystyle {\widehat {\mu }}_{m}={\frac {1}{n}}\sum {x_{i}},}$

${\displaystyle {\widehat {\sigma }}_{m}^{2}={\frac {1}{n}}\sum {(x_{i}-{\widehat {\mu }}_{m})^{2}}.}$

次に、総期待値の法則と総分散の法則を使って計算し、 ${\displaystyle \mu _{m}}$ ${\displaystyle \sigma _{m}^{2}}$

${\displaystyle \mu _{m}=E_{\pi }[\mu _{f}(\theta )]\,\!,}$

${\displaystyle \sigma _{m}^{2}=E_{\pi }[\sigma _{f}^{2}(\theta )]+E_{\pi }[(\mu _{f}(\theta )-\mu _{m})^{2}],}$

ここで、およびは条件付き分布のモーメントであり、既知であると仮定する。特に、およびであると仮定すると、 ${\displaystyle \mu _{f}(\theta )}$ ${\displaystyle \sigma _{f}(\theta )}$ ${\displaystyle f(x_{i}|\theta _{i})}$ ${\displaystyle \mu _{f}(\theta )=\theta }$ ${\displaystyle \sigma _{f}^{2}(\theta )=K}$

${\displaystyle \mu _{\pi }=\mu _{m}\,\!,}$

${\displaystyle \sigma _{\pi }^{2}=\sigma _{m}^{2}-\sigma _{f}^{2}=\sigma _{m}^{2}-K.}$

最後に、事前分布の推定モーメントを得る。

${\displaystyle {\widehat {\mu }}_{\pi }={\widehat {\mu }}_{m},}$

${\displaystyle {\widehat {\sigma }}_{\pi }^{2}={\widehat {\sigma }}_{m}^{2}-K.}$

たとえば、 の場合、正規事前分布（この場合は共役事前分布）を想定すると、 と結論付けられ、そこから に基づくのベイズ推定値を計算できます。 ${\displaystyle x_{i}|\theta _{i}\sim N(\theta _{i},1)}$ ${\displaystyle \theta _{n+1}\sim N({\widehat {\mu }}_{\pi },{\widehat {\sigma }}_{\pi }^{2})}$ ${\displaystyle \theta _{n+1}}$ ${\displaystyle x_{n+1}}$

プロパティ

[編集]

許容性

[編集]

参照:許容決定ルール

有限ベイズリスクを持つベイズ規則は、典型的には許容される。以下は許容定理の具体的な例である。

• ベイズ則が一意であれば、それは許容される。^{[ 6 ]}例えば、上で述べたように、平均二乗誤差（MSE）の下ではベイズ則は一意であり、したがって許容される。
• θ が離散集合に属する場合、すべてのベイズ規則が許容されます。
• θが連続（非離散）集合に属し、リスク関数R(θ,δ)がすべてのδに対してθで連続している場合、すべてのベイズ規則が許容されます。

対照的に、一般化ベイズ則は、不適切な事前分布の場合、しばしば定義されていないベイズリスクを持つ。これらの則はしばしば許容されないものであり、その許容性の検証は困難な場合がある。例えば、ガウス分布に基づく位置パラメータ θ の一般化ベイズ推定量（上記の「一般化ベイズ推定量」のセクションで説明）は、 に対して許容されない。これはスタイン現象として知られている。 ${\displaystyle p>2}$

漸近効率

[編集]

θ を未知の確率変数とし、 が密度 のiid標本であるとする。を、増加する測定回数に基づく θ のベイズ推定値の列とする。我々は、この推定値列の漸近的性能、すなわちnが大きい場合の の性能を解析することに関心がある。 ${\displaystyle x_{1},x_{2},\ldots }$ ${\displaystyle f(x_{i}|\theta )}$ ${\displaystyle \delta _{n}=\delta _{n}(x_{1},\ldots ,x_{n})}$ ${\displaystyle \delta _{n}}$

このため、θ を真の値が である決定論的パラメータとみなすのが通例である。特定の条件下では、^{[ 7 ]}大規模なサンプル（ nの値が大きい）の場合、θ の事後密度はほぼ正規分布となる。言い換えれば、nが大きい場合、事前確率が事後分布に与える影響は無視できる。さらに、δ がMSEリスクの下でのベイズ推定値である場合、それは漸近的に不偏であり、分布において正規分布に収束する。 ${\displaystyle \theta _{0}}$

${\displaystyle {\sqrt {n}}(\delta _{n}-\theta _{0})\to N\left(0,{\frac {1}{I(\theta _{0})}}\right),}$

ここで、 I (θ ₀ ) はθ ₀のフィッシャー情報量である。したがって、 MSEの下でのベイズ推定量 δ _nは漸近的に効率的であることがわかる。

漸近的に正規分布に従う効率的な推定法として、最尤推定量（MLE）があります。最尤推定量とベイズ推定量の関係は、以下の簡単な例で示せます。

例:二項分布におけるpの推定

[編集]

二項分布x ~b(θ, n )に基づくθの推定値を考える。ここでθは成功確率を表す。θが共役事前分布、この場合はベータ分布B( a , b )に従って分布すると仮定すると、事後分布はB(a+x,b+nx)であることが分かっている。したがって、MSEに基づくベイズ推定値は以下の通りである。

${\displaystyle \delta _{n}(x)=E[\theta |x]={\frac {a+x}{a+b+n}}.}$

この場合のMLEはx/nなので、

${\displaystyle \delta _{n}(x)={\frac {a+b}{a+b+n}}E[\theta ]+{\frac {n}{a+b+n}}\delta _{MLE}.}$

最後の式は、n → ∞ の場合、ベイズ推定値（説明した問題内）が MLE に近いことを意味します。

一方、nが小さい場合、事前情報は依然として意思決定問題に関連し、推定値に影響を与えます。事前情報の相対的な重みを見るために、a = bと仮定します。この場合、各測定は1ビットの新しい情報をもたらします。上記の式は、事前情報が新しい情報のa + bビットと同じ重みを持つことを示しています。応用においては、事前分布の詳細についてはほとんど何も知らないことがよくあります。特に、それがB( a , b )と完全に一致すると仮定する理由はありません。そのような場合、この計算の1つの解釈は、「平均値0.5、標準偏差dの非病的な事前分布があり、事前情報の重みは1/(4d2 ) -1^ビットの新しい情報に等しい」というものです。

同じ現象の別の例として、事前推定値と測定値が正規分布している場合が挙げられます。事前分布がBを中心とし、偏差Σを持ち、測定値がbを中心とし、偏差σを持つ場合、事後分布はを中心とし、この加重平均における重みはα=σ²、β=Σ²となります。さらに、事後偏差の二乗はΣ²+σ²です。言い換えれば、事前分布は、あたかも追加の測定値として考慮に入れられているかのように、測定値と全く同じように組み合わされます。 ${\displaystyle {\frac {\alpha }{\alpha +\beta }}B+{\frac {\beta }{\alpha +\beta }}b}$

例えば、Σ=σ/2の場合、4つの測定値の偏差を合計すると、事前分布の偏差と一致します（測定値の誤差は独立していると仮定）。事後分布の式における重みα、βもこれと一致します。つまり、事前分布の重みは測定値の重みの4倍です。この事前分布と平均vを持つn回の測定値を組み合わせると、事後分布はを中心とします。特に、事前分布は事前に行われた4回の測定値と同じ役割を果たします。一般的に、事前分布は(σ/Σ)²の測定値の重みを持ちます。 ${\displaystyle {\frac {4}{4+n}}V+{\frac {n}{4+n}}v}$

二項分布の例と比較してみましょう。ここでは、事前分布は(σ/Σ)²−1個の測定値の重みを持ちます。正確な重みは分布の詳細に依存しますが、σ≫Σの場合には差は小さくなります。

ベイズ推定量の実例

[編集]

インターネット・ムービー・データベースは、ユーザーによる映画の評価を計算・比較するために、トップ250作品を含む「真のベイズ推定」を与えるとされる公式を用いている。^{[ 8 ]}以下のベイズ公式は当初、トップ250作品の加重平均スコアを計算するために使用されていたが、その後この公式は変更されている。

${\displaystyle W={Rv+Cm \over v+m}\ }$

どこ：

${\displaystyle W\ }$= 加重評価

${\displaystyle R\ }$= 映画の平均評価（1～10の数字）（平均）=（評価）

${\displaystyle v\ }$= 映画の投票数/評価数 = (投票数)

${\displaystyle m\ }$= 事前推定値に与えられる重み（この場合、IMDBが平均評価が統計的妥当性に近づくために必要だと判断した投票数）

${\displaystyle C\ }$= プール全体の平均投票数（現在 7.0）

W は、重みベクトル(v, m)を持つRとCの加重算術平均にすぎないことに注意してください。評価数がm を超えると、平均評価の信頼度がすべての映画の平均投票の信頼度 (C) を上回り、加重ベイズ評価 (W) は単純平均 (R) に近づきます。v (映画の評価数) がゼロに近づくほど、WはCに近づきます。ここで、 W は加重評価、 C はすべての映画の平均評価です。つまり、簡単に言うと、映画の評価/投票数が少ないほど、その映画の加重評価はすべての映画の平均に近づきますが、評価/投票数が多い映画の評価は純粋な算術平均評価に近づきます。

IMDb のアプローチにより、評価がすべて 10 点である映画が少数しかなく、50 万件を超える評価から平均 9.2 点を獲得した「ゴッドファーザー」よりも上位にランクされることがなくなります。

参照

[編集]

• 再帰ベイズ推定
• 一般化期待効用

注記

[編集]

1. レーマンとカセラ、定理4.1.1
2. レーマンとカセラ、定義4.2.9
3. Jaynes, ET (2007).確率論：科学の論理（第5刷）. Cambridge [ua]: Cambridge Univ. Press. p. 172. ISBN 978-0-521-59271-0。
4. Dytso, A.; Bustin, R.; Tuninetti, D.; Devroye, N.; Poor, HV; Shamai Shitz, S. (2018). 「ガウス雑音チャネルにおける最小平均pth誤差とその応用について」. IEEE Transactions on Information Theory . 64 (3). IEEE : 2012– 2037. arXiv : 1607.01461 . doi : 10.1109/TIT.2017.2782786 .
5. Berger（1980）、セクション4.5。
6. LehmannとCasella（1998）、定理5.2.4。
7. レーマンとカセラ（1998）、セクション6.8
8. IMDbトップ250

参考文献

[編集]

• バーガー、ジェームズ・O. (1985).統計的決定理論とベイズ分析（第2版）. ニューヨーク: シュプリンガー・フェアラーク. ISBN 0-387-96098-8. MR  0804611 .
• レーマン, EL; カセラ, G. (1998).点推定理論（第2版）. シュプリンガー. ISBN 0-387-98502-6。
• ピルツ、ユルゲン (1991). 「ベイズ推定」.線形回帰モデルにおけるベイズ推定と実験計画. チチェスター: ジョン・ワイリー・アンド・サンズ. pp.  38– 117. ISBN 0-471-91732-X。

外部リンク

[編集]

• 「ベイズ推定量」、数学百科事典、EMS Press、2001 [1994]

Retrieved from "https://en.wikipedia.org/w/index.php?title=Bayes_estimator&oldid=1315344769"