最小分散不偏推定量

Unbiased statistical estimator minimizing variance

統計学において、最小分散不偏推定量 (MVUE)または均一最小分散不偏推定量 (UMVUE)は、パラメーターの可能なすべての値に対して、他のどの不偏推定量よりも分散が低い不偏推定量です。

実用的な統計問題においては、他の条件が同じであれば、最適ではない手順は自然に回避されるため、MVUEが存在する場合にはそれを決定することが重要である。これは、最適推定の問題に関連する統計理論の大幅な発展につながった。

不偏性の制約と最小分散の望ましさの測定基準を組み合わせると、ほとんどの実用的な設定で良好な結果が得られ、MVUE が幅広い分析の自然な出発点になりますが、特定の問題に対してはターゲットを絞った仕様の方がパフォーマンスが向上する可能性があります。そのため、MVUE が常に最適な停止点であるとは限りません。

意味

密度族 （ はパラメータ空間）の要素からのデータiidに基づくの推定を考える。の不偏推定量は、のときUMVUEとなる。 ${\displaystyle g(\theta )}$ ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ ${\displaystyle p_{\theta },\theta \in \Omega }$ ${\displaystyle \Omega }$ ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ ${\displaystyle g(\theta )}$ ${\displaystyle \forall \theta \in \Theta }$

$${\displaystyle \operatorname {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \operatorname {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}$$

他の不偏推定量の場合 ${\displaystyle {\tilde {\delta }}.}$

の不偏推定量が存在する場合、本質的に一意なMVUEが存在することを証明できます。^[1]ラオ・ブラックウェルの定理を用いると、MVUEを決定することは、単にファミリーの完全な十分統計量を見つけ、それに基づいて不偏推定量を条件付けるだけであることも証明できます。 ${\displaystyle g(\theta )}$ ${\displaystyle p_{\theta },\theta \in \Omega }$

さらに、レーマン・シェッフェの定理によれば、完全かつ十分な統計量の関数である不偏推定量は UMVUE です。

正式に言えば、 はに対して不偏であり、それが密度族の完全な十分統計量であるとする。すると ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ ${\displaystyle g(\theta )}$ ${\displaystyle T}$

$${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,}$$

MVUEは ${\displaystyle g(\theta ).}$

ベイズの類似物は、特に最小平均二乗誤差(MMSE) を備えたベイズ推定量です。

推定値の選択

効率的な推定量が存在する必要はないが、もし存在し、かつそれが不偏であれば、それはMVUEである。推定量δの平均二乗誤差（MSE）は

$${\displaystyle \operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {bias} (\delta )]^{2}\ }$$

MVUEは、不偏推定量間のMSEを最小化します。場合によっては、偏りのある推定量は、不偏推定量よりも分散が小さいため、MSEが低くなります。推定量のバイアスを参照してください。

例

データは 密度の絶対連続分布からの単一の観測値であるとする。 ${\displaystyle \mathbb {R} }$

$${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{\left(1+e^{-x}\right)^{\theta +1}}},}$$

ここでθ > 0であり、UMVU推定値を求めると、

$${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$$

まず密度は次のように書けることを認識する。

$${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp \left(-\theta \log(1+e^{-x})+\log(\theta )\right)}$$

これは十分な統計量 を持つ指数族である。実際、これはフルランク指数族であり、したがって完備十分である。指数族 の導出を参照のこと。 ${\displaystyle T=\log(1+e^{-X})}$ ${\displaystyle T}$

$${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}$$

したがって、

$${\displaystyle \operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}}$$

ここではレーマン・シェッフェの定理を用いてMVUEを求める。明らかに、は不偏かつ十分完備であるため、UMVU推定量は ${\displaystyle \delta (X)=T^{2}/2}$ ${\displaystyle T=\log(1+e^{-X})}$

$${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log \left(1+e^{-X}\right)^{2}}{2}}}$$

この例は、レーマン・シェッフェの定理が示すように、完全な十分統計量の不偏関数は UMVU になることを示しています。

その他の例

• 平均と分散が不明な正規分布の場合、標本平均と（偏りのない）標本分散は、母平均と母分散の MVUE になります。

  ただし、標本の標準偏差は母集団の標準偏差に対して偏りがありません。標準偏差の偏りのない推定を参照してください。

  さらに、他の分布では、標本平均と標本分散は一般に MVUE ではありません。上限と下限が不明な均一分布の場合、中間範囲が母平均の MVUE になります。

• 上限Nが不明な集合 {1, 2, ...,  N }上の離散一様分布からk個の標本を（復元せずに）選択した場合、 Nの MVUE は次の式で表されます。ここでmは標本最大値です。これは標本最大値をスケールおよびシフトした（つまり偏りのない）変換であり、十分かつ完全な統計量です。詳細はドイツ戦車問題を参照してください。 $${\displaystyle {\frac {k+1}{k}}m-1,}$$

参照

• クラメール・ラオ境界
• 最良線形不偏推定量（青）
• バイアスと分散のトレードオフ
• レーマン・シェッフェの定理
• U統計量

ベイズ類似体

• ベイズ推定量
• 最小平均二乗誤差（MMSE）

参考文献

1. Lee, AJ, 1946- (1990). U-統計：理論と実践. ニューヨーク: M. Dekker. ISBN 0824782534. OCLC  21523971。{{cite book}}: CS1 maint: multiple names: authors list (link) CS1 maint: numeric names: authors list (link)

• キーナー、ロバート・W. (2006). 『統計理論：理論統計コースのためのノート』シュプリンガー. pp.  47–48 , 57–58 .
• キーナー、ロバート・W. (2010). 『理論統計：コアコースのトピック』 ニューヨーク: シュプリンガー. doi :10.1007/978-0-387-93839-4.
• Voinov VG, Nikulin MS (1993).不偏推定量とその応用 第1巻：単変量の場合. Kluwer Academic Publishers. 521ページ.

Retrieved from "https://en.wikipedia.org/w/index.php?title=Minimum-variance_unbiased_estimator&oldid=1323145902"