推定理論

Branch of statistics to estimate models based on measured data

推定理論は、ランダム成分を含む測定された経験的データに基づいてパラメータの値を推定する統計学の一分野です。パラメータは、その値が測定データの分布に影響を与えるような形で、根底にある物理的状況を記述します。推定器は、測定データを用いて未知のパラメータを近似しようとします。推定理論では、一般的に2つのアプローチが考えられます。^[1]

• 確率的アプローチ（この記事で説明）は、測定データが関心のあるパラメータに依存する確率分布を持つランダムであると仮定します。
• セットメンバーシップアプローチでは、測定されたデータベクトルがパラメータベクトルに依存するセットに属していると想定します。

例

例えば、特定の候補者に投票する有権者の母集団の割合を推定したいとします。この割合こそが求めるパラメータであり、推定は少数の有権者の無作為抽出サンプルに基づいています。あるいは、年齢などの人口統計学的特徴に基づいて、ある有権者が特定の候補者に投票する確率を推定したい場合もあります。

例えばレーダーでは、送信パルスの受信エコーの往復伝播時間を解析することで、物体（飛行機、船舶など）の距離を測定することが目的です。反射パルスは必然的に電気ノイズに埋もれるため、測定値はランダムに分布し、伝播時間を推定する必要があります。

別の例として、電気通信理論では、関心のあるパラメータに関する情報を含む測定値は、ノイズの多い 信号に関連付けられることがよくあります。

基本

与えられたモデルに対して、推定量を実装するには、いくつかの統計的な「材料」が必要です。1つ目は統計的サンプル、つまりサイズNのランダムベクトル(RV)から取得したデータポイントの集合です。ベクトルに入れられます。2 つ目は、値を推定するM個のパラメータです。3つ目は、データを生成した基礎分布の連続確率密度関数(pdf) またはその離散的対応物である確率質量関数(pmf) を、パラメータの値に基づいて定義する必要があります。パラメータ自体が確率分布を持つことも可能 (例:ベイズ統計)。その場合は、ベイズ確率を定義する必要があります。モデルが形成されたら、目標はパラメータを推定することです。推定値は通常 で表され、「ハット」は推定値を示します。 $${\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}$$ $${\displaystyle {\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},}$$ $${\displaystyle p(\mathbf {x} |{\boldsymbol {\theta }}).\,}$$ $${\displaystyle \pi ({\boldsymbol {\theta }}).\,}$$ ${\displaystyle {\hat {\boldsymbol {\theta }}}}$

一般的な推定量の一つに、最小平均二乗誤差（MMSE）推定量があります。これは、推定パラメータと実際のパラメータ値との間の誤差を最適性の基準として利用します。この誤差項を二乗し、その二乗値の期待値を最小化することで、MMSE推定量が得られます。 $${\displaystyle \mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}}$$

推定値

一般的に使用される推定量（推定方法）とそれに関連するトピックは次のとおりです。

• 最大尤度推定量
• ベイズ推定量
• モーメント法推定値
• クラメール・ラオ境界
• 最小二乗法
• 最小平均二乗誤差（MMSE）、ベイズ最小二乗誤差（BLSE）とも呼ばれる
• 最大事後確率（MAP）
• 最小分散不偏推定量（MVUE）
• 非線形システム同定
• 最良線形不偏推定量（青）
• 不偏推定量 —推定量のバイアスを参照してください。
• 粒子フィルター
• マルコフ連鎖モンテカルロ法（MCMC）
• カルマンフィルタとそのさまざまな派生
• ウィーナーフィルタ

例

加法性白色ガウスノイズにおける未知の定数

平均がゼロで分散が既知（すなわち、 、 ）の加法性白色ガウス雑音（AWGN）を伴う未知の定数からなる独立サンプルの受信離散信号,を考える。分散が既知であるため、唯一の未知のパラメータは である。 ${\displaystyle x[n]}$ ${\displaystyle N}$ ${\displaystyle A}$ ${\displaystyle w[n]}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$ ${\displaystyle A}$

信号のモデルは次のようになります $${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$$

パラメータの推定値として考えられるもの（多数あるうちの 2 つ）は次のとおりです。 ${\displaystyle A}$

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$これは標本平均である

これらの推定値は両方とも平均を持ち、これは各推定値の期待値と ${\displaystyle A}$ $${\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}$$ $${\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$$

この時点では、これら2つの推定値は同じ結果を示しているように見えます。しかし、分散を比較すると、両者の違いが明らかになります。 $${\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}$$ $${\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$$

N  > 1ごとに分散が低くなるため、サンプル平均の方がより適切な推定値であると思われます 。

最大尤度

最尤推定量を用いた例を続けると、1つのサンプルに対するノイズの確率密度関数（pdf）は、となり、の確率は（と考えることができる） となる。独立性により、の確率は、となる。pdfと最尤推定量 の自然対数をとると、 ${\displaystyle w[n]}$ $${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$$ ${\displaystyle x[n]}$ ${\displaystyle x[n]}$ ${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$ $${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$$ ${\displaystyle \mathbf {x} }$ $${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$$ $${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$$ $${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$$

対数尤度関数の一次導関数をゼロに設定する $${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$ $${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$$

この結果、最尤推定値が得られますが、これは単純に標本平均値です。この例から、AWGNによって影響を受けた固定の未知のパラメータを持つ標本に対しては、標本平均値が最尤推定値であることがわかりました。 $${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$$ ${\displaystyle N}$

クラメール・ラオ下限

標本平均推定値のクラメール・ラオ下限値（CRLB）を求めるには、まずフィッシャー情報数を 求め、上記の式をコピーして $${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$$ $${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$

2次導関数を取り、負の期待値を求めるのは、決定論的な定数なので簡単です。 $${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$$ ${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

最後に、フィッシャー情報を導入すると、 $${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$$ $${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$$

これを（先に求めた）標本平均の分散と比較すると、標本平均は、およびのすべての値に対してクラメール・ラオの下限に等しいことがわかります。言い換えれば、標本平均は（必然的に唯一の）効率的な推定値であり、したがって、最大尤度推定値であるだけでなく、最小分散不偏推定値（MVUE）でもあります。 ${\displaystyle N}$ ${\displaystyle A}$

一様分布の最大値

推定の最も単純かつ非自明な例の一つは、一様分布の最大値の推定です。これは、実践的な授業演習として、また推定理論の基本原則を説明するために用いられます。さらに、単一標本に基づく推定の場合、最尤推定量や尤度関数の使用における哲学的問題や誤解の可能性が示されます。

最大値が不明な離散一様分布 が与えられた場合、最大値のUMVU推定値は次のように与えられます。 ここで、 mはサンプル最大値、kは非置換サンプリングのサンプルサイズです。 ^{[2] [3]}この問題は、第二次世界大戦中のドイツの戦車生産量の推定に最大値推定を適用したことから、一般にドイツ戦車問題として知られています。 ${\displaystyle 1,2,\dots ,N}$ $${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$$

この式は直感的に次のように理解できます。

「サンプルの最大値とサンプル内の観測値間の平均ギャップの合計」

このギャップは、標本最大値が母集団最大値の推定値として持つ負のバイアスを補正するために追加されている。^{[注 1]}

この分散は^[2]なので、標準偏差はおよそ で、これは標本間の隙間の（母集団の）平均サイズです。上記と比較してください。これは最大間隔推定の非常に単純な例と見ることができます。 $${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N}$$ ${\displaystyle N/k}$ ${\displaystyle {\frac {m}{k}}}$

標本の最大値は母集団の最大値に対する最大尤度推定値ですが、上で説明したように、偏りがあります。

アプリケーション

推定理論の活用が必要な分野は数多くあります。例えば、以下のような分野が挙げられます。

• 科学実験の解釈
• 信号処理
• 臨床試験
• 世論調査
• 品質管理
• 通信
• プロジェクト管理
• ソフトウェアエンジニアリング
• 制御理論（特に適応制御）
• ネットワーク侵入検知システム
• 軌道決定

測定されたデータはノイズや不確実性の影響を受ける可能性があり、統計的確率を通じて、データから可能な限り多くの情報を抽出するための最適なソリューションが求められます。

参照

• 最良線形不偏推定量（青）
• 完全性（統計）
• 検出理論
• 効率（統計）
• 期待最大化アルゴリズム（EMアルゴリズム）
• フェルミ問題
• グレーボックスモデル
• 情報理論
• 最小二乗スペクトル解析
• マッチドフィルタ
• 最大エントロピースペクトル推定
• 迷惑パラメータ
• 媒介変数方程式
• パレートの法則
• 3つのルール（統計）
• 状態推定器
• 統計信号処理
• 充足度（統計）

注記

1. 標本の最大値は母集団の最大値よりも大きくなることはありませんが、小さくなる可能性はあるため、偏った推定値となり、母集団の最大値よりも過小評価される傾向があります。

参考文献

引用

1. Walter, E.; Pronzato, L. (1997).実験データからのパラメトリックモデルの同定. ロンドン、イギリス: Springer-Verlag.
2. ジョンソン、ロジャー（1994）、「人口規模の推定」、統計教育、16（2（夏期））：50–52、doi：10.1111/j.1467-9639.1994.tb00688.x
3. ジョンソン、ロジャー（2006年）「人口規模の推定」統計教育のベストプラクティス、2008年11月20日時点のオリジナル（PDF）からアーカイブ

出典

• EL Lehmann & G. Casella (1998).点推定理論. Springer. ISBN 0387985026。
• デール・シャーモン（2009年）『システムコストエンジニアリング』Gower Publishing. ISBN 978-0-566-08861-2。
• ジョン・ライス（1995年）『数理統計とデータ分析』ダックスベリー出版、ISBN 0-534-209343。
• スティーブン・M・ケイ（1993年）『統計的信号処理の基礎：推定理論』PTR Prentice-Hall. ISBN 0-13-345711-7。
• H. ヴィンセント・プア (1998).信号検出と推定入門. シュプリンガー. ISBN 0-387-94173-8。
• ハリー・L・ヴァン・ツリーズ（2001年）『検出、推定、変調理論 第1部』Wiley社ISBN 0-471-09517-62005年4月28日時点のオリジナルよりアーカイブ。
• Dan Simon (2006). 最適状態推定：カルマン、H-∞、非線形アプローチ. Wiley. 2010年12月30日時点のオリジナルよりアーカイブ。
• Ali H. Sayed (2003). 『適応フィルタリングの基礎』 NJ: Wiley. ISBN 0-471-46126-1。
• Yaakov Bar-Shalom、X. Rong Li、Thiagalingam Kirubarajan (2004).推定とその追跡・航行への応用：理論、アルゴリズム、ソフトウェア. Wiley.

外部リンク

• ウィキメディア・コモンズの推定理論関連メディア

Retrieved from "https://en.wikipedia.org/w/index.php?title=Estimation_theory&oldid=1309833636"