不変推定量

統計学において、不変推定量という概念は、同じ量に対する異なる推定量の性質を比較するために使用できる基準である。これは、推定量は直感的に魅力的な特定の性質を持つべきであるという考えを形式化する一つの方法である。厳密に言えば、「不変」とは、測定値とパラメータの両方が両立する方法で変換されたときに推定値自体は変化しないことを意味するが、その意味は、そのような変換に伴って推定値が適切に変化することを許容するように拡張されている。^{[ 1 ]}同変推定量という用語は、データセットとパラメータ化の変更に応じて推定量がどのように変化するかの関係を正確に記述する形式的な数学的文脈で使用される。これは、より一般的な数学における 「同変」の使用に対応する。

一般設定

背景

統計的推論では、推定理論へのアプローチがいくつかあり、それらを使用して、それらのアプローチに従ってどの推定量を使用すべきかをすぐに決定できます。たとえば、ベイズ推論のアイデアは、ベイズ推定量に直接つながります。同様に、古典的な統計的推論の理論は、どの推定量を使用すべきかについて強力な結論を導くことがあります。ただし、これらの理論の有用性は、完全に規定された統計モデルがあることに依存し、推定量を決定するための適切な損失関数があることにも依存する場合があります。したがって、ベイズ分析を実行して関連するパラメーターの事後分布を得ることはできますが、特定の効用関数または損失関数の使用が不明確である可能性があります。その後、不変性の考え方を事後分布を要約するタスクに適用できます。他の場合には、完全に定義された統計モデルなしで統計分析が行われたり、検討されているモデル族がそのような処理に馴染みがないため、古典的な統計的推論理論をすぐに適用できなかったりします。一般理論が推定量を規定しない場合に加えて、推定量の不変性の概念は、推定量の適用を簡素化するため、または推定量を堅牢にするために、代替形式の推定量を求めるときに適用できます。

不変性の概念は、推定量を選択する際に単独で用いられることもありますが、必ずしも決定的なものではありません。例えば、不変性の要件は、推定量が平均不偏であるという要件と両立しない場合があります。一方、中央値不偏性の基準は推定量の標本分布に基づいて定義されるため、多くの変換に対して不変です。

不変性の概念の用途の一つは、推定量のクラスまたは族が提案され、その中から特定の定式化を選択しなければならない場合です。一つの手順は、関連する不変性特性を課し、そのクラス内で最良の特性を持つ定式化を見つけることです。これは、いわゆる最適不変推定量につながります。

不変推定量のいくつかのクラス

不変推定量を扱う際に考慮すると有用な変換の種類がいくつかあります。それぞれの変換は、それらの特定の種類の変換に対して不変である推定量のクラスを生み出します。

• シフト不変性：概念的には、位置パラメータの推定値はデータ値の単純なシフトに対して不変であるべきです。すべてのデータ値が一定量増加した場合、推定値も同じ量だけ変化します。加重平均を用いた推定を考える場合、この不変性の要件は、重みの合計が1になる必要があることを直ちに意味します。偏りのないことの要件からも同じ結果が導かれることがよくありますが、「不変性」の使用は平均値の存在を必要とせず、確率分布を全く考慮しません。
• スケール不変性: 推定量のスケールパラメータの不変性に関するこのトピックは、集合的な特性を持つシステムの動作に関する、より一般的なスケール不変性(物理学)と混同しないように注意してください 。
• パラメータ変換不変性：ここでは、変換はパラメータのみに適用されます。ここでの概念は、パラメータ θ を含むデータとモデルから得られる推論は、パラメータ φ を用いたモデルから得られる推論と本質的に同じであるということです。ここで、φ は θ の1対1変換であり、φ = h (θ) です。このタイプの不変性によれば、変換不変推定量から得られる結果も φ = h (θ)で関連付けられるはずです。最尤推定量は、変換が単調である場合にこの特性を持ちます。推定量の漸近特性は不変である可能性がありますが、小標本特性は異なる場合があり、特定の分布を導出する必要があります。^{[ 2 ]}
• 順列不変性: データ値のセットが、独立かつ同一に分布するランダム変数からの結果であるという統計モデルによって表すことができる場合、共通分布の任意のプロパティの推定値は順列不変性を持つ必要があるという要件を課すことは合理的です。具体的には、データ値のセットの関数として考慮される推定値は、データセット内でデータの項目が入れ替わっても変更されない必要があります。

独立かつ同一分布のデータセットから加重平均を用いて位置パラメータを推定する場合、順列不変性と位置不変性を組み合わせると、重みは同一で合計が1になる必要がある。もちろん、加重平均以外の推定値の方が好ましい場合もある。

最適不変推定量

この設定では、未知のパラメータに関する情報を含む測定値の集合が与えられます。測定値は、パラメータベクトルに依存する確率密度関数を持つベクトル確率変数としてモデル化されます。 ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle x}$ ${\displaystyle f(x|\theta )}$ ${\displaystyle \theta }$

問題は、与えられた を推定することです。推定値（ ）は測定値の関数であり、集合 に属します。結果の品質は、リスク関数を決定する損失関数によって定義されます。 、、の可能な値の集合は、それぞれ、 、 で表されます。 ${\displaystyle \theta }$ ${\displaystyle x}$ ${\displaystyle a}$ ${\displaystyle A}$ ${\displaystyle L=L(a,\theta )}$ ${\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}$ ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle a}$ ${\displaystyle X}$ ${\displaystyle \Theta }$ ${\displaystyle A}$

分類において

統計的分類において、新しいデータ項目にクラスを割り当てる規則は、特別な種類の推定量とみなすことができます。パターン認識のための事前知識を定式化する際に、いくつかの不変性に関する考慮事項を適用することができます。

数学的な設定

意味

不変推定量とは、次の 2 つの規則に従う推定量です。

1. 有理不変性の原理：意思決定問題において取られる行動は、使用される測定の変換に依存してはならない。
2. 不変原理: 2 つの意思決定問題が同じ形式構造 ( 、、およびに関して) を持つ場合、各問題で同じ意思決定ルールを使用する必要があります。 ${\displaystyle X}$ ${\displaystyle \Theta }$ ${\displaystyle f(x|\theta )}$ ${\displaystyle L}$

不変推定量または同変推定量を正式に定義するには、まず変換群に関するいくつかの定義が必要です。 は可能なデータサンプルの集合を表します。の変換群（ と表記）は、 から自身への（測定可能な）1:1 および 上への変換の集合であり、以下の条件を満たします。 ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle G}$ ${\displaystyle X}$

1. もし 、そして ${\displaystyle g_{1}\in G}$ ${\displaystyle g_{2}\in G}$ ${\displaystyle g_{1}g_{2}\in G\,}$
2. ならば、 （つまり、各変換にはグループ内に逆変換が存在します。） ${\displaystyle g\in G}$ ${\displaystyle g^{-1}\in G}$ ${\displaystyle g^{-1}(g(x))=x\,.}$
3. ${\displaystyle e\in G}$（つまり、アイデンティティ変換がある） ${\displaystyle e(x)=x\,}$

データセットとは、何らかの に対してであるとき同値です。すべての同値点は同値類を形成します。このような同値類はにおける軌道と呼ばれます。軌道は集合 です。 が単一の軌道からなるとき、は推移的であると言われます。 ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ ${\displaystyle X}$ ${\displaystyle x_{1}=g(x_{2})}$ ${\displaystyle g\in G}$ ${\displaystyle X}$ ${\displaystyle x_{0}}$ ${\displaystyle X(x_{0})}$ ${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$ ${\displaystyle X}$ ${\displaystyle g}$

密度族が群の下で不変であるとは、任意の と に対して、密度 を持つ唯一の が存在するときを言います。は と表記されます。 ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle g\in G}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle \theta ^{*}\in \Theta }$ ${\displaystyle Y=g(x)}$ ${\displaystyle f(y|\theta ^{*})}$ ${\displaystyle \theta ^{*}}$ ${\displaystyle {\bar {g}}(\theta )}$

が群の下で不変であるならば、損失関数は任意の に対して であり、かつすべての に対してとなるような が存在するならば、の下で不変であると言える。変換された値はと表記される。 ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle L(\theta ,a)}$ ${\displaystyle G}$ ${\displaystyle g\in G}$ ${\displaystyle a\in A}$ ${\displaystyle a^{*}\in A}$ ${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle a^{*}}$ ${\displaystyle {\tilde {g}}(a)}$

上記において、は から自身への変換の群であり、は から 自身への変換の群です。 ${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$ ${\displaystyle \Theta }$ ${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$ ${\displaystyle A}$

上記で定義した3 つのグループが存在する場合、推定問題は不変(同変)です。 ${\displaystyle G}$ ${\displaystyle G,{\bar {G}},{\tilde {G}}}$

の下で不変な推定問題の場合、すべてのおよびに対して、推定量はの下で 不変推定量である。 ${\displaystyle G}$ ${\displaystyle \delta (x)}$ ${\displaystyle G}$ ${\displaystyle x\in X}$ ${\displaystyle g\in G}$

${\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}$

プロパティ

1. 不変推定量 のリスク関数はの軌道上で一定です。すべてのおよびに対して同様に当てはまります。 ${\displaystyle \delta }$ ${\displaystyle \Theta }$ ${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle {\bar {g}}\in {\bar {G}}}$
2. 推移的な不変推定量のリスク関数は一定です。 ${\displaystyle {\bar {g}}}$

与えられた問題に対して、リスクが最も低い不変推定量は「最良不変推定量」と呼ばれます。最良不変推定量は必ずしも達成できるとは限りません。最良不変推定量を達成できる特別なケースは、が推移的な場合です。 ${\displaystyle {\bar {g}}}$

例: 場所パラメータ

の密度がの形をとるとき、 は位置パラメータであるとする。 および に対して、問題は の条件で不変である。この場合の不変推定量は、 ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle f(x-\theta )}$ ${\displaystyle \Theta =A=\mathbb {R} ^{1}}$ ${\displaystyle L=L(a-\theta )}$ ${\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}$

${\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,}$

したがって、これは（ ）の形をとります。は について推移的なので、リスクは によって変化しません。つまり、 です。最良の不変推定量は、リスクを最小に する推定量です。 ${\displaystyle \delta (x)=x+K}$ ${\displaystyle K\in \mathbb {R} }$ ${\displaystyle {\bar {g}}}$ ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}$ ${\displaystyle R(\theta ,\delta )}$

Lが二乗誤差の場合 ${\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}$

ピットマン推定量

推定問題は、密度 を持つ（ θは推定対象となるパラメータ、損失関数は ）である。この問題は、以下の（加法的な）変換群に対して不変である。 ${\displaystyle X=(X_{1},\dots ,X_{n})}$ ${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$ ${\displaystyle L(|a-\theta |)}$

${\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.}$

最良の不変推定量は、以下を最小化するものである。 ${\displaystyle \delta (x)}$

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

これはピットマンの推定値（1939）です。

二乗誤差損失の場合、結果は次のようになる。

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

（つまり、独立した単位分散成分を持つ 多変量正規分布）の場合、 ${\displaystyle x\sim N(\theta 1_{n},I)\,\!}$

${\displaystyle \delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.}$

（独立成分が尺度パラメータσを持つコーシー分布に従う） ならば、しかし、結果は ${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!}$ ${\displaystyle \delta _{\text{Pitman}}\neq \delta _{ML}}$

${\displaystyle \delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

と

${\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$

参考文献

1. Gourieroux, C. and Monfort, A. (1995). Statistics and econometric models, volume 1. Cambridge University Press, 5.2.1節を参照。
2. グリエローとモンフォール (1995)

• バーガー、ジェームズ・O. (1985).統計的決定理論とベイズ分析（第2版）. ニューヨーク: シュプリンガー・フェアラーク. ISBN 0-387-96098-8. MR  0804611 .
• Freue, Gabriela V. Cohen (2007). 「コーシー位置パラメータのピットマン推定量」. Journal of Statistical Planning and Inference . 137 (6): 1900– 1913. doi : 10.1016/j.jspi.2006.05.002 .
• Pitman, EJG (1939). 「任意の形態の連続個体群の位置パラメータとスケールパラメータの推定」Biometrika . 30 (3/4): 391– 421. doi : 10.1093/biomet/30.3-4.391 . JSTOR  2332656 .
• Pitman, EJG (1939). 「位置と尺度パラメータに関する仮説検定」. Biometrika . 31 (1/2): 200– 215. doi : 10.1093/biomet/31.1-2.200 . JSTOR  2334983 .

「 https://en.wikipedia.org/w/index.php?title=Invariant_estimator&oldid=1309856019」から取得