統計学 において、 不変推定量 という概念は、同じ量に対する異なる 推定量 の性質を比較するために使用できる基準です 。これは、推定量は直感的に魅力的な特定の性質を持つべきであるという考えを形式化する方法です。厳密に言えば、「不変」とは、測定値とパラメータの両方が互換性のある方法で変換されたときに推定値自体は変化しないことを意味しますが、その意味は、そのような変換に伴って推定値が適切に変化することを許容するように拡張されています。 [1] 同変推定量 という用語は、データセットとパラメータ化の変更に応じて推定量がどのように変化するかの関係を正確に記述する形式的な数学的文脈で使用されます。これは、より一般的な数学における「 同変 」の使用に対応します 。
一般設定
背景 統計的推論 では、 推定理論 へのアプローチがいくつかあり 、それらを使用して、それらのアプローチに従ってどの推定量を使用すべきかをすぐに決定できます。たとえば、 ベイズ推論のアイデアは、 ベイズ推定量 に直接つながります 。同様に、古典的な統計的推論の理論は、どの推定量を使用すべきかについて強力な結論を導くことがあります。ただし、これらの理論の有用性は、完全に規定された 統計モデル があることに依存し、推定量を決定するための適切な損失関数があることにも依存する場合があります。したがって、 ベイズ分析を 実行して関連するパラメーターの事後分布を得ることはできますが、特定の効用関数または損失関数の使用が不明確である可能性があります。その後、不変性の考え方を事後分布を要約するタスクに適用できます。他の場合には、完全に定義された統計モデルなしで統計分析が行われたり、検討されているモデル族がそのような処理に馴染みがないため、古典的な統計的推論理論をすぐに適用できなかったりします。一般理論が推定量を規定しない場合に加えて、推定量の不変性の概念は、推定量の適用を簡素化するため、または推定量を 堅牢に するために、代替形式の推定量を求めるときに適用できます。
不変性の概念は、推定量を選択する際に単独で用いられることもありますが、必ずしも決定的なものではありません。例えば、不変性の要件は、 推定量が平均不偏である という要件と両立しない場合があります。一方、 中央値不偏性の基準は推定量の 標本分布 に基づいて定義されるため 、多くの変換に対して不変です。
不変性の概念の用途の一つは、推定量のクラスまたは族が提案され、その中から特定の定式化を選択しなければならない場合です。一つの手順は、関連する不変性特性を課し、そのクラス内で最良の特性を持つ定式化を見つけることです。これは、いわゆる最適不変推定量につながります。
不変推定量のいくつかのクラス 不変推定量を扱う際に考慮すると有用な変換の種類がいくつかあります。それぞれの変換は、それらの特定の種類の変換に対して不変である推定量のクラスを生み出します。
シフト不変性：概念的には、 位置パラメータ の推定値はデータ値の単純なシフトに対して不変であるべきです。すべてのデータ値が一定量増加した場合、推定値も同じ量だけ変化します。 加重平均 を用いた推定を考える場合、この不変性の要件は、重みの合計が1になる必要があることを直ちに意味します。偏りのないことの要件からも同じ結果が導かれることがよくありますが、「不変性」の使用は平均値の存在を必要とせず、確率分布を全く考慮しません。 スケール不変性: 推定量のスケールパラメータの不変性に関するこのトピックは、集合的な特性を持つシステムの動作に関する、より一般的な スケール不変性 (物理学)と混同しないように注意してください 。 パラメータ変換不変性：ここでは、変換はパラメータのみに適用されます。ここでの概念は、パラメータ θ を含むデータとモデルから得られる推論は、パラメータ φ を用いたモデルから得られる推論と本質的に同じであるということです。ここで、φ は θ の1対1変換であり、φ = h (θ) です。このタイプの不変性によれば、変換不変推定量から得られる結果も φ = h (θ) によって関連付けられるはずです。 最尤推定量は、 変換が 単調で ある場合にこの特性を持ちます。推定量の漸近特性は不変である可能性がありますが、小標本特性は異なる場合があり、特定の分布を導出する必要があります。 [2] 順列不変性: データ値のセットが、 独立かつ同一に分布する ランダム変数 からの結果であるという統計モデルによって表すことができる場合、共通分布の任意のプロパティの推定値は順列不変性を持つ必要があるという要件を課すことは合理的です。具体的には、データ値のセットの関数として考慮される推定値は、データセット内でデータの項目が入れ替わっても変更されない必要があります。 独立かつ同一分布の データセットから加重平均を用いて位置パラメータを推定する場合、順列不変性と位置不変性を組み合わせると、 重みは同一で合計が1になる必要がある。もちろん、加重平均以外の推定値の方が好ましい場合もある。
最適不変推定量 この設定では、未知のパラメータに関する情報を含む 測定値の集合が与えられます 。測定値は、 パラメータベクトルに依存する 確率密度関数 を持つ ベクトル確率変数 としてモデル化されます 。 x {\displaystyle x} θ {\displaystyle \theta } x {\displaystyle x} f ( x | θ ) {\displaystyle f(x|\theta )} θ {\displaystyle \theta }
問題は、 与えられた を推定することです 。推定値（ ）は 測定値の関数であり、集合 に属します 。結果の品質は、 リスク関数 を決定する 損失関数 によって定義されます。 、 、 の可能な値の集合は 、それぞれ 、 、 で 表されます 。 θ {\displaystyle \theta } x {\displaystyle x} a {\displaystyle a} A {\displaystyle A} L = L ( a , θ ) {\displaystyle L=L(a,\theta )} R = R ( a , θ ) = E [ L ( a , θ ) | θ ] {\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]} x {\displaystyle x} θ {\displaystyle \theta } a {\displaystyle a} X {\displaystyle X} Θ {\displaystyle \Theta } A {\displaystyle A}
分類において 統計的分類 において 、新しいデータ項目にクラスを割り当てる規則は、特別な種類の推定量とみなすことができます。 パターン認識のための事前知識を 定式化する際に、いくつかの不変性に関する考慮事項を適用することができます。
数学的な設定
意味 不変推定量とは、以下の2つの規則に従う推定量である。 [ 要出典 ]
有理不変性の原理：意思決定問題において取られる行動は、使用される測定の変換に依存してはならない。 不変原理: 2 つの意思決定問題が同じ形式構造 ( 、、 および に関して ) を持つ場合、各問題で同じ意思決定ルールを使用する必要があります。 X {\displaystyle X} Θ {\displaystyle \Theta } f ( x | θ ) {\displaystyle f(x|\theta )} L {\displaystyle L} 不変推定量または同変推定量を正式に定義するには、まず変換群に関するいくつかの定義が必要です。 は 可能なデータサンプルの集合を表します。 の 変換群 （ と表記）は、 から自身へ の（測定可能な）1:1 および 上への変換の集合であり 、以下の条件を満たします。 X {\displaystyle X} X {\displaystyle X} G {\displaystyle G} X {\displaystyle X}
もし 、 そして g 1 ∈ G {\displaystyle g_{1}\in G} g 2 ∈ G {\displaystyle g_{2}\in G} g 1 g 2 ∈ G {\displaystyle g_{1}g_{2}\in G\,} ならば 、 （ つまり 、各変換にはグループ内に逆変換が存在します。） g ∈ G {\displaystyle g\in G} g − 1 ∈ G {\displaystyle g^{-1}\in G} g − 1 ( g ( x ) ) = x . {\displaystyle g^{-1}(g(x))=x\,.} e ∈ G {\displaystyle e\in G} （つまり、アイデンティティ変換がある ） e ( x ) = x {\displaystyle e(x)=x\,} データセット と は、 何らかの に対して であるとき同値です 。すべての同値点は 同値類 を形成します。このような同値類は における 軌道 と呼ばれます。 軌道 は集合 です 。 が 単一の軌道からなるとき、 は推移的であると言われます。 x 1 {\displaystyle x_{1}} x 2 {\displaystyle x_{2}} X {\displaystyle X} x 1 = g ( x 2 ) {\displaystyle x_{1}=g(x_{2})} g ∈ G {\displaystyle g\in G} X {\displaystyle X} x 0 {\displaystyle x_{0}} X ( x 0 ) {\displaystyle X(x_{0})} X ( x 0 ) = { g ( x 0 ) : g ∈ G } {\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}} X {\displaystyle X} g {\displaystyle g}
密度族が 群の下で不変である とは、任意の と に対して 、 密度 を持つ 唯一の が存在するとき を言います 。 は と表記されます 。 F {\displaystyle F} G {\displaystyle G} g ∈ G {\displaystyle g\in G} θ ∈ Θ {\displaystyle \theta \in \Theta } θ ∗ ∈ Θ {\displaystyle \theta ^{*}\in \Theta } Y = g ( x ) {\displaystyle Y=g(x)} f ( y | θ ∗ ) {\displaystyle f(y|\theta ^{*})} θ ∗ {\displaystyle \theta ^{*}} g ¯ ( θ ) {\displaystyle {\bar {g}}(\theta )}
が群の下で不変である ならば 、損失関数は任意の に対して が不変であり、 かつすべての に対して となるような が 存在する ならば 、 の下で不変であると言える 。変換された値は と表記される 。 F {\displaystyle F} G {\displaystyle G} L ( θ , a ) {\displaystyle L(\theta ,a)} G {\displaystyle G} g ∈ G {\displaystyle g\in G} a ∈ A {\displaystyle a\in A} a ∗ ∈ A {\displaystyle a^{*}\in A} L ( θ , a ) = L ( g ¯ ( θ ) , a ∗ ) {\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})} θ ∈ Θ {\displaystyle \theta \in \Theta } a ∗ {\displaystyle a^{*}} g ~ ( a ) {\displaystyle {\tilde {g}}(a)}
上記において、は から 自身へ の変換の群であり、 は から 自身への変換の群です 。 G ¯ = { g ¯ : g ∈ G } {\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}} Θ {\displaystyle \Theta } G ~ = { g ~ : g ∈ G } {\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}} A {\displaystyle A}
上記で定義した3 つのグループが存在する場合、 推定問題は不変(同変)です 。 G {\displaystyle G} G , G ¯ , G ~ {\displaystyle G,{\bar {G}},{\tilde {G}}}
の下で不変な推定問題の場合 、すべてのおよびに対して、推定量は の 下 で 不変推定量である。 G {\displaystyle G} δ ( x ) {\displaystyle \delta (x)} G {\displaystyle G} x ∈ X {\displaystyle x\in X} g ∈ G {\displaystyle g\in G}
δ ( g ( x ) ) = g ~ ( δ ( x ) ) . {\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}
プロパティ 不変推定量 のリスク関数は の軌道上で一定です 。すべての および に対して同様に当てはまります 。 δ {\displaystyle \delta } Θ {\displaystyle \Theta } R ( θ , δ ) = R ( g ¯ ( θ ) , δ ) {\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )} θ ∈ Θ {\displaystyle \theta \in \Theta } g ¯ ∈ G ¯ {\displaystyle {\bar {g}}\in {\bar {G}}} 推移的な不変推定量のリスク関数 は一定です。 g ¯ {\displaystyle {\bar {g}}} 与えられた問題に対して、リスクが最も低い不変推定量は「最良不変推定量」と呼ばれます。最良不変推定量は必ずしも達成できるとは限りません。最良不変推定量を達成できる特別なケースは、が 推移的な場合です。 g ¯ {\displaystyle {\bar {g}}}
例: 場所パラメータ の密度がの形をとる とき、 は位置パラメータである とする 。 および に対して 、 問題は の条件で不変である 。この場合の不変推定量は、 θ {\displaystyle \theta } X {\displaystyle X} f ( x − θ ) {\displaystyle f(x-\theta )} Θ = A = R 1 {\displaystyle \Theta =A=\mathbb {R} ^{1}} L = L ( a − θ ) {\displaystyle L=L(a-\theta )} g = g ¯ = g ~ = { g c : g c ( x ) = x + c , c ∈ R } {\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}
δ ( x + c ) = δ ( x ) + c , for all c ∈ R , {\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,} したがって、これは（ ） の形をとります 。 は について推移的な ので、リスクは によって変化しません 。つまり、 です。最良の不変推定量は、リスクを 最小に する推定量です。 δ ( x ) = x + K {\displaystyle \delta (x)=x+K} K ∈ R {\displaystyle K\in \mathbb {R} } g ¯ {\displaystyle {\bar {g}}} Θ {\displaystyle \Theta } θ {\displaystyle \theta } R ( θ , δ ) = R ( 0 , δ ) = E [ L ( X + K ) | θ = 0 ] {\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]} R ( θ , δ ) {\displaystyle R(\theta ,\delta )}
Lが二乗誤差の場合 δ ( x ) = x − E [ X | θ = 0 ] . {\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}
ピットマン推定量 推定問題は 、 密度 を持つ（ θ は推定対象となるパラメータ、 損失関数 は ） である。この問題は、以下の（加法的な）変換群に対して不変である。 X = ( X 1 , … , X n ) {\displaystyle X=(X_{1},\dots ,X_{n})} f ( x 1 − θ , … , x n − θ ) {\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )} L ( | a − θ | ) {\displaystyle L(|a-\theta |)}
G = { g c : g c ( x ) = ( x 1 + c , … , x n + c ) , c ∈ R 1 } , {\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},} G ¯ = { g c : g c ( θ ) = θ + c , c ∈ R 1 } , {\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},} G ~ = { g c : g c ( a ) = a + c , c ∈ R 1 } . {\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.} 最良の不変推定量は 、以下を最小化するものである。 δ ( x ) {\displaystyle \delta (x)}
∫ − ∞ ∞ L ( δ ( x ) − θ ) f ( x 1 − θ , … , x n − θ ) d θ ∫ − ∞ ∞ f ( x 1 − θ , … , x n − θ ) d θ , {\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},} これはピットマンの推定値（1939）です。
二乗誤差損失の場合、結果は次のようになる。
δ ( x ) = ∫ − ∞ ∞ θ f ( x 1 − θ , … , x n − θ ) d θ ∫ − ∞ ∞ f ( x 1 − θ , … , x n − θ ) d θ . {\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.} （つまり 、独立した単位分散成分を持つ 多変量正規分布 ）の場合、 x ∼ N ( θ 1 n , I ) {\displaystyle x\sim N(\theta 1_{n},I)\,\!}
δ Pitman = δ M L = ∑ x i n . {\displaystyle \delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.} （独立成分が 尺度パラメータ σを持つ コーシー分布 に従う） ならば 、しかし、結果は x ∼ C ( θ 1 n , I σ 2 ) {\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!} δ Pitman ≠ δ M L {\displaystyle \delta _{\text{Pitman}}\neq \delta _{ML}}
δ Pitman = ∑ k = 1 n x k [ Re { w k } ∑ m = 1 n Re { w k } ] , n > 1 , {\displaystyle \delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,} と
w k = ∏ j ≠ k [ 1 ( x k − x j ) 2 + 4 σ 2 ] [ 1 − 2 σ ( x k − x j ) i ] . {\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}
参考文献 ^ Gourieroux, C. and Monfort, A. (1995). Statistics and econometric models, volume 1. Cambridge University Press, 5.2.1節を参照。 ^ グリエローとモンフォール (1995) バーガー、ジェームズ・O. (1985). 統計的決定理論とベイズ分析 （第2版）. ニューヨーク: シュプリンガー・フェアラーク. ISBN 0-387-96098-8 . MR 0804611。 [ ページが必要 ] Freue, Gabriela V. Cohen (2007). 「コーシー位置パラメータのピットマン推定量」. Journal of Statistical Planning and Inference . 137 (6): 1900– 1913. doi :10.1016/j.jspi.2006.05.002. Pitman, EJG (1939). 「任意の形態の連続個体群の位置パラメータとスケールパラメータの推定」 Biometrika . 30 (3/4): 391– 421. doi :10.1093/biomet/30.3-4.391. JSTOR 2332656. Pitman, EJG (1939). 「位置と尺度パラメータに関する仮説検定」. Biometrika . 31 (1/2): 200– 215. doi :10.1093/biomet/31.1-2.200. JSTOR 2334983. 
![{\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b495568af542d2686645d5ba31ad4ef91965236c)
![{\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/17e87f6bab35145857c15f7ced48cbd75080b88c)
![{\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/77eb70e04e2d5232090b9e338048cb9aa2ba6d54)
![{\displaystyle \delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/677d275261322481127e48a0cdc217d918783277)
![{\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d12bf974f521d40fcc598f1141dae7141134c736)
