Statistical amount
加重 算術平均 は通常の 算術平均 (最も一般的な 平均 の種類)に似ていますが、各データポイントが最終平均に均等に寄与するのではなく、一部のデータポイントが他のデータポイントよりも大きく寄与する点が異なります。加重平均の概念は 記述統計において重要な役割を果たしており、 数学 の他のいくつかの分野でもより一般的な形で用いられています 。
すべての重みが等しい場合、加重平均は 算術平均と同じになります。加重平均は一般的に算術平均と同様の挙動を示しますが、 シンプソンのパラドックス に見られるように、直感に反する特性がいくつかあります 。
例
基本的な例 2 つの学校 クラス ( 1 つは 生徒が 20 人、もう 1 つは 生徒が 30 人 )があり 、 各クラスのテストの成績は次のようになります。
午前のクラス = {62、67、71、74、76、77、78、79、79、80、80、81、81、82、83、84、86、89、93、98}
午後のクラス = {81、82、83、84、85、86、87、87、88、88、89、89、89、90、90、90、90、90、91、91、91、92、92、93、93、94、95、96、97、98、99} 午前クラスの平均点は80点、午後クラスの平均点は90点です。2つの平均値の加重平均は85点です。しかし、これは各クラスの生徒数の違い(20名と30名)を考慮していないため、85という値はクラスに関わらず生徒の平均成績を反映していません。生徒の平均成績は、クラスに関係なくすべての成績を平均化することで算出できます(すべての成績を合計し、生徒総数で割る)。 x ¯ = 4300 50 = 86. {\displaystyle {\bar {x}}={\frac {4300}{50}}=86.}
あるいは、各クラスの生徒数に応じてクラス平均に重み付けすることでも実現できます。人数が多いクラスにはより大きな「重み」が与えられます。
x ¯ = ( 20 × 80 ) + ( 30 × 90 ) 20 + 30 = 86. {\displaystyle {\bar {x}}={\frac {(20\times 80)+(30\times 90)}{20+30}}=86.} このように、加重平均を用いることで、各生徒の成績を知らなくても、生徒の平均成績を求めることができます。必要なのは、クラス平均と各クラスの生徒数だけです。
凸結合の例 相対的な 重みのみ が関係するため、任意の加重平均は合計が1になる係数を用いて表すことができます。このような線形結合は 凸結合 と呼ばれます。
前の例を使用すると、次の重みが得られます。
20 20 + 30 = 0.4 {\displaystyle {\frac {20}{20+30}}=0.4} 30 20 + 30 = 0.6 {\displaystyle {\frac {30}{20+30}}=0.6} 次に、次のように重みを適用します。
x ¯ = ( 0.4 × 80 ) + ( 0.6 × 90 ) = 86. {\displaystyle {\bar {x}}=(0.4\times 80)+(0.6\times 90)=86.}
数学的な定義 正式には、対応する非負の 重み を持つ、空でない有限のデータの 組 の加重平均 は、 ( x 1 , x 2 , … , x n ) {\displaystyle \left(x_{1},x_{2},\dots ,x_{n}\right)} ( w 1 , w 2 , … , w n ) {\displaystyle \left(w_{1},w_{2},\dots ,w_{n}\right)}
x ¯ = ∑ i = 1 n w i x i ∑ i = 1 n w i , {\displaystyle {\bar {x}}={\frac {\sum \limits _{i=1}^{n}w_{i}x_{i}}{\sum \limits _{i=1}^{n}w_{i}}},} これは次のように展開されます。
x ¯ = w 1 x 1 + w 2 x 2 + ⋯ + w n x n w 1 + w 2 + ⋯ + w n . {\displaystyle {\bar {x}}={\frac {w_{1}x_{1}+w_{2}x_{2}+\cdots +w_{n}x_{n}}{w_{1}+w_{2}+\cdots +w_{n}}}.} したがって、重みの高いデータ要素は、重みの低いデータ要素よりも加重平均に大きく寄与します。式が成立するためには、重みは負であってはなりません [a] 。一部はゼロになる場合もありますが、すべてがゼロになるわけではありません(ゼロ除算は許可されていないため)。
重みを正規化して合計が1になるようにすると、式は簡略化されます。つまり、 となります 。このように正規化された重みの場合、加重平均は次の式と等価です。 ∑ i = 1 n w i ′ = 1 {\textstyle \sum \limits _{i=1}^{n}{w_{i}'}=1}
x ¯ = ∑ i = 1 n w i ′ x i {\displaystyle {\bar {x}}=\sum \limits _{i=1}^{n}{w_{i}'x_{i}}} 。 元の重みに対して次の変換を行うことで、重みを常に正規化できます。
w i ′ = w i ∑ j = 1 n w j {\displaystyle w_{i}'={\frac {w_{i}}{\sum \limits _{j=1}^{n}{w_{j}}}}} 。 通常 平均は 、すべてのデータの重みが等しい加重平均の特殊なケースです。 1 n ∑ i = 1 n x i {\textstyle {\frac {1}{n}}\sum \limits _{i=1}^{n}{x_{i}}}
データ要素が独立しており、 分散 を持つ 同一に分布するランダム変数 である場合、 加重平均 の標準誤差 は 、 不確実性伝播 によって次のように示されます 。 σ 2 {\displaystyle \sigma ^{2}} σ x ¯ {\displaystyle \sigma _{\bar {x}}}
σ x ¯ = σ ∑ i = 1 n w i ′ 2 {\textstyle \sigma _{\bar {x}}=\sigma {\sqrt {\sum \limits _{i=1}^{n}w_{i}'^{2}}}}
分散定義の重み 各要素が既知の 分散 を持つ異なる 確率分布 から来ている可能性があり、すべて同じ平均を持つデータのリストの加重平均の場合 、重みの可能な選択肢の1つは分散の逆数です。 x i {\displaystyle x_{i}} σ i 2 {\displaystyle \sigma _{i}^{2}}
w i = 1 σ i 2 . {\displaystyle w_{i}={\frac {1}{\sigma _{i}^{2}}}.} この場合の加重平均は次のようになります。
x ¯ = ∑ i = 1 n ( x i σ i 2 ) ∑ i = 1 n 1 σ i 2 = ∑ i = 1 n ( x i ⋅ w i ) ∑ i = 1 n w i , {\displaystyle {\bar {x}}={\frac {\sum _{i=1}^{n}\left({\dfrac {x_{i}}{\sigma _{i}^{2}}}\right)}{\sum _{i=1}^{n}{\dfrac {1}{\sigma _{i}^{2}}}}}={\frac {\sum _{i=1}^{n}\left(x_{i}\cdot w_{i}\right)}{\sum _{i=1}^{n}w_{i}}},} 加重平均(逆分散重み付き)の標準誤差は 次 のようになります。
σ x ¯ = 1 ∑ i = 1 n σ i − 2 = 1 ∑ i = 1 n w i , {\displaystyle \sigma _{\bar {x}}={\sqrt {\frac {1}{\sum _{i=1}^{n}\sigma _{i}^{-2}}}}={\sqrt {\frac {1}{\sum _{i=1}^{n}w_{i}}}},} これは、 すべての のとき、 となることに注意してください 。これは、前のセクションの一般公式の特別な場合です。 σ x ¯ 2 = σ 0 2 / n {\displaystyle \sigma _{\bar {x}}^{2}=\sigma _{0}^{2}/n} σ i = σ 0 {\displaystyle \sigma _{i}=\sigma _{0}}
σ x ¯ 2 = ∑ i = 1 n w i ′ 2 σ i 2 = ∑ i = 1 n σ i − 4 σ i 2 ( ∑ i = 1 n σ i − 2 ) 2 . {\displaystyle \sigma _{\bar {x}}^{2}=\sum _{i=1}^{n}{w_{i}'^{2}\sigma _{i}^{2}}={\frac {\sum _{i=1}^{n}{\sigma _{i}^{-4}\sigma _{i}^{2}}}{\left(\sum _{i=1}^{n}\sigma _{i}^{-2}\right)^{2}}}.} 上記の式を組み合わせると次の式が得られます。
x ¯ = σ x ¯ 2 ∑ i = 1 n x i σ i 2 . {\displaystyle {\bar {x}}=\sigma _{\bar {x}}^{2}\sum _{i=1}^{n}{\frac {x_{i}}{\sigma _{i}^{2}}}.} この選択の重要性は、この加重平均が、確率分布が独立しており、 同じ平均で 正規分布している という仮定の下で、確率分布の平均の 最大尤度推定値であるということです。
統計的特性
期待 加重標本平均 は 、それ自体が確率変数です。その期待値と標準偏差は、観測値の期待値と標準偏差と以下のように関係しています。簡略化のため、正規化された重み(重みの合計が1になる)を仮定します。 x ¯ {\displaystyle {\bar {x}}}
観測値が期待値を持つ場合、 加重標本平均の期待値は 特に、平均が等しい場合 、加重標本平均の期待値はその値となる。 E ( x i ) = μ i , {\displaystyle E(x_{i})={\mu _{i}},} E ( x ¯ ) = ∑ i = 1 n w i ′ μ i . {\displaystyle E({\bar {x}})=\sum _{i=1}^{n}{w_{i}'\mu _{i}}.} μ i = μ {\displaystyle \mu _{i}=\mu } E ( x ¯ ) = μ . {\displaystyle E({\bar {x}})=\mu .}
分散
単純なiidケース 重みを定数として扱い、 相関のない ランダム変数からの n 個の観測値のサンプルがあり 、すべて同じ 分散 と 期待値を持つ場合( iid ランダム変数の場合と同様)、加重平均の分散は、加重されていない分散と キッシュの設計効果 の乗算として推定できます ( 証明を 参照)。
Var ( y ¯ w ) = σ ^ y 2 w 2 ¯ w ¯ 2 {\displaystyle \operatorname {Var} ({\bar {y}}_{w})={\hat {\sigma }}_{y}^{2}{\frac {\overline {w^{2}}}{{\bar {w}}^{2}}}} 、、 および σ ^ y 2 = ∑ i = 1 n ( y i − y ¯ ) 2 n − 1 {\displaystyle {\hat {\sigma }}_{y}^{2}={\frac {\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}{n-1}}} w ¯ = ∑ i = 1 n w i n {\displaystyle {\bar {w}}={\frac {\sum _{i=1}^{n}w_{i}}{n}}} w 2 ¯ = ∑ i = 1 n w i 2 n {\displaystyle {\overline {w^{2}}}={\frac {\sum _{i=1}^{n}w_{i}^{2}}{n}}}
しかし、この推定は、 y 観測値に関する強い仮定のために、かなり限定的です 。そのため、より一般的な代替推定値が開発されました。
調査サンプルの観点 モデルベースの 観点からは、異なる変数が IID 確率変数ではない 場合の加重平均の分散を推定することに関心があります。この問題に対する別の視点は、 不等確率(復元あり)で 単位が選択される、データの 任意 標本抽出設計 です。 [1] : 306 y i {\displaystyle y_{i}}
調査手法 において、関心のある数量 y の母平均は、 母集団内のすべての要素における y の合計( Y または場合によっては T )の推定値を、既知( )または推定値( )の母集団サイズで割ることによって計算されます。この文脈では、 y の各値は定数とみなされ、変動は選択手順に起因します。これは、ランダム性が y 値で記述されることが多い「モデルベース」のアプローチとは対照的です。 調査サンプリング手順では、 ベルヌーイ 指標値( ) の系列が生成されます。これらの値 は、ある観測値 i がサンプルに含まれている場合は 1、選択されていない場合は 0 となります。これは、固定サンプルサイズ、またはサンプルサイズが変動するサンプリング(例: ポアソンサンプリング )で発生します。あるサンプルが与えられた場合、ある要素が選択される確率は と表され 、一回抽出で選択される確率は です (N が非常に大きく、各要素 が非常に小さい場合)。以下の導出では、各要素が選択される確率はこれらの確率によって完全に表されると仮定します。 [2] : 42, 43, 51 すなわち、ある要素を選択しても、別の要素が抽出される確率には影響しません(これは クラスターサンプリング 設計などには適用されません)。 N {\displaystyle N} N ^ {\displaystyle {\hat {N}}} I i {\displaystyle I_{i}} P ( I i = 1 ∣ Some sample of size n ) = π i {\displaystyle P(I_{i}=1\mid {\text{Some sample of size }}n)=\pi _{i}} P ( I i = 1 | one sample draw ) = p i ≈ π i n {\displaystyle P(I_{i}=1|{\text{one sample draw}})=p_{i}\approx {\frac {\pi _{i}}{n}}} p i {\displaystyle p_{i}}
各要素( )は固定されており、ランダム性は標本に含まれるかどうか( )によって生じるため、これら2つの要素の積、つまりランダム変数についてよく言及されます。以降のセクションでの混乱を避けるため、この項を と呼びましょう 。期待値は 、 分散は です 。 y i {\displaystyle y_{i}} I i {\displaystyle I_{i}} y i ′ = y i I i {\displaystyle y'_{i}=y_{i}I_{i}} E [ y i ′ ] = y i E [ I i ] = y i π i {\displaystyle E[y'_{i}]=y_{i}E[I_{i}]=y_{i}\pi _{i}} V [ y i ′ ] = y i 2 V [ I i ] = y i 2 π i ( 1 − π i ) {\displaystyle V[y'_{i}]=y_{i}^{2}V[I_{i}]=y_{i}^{2}\pi _{i}(1-\pi _{i})}
標本の各要素がその選択確率の逆数で膨張した場合、それは -展開 y 値と呼ばれます。すなわち: 。関連する量は -展開 y 値です: 。 [2] : 42, 43, 51, 52 上と同様に、指標関数を乗じる場合はチェックマークを付けることができます。すなわち: π {\displaystyle \pi } y ˇ i = y i π i {\displaystyle {\check {y}}_{i}={\frac {y_{i}}{\pi _{i}}}} p {\displaystyle p} y i p i = n y ˇ i {\displaystyle {\frac {y_{i}}{p_{i}}}=n{\check {y}}_{i}} y ˇ i ′ = I i y ˇ i = I i y i π i {\displaystyle {\check {y}}'_{i}=I_{i}{\check {y}}_{i}={\frac {I_{i}y_{i}}{\pi _{i}}}}
この 設計に基づく 観点では、加重平均の分子に使用される重みは、選択確率(つまりインフレ係数)の逆数を取ることで得られます。つまり 、 w i = 1 π i ≈ 1 n × p i {\displaystyle w_{i}={\frac {1}{\pi _{i}}}\approx {\frac {1}{n\times p_{i}}}}
加重和の分散( パワー -合計の推定値) 母集団のサイズ N がわかっている場合は、 を使用して母集団の平均を推定できます 。 Y ¯ ^ known N = Y ^ p w r N ≈ ∑ i = 1 n w i y i ′ N {\displaystyle {\hat {\bar {Y}}}_{{\text{known }}N}={\frac {{\hat {Y}}_{pwr}}{N}}\approx {\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{N}}}
サンプリング設計 によって固定サンプルサイズ n が得られる場合( pps サンプリング など )、この推定値の分散は次のようになります。
Var ( Y ¯ ^ known N ) = 1 N 2 n n − 1 ∑ i = 1 n ( w i y i − w y ¯ ) 2 {\displaystyle \operatorname {Var} \left({\hat {\bar {Y}}}_{{\text{known }}N}\right)={\frac {1}{N^{2}}}{\frac {n}{n-1}}\sum _{i=1}^{n}\left(w_{i}y_{i}-{\overline {wy}}\right)^{2}} 証拠 一般的な式は次のように展開できます。
Y ¯ ^ known N = Y ^ p w r N = 1 n ∑ i = 1 n y i ′ p i N ≈ ∑ i = 1 n y i ′ π i N = ∑ i = 1 n w i y i ′ N . {\displaystyle {\hat {\bar {Y}}}_{{\text{known }}N}={\frac {{\hat {Y}}_{pwr}}{N}}={\frac {{\frac {1}{n}}\sum _{i=1}^{n}{\frac {y'_{i}}{p_{i}}}}{N}}\approx {\frac {\sum _{i=1}^{n}{\frac {y'_{i}}{\pi _{i}}}}{N}}={\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{N}}.} 母集団合計は と表記され 、これは(不偏) Horvitz–Thompson推定量 (-推定量とも呼ばれる)によって推定できる。この推定量自体は、 pwr 推定量(すなわち、 -展開復元推定量、または「復元確率」推定量) を用いて推定することができる。上記の表記を用いると、 となる 。 [2] : 51 Y = ∑ i = 1 N y i {\displaystyle Y=\sum _{i=1}^{N}y_{i}} π {\displaystyle \pi } p {\displaystyle p} Y ^ p w r = 1 n ∑ i = 1 n y i ′ p i = ∑ i = 1 n y i ′ n p i ≈ ∑ i = 1 n y i ′ π i = ∑ i = 1 n w i y i ′ {\displaystyle {\hat {Y}}_{pwr}={\frac {1}{n}}\sum _{i=1}^{n}{\frac {y'_{i}}{p_{i}}}=\sum _{i=1}^{n}{\frac {y'_{i}}{np_{i}}}\approx \sum _{i=1}^{n}{\frac {y'_{i}}{\pi _{i}}}=\sum _{i=1}^{n}w_{i}y'_{i}}
pwr 推定値の推定分散は 次のように与えられる: [2] : 52 ここで 。 Var ( Y ^ p w r ) = n n − 1 ∑ i = 1 n ( w i y i − w y ¯ ) 2 {\displaystyle \operatorname {Var} ({\hat {Y}}_{pwr})={\frac {n}{n-1}}\sum _{i=1}^{n}\left(w_{i}y_{i}-{\overline {wy}}\right)^{2}} w y ¯ = ∑ i = 1 n w i y i n {\displaystyle {\overline {wy}}=\sum _{i=1}^{n}{\frac {w_{i}y_{i}}{n}}}
上記の式はSarndal et al. (1992) (Cochran 1977にも掲載) から引用したものですが、書き方が異なります。 [2] : 52 [1] : 307 (11.35) 左側は分散の書き方、右側は重み付けバージョンを作成した方法です。
Var ( Y ^ pwr ) = 1 n 1 n − 1 ∑ i = 1 n ( y i p i − Y ^ p w r ) 2 = 1 n 1 n − 1 ∑ i = 1 n ( n n y i p i − n n ∑ i = 1 n w i y i ) 2 = 1 n 1 n − 1 ∑ i = 1 n ( n y i π i − n ∑ i = 1 n w i y i n ) 2 = n 2 n 1 n − 1 ∑ i = 1 n ( w i y i − w y ¯ ) 2 = n n − 1 ∑ i = 1 n ( w i y i − w y ¯ ) 2 {\displaystyle {\begin{aligned}\operatorname {Var} ({\hat {Y}}_{\text{pwr}})&={\frac {1}{n}}{\frac {1}{n-1}}\sum _{i=1}^{n}\left({\frac {y_{i}}{p_{i}}}-{\hat {Y}}_{pwr}\right)^{2}\\&={\frac {1}{n}}{\frac {1}{n-1}}\sum _{i=1}^{n}\left({\frac {n}{n}}{\frac {y_{i}}{p_{i}}}-{\frac {n}{n}}\sum _{i=1}^{n}w_{i}y_{i}\right)^{2}={\frac {1}{n}}{\frac {1}{n-1}}\sum _{i=1}^{n}\left(n{\frac {y_{i}}{\pi _{i}}}-n{\frac {\sum _{i=1}^{n}w_{i}y_{i}}{n}}\right)^{2}\\&={\frac {n^{2}}{n}}{\frac {1}{n-1}}\sum _{i=1}^{n}\left(w_{i}y_{i}-{\overline {wy}}\right)^{2}\\&={\frac {n}{n-1}}\sum _{i=1}^{n}\left(w_{i}y_{i}-{\overline {wy}}\right)^{2}\end{aligned}}}
そして、上記の式にたどり着きました。
ランダムサンプルサイズ(ポアソンサンプリング など)のサンプリングの場合の代替用語は 、Sarndal et al.(1992)で次のように提示されています。 [2] :182
Var ( Y ¯ ^ pwr (known N ) ) = 1 N 2 ∑ i = 1 n ∑ j = 1 n ( Δ ˇ i j y ˇ i y ˇ j ) {\displaystyle \operatorname {Var} ({\hat {\bar {Y}}}_{{\text{pwr (known }}N{\text{)}}})={\frac {1}{N^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\left({\check {\Delta }}_{ij}{\check {y}}_{i}{\check {y}}_{j}\right)}
となる 。また、 iとjの両方を選択する確率は となる。 [2] : 36 また 、i=jの場合、 となる 。 [2] : 43 y ˇ i = y i π i {\displaystyle {\check {y}}_{i}={\frac {y_{i}}{\pi _{i}}}} C ( I i , I j ) = π i j − π i π j = Δ i j {\displaystyle C(I_{i},I_{j})=\pi _{ij}-\pi _{i}\pi _{j}=\Delta _{ij}} π i j {\displaystyle \pi _{ij}} Δ ˇ i j = 1 − π i π j π i j {\displaystyle {\check {\Delta }}_{ij}=1-{\frac {\pi _{i}\pi _{j}}{\pi _{ij}}}} Δ ˇ i i = 1 − π i π i π i = 1 − π i {\displaystyle {\check {\Delta }}_{ii}=1-{\frac {\pi _{i}\pi _{i}}{\pi _{i}}}=1-\pi _{i}}
選択確率が無相関(すなわち、 )であり、各要素の確率が非常に小さいと仮定すると、次のようになります。 ∀ i ≠ j : C ( I i , I j ) = 0 {\displaystyle \forall i\neq j:C(I_{i},I_{j})=0}
Var ( Y ¯ ^ pwr (known N ) ) = 1 N 2 ∑ i = 1 n ( w i y i ) 2 {\displaystyle \operatorname {Var} ({\hat {\bar {Y}}}_{{\text{pwr (known }}N{\text{)}}})={\frac {1}{N^{2}}}\sum _{i=1}^{n}\left(w_{i}y_{i}\right)^{2}} 証拠 我々はそれを仮定し 、 ( 1 − π i ) ≈ 1 {\displaystyle (1-\pi _{i})\approx 1} Var ( Y ^ pwr (known N ) ) = 1 N 2 ∑ i = 1 n ∑ j = 1 n ( Δ ˇ i j y ˇ i y ˇ j ) = 1 N 2 ∑ i = 1 n ( Δ ˇ i i y ˇ i y ˇ i ) = 1 N 2 ∑ i = 1 n ( ( 1 − π i ) y i π i y i π i ) = 1 N 2 ∑ i = 1 n ( w i y i ) 2 {\displaystyle {\begin{aligned}\operatorname {Var} ({\hat {Y}}_{{\text{pwr (known }}N{\text{)}}})&={\frac {1}{N^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\left({\check {\Delta }}_{ij}{\check {y}}_{i}{\check {y}}_{j}\right)\\&={\frac {1}{N^{2}}}\sum _{i=1}^{n}\left({\check {\Delta }}_{ii}{\check {y}}_{i}{\check {y}}_{i}\right)\\&={\frac {1}{N^{2}}}\sum _{i=1}^{n}\left((1-\pi _{i}){\frac {y_{i}}{\pi _{i}}}{\frac {y_{i}}{\pi _{i}}}\right)\\&={\frac {1}{N^{2}}}\sum _{i=1}^{n}\left(w_{i}y_{i}\right)^{2}\end{aligned}}}
加重平均の分散( π -比率平均の推定値) 前の節では、母集団の推定総数 ( ) と既知の母集団サイズ ( ) の比として母集団平均を推定し 、その状況で分散を推定する方法について説明しました。もう 1 つのよくあるケースは、母集団サイズ自体 ( ) が 未知であり、標本 (つまり ) を使用して推定される場合です。 の推定値は、 重みの合計として記述できます。したがって を得た場合、 となります 。上記の表記法では、関心のあるパラメータは s と 1 の合計の比です。つまり です 。これは、標本を使用して次のように推定できます 。N から n の使用に移行したため、実際にはすべての指標変数が 1 になることがわかっているため、単に と記述できます。これは、y と w の特定の値に対する 推定値 となります が、統計的な特性は指標変数 を含めたときに得られます 。 [2] : 162, 163, 176 Y ^ {\displaystyle {\hat {Y}}} N {\displaystyle N} N {\displaystyle N} N ^ {\displaystyle {\hat {N}}} N {\displaystyle N} w i = 1 π i {\displaystyle w_{i}={\frac {1}{\pi _{i}}}} N ^ = ∑ i = 1 n w i I i = ∑ i = 1 n I i π i = ∑ i = 1 n 1 ˇ i ′ {\displaystyle {\hat {N}}=\sum _{i=1}^{n}w_{i}I_{i}=\sum _{i=1}^{n}{\frac {I_{i}}{\pi _{i}}}=\sum _{i=1}^{n}{\check {1}}'_{i}} y i {\displaystyle y_{i}} R = Y ¯ = ∑ i = 1 N y i π i ∑ i = 1 N 1 π i = ∑ i = 1 N y ˇ i ∑ i = 1 N 1 ˇ i = ∑ i = 1 N w i y i ∑ i = 1 N w i {\displaystyle R={\bar {Y}}={\frac {\sum _{i=1}^{N}{\frac {y_{i}}{\pi _{i}}}}{\sum _{i=1}^{N}{\frac {1}{\pi _{i}}}}}={\frac {\sum _{i=1}^{N}{\check {y}}_{i}}{\sum _{i=1}^{N}{\check {1}}_{i}}}={\frac {\sum _{i=1}^{N}w_{i}y_{i}}{\sum _{i=1}^{N}w_{i}}}} R ^ = Y ¯ ^ = ∑ i = 1 N I i y i π i ∑ i = 1 N I i 1 π i = ∑ i = 1 N y ˇ i ′ ∑ i = 1 N 1 ˇ i ′ = ∑ i = 1 N w i y i ′ ∑ i = 1 N w i 1 i ′ = ∑ i = 1 n w i y i ′ ∑ i = 1 n w i 1 i ′ = y ¯ w {\displaystyle {\hat {R}}={\hat {\bar {Y}}}={\frac {\sum _{i=1}^{N}I_{i}{\frac {y_{i}}{\pi _{i}}}}{\sum _{i=1}^{N}I_{i}{\frac {1}{\pi _{i}}}}}={\frac {\sum _{i=1}^{N}{\check {y}}'_{i}}{\sum _{i=1}^{N}{\check {1}}'_{i}}}={\frac {\sum _{i=1}^{N}w_{i}y'_{i}}{\sum _{i=1}^{N}w_{i}1'_{i}}}={\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{\sum _{i=1}^{n}w_{i}1'_{i}}}={\bar {y}}_{w}} y ¯ w = ∑ i = 1 n w i y i ∑ i = 1 n w i {\displaystyle {\bar {y}}_{w}={\frac {\sum _{i=1}^{n}w_{i}y_{i}}{\sum _{i=1}^{n}w_{i}}}} y ¯ w = ∑ i = 1 n w i y i ′ ∑ i = 1 n w i 1 i ′ {\displaystyle {\bar {y}}_{w}={\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{\sum _{i=1}^{n}w_{i}1'_{i}}}}
これは 比推定量と呼ばれ、 R に対してほぼ不偏である 。 [2] : 182
この場合、 比率 の変動性は分子と分母の両方のランダム変数の変動性とそれらの相関に依存します。この分散を計算するための閉じた解析形式は存在しないため、近似推定には様々な手法が用いられます。主に テイラー級数 一次線形化、漸近解析、ブートストラップ/ジャックナイフ法などが用いられます。 [2] : 172 テイラー線形化法は、一般に小さなサンプルサイズでは分散を過小評価する可能性がありますが、これは統計量の複雑さに依存します。加重平均の場合、近似分散は中程度のサンプルサイズでも比較的正確であると考えられます。 [2] : 176 サンプリングがランダムなサンプルサイズの場合( ポアソンサンプリング など)、以下のようになります。 [2] : 182
V ( y ¯ w ) ^ = 1 ( ∑ i = 1 n w i ) 2 ∑ i = 1 n w i 2 ( y i − y ¯ w ) 2 {\displaystyle {\widehat {V({\bar {y}}_{w})}}={\frac {1}{(\sum _{i=1}^{n}w_{i})^{2}}}\sum _{i=1}^{n}w_{i}^{2}(y_{i}-{\bar {y}}_{w})^{2}} 。 の場合 、 と のどちらを用いて も 同じ推定値が得られます。 これは、何らかの係数を乗じることで同じ推定値が得られるためです。また、重みの合計を、事前に既知の母集団サイズ N と等しくなるようにスケールすると、分散の計算結果も同じになります。すべての重みが互いに等しい場合、この式は標準的な不偏分散推定値に簡約されます。 π i ≈ p i n {\displaystyle \pi _{i}\approx p_{i}n} w i = 1 π i {\displaystyle w_{i}={\frac {1}{\pi _{i}}}} w i = 1 p i {\displaystyle w_{i}={\frac {1}{p_{i}}}} w i {\displaystyle w_{i}}
証拠 テイラー線形化によれば、2つの和( )の一般的な比推定値は真の値Rの周りに展開でき、次の式が得られる: [2] :178 R ^ = Y ^ Z ^ {\displaystyle {\hat {R}}={\frac {\hat {Y}}{\hat {Z}}}}
R ^ = Y ^ Z ^ = ∑ i = 1 n w i y i ′ ∑ i = 1 n w i z i ′ ≈ R + 1 Z ∑ i = 1 n ( y i ′ π i − R z i ′ π i ) {\displaystyle {\hat {R}}={\frac {\hat {Y}}{\hat {Z}}}={\frac {\sum _{i=1}^{n}w_{i}y'_{i}}{\sum _{i=1}^{n}w_{i}z'_{i}}}\approx R+{\frac {1}{Z}}\sum _{i=1}^{n}\left({\frac {y'_{i}}{\pi _{i}}}-R{\frac {z'_{i}}{\pi _{i}}}\right)}
そして、分散は次のように近似できる: [2] : 178, 179
V ( R ^ ) ^ = 1 Z ^ 2 ∑ i = 1 n ∑ j = 1 n ( Δ ˇ i j y i − R ^ z i π i y j − R ^ z j π j ) = 1 Z ^ 2 [ V ( Y ^ ) ^ + R ^ V ( Z ^ ) ^ − 2 R ^ C ^ ( Y ^ , Z ^ ) ] {\displaystyle {\widehat {V({\hat {R}})}}={\frac {1}{{\hat {Z}}^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\left({\check {\Delta }}_{ij}{\frac {y_{i}-{\hat {R}}z_{i}}{\pi _{i}}}{\frac {y_{j}-{\hat {R}}z_{j}}{\pi _{j}}}\right)={\frac {1}{{\hat {Z}}^{2}}}\left[{\widehat {V({\hat {Y}})}}+{\hat {R}}{\widehat {V({\hat {Z}})}}-2{\hat {R}}{\hat {C}}({\hat {Y}},{\hat {Z}})\right]} 。
項は 、Yの推定和とZの推定和の間の推定共分散です。これは 2つの確率変数の和の共分散 であるため、指標変数に依存する多くの共分散の組み合わせが含まれます。選択確率が無相関の場合(つまり、 )、この項には、 と の間の 各要素 iについて n 個の共分散の和が含まれます 。これは、この式がyとzの相関が比推定値の分散に与える影響を考慮していることを示しています。 C ^ ( Y ^ , Z ^ ) {\displaystyle {\hat {C}}({\hat {Y}},{\hat {Z}})} ∀ i ≠ j : Δ i j = C ( I i , I j ) = 0 {\displaystyle \forall i\neq j:\Delta _{ij}=C(I_{i},I_{j})=0} y i ′ = I i y i {\displaystyle y'_{i}=I_{i}y_{i}} z i ′ = I i z i {\displaystyle z'_{i}=I_{i}z_{i}}
上記 を定義すると次のようになる: [2] : 182 z i = 1 {\displaystyle z_{i}=1}
V ( R ^ ) ^ = V ( y ¯ w ) ^ = 1 N ^ 2 ∑ i = 1 n ∑ j = 1 n ( Δ ˇ i j y i − y ¯ w π i y j − y ¯ w π j ) . {\displaystyle {\widehat {V({\hat {R}})}}={\widehat {V({\bar {y}}_{w})}}={\frac {1}{{\hat {N}}^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\left({\check {\Delta }}_{ij}{\frac {y_{i}-{\bar {y}}_{w}}{\pi _{i}}}{\frac {y_{j}-{\bar {y}}_{w}}{\pi _{j}}}\right).}
選択確率が無相関の場合(すなわち、 )、そして各要素の確率が非常に小さいと仮定すると(すなわち、 )、上記は次のように簡略化されます。 ∀ i ≠ j : Δ i j = C ( I i , I j ) = 0 {\displaystyle \forall i\neq j:\Delta _{ij}=C(I_{i},I_{j})=0} ( 1 − π i ) ≈ 1 {\displaystyle (1-\pi _{i})\approx 1} V ( y ¯ w ) ^ = 1 N ^ 2 ∑ i = 1 n ( ( 1 − π i ) y i − y ¯ w π i ) 2 = 1 ( ∑ i = 1 n w i ) 2 ∑ i = 1 n w i 2 ( y i − y ¯ w ) 2 . {\displaystyle {\widehat {V({\bar {y}}_{w})}}={\frac {1}{{\hat {N}}^{2}}}\sum _{i=1}^{n}\left((1-\pi _{i}){\frac {y_{i}-{\bar {y}}_{w}}{\pi _{i}}}\right)^{2}={\frac {1}{(\sum _{i=1}^{n}w_{i})^{2}}}\sum _{i=1}^{n}w_{i}^{2}(y_{i}-{\bar {y}}_{w})^{2}.}
同様の証明の再現(最後のいくつかの間違いを除く)は、Thomas Lumleyによってcrossvalidatedで提供されました。 [3]
加重平均の分散には、(少なくとも)2つのバージョンがあります。1つは既知の母集団サイズの推定値を使用したバージョン、もう1つは未知の母集団サイズの推定値を使用したバージョンです。一様に優れたアプローチはありませんが、文献では、母集団サイズが既知の場合でも、母集団推定バージョンを使用する方が良いという議論がいくつかあります。 [2] : 188 たとえば、すべてのy値が定数である場合、母集団サイズが未知の推定値は正しい結果をもたらしますが、母集団サイズが既知の推定値にはいくらかの変動があります。また、サンプルサイズ自体がランダムである場合( ポアソンサンプリング など)、母集団平均が未知のバージョンの方が安定していると見なされます。最後に、サンプリングの割合が値と負の相関がある場合(つまり、大きな観測値をサンプリングする機会が少ない場合)、母集団サイズが未知のバージョンはそれをわずかに補正します。
すべての重みが 1 に等しい単純なケースでは、上記の式は平均の分散の通常の式とまったく同じです (ただし、不偏分散ではなく、分散の最大尤度推定値を使用することに注意してください。つまり、(n-1) ではなく n で割ります)。
ブートストラップ検証 Gatzら(1995)は、ブート ストラッピング法と比較して、 テイラー級数 線形化を用いた比平均の分散推定が、 平均の標準誤差の2乗の妥当な推定値であることを示した(化学成分の測定の文脈で使用される場合)。 [4] : 1186
σ x ¯ w 2 ^ = n ( n − 1 ) ( n w ¯ ) 2 [ ∑ ( w i x i − w ¯ x ¯ w ) 2 − 2 x ¯ w ∑ ( w i − w ¯ ) ( w i x i − w ¯ x ¯ w ) + x ¯ w 2 ∑ ( w i − w ¯ ) 2 ] {\displaystyle {\widehat {\sigma _{{\bar {x}}_{w}}^{2}}}={\frac {n}{(n-1)(n{\bar {w}})^{2}}}\left[\sum (w_{i}x_{i}-{\bar {w}}{\bar {x}}_{w})^{2}-2{\bar {x}}_{w}\sum (w_{i}-{\bar {w}})(w_{i}x_{i}-{\bar {w}}{\bar {x}}_{w})+{\bar {x}}_{w}^{2}\sum (w_{i}-{\bar {w}})^{2}\right]} ここで 、さらに単純化すると、 w ¯ = ∑ w i n {\displaystyle {\bar {w}}={\frac {\sum w_{i}}{n}}}
σ x ¯ 2 ^ = n ( n − 1 ) ( n w ¯ ) 2 ∑ w i 2 ( x i − x ¯ w ) 2 {\displaystyle {\widehat {\sigma _{\bar {x}}^{2}}}={\frac {n}{(n-1)(n{\bar {w}})^{2}}}\sum w_{i}^{2}(x_{i}-{\bar {x}}_{w})^{2}} Gatzらは、上記の定式化はEndlichら(1988)によって発表されたもので、重み付き平均を重み付き総推定値と母集団サイズの推定値で割ったものとして扱う際に用いられたと述べている [5]。 これはCochran(1977)が発表した定式化に基づいており、比平均の近似値として用いられた。しかし、Endlichらはこの導出を論文では公表していないようである(使用したことは言及しているものの)。また、Cochranの著書では若干異なる定式化が用いられている [1] 。155 と はいえ、これは前節で説明した定式化とほぼ同じである。
複製ベースの推定値 加重平均の分散に対する閉じた解析形式が存在しないため、文献では ジャックナイフ法 や ブートストラッピング 法などの複製法に頼ることが提案されている。 [1] : 321
その他の注意事項 分散のある無相関の観測値の場合 、加重標本平均の分散は [ 引用が必要 ]である。 σ i 2 {\displaystyle \sigma _{i}^{2}}
σ x ¯ 2 = ∑ i = 1 n w i ′ 2 σ i 2 {\displaystyle \sigma _{\bar {x}}^{2}=\sum _{i=1}^{n}{w_{i}'^{2}\sigma _{i}^{2}}} その平方根は 加重平均の標準誤差 と呼ぶことができる(一般的な場合) 。 [ 要出典 ] σ x ¯ {\displaystyle \sigma _{\bar {x}}}
その結果、すべての観測値が等しい分散を持つ場合 、加重標本平均は分散を持つことになる。 σ i 2 = σ 0 2 {\displaystyle \sigma _{i}^{2}=\sigma _{0}^{2}}
σ x ¯ 2 = σ 0 2 ∑ i = 1 n w i ′ 2 , {\displaystyle \sigma _{\bar {x}}^{2}=\sigma _{0}^{2}\sum _{i=1}^{n}{w_{i}'^{2}},} ここで です 。分散は、 1つを除くすべての重みがゼロのときに最大値 に達します。分散の最小値は、すべての重みが等しい場合(つまり、重み付けされていない平均の場合)に得られます。この場合 、分散は 、 つまり平均の標準誤差の 2乗に縮退します。 1 / n ≤ ∑ i = 1 n w i ′ 2 ≤ 1 {\textstyle 1/n\leq \sum _{i=1}^{n}{w_{i}'^{2}}\leq 1} σ 0 2 {\displaystyle \sigma _{0}^{2}} σ x ¯ = σ 0 / n {\textstyle \sigma _{\bar {x}}=\sigma _{0}/{\sqrt {n}}}
正規化されていない重みはいつでも正規化された重みに変換できるため、このセクションのすべての式は、 をすべて置き換えることで正規化されていない重みに適応できます 。 w i ′ = w i ∑ i = 1 n w i {\displaystyle w_{i}'={\frac {w_{i}}{\sum _{i=1}^{n}{w_{i}}}}}
加重標本分散 通常、平均値を計算する際には、その平均値の 分散 と 標準偏差 を知ることが重要です。加重平均 を使用する場合、加重標本の分散は加重されていない標本の分散とは異なります。 μ ∗ {\displaystyle \mu ^{*}}
バイアス 付き 加重 サンプル分散は 、正規 バイアス付き サンプル分散と同様に定義されます 。 σ ^ w 2 {\displaystyle {\hat {\sigma }}_{\mathrm {w} }^{2}} σ ^ 2 {\displaystyle {\hat {\sigma }}^{2}}
σ ^ 2 = ∑ i = 1 N ( x i − μ ) 2 N σ ^ w 2 = ∑ i = 1 N w i ( x i − μ ∗ ) 2 ∑ i = 1 N w i {\displaystyle {\begin{aligned}{\hat {\sigma }}^{2}\ &={\frac {\sum \limits _{i=1}^{N}\left(x_{i}-\mu \right)^{2}}{N}}\\{\hat {\sigma }}_{\mathrm {w} }^{2}&={\frac {\sum \limits _{i=1}^{N}w_{i}\left(x_{i}-\mu ^{*}\right)^{2}}{\sum _{i=1}^{N}w_{i}}}\end{aligned}}} ここで 、正規化された重みについて。重みが 頻度重み (つまりランダム変数)である場合、 iid ガウス分布の観測値 に対する の最大尤度推定値である ことが示されます ([ 要出典 ]) 。 ∑ i = 1 N w i = 1 {\displaystyle \sum _{i=1}^{N}w_{i}=1} σ ^ w 2 {\displaystyle {\hat {\sigma }}_{\mathrm {w} }^{2}} σ 2 {\displaystyle \sigma ^{2}}
小規模な標本の場合、母分散の 不偏推定値 を用いるのが一般的です。正規分布の重み付けされていない標本では、 分母の N (標本サイズに対応)は N − 1に変更されます( ベッセル補正を参照)。重み付けされた設定では、実際には2つの異なる不偏推定値があり、1つは 頻度重み の場合、もう1つは 信頼性重み の場合です 。
頻度重み 重みが 頻度重み (重みは発生回数に等しい)である場合、不偏推定値は次のようになります。
s 2 = ∑ i = 1 N w i ( x i − μ ∗ ) 2 ∑ i = 1 N w i − 1 {\displaystyle s^{2}\ ={\frac {\sum \limits _{i=1}^{N}w_{i}\left(x_{i}-\mu ^{*}\right)^{2}}{\sum _{i=1}^{N}w_{i}-1}}} これは、頻度重み付けに対するベッセル補正を効果的に適用します。例えば、 同じ分布から値が抽出された場合、このセットを重み付けされていない標本として扱うことも、 対応する重みを持つ重み付けされた標本として扱うこともできます 。どちらの方法でも同じ結果が得られます。 { 2 , 2 , 4 , 5 , 5 , 5 } {\displaystyle \{2,2,4,5,5,5\}} { 2 , 4 , 5 } {\displaystyle \{2,4,5\}} { 2 , 1 , 3 } {\displaystyle \{2,1,3\}}
頻度重み が1に正規化されている場合、ベッセル補正後の正しい式は次のようになります。 { w i } {\displaystyle \{w_{i}\}}
s 2 = ∑ i = 1 N w i ∑ i = 1 N w i − 1 ∑ i = 1 N w i ( x i − μ ∗ ) 2 {\displaystyle s^{2}\ ={\frac {\sum _{i=1}^{N}w_{i}}{\sum _{i=1}^{N}w_{i}-1}}\sum _{i=1}^{N}w_{i}\left(x_{i}-\mu ^{*}\right)^{2}} ここで、サンプルの総数は (ではない )である。いずれにせよ、サンプルの総数に関する情報は、 頻度重みとは異なる意味を持つ場合でも、偏りのない補正を得るために必要となる。 ∑ i = 1 N w i {\displaystyle \sum _{i=1}^{N}w_{i}} N {\displaystyle N} w i {\displaystyle w_{i}}
推定値は、重みが 標準化 も 正規化 もされていない場合にのみ偏りがなく、これらのプロセスによりデータの平均と分散が変わり、 ベースレート (ベッセル補正の要件である母集団カウント)が失われます。
信頼性の重み 重みが 信頼性重み (標本の相対的な信頼性を反映する非ランダムな値で、多くの場合標本分散から導出される)である場合、補正係数を決定することで不偏推定値を得ることができます。各ランダム変数が平均 と実際の分散を持つ同じ分布からサンプリングされたと仮定し 、期待値を用いると、 μ {\displaystyle \mu } σ actual 2 {\displaystyle \sigma _{\text{actual}}^{2}}
E [ σ ^ 2 ] = ∑ i = 1 N E [ ( x i − μ ) 2 ] N = E [ ( X − E [ X ] ) 2 ] − 1 N E [ ( X − E [ X ] ) 2 ] = ( N − 1 N ) σ actual 2 E [ σ ^ w 2 ] = ∑ i = 1 N w i E [ ( x i − μ ∗ ) 2 ] V 1 = E [ ( X − E [ X ] ) 2 ] − V 2 V 1 2 E [ ( X − E [ X ] ) 2 ] = ( 1 − V 2 V 1 2 ) σ actual 2 {\displaystyle {\begin{aligned}\operatorname {E} [{\hat {\sigma }}^{2}]&={\frac {\sum \limits _{i=1}^{N}\operatorname {E} [(x_{i}-\mu )^{2}]}{N}}\\&=\operatorname {E} [(X-\operatorname {E} [X])^{2}]-{\frac {1}{N}}\operatorname {E} [(X-\operatorname {E} [X])^{2}]\\&=\left({\frac {N-1}{N}}\right)\sigma _{\text{actual}}^{2}\\\operatorname {E} [{\hat {\sigma }}_{\mathrm {w} }^{2}]&={\frac {\sum \limits _{i=1}^{N}w_{i}\operatorname {E} [(x_{i}-\mu ^{*})^{2}]}{V_{1}}}\\&=\operatorname {E} [(X-\operatorname {E} [X])^{2}]-{\frac {V_{2}}{V_{1}^{2}}}\operatorname {E} [(X-\operatorname {E} [X])^{2}]\\&=\left(1-{\frac {V_{2}}{V_{1}^{2}}}\right)\sigma _{\text{actual}}^{2}\end{aligned}}} ここで 、およびである 。したがって、推定値のバイアスは であり 、 重み付けなしの推定値のバイアスと類似している(また、は 実効標本サイズ であることにも注意 )。つまり、推定値をバイアスなしにするには、 を で事前に割る必要がある。これにより 、推定分散の期待値が標本分布の実際の分散と等しくなる。最終的な標本分散の不偏推定値は以下の通りである。 V 1 = ∑ i = 1 N w i {\displaystyle V_{1}=\sum _{i=1}^{N}w_{i}} V 2 = ∑ i = 1 N w i 2 {\displaystyle V_{2}=\sum _{i=1}^{N}w_{i}^{2}} ( 1 − V 2 V 1 2 ) {\displaystyle \left(1-{\frac {V_{2}}{V_{1}^{2}}}\right)} ( N − 1 N ) {\displaystyle \left({\frac {N-1}{N}}\right)} V 1 2 / V 2 = N e f f {\displaystyle \ V_{1}^{2}/V_{2}=N_{eff}} 1 − ( V 2 / V 1 2 ) {\displaystyle 1-\left(V_{2}/V_{1}^{2}\right)}
s w 2 = σ ^ w 2 1 − ( V 2 / V 1 2 ) = ∑ i = 1 N w i ( x i − μ ∗ ) 2 V 1 − ( V 2 / V 1 ) , {\displaystyle {\begin{aligned}s_{\mathrm {w} }^{2}\ &={\frac {{\hat {\sigma }}_{\mathrm {w} }^{2}}{1-(V_{2}/V_{1}^{2})}}\\[4pt]&={\frac {\sum \limits _{i=1}^{N}w_{i}(x_{i}-\mu ^{*})^{2}}{V_{1}-(V_{2}/V_{1})}},\end{aligned}}} [6] ここで 、この重み付けされた不偏標本の分散の自由度は、 N − 1から0まで変化します。標準偏差は、上記の分散の平方根です。 E [ s w 2 ] = σ actual 2 {\displaystyle \operatorname {E} [s_{\mathrm {w} }^{2}]=\sigma _{\text{actual}}^{2}}
補足として、加重サンプル分散を計算するための他のアプローチも説明されている。 [7]
加重標本共分散 重み付きサンプルでは、各行ベクトル( K 個 のランダム変数のそれぞれにおける単一の観測値の各セット )に重みが割り当てられます 。 x i {\displaystyle \mathbf {x} _{i}} w i ≥ 0 {\displaystyle w_{i}\geq 0}
すると、 加重平均 ベクトル は次のように与えられる。 μ ∗ {\displaystyle \mathbf {\mu ^{*}} }
μ ∗ = ∑ i = 1 N w i x i ∑ i = 1 N w i . {\displaystyle \mathbf {\mu ^{*}} ={\frac {\sum _{i=1}^{N}w_{i}\mathbf {x} _{i}}{\sum _{i=1}^{N}w_{i}}}.} 加重共分散行列は次のように与えられる: [8]
C = ∑ i = 1 N w i ( x i − μ ∗ ) T ( x i − μ ∗ ) V 1 . {\displaystyle \mathbf {C} ={\frac {\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)}{V_{1}}}.} 加重サンプル分散と同様に、重みの種類に応じて 2 つの異なる不偏推定値が存在します。
頻度重み 重みが 頻度重み である場合、 ベッセル補正を加えた 共分散行列の 不偏重み付き推定値は次のように与えられる: [8] C {\displaystyle \textstyle \mathbf {C} }
C = ∑ i = 1 N w i ( x i − μ ∗ ) T ( x i − μ ∗ ) V 1 − 1 . {\displaystyle \mathbf {C} ={\frac {\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)}{V_{1}-1}}.} この推定値は、重みが 標準化 も 正規化 もされていない場合にのみ偏りがなく、これらのプロセスによってデータの平均と分散が変わり、 ベースレート (ベッセル補正の要件である母集団カウント)が失われます。
信頼性の重み 信頼性の重み の場合 、重みは 正規化され ます。
V 1 = ∑ i = 1 N w i = 1. {\displaystyle V_{1}=\sum _{i=1}^{N}w_{i}=1.} (そうでない場合は、計算前に重みを合計で割って正規化します 。 V 1 {\displaystyle V_{1}}
w i ′ = w i ∑ i = 1 N w i {\displaystyle w_{i}'={\frac {w_{i}}{\sum _{i=1}^{N}w_{i}}}} すると、 加重平均 ベクトルは 次のように簡略化される。 μ ∗ {\displaystyle \mathbf {\mu ^{*}} }
μ ∗ = ∑ i = 1 N w i x i . {\displaystyle \mathbf {\mu ^{*}} =\sum _{i=1}^{N}w_{i}\mathbf {x} _{i}.} 共分散行列の不偏重み付け推定値は 次 の 通りである: [9] C {\displaystyle \mathbf {C} }
C = ∑ i = 1 N w i ( ∑ i = 1 N w i ) 2 − ∑ i = 1 N w i 2 ∑ i = 1 N w i ( x i − μ ∗ ) T ( x i − μ ∗ ) = ∑ i = 1 N w i ( x i − μ ∗ ) T ( x i − μ ∗ ) V 1 − ( V 2 / V 1 ) . {\displaystyle {\begin{aligned}\mathbf {C} &={\frac {\sum _{i=1}^{N}w_{i}}{\left(\sum _{i=1}^{N}w_{i}\right)^{2}-\sum _{i=1}^{N}w_{i}^{2}}}\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)\\&={\frac {\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)}{V_{1}-(V_{2}/V_{1})}}.\end{aligned}}} ここでの推論は前のセクションと同じです。
重みが正規化されていると仮定しているので、 これは次のように簡約されます。 V 1 = 1 {\displaystyle V_{1}=1}
C = ∑ i = 1 N w i ( x i − μ ∗ ) T ( x i − μ ∗ ) 1 − V 2 . {\displaystyle \mathbf {C} ={\frac {\sum _{i=1}^{N}w_{i}\left(\mathbf {x} _{i}-\mu ^{*}\right)^{T}\left(\mathbf {x} _{i}-\mu ^{*}\right)}{1-V_{2}}}.} すべての重みが同じ場合、 つまり の場合、重み付け平均と共分散は、上記の重み付けされていないサンプル平均と共分散に減少します。 w i / V 1 = 1 / N {\displaystyle w_{i}/V_{1}=1/N}
ベクトル値推定値 上記は、ベクトル値の推定値の平均をとる場合にも容易に一般化できます。例えば、平面上の位置の推定値は、ある方向では他の方向よりも確実性が低い場合があります。スカラー値の場合と同様に、複数の推定値の加重平均は 最大尤度 推定値となります。分散 を共分散行列 に 、 算術逆行列を 逆行列 に置き換えるだけで済みます (どちらも上付き文字で同じように表記されます)。重み行列は次のように表されます。 [10] σ 2 {\displaystyle \sigma ^{2}} C {\displaystyle \mathbf {C} }
W i = C i − 1 . {\displaystyle \mathbf {W} _{i}=\mathbf {C} _{i}^{-1}.}
この場合の加重平均は、 ( 行列とベクトル の積の順序は 可換で はない )であり、加重平均の共分散の観点からは、次のようになる。 x ¯ = C x ¯ ( ∑ i = 1 n W i x i ) , {\displaystyle {\bar {\mathbf {x} }}=\mathbf {C} _{\bar {\mathbf {x} }}\left(\sum _{i=1}^{n}\mathbf {W} _{i}\mathbf {x} _{i}\right),} C x ¯ = ( ∑ i = 1 n W i ) − 1 , {\displaystyle \mathbf {C} _{\bar {\mathbf {x} }}=\left(\sum _{i=1}^{n}\mathbf {W} _{i}\right)^{-1},}
例えば、第2成分の分散が大きい点[1 0]と第1成分の分散が大きい点[0 1]の加重平均を考えてみましょう。すると、
x 1 := [ 1 0 ] ⊤ , C 1 := [ 1 0 0 100 ] {\displaystyle \mathbf {x} _{1}:={\begin{bmatrix}1&0\end{bmatrix}}^{\top },\qquad \mathbf {C} _{1}:={\begin{bmatrix}1&0\\0&100\end{bmatrix}}} x 2 := [ 0 1 ] ⊤ , C 2 := [ 100 0 0 1 ] {\displaystyle \mathbf {x} _{2}:={\begin{bmatrix}0&1\end{bmatrix}}^{\top },\qquad \mathbf {C} _{2}:={\begin{bmatrix}100&0\\0&1\end{bmatrix}}} 加重平均は次のようになります。
x ¯ = ( C 1 − 1 + C 2 − 1 ) − 1 ( C 1 − 1 x 1 + C 2 − 1 x 2 ) = [ 0.9901 0 0 0.9901 ] [ 1 1 ] = [ 0.9901 0.9901 ] {\displaystyle {\begin{aligned}{\bar {\mathbf {x} }}&=\left(\mathbf {C} _{1}^{-1}+\mathbf {C} _{2}^{-1}\right)^{-1}\left(\mathbf {C} _{1}^{-1}\mathbf {x} _{1}+\mathbf {C} _{2}^{-1}\mathbf {x} _{2}\right)\\[5pt]&={\begin{bmatrix}0.9901&0\\0&0.9901\end{bmatrix}}{\begin{bmatrix}1\\1\end{bmatrix}}={\begin{bmatrix}0.9901\\0.9901\end{bmatrix}}\end{aligned}}} これは理にかなっています。[1 0]推定値は2番目の要素では「準拠」しており、[0 1]推定値は最初の要素では準拠しているため、加重平均はほぼ[1 1]になります。
相関関係を考慮する 一般的なケースでは、 は 量 を関連付ける 共分散行列 、 は推定される共通平均、 は 長さ の 1 のベクトル に等しい 計画 行列であるとします 。 ガウス・マルコフの定理 によれば、分散が最小となる平均の推定値は次のように与えられます。 X = [ x 1 , … , x n ] T {\displaystyle \mathbf {X} =[x_{1},\dots ,x_{n}]^{T}} C {\displaystyle \mathbf {C} } x i {\displaystyle x_{i}} x ¯ {\displaystyle {\bar {x}}} J {\displaystyle \mathbf {J} } [ 1 , … , 1 ] T {\displaystyle [1,\dots ,1]^{T}} n {\displaystyle n}
σ x ¯ 2 = ( J T W J ) − 1 , {\displaystyle \sigma _{\bar {x}}^{2}=(\mathbf {J} ^{T}\mathbf {W} \mathbf {J} )^{-1},} そして
x ¯ = σ x ¯ 2 ( J T W X ) , {\displaystyle {\bar {x}}=\sigma _{\bar {x}}^{2}(\mathbf {J} ^{T}\mathbf {W} \mathbf {X} ),} どこ:
W = C − 1 . {\displaystyle \mathbf {W} =\mathbf {C} ^{-1}.}
相互作用の強度の低下 独立変数 と従属変数 の時系列を考えてみましょう 。 観測 値は離散時刻 でサンプリングされます。多くの一般的な状況では、 時刻 における の値は だけでなく、過去の値にも依存します。一般的に、この依存性の強さは、観測値の時間的間隔が長くなるにつれて弱くなります。この状況をモデル化するには、独立変数 を ウィンドウサイズ の スライド平均 に置き換えます 。 x {\displaystyle x} y {\displaystyle y} n {\displaystyle n} t i {\displaystyle t_{i}} y {\displaystyle y} t i {\displaystyle t_{i}} x i {\displaystyle x_{i}} z {\displaystyle z} m {\displaystyle m}
z k = ∑ i = 1 m w i x k + 1 − i . {\displaystyle z_{k}=\sum _{i=1}^{m}w_{i}x_{k+1-i}.}
指数関数的に減少する重み 前のセクションで説明したシナリオでは、相互作用強度の減少は負の指数関数に従うことが最も多い。観測値が等間隔でサンプリングされている場合、指数関数的な減少は 各時間ステップで一定の割合で減少することと等価である。この設定 において、正規化された重みは次のように 定義できる。 0 < Δ < 1 {\displaystyle 0<\Delta <1} w = 1 − Δ {\displaystyle w=1-\Delta } m {\displaystyle m}
w i = w i − 1 V 1 , {\displaystyle w_{i}={\frac {w^{i-1}}{V_{1}}},} ここで 、正規化されていない重みの合計です。この場合、 単純に V 1 {\displaystyle V_{1}} V 1 {\displaystyle V_{1}}
V 1 = ∑ i = 1 m w i − 1 = 1 − w m 1 − w , {\displaystyle V_{1}=\sum _{i=1}^{m}{w^{i-1}}={\frac {1-w^{m}}{1-w}},} の大きな値に対して 近づきます 。 V 1 = 1 / ( 1 − w ) {\displaystyle V_{1}=1/(1-w)} m {\displaystyle m}
減衰定数は、 相互作用強度の実際の減少に対応していなければなりません。理論的な考察からこれを決定できない場合は、指数関数的に減少する重みの以下の特性が適切な選択を行う上で役立ちます。ステップ では 、重みは にほぼ等しく 、裾野面積は に、先端面積は です 。ステップ における裾野面積 は です 。主に最も近い 観測値が重要であり、残りの観測値の影響を無視できる場合は、 裾野面積が十分に小さくなるように を選択してください。 w {\displaystyle w} ( 1 − w ) − 1 {\displaystyle (1-w)^{-1}} e − 1 ( 1 − w ) = 0.39 ( 1 − w ) {\displaystyle {e^{-1}}(1-w)=0.39(1-w)} e − 1 {\displaystyle e^{-1}} 1 − e − 1 = 0.61 {\displaystyle {1-e^{-1}}=0.61} n {\displaystyle n} ≤ e − n ( 1 − w ) {\displaystyle \leq {e^{-n(1-w)}}} n {\displaystyle n} w {\displaystyle w}
関数の加重平均 加重平均の概念は関数にも拡張できる。 [11] 関数の加重平均は、加重微分積分学の体系において重要な役割を果たしている。 [12]
過剰分散または不足分散の修正 加重平均は通常、理論的に生成されたデータではなく、過去のデータの加重平均を求めるために使用されます。この場合、各データポイントの分散には多少の誤差が生じます。実験者が各データポイントの分散を計算する際にすべての誤差要因を考慮していないため、実験誤差が過小評価されることがよくあります。このような場合、加重平均の分散が 大きすぎるという事実を考慮して修正する必要があります。修正すべき点は以下のとおりです。 χ 2 {\displaystyle \chi ^{2}}
σ ^ x ¯ 2 = σ x ¯ 2 χ ν 2 {\displaystyle {\hat {\sigma }}_{\bar {x}}^{2}=\sigma _{\bar {x}}^{2}\chi _{\nu }^{2}} ここで、 縮小カイ二乗は次の ようになります 。 χ ν 2 {\displaystyle \chi _{\nu }^{2}}
χ ν 2 = 1 ( n − 1 ) ∑ i = 1 n ( x i − x ¯ ) 2 σ i 2 ; {\displaystyle \chi _{\nu }^{2}={\frac {1}{(n-1)}}\sum _{i=1}^{n}{\frac {(x_{i}-{\bar {x}})^{2}}{\sigma _{i}^{2}}};} 平方根は、 加重平均(分散重み、スケール補正)の標準誤差 と呼ぶことができます 。 σ ^ x ¯ {\displaystyle {\hat {\sigma }}_{\bar {x}}}
すべてのデータ分散が等しい場合、 それらは加重平均分散で打ち消され、 これは再び 平均の標準誤差 (二乗)に減少し、 標本標準偏差 (二乗) で定式化されます。 σ i = σ 0 {\displaystyle \sigma _{i}=\sigma _{0}} σ x ¯ 2 {\displaystyle \sigma _{\bar {x}}^{2}} σ x ¯ 2 = σ 2 / n {\displaystyle \sigma _{\bar {x}}^{2}=\sigma ^{2}/n}
σ 2 = ∑ i = 1 n ( x i − x ¯ ) 2 n − 1 . {\displaystyle \sigma ^{2}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}{n-1}}.}
参照
注記 ^ 技術的には、すべての値がゼロまたは負の数である場合、負の数を使用できます。ただし、重みは 絶対値 として機能するため、これは何の機能も果たしません。
参考文献 ^ abcd Cochran, WG (1977). サンプリングテクニック(第3版). ナッシュビル, テネシー州: John Wiley & Sons. ISBN 978-0-471-16240-7 ^ abcdefghijklmnopq カール=エリック・サルンダル;ベングト・スウェンソン。ヤン・レットマン (1992)。 モデル支援調査サンプリング 。スプリンガー。 ISBN 978-0-387-97528-3 。 ^ Thomas Lumley (https://stats.stackexchange.com/users/249135/thomas-lumley)、加重平均の(近似)分散を推定する方法、URL(バージョン:2021-06-08):https://stats.stackexchange.com/q/525770 ^ Gatz, Donald F.; Smith, Luther (1995年6月). 「加重平均濃度の標準誤差—I. ブートストラッピングと他の手法の比較」. 大気環境 . 29 (11): 1185– 1193. Bibcode :1995AtmEn..29.1185G. doi :10.1016/1352-2310(94)00210-C. - PDFリンク ^ Endlich, RM; Eymon, BP; Ferek, RJ; Valdes, AD; Maxwell, C. (1988-12-01). 「米国東部における降水化学測定の統計分析。第1部:季節的・地域的パターンと相関関係」. Journal of Applied Meteorology and Climatology . 27 (12): 1322– 1333. Bibcode :1988JApMe..27.1322E. doi : 10.1175/1520-0450(1988)027<1322:SAOPCM>2.0.CO;2 . ^ 「GNU Scientific Library – リファレンスマニュアル: 重み付けサンプル」. Gnu.org . 2017年 12月22日 閲覧 。 ^ 「加重標準誤差と有意性検定への影響(WinCross vs. Quantum & SPSS)、アルバート・マダンスキー博士」 (PDF) . Analyticalgroup.com . 2017年 12月22日 閲覧 。 ^ ab Price, George R. (1972年4月). 「共分散選択数学の拡張」 (PDF) . Annals of Human Genetics . 35 (4): 485– 490. doi :10.1111/j.1469-1809.1957.tb01874.x. PMID 5073694. S2CID 37828617. ^ Mark Galassi、Jim Davies、James Theiler、Brian Gough、Gerard Jungman、Michael Booth、Fabrice Rossi. GNU Scientific Library - リファレンスマニュアル、バージョン1.15、2011年。第21.7節 重み付けサンプル ^ ジェームズ、フレデリック (2006). 実験物理学における統計的手法 (第2版). シンガポール: ワールドサイエンティフィック. p. 324. ISBN 981-270-527-9 。 ^ GHハーディ、JEリトルウッド、G.ポリア著 『不等式』 (第2版)、ケンブリッジ大学出版局、 ISBN 978-0-521-35880-4 、1988年。 ^ ジェーン・グロスマン、マイケル・グロスマン、ロバート・カッツ著『重み付き微分積分法の初体系』 ISBN 0-9771170-1-4 、1980年。
さらに読む ベヴィントン、フィリップ・R (1969). 『物理科学のためのデータ整理と誤差分析 』 ニューヨーク:マグロウヒル. OCLC 300283069. Strutz, T. (2010). データフィッティングと不確実性(重み付き最小二乗法とその応用に関する実践的入門) . Vieweg+Teubner. ISBN 978-3-8348-1022-9 。
外部リンク