加重算術平均

加重算術平均は通常の算術平均(最も一般的な平均の種類)に似ていますが、各データポイントが最終平均に均等に寄与するのではなく、一部のデータポイントが他のデータポイントよりも大きく寄与する点が異なります。加重平均の概念は記述統計において重要な役割を果たしており、数学の他のいくつかの分野でもより一般的な形で用いられています

すべての重みが等しい場合、加重平均は算術平均と同じになります。加重平均は一般的に算術平均と同様の挙動を示しますが、シンプソンのパラドックスに見られるように、直感に反する特性がいくつかあります

基本的な例

2 つの学校クラス( 1 つは生徒が 20 人、もう 1 つは生徒が 30 人)があり各クラスのテストの成績は次のようになります。

午前のクラス = {62、67、71、74、76、77、78、79、79、80、80、81、81、82、83、84、86、89、93、98}

午後のクラス = {81、82、83、84、85、86、87、87、88、88、89、89、89、90、90、90、90、90、91、91、91、92、92、93、93、94、95、96、97、98、99}

午前クラスの平均点は80点、午後クラスの平均点は90点です。2つの平均値の加重平均は85点です。しかし、これは各クラスの生徒数の違い(20名と30名)を考慮していないため、85という値はクラスに関わらず生徒の平均成績を反映していません。生徒の平均成績は、クラスに関係なくすべての成績を平均化することで算出できます(すべての成績を合計し、生徒総数で割る)。

あるいは、各クラスの生徒数に応じてクラス平均に重み付けすることでも実現できます。人数が多いクラスにはより大きな「重み」が与えられます。

このように、加重平均を用いることで、各生徒の成績を知らなくても、生徒の平均成績を求めることができます。必要なのは、クラス平均と各クラスの生徒数だけです。

凸結合の例

相対的な重みのみが関係するため、任意の加重平均は合計が1になる係数を用いて表すことができます。このような線形結合は凸結合と呼ばれます。

前の例を使用すると、次の重みが得られます。

次に、次のように重みを適用します。

数学的な定義

正式には、対応する非負の重みを持つ、空でない有限のデータのの加重平均は、

これは次のように展開されます。

したがって、重みの高いデータ要素は、重みの低いデータ要素よりも加重平均に大きく寄与します。式が成立するためには、重みは負であってはなりません[a]。一部はゼロになる場合もありますが、すべてがゼロになるわけではありません(ゼロ除算は許可されていないため)。

重みを正規化して合計が1になるようにすると、式は簡略化されます。つまり、 となります。このように正規化された重みの場合、加重平均は次の式と等価です。

元の重みに対して次の変換を行うことで、重みを常に正規化できます。

通常平均は 、すべてのデータの重みが等しい加重平均の特殊なケースです。

データ要素が独立しており、分散 を持つ同一に分布するランダム変数である場合、加重平均 の標準誤差 は不確実性伝播によって次のように示されます

分散定義の重み

各要素が既知の分散を持つ異なる確率分布から来ている可能性があり、すべて同じ平均を持つデータのリストの加重平均の場合、重みの可能な選択肢の1つは分散の逆数です。

この場合の加重平均は次のようになります。

加重平均(逆分散重み付き)の標準誤差はのようになります。

これは、すべての のとき、 となることに注意してください。これは、前のセクションの一般公式の特別な場合です。

上記の式を組み合わせると次の式が得られます。

この選択の重要性は、この加重平均が、確率分布が独立しており、同じ平均で正規分布しているという仮定の下で、確率分布の平均の最大尤度推定値であるということです。

統計的特性

期待

加重標本平均 は、それ自体が確率変数です。その期待値と標準偏差は、観測値の期待値と標準偏差と以下のように関係しています。簡略化のため、正規化された重み(重みの合計が1になる)を仮定します。

観測値が期待値を持つ場合、加重標本平均の期待値は特に、平均が等しい場合、加重標本平均の期待値はその値となる。

分散

単純なiidケース

重みを定数として扱い、相関のないランダム変数からのn個の観測値のサンプルがあり、すべて同じ分散期待値を持つ場合( iidランダム変数の場合と同様)、加重平均の分散は、加重されていない分散とキッシュの設計効果の乗算として推定できます証明を参照)。

、、および

しかし、この推定は、 y観測値に関する強い仮定のために、かなり限定的です。そのため、より一般的な代替推定値が開発されました。

調査サンプルの観点

モデルベースの観点からは、異なる変数がIID確率変数ではない場合の加重平均の分散を推定することに関心があります。この問題に対する別の視点は、不等確率(復元あり)で単位が選択される、データの任意標本抽出設計です。[1] : 306 

調査手法において、関心のある数量yの母平均は、母集団内のすべての要素におけるyの合計( Yまたは場合によってはT)の推定値を、既知()または推定値()の母集団サイズで割ることによって計算されます。この文脈では、yの各値は定数とみなされ、変動は選択手順に起因します。これは、ランダム性が y 値で記述されることが多い「モデルベース」のアプローチとは対照的です。調査サンプリング手順では、ベルヌーイ指標値( )の系列が生成されます。これらの値は、ある観測値iがサンプルに含まれている場合は 1、選択されていない場合は 0 となります。これは、固定サンプルサイズ、またはサンプルサイズが変動するサンプリング(例:ポアソンサンプリング)で発生します。あるサンプルが与えられた場合、ある要素が選択される確率は と表され、一回抽出で選択される確率は です(N が非常に大きく、各要素が非常に小さい場合)。以下の導出では、各要素が選択される確率はこれらの確率によって完全に表されると仮定します。[2] : 42, 43, 51 すなわち、ある要素を選択しても、別の要素が抽出される確率には影響しません(これはクラスターサンプリング設計などには適用されません)。

各要素()は固定されており、ランダム性は標本に含まれるかどうか()によって生じるため、これら2つの要素の積、つまりランダム変数についてよく言及されます。以降のセクションでの混乱を避けるため、この項を と呼びましょう。期待値は 、分散は です

標本の各要素がその選択確率の逆数で膨張した場合、それは-展開y値と呼ばれます。すなわち:。関連する量は-展開y値です:[2] : 42, 43, 51, 52 上と同様に、指標関数を乗じる場合はチェックマークを付けることができます。すなわち:

この設計に基づく観点では、加重平均の分子に使用される重みは、選択確率(つまりインフレ係数)の逆数を取ることで得られます。つまり

加重和の分散(パワー-合計の推定値)

母集団のサイズNがわかっている場合は、 を使用して母集団の平均を推定できます

サンプリング設計によって固定サンプルサイズnが得られる場合( pps サンプリングなど)、この推定値の分散は次のようになります。

証拠

一般的な式は次のように展開できます。

母集団合計は と表記され、これは(不偏)Horvitz–Thompson推定量(-推定量とも呼ばれる)によって推定できる。この推定量自体は、 pwr推定量(すなわち、-展開復元推定量、または「復元確率」推定量)を用いて推定することができる。上記の表記を用いると、 となる[2] : 51 

pwr推定値の推定分散は次のように与えられる: [2] : 52 ここで

上記の式はSarndal et al. (1992) (Cochran 1977にも掲載) から引用したものですが、書き方が異なります。[2] : 52  [1] : 307 (11.35) 左側は分散の書き方、右側は重み付けバージョンを作成した方法です。

そして、上記の式にたどり着きました。

ランダムサンプルサイズ(ポアソンサンプリングなど)のサンプリングの場合の代替用語は、Sarndal et al.(1992)で次のように提示されています。[2] :182 

となる。また、iとjの両方を選択する確率はとなる。 [2] : 36 また、i=jの場合、 となる[2] : 43 

選択確率が無相関(すなわち、)であり、各要素の確率が非常に小さいと仮定すると、次のようになります。

証拠

我々はそれを仮定し

加重平均の分散(π-比率平均の推定値)

前の節では、母集団の推定総数 ( ) と既知の母集団サイズ ( )の比として母集団平均を推定し、その状況で分散を推定する方法について説明しました。もう 1 つのよくあるケースは、母集団サイズ自体 ( ) が未知であり、標本 (つまり) を使用して推定される場合です。 の推定値は、重みの合計として記述できます。したがってを得た場合、 となります。上記の表記法では、関心のあるパラメータはs と 1 の合計の比です。つまり です。これは、標本を使用して次のように推定できます。N から n の使用に移行したため、実際にはすべての指標変数が 1 になることがわかっているため、単に と記述できます。これは、y と w の特定の値に対する推定値となりますが、統計的な特性は指標変数 を含めたときに得られます[2] : 162, 163, 176 

これは比推定量と呼ばれ、 Rに対してほぼ不偏である[2] : 182 

この場合、比率の変動性は分子と分母の両方のランダム変数の変動性とそれらの相関に依存します。この分散を計算するための閉じた解析形式は存在しないため、近似推定には様々な手法が用いられます。主にテイラー級数一次線形化、漸近解析、ブートストラップ/ジャックナイフ法などが用いられます。[2] : 172 テイラー線形化法は、一般に小さなサンプルサイズでは分散を過小評価する可能性がありますが、これは統計量の複雑さに依存します。加重平均の場合、近似分散は中程度のサンプルサイズでも比較的正確であると考えられます。[2] : 176 サンプリングがランダムなサンプルサイズの場合(ポアソンサンプリングなど)、以下のようになります。[2] : 182 

の場合、 と のどちらを用いて同じ推定値が得られます。これは、何らかの係数を乗じることで同じ推定値が得られるためです。また、重みの合計を、事前に既知の母集団サイズNと等しくなるようにスケールすると、分散の計算結果も同じになります。すべての重みが互いに等しい場合、この式は標準的な不偏分散推定値に簡約されます。

証拠

テイラー線形化によれば、2つの和()の一般的な比推定値は真の値Rの周りに展開でき、次の式が得られる:[2] :178 

そして、分散は次のように近似できる:[2] : 178, 179 

項は、Yの推定和とZの推定和の間の推定共分散です。これは2つの確率変数の和の共分散であるため、指標変数に依存する多くの共分散の組み合わせが含まれます。選択確率が無相関の場合(つまり、 )、この項には、の間の各要素iについてn個の共分散の和が含まれます。これは、この式がyとzの相関が比推定値の分散に与える影響を考慮していることを示しています。

上記を定義すると次のようになる: [2] : 182 

選択確率が無相関の場合(すなわち、)、そして各要素の確率が非常に小さいと仮定すると(すなわち、)、上記は次のように簡略化されます。

同様の証明の再現(最後のいくつかの間違いを除く)は、Thomas Lumleyによってcrossvalidatedで提供されました。[3]

加重平均の分散には、(少なくとも)2つのバージョンがあります。1つは既知の母集団サイズの推定値を使用したバージョン、もう1つは未知の母集団サイズの推定値を使用したバージョンです。一様に優れたアプローチはありませんが、文献では、母集団サイズが既知の場合でも、母集団推定バージョンを使用する方が良いという議論がいくつかあります。[2] : 188 たとえば、すべてのy値が定数である場合、母集団サイズが未知の推定値は正しい結果をもたらしますが、母集団サイズが既知の推定値にはいくらかの変動があります。また、サンプルサイズ自体がランダムである場合(ポアソンサンプリングなど)、母集団平均が未知のバージョンの方が安定していると見なされます。最後に、サンプリングの割合が値と負の相関がある場合(つまり、大きな観測値をサンプリングする機会が少ない場合)、母集団サイズが未知のバージョンはそれをわずかに補正します。

すべての重みが 1 に等しい単純なケースでは、上記の式は平均の分散の通常の式とまったく同じです (ただし、不偏分散ではなく、分散の最大尤度推定値を使用することに注意してください。つまり、(n-1) ではなく n で割ります)。

ブートストラップ検証

Gatzら(1995)は、ブートストラッピング法と比較して、テイラー級数線形化を用いた比平均の分散推定が、平均の標準誤差の2乗の妥当な推定値であることを示した(化学成分の測定の文脈で使用される場合)。[4] : 1186 

ここで、さらに単純化すると、

Gatzらは、上記の定式化はEndlichら(1988)によって発表されたもので、重み付き平均を重み付き総推定値と母集団サイズの推定値で割ったものとして扱う際に用いられたと述べている[5]。これはCochran(1977)が発表した定式化に基づいており、比平均の近似値として用いられた。しかし、Endlichらはこの導出を論文では公表していないようである(使用したことは言及しているものの)。また、Cochranの著書では若干異なる定式化が用いられている[1] 。155 と はいえ、これは前節で説明した定式化とほぼ同じである。

複製ベースの推定値

加重平均の分散に対する閉じた解析形式が存在しないため、文献ではジャックナイフ法ブートストラッピング法などの複製法に頼ることが提案されている。[1] : 321 

その他の注意事項

分散のある無相関の観測値の場合、加重標本平均の分散は[引用が必要]である。

その平方根は加重平均の標準誤差と呼ぶことができる(一般的な場合) [要出典]

その結果、すべての観測値が等しい分散を持つ場合、加重標本平均は分散を持つことになる。

ここで です。分散は、1つを除くすべての重みがゼロのときに最大値 に達します。分散の最小値は、すべての重みが等しい場合(つまり、重み付けされていない平均の場合)に得られます。この場合、分散は 、つまり平均の標準誤差の2乗に縮退します。

正規化されていない重みはいつでも正規化された重みに変換できるため、このセクションのすべての式は、 をすべて置き換えることで正規化されていない重みに適応できます

加重標本分散

通常、平均値を計算する際には、その平均値の分散標準偏差を知ることが重要です。加重平均を使用する場合、加重標本の分散は加重されていない標本の分散とは異なります。

バイアス付き加重サンプル分散は 、正規バイアス付きサンプル分散と同様に定義されます

ここで、正規化された重みについて。重みが頻度重み(つまりランダム変数)である場合、iidガウス分布の観測値に対する の最大尤度推定値である ことが示されます([要出典])

小規模な標本の場合、母分散の不偏推定値を用いるのが一般的です。正規分布の重み付けされていない標本では、分母のN (標本サイズに対応)はN  − 1に変更されます(ベッセル補正を参照)。重み付けされた設定では、実際には2つの異なる不偏推定値があり、1つは頻度重みの場合、もう1つは信頼性重みの場合です

頻度重み

重みが頻度重み(重みは発生回数に等しい)である場合、不偏推定値は次のようになります。

これは、頻度重み付けに対するベッセル補正を効果的に適用します。例えば、同じ分布から値が抽出された場合、このセットを重み付けされていない標本として扱うことも、対応する重みを持つ重み付けされた標本として扱うこともできます。どちらの方法でも同じ結果が得られます。

頻度重みが1に正規化されている場合、ベッセル補正後の正しい式は次のようになります。

ここで、サンプルの総数は(ではない)である。いずれにせよ、サンプルの総数に関する情報は、頻度重みとは異なる意味を持つ場合でも、偏りのない補正を得るために必要となる。

推定値は、重みが標準化正規化もされていない場合にのみ偏りがなく、これらのプロセスによりデータの平均と分散が変わり、ベースレート(ベッセル補正の要件である母集団カウント)が失われます。

信頼性の重み

重みが信頼性重み(標本の相対的な信頼性を反映する非ランダムな値で、多くの場合標本分散から導出される)である場合、補正係数を決定することで不偏推定値を得ることができます。各ランダム変数が平均と実際の分散を持つ同じ分布からサンプリングされたと仮定し、期待値を用いると、

ここで、およびである。したがって、推定値のバイアスは であり重み付けなしの推定値のバイアスと類似している(また、は実効標本サイズであることにも注意)。つまり、推定値をバイアスなしにするには、 を で事前に割る必要がある。これにより、推定分散の期待値が標本分布の実際の分散と等しくなる。最終的な標本分散の不偏推定値は以下の通りである。

[6]

ここで、この重み付けされた不偏標本の分散の自由度は、N  − 1から0まで変化します。標準偏差は、上記の分散の平方根です。

補足として、加重サンプル分散を計算するための他のアプローチも説明されている。[7]

加重標本共分散

重み付きサンプルでは、​​各行ベクトル( K 個のランダム変数のそれぞれにおける単一の観測値の各セット)に重みが割り当てられます

すると、加重平均ベクトルは次のように与えられる。

加重共分散行列は次のように与えられる:[8]

加重サンプル分散と同様に、重みの種類に応じて 2 つの異なる不偏推定値が存在します。

頻度重み

重みが頻度重みである場合、ベッセル補正を加えた共分散行列の不偏重み付き推定値は次のように与えられる: [8]

この推定値は、重みが標準化正規化もされていない場合にのみ偏りがなく、これらのプロセスによってデータの平均と分散が変わり、ベースレート(ベッセル補正の要件である母集団カウント)が失われます。

信頼性の重み

信頼性の重みの場合、重みは正規化されます。

(そうでない場合は、計算前に重みを合計で割って正規化します

すると、加重平均ベクトルは次のように簡略化される。

共分散行列の不偏重み付け推定値は通りである: [9]

ここでの推論は前のセクションと同じです。

重みが正規化されていると仮定しているので、これは次のように簡約されます。

すべての重みが同じ場合、つまり の場合、重み付け平均と共分散は、上記の重み付けされていないサンプル平均と共分散に減少します。

ベクトル値推定値

上記は、ベクトル値の推定値の平均をとる場合にも容易に一般化できます。例えば、平面上の位置の推定値は、ある方向では他の方向よりも確実性が低い場合があります。スカラー値の場合と同様に、複数の推定値の加重平均は最大尤度推定値となります。分散を共分散行列算術逆行列を逆行列に置き換えるだけで済みます(どちらも上付き文字で同じように表記されます)。重み行列は次のように表されます。[10]

この場合の加重平均は、 (行列とベクトルの積の順序は可換ではない)であり、加重平均の共分散の観点からは、次のようになる。

例えば、第2成分の分散が大きい点[1 0]と第1成分の分散が大きい点[0 1]の加重平均を考えてみましょう。すると、

加重平均は次のようになります。

これは理にかなっています。[1 0]推定値は2番目の要素では「準拠」しており、[0 1]推定値は最初の要素では準拠しているため、加重平均はほぼ[1 1]になります。

相関関係を考慮する

一般的なケースでは、を関連付ける共分散行列は推定される共通平均、 は長さ の1 のベクトルに等しい計画行列であるとしますガウス・マルコフの定理によれば、分散が最小となる平均の推定値は次のように与えられます。

そして

どこ:

相互作用の強度の低下

独立変数 と従属変数 の時系列を考えてみましょう観測値は離散時刻 でサンプリングされます。多くの一般的な状況では、時刻 におけるの値はだけでなく、過去の値にも依存します。一般的に、この依存性の強さは、観測値の時間的間隔が長くなるにつれて弱くなります。この状況をモデル化するには、独立変数 をウィンドウサイズ のスライド平均 に置き換えます

指数関数的に減少する重み

前のセクションで説明したシナリオでは、相互作用強度の減少は負の指数関数に従うことが最も多い。観測値が等間隔でサンプリングされている場合、指数関数的な減少は各時間ステップで一定の割合で減少することと等価である。この設定において、正規化された重みは次のように定義できる。

ここで、正規化されていない重みの合計です。この場合、単純に

の大きな値に対して近づきます

減衰定数は、相互作用強度の実際の減少に対応していなければなりません。理論的な考察からこれを決定できない場合は、指数関数的に減少する重みの以下の特性が適切な選択を行う上で役立ちます。ステップ では、重みは にほぼ等しく、裾野面積は に、先端面積はです。ステップ における裾野面積は です。主に最も近い観測値が重要であり、残りの観測値の影響を無視できる場合は、裾野面積が十分に小さくなるように を選択してください。

関数の加重平均

加重平均の概念は関数にも拡張できる。[11]関数の加重平均は、加重微分積分学の体系において重要な役割を果たしている。[12]

過剰分散または不足分散の修正

加重平均は通常、理論的に生成されたデータではなく、過去のデータの加重平均を求めるために使用されます。この場合、各データポイントの分散には多少の誤差が生じます。実験者が各データポイントの分散を計算する際にすべての誤差要因を考慮していないため、実験誤差が過小評価されることがよくあります。このような場合、加重平均の分散が大きすぎるという事実を考慮して修正する必要があります。修正すべき点は以下のとおりです。

ここで、縮小カイ二乗は次のようになります

平方根は、加重平均(分散重み、スケール補正)の標準誤差と呼ぶことができます

すべてのデータ分散が等しい場合、それらは加重平均分散で打ち消され、これは再び平均の標準誤差(二乗)に減少し、標本標準偏差(二乗)で定式化されます。

参照

注記

  1. ^ 技術的には、すべての値がゼロまたは負の数である場合、負の数を使用できます。ただし、重みは絶対値として機能するため、これは何の機能も果たしません。

参考文献

  1. ^ abcd Cochran, WG (1977). サンプリングテクニック(第3版). ナッシュビル, テネシー州: John Wiley & Sons. ISBN 978-0-471-16240-7
  2. ^ abcdefghijklmnopq カール=エリック・サルンダル;ベングト・スウェンソン。ヤン・レットマン (1992)。モデル支援調査サンプリング。スプリンガー。ISBN 978-0-387-97528-3
  3. ^ Thomas Lumley (https://stats.stackexchange.com/users/249135/thomas-lumley)、加重平均の(近似)分散を推定する方法、URL(バージョン:2021-06-08):https://stats.stackexchange.com/q/525770
  4. ^ Gatz, Donald F.; Smith, Luther (1995年6月). 「加重平均濃度の標準誤差—I. ブートストラッピングと他の手法の比較」.大気環境. 29 (11): 1185– 1193. Bibcode :1995AtmEn..29.1185G. doi :10.1016/1352-2310(94)00210-C.- PDFリンク
  5. ^ Endlich, RM; Eymon, BP; Ferek, RJ; Valdes, AD; Maxwell, C. (1988-12-01). 「米国東部における降水化学測定の統計分析。第1部:季節的・地域的パターンと相関関係」. Journal of Applied Meteorology and Climatology . 27 (12): 1322– 1333. Bibcode :1988JApMe..27.1322E. doi : 10.1175/1520-0450(1988)027<1322:SAOPCM>2.0.CO;2 .
  6. ^ 「GNU Scientific Library – リファレンスマニュアル: 重み付けサンプル」. Gnu.org . 2017年12月22日閲覧
  7. ^ 「加重標準誤差と有意性検定への影響(WinCross vs. Quantum & SPSS)、アルバート・マダンスキー博士」(PDF) . Analyticalgroup.com . 2017年12月22日閲覧
  8. ^ ab Price, George R. (1972年4月). 「共分散選択数学の拡張」(PDF) . Annals of Human Genetics . 35 (4): 485– 490. doi :10.1111/j.1469-1809.1957.tb01874.x. PMID  5073694. S2CID  37828617.
  9. ^ Mark Galassi、Jim Davies、James Theiler、Brian Gough、Gerard Jungman、Michael Booth、Fabrice Rossi. GNU Scientific Library - リファレンスマニュアル、バージョン1.15、2011年。第21.7節 重み付けサンプル
  10. ^ ジェームズ、フレデリック (2006).実験物理学における統計的手法(第2版). シンガポール: ワールドサイエンティフィック. p. 324. ISBN 981-270-527-9
  11. ^ GHハーディ、JEリトルウッド、G.ポリア著『不等式』(第2版)、ケンブリッジ大学出版局、ISBN 978-0-521-35880-4、1988年。
  12. ^ ジェーン・グロスマン、マイケル・グロスマン、ロバート・カッツ著『重み付き微分積分法の初体系』ISBN 0-9771170-1-4、1980年。

さらに読む

  • ベヴィントン、フィリップ・R (1969). 『物理科学のためのデータ整理と誤差分析』 ニューヨーク:マグロウヒル. OCLC  300283069.
  • Strutz, T. (2010).データフィッティングと不確実性(重み付き最小二乗法とその応用に関する実践的入門) . Vieweg+Teubner. ISBN 978-3-8348-1022-9
  • David Terr. 「加重平均」。MathWorld
  • 加重平均を計算するツール
Retrieved from "https://en.wikipedia.org/w/index.php?title=Weighted_arithmetic_mean&oldid=1311125396"