ガウス・マルコフ定理

Theorem related to ordinary least squares

統計学において、ガウス・マルコフの定理（一部の著者は単にガウスの定理と呼ぶ） ^[1]は、線型回帰モデルの誤差が無相関で、等分散かつ期待値がゼロである場合、通常最小二乗法（OLS）推定量は線型不偏推定量のクラスの中で最小の標本分散を持つことを述べています。^[2]誤差は正規分布である必要はなく、独立かつ同一に分布している必要もありません（平均がゼロで無相関であり、有限分散で等分散である必要があるだけです）。より低い分散を持つ偏りのある推定量が存在するため、推定量が不偏であるという要件は省略できません。例として、ジェームズ・スタイン推定量（これも線型性を失います）、リッジ回帰、または単に任意の退化した推定量を参照してください。

この定理はカール・フリードリヒ・ガウスとアンドレイ・マルコフにちなんで名付けられましたが、ガウスの研究はマルコフの研究よりかなり古いものです。^[3]ガウスは独立性と正規性の仮定の下で結果を導き出しましたが、マルコフはそれらの仮定を上記の形に簡略化しました。^[4]アレクサンダー・エイトケンは、非球面誤差へのさらなる一般化を行いました。^[5]

スカラーcase文

2 つのランダム変数ベクトルが与えられており、 パラメータとが両方とも実数で ある最適線形推定値を使用して、与えられたの最適線形推定値を見つけたいとします。 ${\displaystyle X,Y\in \mathbb {R} ^{k}}$ ${\displaystyle Y}$ ${\displaystyle X}$ $${\displaystyle {\hat {Y}}=\alpha X+\mu }$$ ${\displaystyle \alpha }$ ${\displaystyle \mu }$

このような推定値はと同じ平均と標準偏差を持ちます。つまり、 となります。 ${\displaystyle {\hat {Y}}}$ ${\displaystyle Y}$ ${\displaystyle \mu _{\hat {Y}}=\mu _{Y},\sigma _{\hat {Y}}=\sigma _{Y}}$

したがって、ベクトルがそれぞれ平均と標準偏差を持つ場合、最良の線形推定値は ${\displaystyle X}$ ${\displaystyle \mu _{x},\sigma _{x}}$

$${\displaystyle {\hat {Y}}=\sigma _{y}{\frac {(X-\mu _{x})}{\sigma _{x}}}+\mu _{y}}$$

は と同じ平均と標準偏差を持つので。 ${\displaystyle {\hat {Y}}}$ ${\displaystyle Y}$

声明

行列表記で次の線形関係があるとする。

${\displaystyle y=X\beta +\varepsilon ,\quad (y,\varepsilon \in \mathbb {R} ^{n},\beta \in \mathbb {R} ^{K}{\text{ and }}X\in \mathbb {R} ^{n\times K})}$

ここで、は非ランダムだが観測不可能なパラメータであり、は非ランダムだが観測可能（「説明変数」と呼ばれる）であり、はランダムであり、したがってランダムである。ランダム変数は「外乱」、「ノイズ」、または単に「誤差」と呼ばれる（本稿の後半で「残差」と対比される。統計における誤差と残差を参照）。上記のモデルに定数を含めるには、定数を変数として導入し、 新たに導入したXの最後の列を1とする、すなわちすべての に対して とすることができる。サンプル応答として は観測可能であるが、以下の記述や議論（仮定、証明などを含む）は を知っているという条件のみで を仮定しているが、 は を仮定していないことに注意されたい。 ${\displaystyle \beta _{j}}$ ${\displaystyle X_{ij}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle y_{i}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{K+1}}$ ${\displaystyle X_{i(K+1)}=1}$ ${\displaystyle i}$ ${\displaystyle y_{i},}$ ${\displaystyle X_{ij},}$ ${\displaystyle y_{i}.}$

ガウス・マルコフ仮定は誤差確率変数の集合に関するものである。 ${\displaystyle \varepsilon _{i}}$

• それらの平均はゼロです。 ${\displaystyle \operatorname {E} [\varepsilon _{i}]=0.}$
• これらは等分散性であり、すべて同じ有限分散を持ちます。 ${\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty }$ ${\displaystyle i}$
• 異なる誤差項は相関しません。 ${\displaystyle {\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j.}$

の線形推定量は線形結合である ${\displaystyle \beta _{j}}$

${\displaystyle {\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}}$

ここで、係数は 基礎となる係数に依存することはできない。なぜなら、基礎となる係数は観測できないからである。しかし、これらのデータは観測可能であるから、値に依存することは許される。（係数の各依存性は典型的には非線形である。推定値は各に対して線形であり、したがって各ランダムに対しても線形である。これが「線形」回帰である理由である。）推定値が不偏であるというのは次の場合のみである。 ${\displaystyle c_{ij}}$ ${\displaystyle \beta _{j}}$ ${\displaystyle X_{ij}}$ ${\displaystyle X_{ij}}$ ${\displaystyle y_{i}}$ ${\displaystyle \varepsilon ,}$

${\displaystyle \operatorname {E} \left[{\widehat {\beta }}_{j}\right]=\beta _{j}}$

の値に関わらず、係数の線形結合を とする。すると、対応する推定値の平均二乗誤差は ${\displaystyle X_{ij}}$ ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$

${\displaystyle \operatorname {E} \left[\left(\sum _{j=1}^{K}\lambda _{j}\left({\widehat {\beta }}_{j}-\beta _{j}\right)\right)^{2}\right],}$

言い換えれば、推定量と推定対象となる対応するパラメータ間の差の重み付き和（パラメータ全体）の二乗の期待値です。（すべてのパラメータ推定値が不偏である場合を考えているため、この平均二乗誤差は線形結合の分散と同じです。）パラメータベクトルの最良線形不偏推定量（青）は、線形結合パラメータの各ベクトルに対して平均二乗誤差が最小となるものです。これは、 ${\displaystyle \beta }$ ${\displaystyle \beta _{j}}$ ${\displaystyle \lambda }$

${\displaystyle \operatorname {Var} \left({\widetilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$

は、他のすべての線形不偏推定値に対する半正定値行列です。 ${\displaystyle {\widetilde {\beta }}}$

通常の最小二乗推定量（OLS）は関数である。

${\displaystyle {\widehat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y}$

および（ はの転置を表す）の残差二乗和（予測誤差量）を最小化する： ${\displaystyle y}$ ${\displaystyle X}$ ${\displaystyle X^{\operatorname {T} }}$ ${\displaystyle X}$

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.}$

この定理では、OLS 推定量は最良線形不偏推定量 (青) であると述べられています。

証明の主な考え方は、最小二乗推定量は、ゼロのすべての線形不偏推定量、つまり、係数が観測不可能なものに依存せず、期待値が常にゼロであるすべての線形結合と相関がないということです。 ${\displaystyle a_{1}y_{1}+\cdots +a_{n}y_{n}}$ ${\displaystyle \beta }$

述べる

OLS が残差の二乗和を実際に最小化するという証明は、ヘッセ行列を計算し、それが正定値であることを示すことによって次のように進めることができます。

最小化したいMSE関数は、 p変数 を持つ重回帰モデルのものです。1次導関数は、 計画行列です 。 $${\displaystyle f(\beta _{0},\beta _{1},\dots ,\beta _{p})=\sum _{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}}$$ $${\displaystyle {\begin{aligned}{\frac {d}{d{\boldsymbol {\beta }}}}f&=-2X^{\operatorname {T} }\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_{ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&=\mathbf {0} _{p+1},\end{aligned}}}$$ ${\displaystyle X^{\operatorname {T} }}$ $${\displaystyle X={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\&&\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geq p+1}$$

2次導関数の ヘッセ行列は $${\displaystyle {\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\cdots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{\operatorname {T} }X}$$

の列が線型独立で逆行列が成り立つと仮定すると、 ${\displaystyle X}$ ${\displaystyle X^{\operatorname {T} }X}$ ${\displaystyle X={\begin{bmatrix}\mathbf {v_{1}} &\mathbf {v_{2}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}}$ $${\displaystyle k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}=\mathbf {0} \iff k_{1}=\dots =k_{p+1}=0}$$

ここでを の固有ベクトルとします。 ${\displaystyle \mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}}$ ${\displaystyle {\mathcal {H}}}$

$${\displaystyle \mathbf {k} \neq \mathbf {0} \implies \left(k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}\right)^{2}>0}$$

ベクトルの乗算の観点から言えば、これは に対応する固有値が であることを意味します。さらに、 $${\displaystyle {\begin{bmatrix}k_{1}&\cdots &k_{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} \\\vdots \\\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}=\mathbf {k} ^{\operatorname {T} }{\mathcal {H}}\mathbf {k} =\lambda \mathbf {k} ^{\operatorname {T} }\mathbf {k} >0}$$ ${\displaystyle \lambda }$ ${\displaystyle \mathbf {k} }$ $${\displaystyle \mathbf {k} ^{\operatorname {T} }\mathbf {k} =\sum _{i=1}^{p+1}k_{i}^{2}>0\implies \lambda >0}$$

最後に、固有ベクトルが任意であるため、 のすべての固有値は正であり、したがって は正定値であることを意味します。したがって、 は確かに大域最小値です。 ${\displaystyle \mathbf {k} }$ ${\displaystyle {\mathcal {H}}}$ ${\displaystyle {\mathcal {H}}}$ $${\displaystyle {\boldsymbol {\beta }}=\left(X^{\operatorname {T} }X\right)^{-1}X^{\operatorname {T} }Y}$$

あるいは、すべてのベクトルについて が成り立つことを確認してください。したがって、ヘッセ行列はフルランクであれば正定値行列です。 ${\displaystyle \mathbf {v} ,\mathbf {v} ^{\operatorname {T} }X^{\operatorname {T} }X\mathbf {v} =\|\mathbf {X} \mathbf {v} \|^{2}\geq 0}$

証拠

をの別の線形推定量とします。ただしは非零行列です。ここでは不偏推定量に限定しているので、平均二乗誤差が最小であれば分散も最小となります。したがって、目標は、そのような推定量の分散がOLS推定量の分散よりも小さくないことを示すことです。以下の式を計算します。 ${\displaystyle {\tilde {\beta }}=Cy}$ ${\displaystyle \beta }$ ${\displaystyle C=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D}$ ${\displaystyle D}$ ${\displaystyle K\times n}$ ${\displaystyle {\widehat {\beta }},}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)(X\beta +\varepsilon )\right]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta +\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}}$

したがって、は観測不可能なので、が不偏であるのは の場合のみである。この場合、次のようになる。 ${\displaystyle \beta }$ ${\displaystyle {\tilde {\beta }}}$ ${\displaystyle DX=0}$

${\displaystyle {\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C^{\operatorname {T} }\\&=\sigma ^{2}CC^{\operatorname {T} }\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D\right)\left(X(X^{\operatorname {T} }X)^{-1}+D^{\operatorname {T} }\right)\\&=\sigma ^{2}\left((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}+(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }D^{\operatorname {T} }+DX(X^{\operatorname {T} }X)^{-1}+DD^{\operatorname {T} }\right)\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}(X^{\operatorname {T} }X)^{-1}(DX)^{\operatorname {T} }+\sigma ^{2}DX(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }\\&=\sigma ^{2}(X^{\operatorname {T} }X)^{-1}+\sigma ^{2}DD^{\operatorname {T} }&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD^{\operatorname {T} }&&\sigma ^{2}(X^{\operatorname {T} }X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}}$

は半正定値行列なので、半正定値行列を超えます。 ${\displaystyle DD^{\operatorname {T} }}$ ${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)}$ ${\displaystyle \operatorname {Var} \left({\widehat {\beta }}\right)}$

証明に関するコメント

前述のように、 が半正定値行列であるという条件は、の最良の線形不偏推定値がである（分散が最小であるという意味で最良の推定値である）という性質と等価です。これを確認するため、の別の線形不偏推定値を考えてみましょう。 ${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$ ${\displaystyle \ell ^{\operatorname {T} }\beta }$ ${\displaystyle \ell ^{\operatorname {T} }{\widehat {\beta }}}$ ${\displaystyle \ell ^{\operatorname {T} }{\tilde {\beta }}}$ ${\displaystyle \ell ^{\operatorname {T} }\beta }$

${\displaystyle {\begin{aligned}\operatorname {Var} \left(\ell ^{\operatorname {T} }{\tilde {\beta }}\right)&=\ell ^{\operatorname {T} }\operatorname {Var} \left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}\ell +\ell ^{\operatorname {T} }DD^{\operatorname {T} }\ell \\&=\operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)+(D^{\operatorname {T} }\ell )^{\operatorname {T} }(D^{\operatorname {T} }\ell )\\&\geq \operatorname {Var} \left(\ell ^{\operatorname {T} }{\widehat {\beta }}\right)\end{aligned}}}$

さらに、等式は の場合にのみ成立する。 ${\displaystyle D^{\operatorname {T} }\ell =0}$

${\displaystyle {\begin{aligned}\ell ^{\operatorname {T} }{\tilde {\beta }}&=\ell ^{\operatorname {T} }\left(((X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }+D)Y\right)&&{\text{ from above}}\\&=\ell ^{\operatorname {T} }(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }Y+\ell ^{\operatorname {T} }DY\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}+(D^{\operatorname {T} }\ell )^{\operatorname {T} }Y\\&=\ell ^{\operatorname {T} }{\widehat {\beta }}&&D^{\operatorname {T} }\ell =0\end{aligned}}}$

これは、OLS 推定値が BLUE として一意となる場合にのみ等式が成立することを証明します。 ${\displaystyle \ell ^{\operatorname {T} }{\tilde {\beta }}=\ell ^{\operatorname {T} }{\widehat {\beta }}}$

一般化最小二乗推定量

Aitkenによって開発された一般化最小二乗法（GLS）[5]は、ガウス・^マルコフの定理を、誤差ベクトルが非スカラー共分散行列を持つ場合に拡張した。^[6] Aitken推定量もBLUEである。

計量経済学におけるガウス・マルコフ定理

OLSのほとんどの処理では、計画行列 における回帰変数（関心のあるパラメータ）は反復サンプルにおいて固定されていると仮定されます。この仮定は、計量経済学のような主に非実験的な科学には不適切であると考えられています。^[7]その代わりに、ガウス・マルコフ定理の仮定は、 を条件として述べられます。 ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$

直線性

従属変数は、モデルで指定された変数の線形関数であると仮定されます。指定はパラメータに関して線形である必要があります。これは、独立変数と従属変数の間に線形関係がなければならないことを意味するものではありません。パラメータが線形である限り、独立変数は非線形形式をとることができます。方程式 は線形であるとみなされますが、 は別のパラメータ（例えば ）に置き換えることで線形に変換できます。パラメータが独立変数に依存する方程式は線形であるとみなされません。例えば、 はの関数です。 ${\displaystyle y=\beta _{0}+\beta _{1}x^{2},}$ ${\displaystyle y=\beta _{0}+\beta _{1}^{2}x}$ ${\displaystyle \beta _{1}^{2}}$ ${\displaystyle \gamma }$ ${\displaystyle y=\beta _{0}+\beta _{1}(x)\cdot x}$ ${\displaystyle \beta _{1}(x)}$ ${\displaystyle x}$

データ変換は、方程式を線形形式に変換するためによく用いられます。例えば、経済学でよく用いられるコブ・ダグラス関数は非線形です。

${\displaystyle Y=AL^{\alpha }K^{1-\alpha }e^{\varepsilon }}$

しかし、両辺の自然対数を取ることで線形形式で表すことができる。 ^[8]

${\displaystyle \ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\beta _{0}+\beta _{1}\ln L+\beta _{2}\ln K+\varepsilon }$

この仮定は仕様の問題もカバーします。適切な関数形式が選択され、省略された変数がないことを前提としています。

ただし、変換された方程式の残差を最小化するパラメータが、必ずしも元の方程式の残差を最小化するとは限らないことに注意する必要があります。

厳密な外生性

すべての観測値について、回帰変数を条件とする誤差項の期待値はゼロである：^[9] ${\displaystyle n}$

${\displaystyle \operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X} ]=\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {x} _{1},\dots ,\mathbf {x} _{n}]=0.}$

ここで、 はi番目の観測値の回帰変数のデータ ベクトルであり、 はデータ マトリックスまたは設計マトリックスです。 ${\displaystyle \mathbf {x} _{i}={\begin{bmatrix}x_{i1}&x_{i2}&\cdots &x_{ik}\end{bmatrix}}^{\operatorname {T} }}$ ${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\operatorname {T} }&\mathbf {x} _{2}^{\operatorname {T} }&\cdots &\mathbf {x} _{n}^{\operatorname {T} }\end{bmatrix}}^{\operatorname {T} }}$

幾何学的には、この仮定は、とが互いに直交し、それらの内積（つまり、それらの交差モーメント）がゼロになることを意味します。 ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle \varepsilon _{i}}$

${\displaystyle \operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{for all }}i,j\in n}$

この仮定は、説明変数が誤差を伴って測定されている場合、または内生的である場合に破られる。^[10]内生性は同時性の結果である可能性があり、この場合、因果関係は従属変数と独立変数の両方の間で行き来する。この問題に対処するために、操作変数法が一般的に用いられる。

フルランク

サンプルデータ行列には完全な列ランクが必要です。 ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {rank} (\mathbf {X} )=k}$

それ以外の場合は逆変換できず、OLS 推定値を計算できません。 ${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {X} }$

この仮定に反する例として、完全な多重共線性、すなわち一部の説明変数が線形従属関係にあることが挙げられます。このような状況が発生する一つのシナリオは「ダミー変数トラップ」と呼ばれ、ベースダミー変数が省略されず、ダミー変数と定数項の間に完全な相関が生じる状況を指します。^[11]

多重共線性（「完全」でない限り）が存在する場合、効率は低下しますが、偏りのない推定値が得られます。推定値は精度が低く、特定のデータセットに対する感度が高くなります。^{[12]多重共線性は、}条件数や分散拡大係数などの検定から検出できます。

球面誤差

誤差ベクトルの外積は球面形状でなければなりません。

${\displaystyle \operatorname {E} [\,{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\operatorname {T} }\mid \mathbf {X} ]=\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{with }}\sigma ^{2}>0}$

これは、誤差項が均一分散（等分散性）を持ち、系列相関がないことを意味します。^[13]この仮定に反する場合、OLS法は依然として偏りがありませんが、非効率的です。「球面誤差」という用語は、多変量正規分布を表します。多変量正規密度において、この式はn次元空間においてμを中心とし、半径σを持つ球の式です。 ^[14] ${\displaystyle \operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I} }$ ${\displaystyle f(\varepsilon )=c}$

異分散性は、誤差の量が独立変数と相関している場合に発生します。例えば、食費と所得に関する回帰分析では、誤差は所得と相関します。低所得者は一般的に食費に同程度の金額を費やしますが、高所得者は食費が非常に多い場合もあれば、低所得者と同程度に少ない場合もあります。異分散性は、測定方法の変化によっても発生する可能性があります。例えば、統計局がデータを改善すると、測定誤差は減少し、誤差項は時間とともに減少します。

この仮定は、自己相関がある場合には破綻します。自己相関は、隣接する観測値も近似回帰直線より上にある場合、ある観測値が近似直線より上に位置する可能性が高くなる場合に、データプロット上で視覚化できます。自己相関は、データ系列が「慣性」を経験する可能性がある時系列データでよく見られます。これは、従属変数がショックを完全に吸収するのに時間がかかる場合です。空間的な自己相関も発生する可能性があり、地理的領域は類似した誤差を持つ可能性があります。自己相関は、関数形式の選択ミスなど、誤った仕様設定の結果である可能性があります。このような場合、仕様設定を修正することが自己相関に対処する方法の1つです。

球面誤差の仮定が破れる可能性がある場合、一般化最小二乗推定値は青であることが示されます。^[6]

参照

• 独立かつ同一分布の確率変数
• 線形回帰
• 測定の不確かさ

その他の偏りのない統計

• 最良線形不偏予測（BLUP）
• 最小分散不偏推定量（MVUE）

参考文献

1. Johnson, RA; Wichern, DW (2002). Applied multivariate statistics analysis . Vol. 5. Prentice hall.の第7章を参照。
2. Theil, Henri (1971). 「最良線形不偏推定と予測」.計量経済学の原理. ニューヨーク: John Wiley & Sons. pp. 119–124. ISBN 0-471-85845-5。
3. Plackett, RL (1949). 「最小二乗法に関する歴史的ノート」. Biometrika . 36 (3/4): 458– 460. doi :10.2307/2332682.
4. David, FN; Neyman, J. (1938). 「最小二乗法におけるマルコフ定理の拡張」.統計研究メモワール. 2 : 105–116 . OCLC  4025782.
5. Aitken, AC (1935). 「観測値の最小二乗法と線形結合について」.エディンバラ王立協会紀要. 55 : 42–48 . doi :10.1017/S0370164600014346.
6. Huang, David S. (1970).回帰分析と計量経済学的手法. ニューヨーク: John Wiley & Sons. pp. 127–147. ISBN 0-471-41754-8。
7. 林文夫(2000). 計量経済学. プリンストン大学出版局. p. 13. ISBN 0-691-01018-8。
8. ウォルターズ, AA (1970).計量経済学入門. ニューヨーク: WWノートン. p. 275. ISBN 0-393-09931-8。
9. 林文夫(2000). 計量経済学. プリンストン大学出版局. p. 7. ISBN 0-691-01018-8。
10. ジョンストン、ジョン（1972年）『計量経済学的手法（第2版）』ニューヨーク：マグロウヒル、pp. 267–291、ISBN 0-07-032679-7。
11. ウッドリッジ、ジェフリー(2012). 『計量経済学入門（第5版）』サウスウェスタン社. 220頁. ISBN 978-1-111-53439-4。
12. ジョンストン、ジョン（1972年）『計量経済学的手法（第2版）』ニューヨーク：マグロウヒル、pp. 159–168、ISBN 0-07-032679-7。
13. 林文夫(2000). 計量経済学. プリンストン大学出版局. p. 10. ISBN 0-691-01018-8。
14. ラマナサン、ラム (1993). 「非球面擾乱」.計量経済学における統計的手法. アカデミック・プレス. pp. 330–351. ISBN 0-12-576830-3。

さらに読む

• デイビッドソン、ジェームズ (2000). 「回帰モデルの統計分析」.計量経済理論. オックスフォード: ブラックウェル. pp.  17– 36. ISBN 0-631-17837-6。
• ゴールドバーガー、アーサー (1991). 「古典回帰」.計量経済学講座. ケンブリッジ: ハーバード大学出版局. pp. 160–169. ISBN 0-674-17544-1。
• テイル、アンリ(1971). 「最小二乗法と標準線形モデル」.計量経済学の原理. ニューヨーク: ジョン・ワイリー・アンド・サンズ. pp. 101–162. ISBN 0-471-85845-5。

外部リンク

• 数学用語の最も古い使用例：G（名前の簡単な歴史と説明）
• 多重線形回帰におけるガウス・マルコフ定理の証明（行列代数を利用）
• 幾何学を用いたガウス・マルコフ定理の証明

Retrieved from "https://en.wikipedia.org/w/index.php?title=Gauss–Markov_theorem&oldid=1321322508"