Method for model fitting in statistics
加重最小二乗法 （ WLS ）は、 加重線形回帰法 とも呼ばれ 、 [1] [2] 通常の最小二乗法 と 線形回帰法 を一般化したもの で、観測値の不等 分散 （ 異分散性 ）に関する知識を回帰に組み込んでいます。WLSは、誤差の 共分散行列 の非対角成分がすべてヌルである場合の、 一般化最小二乗法 の特殊化でもあります。
データ ポイントへのモデルの適合度は、従属変数の測定値とモデルによって予測された値との差として定義される残差 によって 測定 さ れ ます 。 r i {\displaystyle r_{i}} y i {\displaystyle y_{i}} f ( x i , β ) {\displaystyle f(x_{i},{\boldsymbol {\beta }})} r i ( β ) = y i − f ( x i , β ) . {\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}
誤差が無相関で分散が等しい場合、関数 は で最小化され 、 となります 。 S ( β ) = ∑ i r i ( β ) 2 , {\displaystyle S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2},} β ^ {\displaystyle {\boldsymbol {\hat {\beta }}}} ∂ S ∂ β j ( β ^ ) = 0 {\displaystyle {\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0}
ガウス ・マルコフ定理に よれば、これが成り立つ場合、は 最良線形不偏推定量 （ BLUE ）となる 。しかし、測定値が無相関であっても不確実性が異なる場合は、修正されたアプローチが採用される可能性がある。 エイトケンは 、重み付き残差二乗和が最小化されるとき、 各重みが測定値の分散の逆数に等しい場合
、 は BLUE となることを示した。 β ^ {\displaystyle {\hat {\boldsymbol {\beta }}}} β ^ {\displaystyle {\hat {\boldsymbol {\beta }}}} S = ∑ i = 1 n W i i r i 2 , W i i = 1 σ i 2 {\displaystyle {\begin{aligned}S&=\sum _{i=1}^{n}W_{ii}{r_{i}}^{2},&W_{ii}&={\frac {1}{{\sigma _{i}}^{2}}}\end{aligned}}}
この平方和の勾配方程式は − 2 ∑ i W i i ∂ f ( x i , β ) ∂ β j r i = 0 , j = 1 , … , m {\displaystyle -2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m}
これは線形最小二乗法では修正 正規方程式 を与え、
上記の 行列は 線形最小二乗法の対応する議論 で定義されているとおりです 。 ∑ i = 1 n ∑ k = 1 m X i j W i i X i k β ^ k = ∑ i = 1 n X i j W i i y i , j = 1 , … , m . {\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.} X {\displaystyle X}
観測誤差が無相関で 重み行列 W = Ω −1 が対角行列である場合、これらは次のように表される 。 ( X T W X ) β ^ = X T W y . {\displaystyle \mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .}
誤差が相関している場合、 重み行列が 観測値の 分散共分散行列の逆行列に等しいとき、結果として得られる推定値は BLUEになります。
誤差に相関がない場合、重み行列を因数分解して計算を簡略化するのが便利です 。これにより、正規方程式は通常の最小二乗法と同じ形式で表すことができます。 w i i = W i i {\displaystyle w_{ii}={\sqrt {W_{ii}}}} ( X ′ T X ′ ) β ^ = X ′ T y ′ {\displaystyle \mathbf {\left(X'^{\textsf {T}}X'\right){\hat {\boldsymbol {\beta }}}=X'^{\textsf {T}}y'} \,}
ここで、次のスケールされた行列とベクトルを定義します。 X ′ = diag ( w ) X , y ′ = diag ( w ) y = y ⊘ σ . {\displaystyle {\begin{aligned}\mathbf {X'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {X} ,\\\mathbf {y'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}}
これはホワイトニング変換 の一種であり 、最後の式には エントリごとの除算 が含まれます。
非線形最小二乗 システムの場合、 同様の議論から、正規方程式は次のように修正する必要があることがわかります。 ( J T W J ) Δ β = J T W Δ y . {\displaystyle \mathbf {\left(J^{\textsf {T}}WJ\right)\,{\boldsymbol {\Delta }}\beta =J^{\textsf {T}}W\,{\boldsymbol {\Delta }}y} .\,}
経験的検定では適切な Wが 確実には分かっていないため、推定する必要があることに注意してください。このために、 実行可能一般化最小二乗 法（FGLS）が用いられる場合があります。この場合、FGLSは対角共分散行列に特化されており、実行可能な重み付き最小二乗解が得られます。
観測値の不確実性が外部情報源から不明な場合、重みは与えられた観測値から推定することができます。これは、例えば外れ値を特定するのに有用です。外れ値をデータセットから除去した後、重みは1にリセットする必要があります。 [3]
モチベーション 場合によっては、観測値に重みが付けられることがあります。例えば、観測値の信頼性が必ずしも同じではない場合があります。このような場合、重み付き平方和を最小化することができます。 ここで 、w i > 0 はi 番目の観測値の重みであり 、 Wはそのような重みの 対角行列 です 。 a r g m i n β ∑ i = 1 n w i | y i − ∑ j = 1 m X i j β j | 2 = a r g m i n β ‖ W 1 2 ( y − X β ) ‖ 2 . {\displaystyle {\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\sum _{i=1}^{n}w_{i}\left|y_{i}-\sum _{j=1}^{m}X_{ij}\beta _{j}\right|^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\|^{2}.}
重みは理想的には、 測定の 分散 の 逆数に等しくなければなりません。（これは観測値が無相関であることを意味します。もし観測値が 相関して いる場合、式が適用されます。この場合、重み行列は理想的には観測値の 分散共分散行列 の逆数に等しくなければなりません ）。 [3] 正規方程式は次のようになります。 S = ∑ k ∑ j r k W k j r j {\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,} ( X T W X ) β ^ = X T W y . {\displaystyle \left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} .}
この方法は、 反復的に再重み付けされた最小二乗法 で使用されます。
解決
パラメータ誤差と相関 推定パラメータ値は観測値の線形結合である β ^ = ( X T W X ) − 1 X T W y . {\displaystyle {\hat {\boldsymbol {\beta }}}=(X^{\textsf {T}}WX)^{-1}X^{\textsf {T}}W\mathbf {y} .}
したがって、パラメータ推定値の 推定 分散共分散行列 は、観測値の誤差からの 誤差伝播によって表される。観測値の分散共分散行列を M 、推定パラメータの分散共分散行列を M β とすると、 M β = ( X T W X ) − 1 X T W M W T X ( X T W T X ) − 1 . {\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}WMW^{\textsf {T}}X\left(X^{\textsf {T}}W^{\textsf {T}}X\right)^{-1}.}
W = M −1 のとき 、これは次のように単純化される。 M β = ( X T W X ) − 1 . {\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}.}
単位重み（ W = I 、 単位行列 ）が用いられる場合 、実験誤差は無相関で全て等しいと仮定する： M = σ 2 I 、ここで σ 2 は観測値の 事前 分散である。いずれの場合も、 σ 2は 縮約カイ二 乗で近似される ： χ ν 2 {\displaystyle \chi _{\nu }^{2}} M β = χ ν 2 ( X T W X ) − 1 , χ ν 2 = S / ν , {\displaystyle {\begin{aligned}M^{\beta }&=\chi _{\nu }^{2}\left(X^{\textsf {T}}WX\right)^{-1},\\\chi _{\nu }^{2}&=S/\nu ,\end{aligned}}}
ここで Sは重み付き 目的関数 の最小値である 。 S = r T W r = ‖ W 1 2 ( y − X β ^ ) ‖ 2 . {\displaystyle S=r^{\textsf {T}}Wr=\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\hat {\boldsymbol {\beta }}}\right)\right\|^{2}.}
分母は 自由度 の数です 。 相関のある観測の場合の一般化については、 有効自由度を参照してください。 ν = n − m {\displaystyle \nu =n-m}
いずれの場合も、 パラメータ推定値の 分散 は で与えられ 、 パラメータ推定値 と間の 共分散 は で与えられます 。 標準偏差 は分散の平方根 であり 、相関係数は で与えられます 。これらの誤差推定値は、測定における ランダム誤差のみを反映しています。パラメータの真の不確実性は、定義上定量化できない 系統的誤差 の存在により 、より大きくなります。観測値は無相関の場合もありますが、パラメータは通常は で 相関している ことに注意してください。 β ^ i {\displaystyle {\hat {\beta }}_{i}} M i i β {\displaystyle M_{ii}^{\beta }} β ^ i {\displaystyle {\hat {\beta }}_{i}} β ^ j {\displaystyle {\hat {\beta }}_{j}} M i j β {\displaystyle M_{ij}^{\beta }} σ i = M i i β {\displaystyle \sigma _{i}={\sqrt {M_{ii}^{\beta }}}} ρ i j = M i j β / ( σ i σ j ) {\displaystyle \rho _{ij}=M_{ij}^{\beta }/(\sigma _{i}\sigma _{j})}
パラメータ信頼限界 具体的な証拠がないにもかかわらず、 中心極限定理 （ 正規分布#発生と応用を参照）に 依拠して 、 各観測値の誤差は 平均0、標準偏差 の 正規分布 に従うと仮定されることが多い。この仮定の下では、単一のスカラーパラメータ推定値について、その推定標準誤差（ ここで は） を用いて以下の確率を導くことができる。 σ {\displaystyle \sigma } s e β {\displaystyle se_{\beta }}
区間が 真の係数値を包含する確率は68% β ^ ± s e β {\displaystyle {\hat {\beta }}\pm se_{\beta }} 区間が 真の係数値を包含する確率は95% β ^ ± 2 s e β {\displaystyle {\hat {\beta }}\pm 2se_{\beta }} 区間が 真の係数値を包含する確率は99%である β ^ ± 2.5 s e β {\displaystyle {\hat {\beta }}\pm 2.5se_{\beta }} n >> m の場合、この仮定は不合理ではありません 。実験誤差が正規分布する場合、パラメータは 自由度 n − m の スチューデントt分布 に従います。n ≫ m の場合、 スチューデント t 分布 は正規分布に近似します。ただし、これらの信頼限界は系統的誤差を考慮に入れていないことに注意してください。また、パラメータ誤差は 標本誤差の 影響を受けるため、有効数字は1桁のみで示されます 。 [4]
観測数が比較的少ない場合、実験誤差の分布に関する仮定に関係なく、 チェビシェフの不等式を 確率の上限として使用できます。パラメータが期待値から 1、2、または 3 標準偏差以上離れる最大確率は、それぞれ 100%、25%、11% です。
残差値と相関 残 差 は観測値と以下の関係がある。 r ^ = y − X β ^ = y − H y = ( I − H ) y , {\displaystyle \mathbf {\hat {r}} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}=\mathbf {y} -H\mathbf {y} =(I-H)\mathbf {y} ,}
ここで、 Hは ハット行列 として知られる べき等行列 です 。 H = X ( X T W X ) − 1 X T W , {\displaystyle H=X\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W,}
I は 単位行列 である 。残差の分散共分散行列 M r は次のように与えられる。 M r = ( I − H ) M ( I − H ) T . {\displaystyle M^{\mathbf {r} }=(I-H)M(I-H)^{\textsf {T}}.}
したがって、観測値が相関していなくても、残差は相関しています。
いつ 、 W = M − 1 {\displaystyle W=M^{-1}} M r = ( I − H ) M . {\displaystyle M^{\mathbf {r} }=(I-H)M.}
モデル関数に定数項が含まれる場合、重み付き残差値の合計はゼロになります。残差の式に X T W T を左乗算します。 X T W r ^ = X T W y − X T W X β ^ = X T W y − ( X T W X ) ( X T W X ) − 1 X T W y = 0 . {\displaystyle X^{\textsf {T}}W{\hat {\mathbf {r} }}=X^{\textsf {T}}W\mathbf {y} -X^{\textsf {T}}WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .}
例えば、モデルの最初の項が定数で、 すべての i に対してとなるとします。その場合、 X i 1 = 1 {\displaystyle X_{i1}=1} ∑ i m X i 1 W i r ^ i = ∑ i m W i r ^ i = 0. {\displaystyle \sum _{i}^{m}X_{i1}W_{i}{\hat {r}}_{i}=\sum _{i}^{m}W_{i}{\hat {r}}_{i}=0.}
したがって、上記の動機付けの例では、残差値の合計がゼロになるという事実は偶然ではなく、モデルに定数項 α が存在する結果です。
実験誤差が 正規分布 に従う場合、残差と観測値の間に線形関係があるため、残差も正規分布に従うはずです [5]。 しかし、観測値はすべての観測値を含む母集団の標本に過ぎないため、残差は スチューデントt分布 に従うはずです。 スチューデント化残差は 、特定の残差が過度に大きいと思われる場合に、 外れ値を 検出する統計的検定を行う際に有用です。
参照
参考文献 ^ “加重回帰”. 2022年4月21日時点のオリジナルよりアーカイブ 。 2018年10月16日 閲覧。 ^ 「加重回帰を視覚化する」。 ^ ab Strutz, T. (2016). "3". データフィッティングと不確実性（重み付き最小二乗法とその先への実践的入門） . Springer Vieweg. ISBN 978-3-658-11455-8 。 ^ マンデル、ジョン（1964） 『実験データの統計分析 』ニューヨーク：インターサイエンス。 ^ Mardia, KV; Kent, JT; Bibby, JM (1979). 多変量解析 . ニューヨーク: Academic Press. ISBN 0-12-471250-9 。
