残差平方和

Statistical measure of the discrepancy between data and an estimation model

統計学において、残差二乗和（RSS）は、残差二乗和（SSR）または誤差二乗推定和（SSE）とも呼ばれ、残差（データの実際の経験値から予測される偏差）の二乗和です。これは、データと線形回帰などの推定モデルとの乖離度を示す指標です。RSSが小さいほど、モデルがデータによく適合していることを示します。これは、パラメータ選択およびモデル選択における最適性基準として使用されます。

一般に、総平方和=説明平方和+ 残差平方和です。多変量通常最小二乗法（OLS）の場合のこの証明については、一般OLSモデルにおける分割を参照してください。

1つの説明変数

単一の説明変数を持つモデルでは、RSSは次のように与えられる: ^[1]

$${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2}}$$

ここで、y _iは予測される変数のi^{番目の値、} x _iは説明変数のi^{番目の値、は}y _iの予測値（ とも呼ばれる）である。標準的な線形単回帰モデルでは、であり、とは係数、yとxはそれぞれ回帰係数と回帰変数、ε は誤差項である。残差の平方和は の平方和であり、つまり ${\displaystyle f(x_{i})}$ ${\displaystyle {\hat {y_{i}}}}$ ${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle {\widehat {\varepsilon \,}}_{i}}$

$${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}\left({\widehat {\varepsilon }}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-({\widehat {\alpha \,}}+{\widehat {\beta }}\,x_{i})\right)^{2}}$$

ここで、 は定数項の推定値であり、は傾き係数の推定値です。 ${\displaystyle {\widehat {\alpha \,}}}$ ${\displaystyle \alpha }$ ${\displaystyle {\widehat {\beta \,}}}$ ${\displaystyle \beta }$

OLS残差平方和の行列式

n個の観測値とk個の説明変数を持つ一般回帰モデルは、最初の説明変数が定数単位ベクトルであり、その係数は回帰切片である。

$${\displaystyle y=X\beta +e}$$

ここで、yは従属変数の観測値のn ×1ベクトル、 n × k行列Xの各列はk個の説明変数のうちの1つに関する観測値のベクトル、は真の係数のk ×1ベクトル、eは真の根底誤差のn ×1ベクトルである。の最小二乗推定値は ${\displaystyle \beta }$ ${\displaystyle \beta }$

$${\displaystyle {\begin{aligned}&X{\hat {\beta }}=y\\[1ex]\iff &X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\\[1ex]\iff &{\hat {\beta }}=\left(X^{\operatorname {T} }X\right)^{-1}X^{\operatorname {T} }y.\end{aligned}}}$$

残差ベクトルなので残差二乗和は次のようになります。 ${\displaystyle {\hat {e}}=y-X{\hat {\beta }}=y-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y}$

$${\displaystyle \operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\left\|{\hat {e}}\right\|^{2},}$$

（残差ノルムの2乗に相当）。全文は以下のとおり。

$${\displaystyle {\begin{aligned}\operatorname {RSS} &=y^{\operatorname {T} }y-y^{\operatorname {T} }X\left(X^{\operatorname {T} }X\right)^{-1}X^{\operatorname {T} }y\\[1ex]&=y^{\operatorname {T} }\left[I-X\left(X^{\operatorname {T} }X\right)^{-1}X^{\operatorname {T} }\right]y\\[1ex]&=y^{\operatorname {T} }\left[I-H\right]y,\end{aligned}}}$$

ここで、Hはハット行列、または線形回帰における射影行列です。

ピアソンの積率相関との関係

最小二乗回帰直線は次のように与えられる。

$${\displaystyle y=ax+b,}$$

ここで、そして、ここで、そして ${\displaystyle b={\bar {y}}-a{\bar {x}}}$ ${\displaystyle a={\frac {S_{xy}}{S_{xx}}}}$ ${\displaystyle S_{xy}=\sum _{i=1}^{n}({\bar {x}}-x_{i})({\bar {y}}-y_{i})}$ ${\displaystyle S_{xx}=\sum _{i=1}^{n}({\bar {x}}-x_{i})^{2}.}$

したがって、

$${\displaystyle {\begin{aligned}\operatorname {RSS} &=\sum _{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-(ax_{i}+b)\right)^{2}\\[1ex]&=\sum _{i=1}^{n}\left(y_{i}-ax_{i}-{\bar {y}}+a{\bar {x}}\right)^{2}=\sum _{i=1}^{n}\left[a\left({\bar {x}}-x_{i}\right)-\left({\bar {y}}-y_{i}\right)\right]^{2}\\[1ex]&=a^{2}S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}\\[1ex]&=S_{yy}\left(1-{\frac {S_{xy}^{2}}{S_{xx}S_{yy}}}\right)\end{aligned}}}$$

どこ ${\displaystyle S_{yy}=\sum _{i=1}^{n}({\bar {y}}-y_{i})^{2}.}$

ピアソンの積率相関は次のように表される。 ${\displaystyle r={\frac {S_{xy}}{\sqrt {S_{xx}S_{yy}}}};}$ ${\displaystyle \operatorname {RSS} =S_{yy}(1-r^{2}).}$

参照

• 赤池情報量基準 § 最小二乗法との比較
• カイ二乗分布 § 応用
• 自由度（統計）§平方和と自由度
• 統計における誤差と残差
• 不適合度の平方和
• 平均二乗誤差
• 縮小カイ二乗統計量、自由度あたりのRSS
• 二乗偏差
• 平方和（統計）

参考文献

1. Archdeacon, Thomas J. (1994).相関と回帰分析：歴史家のためのガイド. ウィスコンシン大学出版局. pp.  161– 162. ISBN 0-299-13650-7. OCLC  27266095。

• Draper, NR; Smith, H. (1998).応用回帰分析（第3版）. John Wiley. ISBN 0-471-17082-8。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Residual_sum_of_squares&oldid=1324122400"