スチューデント化残差

Kind of ratio

統計学において、スチューデント化残差とは、残差をその標準偏差の推定値で割った無次元比であり、両者は同じ単位で表される。これはスチューデントのt統計量の一種であり、誤差の推定値は点ごとに変化する。

これは外れ値検出における重要な手法です。これは、「Student」というペンネームで著作を残したウィリアム・シーリー・ゴセットにちなんで名付けられた手法の一つです（例：スチューデント分布）。統計量を標本標準偏差で割ることをスチューデント化（標準化）と呼びます。これは、標準化や正規化と類似しています。

モチベーション

スチューデント化を行う主な理由は、多変量分布の回帰分析において、異なる入力変数値における誤差の分散が等しい場合でも、異なる入力変数値における残差の分散が異なる可能性があることです。問題は、統計における誤差と残差の違い、特に回帰分析における残差の挙動にあります。

単純な線形回帰モデルを考える

${\displaystyle Y=\alpha _{0}+\alpha _{1}X+\varepsilon .\,}$

ランダムサンプル（X _i、  Y _i）（i  = 1、...、  n）が与えられたとき、各ペア（X _i、  Y _i）は次式を満たす。

${\displaystyle Y_{i}=\alpha _{0}+\alpha _{1}X_{i}+\varepsilon _{i},\,}$

ここで、誤差と は 独立しており、すべて同じ分散 を持ちます。残差 は真の誤差ではなく、観測可能なデータに基づく推定値です。最小二乗法を用いて と を推定する場合、残差 は誤差 とは異なり、2つの制約を満たすため独立ではありません。 ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{1}}$ ${\displaystyle {\widehat {\varepsilon \,}}}$ ${\displaystyle \varepsilon }$

${\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}=0}$

そして

${\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}x_{i}=0.}$

(ここでε _iはi番目の誤差、はi番目の残差です。) ${\displaystyle {\widehat {\varepsilon \,}}_{i}}$

残差は誤差とは異なり、すべてが同じ分散を持つわけではありません。対応するx値が平均x値から離れるほど、分散は減少します。これはデータ自体の特徴ではなく、回帰において領域の両端でより適合度の高い値が得られるという特徴です。これは、様々なデータ点が回帰係数に与える影響関数にも反映されており、端点の影響は大きくなります。これは、端点における残差が適合直線の傾きに大きく依存するのに対し、中央における残差は傾きの影響を比較的受けにくいことからも明らかです。真の誤差の分散がすべて等しいにもかかわらず、残差の分散が異なるという事実こそが、スチューデント化が必要となる主な理由です。

これは単に母数パラメータ（平均値と標準偏差）が不明なだけの問題ではなく、残差の分布が共通する単変量分布の点推定値とは異なり、回帰分析ではデータポイントごとに異なる残差分布が生成されるという問題です。

背景

この単純なモデルでは、設計行列は

${\displaystyle X=\left[{\begin{matrix}1&x_{1}\\\vdots &\vdots \\1&x_{n}\end{matrix}}\right]}$

ハット行列 Hは、計画行列の列空間へ の直交射影の行列である。

${\displaystyle H=X(X^{T}X)^{-1}X^{T}.\,}$

レバレッジh _iiはハット行列のi番目の対角要素で ある。i番目の残差の分散は

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}(1-h_{ii}).}$

計画行列Xが2つの列のみを持つ場合（上記の例のように）、これは次の式に等しい。

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}\left(1-{\frac {1}{n}}-{\frac {(x_{i}-{\bar {x}})^{2}}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right).}$

算術平均の場合、計画行列Xには 1 つの列（1 のベクトル）のみがあり、これは単純に次のようになります。

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}\left(1-{\frac {1}{n}}\right).}$

計算

上記の定義から、スチューデント化残差は

${\displaystyle t_{i}={{\widehat {\varepsilon \,}}_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}$

ここで、h _iiはレバレッジであり、σの適切な推定値です（以下を参照）。 ${\displaystyle {\widehat {\sigma }}}$

平均値の場合、これは次の式と等しくなります。

${\displaystyle t_{i}={{\widehat {\varepsilon \,}}_{i} \over {\widehat {\sigma }}{\sqrt {(n-1)/n}}}}$

内部および外部の学生化

σ ²の通常の推定値は内部スチューデント化残差である。

${\displaystyle {\widehat {\sigma }}^{2}={1 \over n-m}\sum _{j=1}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2}.}$

ここで、mはモデル内のパラメータの数です (この例では 2)。

しかし、i 番目のケースが異常に大きいと疑われる場合、これも正規分布には従わない。したがって、i番目のケースが外れ値である可能 性があるかどうかを検討する際には、分散推定のプロセスからi番目の観測値を除外し 、代わりに外部スチューデント化残差を用いるのが賢明である。これは

${\displaystyle {\widehat {\sigma }}_{(i)}^{2}={1 \over n-m-1}\sum _{\begin{smallmatrix}j=1\\j\neq i\end{smallmatrix}}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2},}$

疑わしいケースi番目の残差を除くすべての残差に基づきます 。ここで強調したいのは、疑わしいケースiについてはi番目のケースを除外して計算されているということです 。 ${\displaystyle {\widehat {\varepsilon \,}}_{j}^{\,2}(j\neq i)}$

推定値σ ^{2 が} i番目のケースを含む場合 、それは内部スチューデント化残差（標準化残差^[1]とも呼ばれる）と呼ばれる。i番目のケースを除外した推定値を用いる場合、 それは外部スチューデント化残差と 呼ばれる。 ${\displaystyle t_{i}}$ ${\displaystyle {\widehat {\sigma }}_{(i)}^{2}}$ ${\displaystyle t_{i(i)}}$

分布

誤差が独立しており、 期待値0 で分散σ ^2の正規分布に従う場合、i番目の外部スチューデント化残差の確率分布は、自由度がn  −  m  − 1のスチューデントt分布となり、範囲は から になります。 ${\displaystyle t_{i(i)}}$ ${\displaystyle \scriptstyle -\infty }$ ${\displaystyle \scriptstyle +\infty }$

一方、内部スチューデント化残差は の範囲にあり、ここでν = n  −  mは残差の自由度である。t i_が内部スチューデント化残差を表し、誤差が独立かつ同一分布に従うガウス変数であると仮定すると、次の式が成り立つ：^[2] ${\displaystyle 0\,\pm \,{\sqrt {\nu }}}$

${\displaystyle t_{i}\sim {\sqrt {\nu }}{t \over {\sqrt {t^{2}+\nu -1}}}}$

ここで、 tは自由度ν −1のスチューデントt分布に従う確率変数である 。実際、これはt _i ² / νがベータ分布B (1/2,( ν −1)/2)に従うことを意味する 。上記の分布はタウ分布と呼ばれることもある。^[2]これは1935年にトンプソンによって初めて導かれた。^[3]

ν = 3の場合、内部スチューデント化残差はとの間に均一に分布します。残差の自由度が 1 つしかない場合、上記の内部スチューデント化残差の分布式は適用されません。この場合、t _iはすべて +1 または -1 のいずれかとなり、それぞれ 50% の確率となります。 ${\displaystyle \scriptstyle -{\sqrt {3}}}$ ${\displaystyle \scriptstyle +{\sqrt {3}}}$

内部的にスチューデント化された残差の分布の標準偏差は常に 1 ですが、これは特定の実験のすべてのt _iの標準偏差が 1 であることを意味するものではありません。たとえば、(0, 0) から点 (1, 4)、(2, −1)、(2, −1) に至る直線をフィッティングする場合の内部的にスチューデント化された残差は であり、これらの標準偏差は 1 ではありません。 ${\displaystyle {\sqrt {2}},\ -{\sqrt {5}}/5,\ -{\sqrt {5}}/5}$

スチューデント化残差t _iとt _j (ただし)の任意のペアはiid ではないことに注意してください。これらは同じ分布を持ちますが、残差の合計が 0 になり、計画行列に直交する必要があるという制約により、独立ではありません。 ${\displaystyle i\neq j}$

ソフトウェア実装

R、Pythonなどの多くのプログラムや統計パッケージには、スチューデント化残差の実装が含まれています。

言語/プログラム	関数	注記
R	rstandard(model, ...)	内部的に学生化された。[2]を参照
R	rstudent(model, ...)	外部的に学生化された。[3]を参照

参照

• クックの距離– 観測値が削除されたときの回帰係数の変化の尺度
• グラブスのテスト
• 正規化（統計）
• サミュエルソンの不等式
• 標準スコア
• ウィリアム・シーリー・ゴセット

参考文献

1. 回帰削除診断 R ドキュメント
2. Allen J. Pope (1976)、「残差の統計と外れ値の検出」、米国商務省、国立海洋大気庁、国立海洋調査所、測地研究開発研究所、136ページ、[1]、式(6)
3. トンプソン, ウィリアム・R. (1935). 「観測値の棄却基準と偏差対標本標準偏差比の分布について」.数理統計年報. 6 (4): 214– 219. doi : 10.1214/aoms/1177732567 .

さらに読む

• クック、R. デニス; ワイスバーグ、サンフォード (1982). 回帰における残差と影響（再版）. ニューヨーク:チャップマン・アンド・ホール. ISBN 041224280X. 2013年2月23日閲覧。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Studentized_residual&oldid=1308426673"