平均二乗予測誤差

統計学において、平均二乗予測誤差（MSPE）は、平滑化、曲線近似、または回帰手法の予測値の平均二乗誤差とも呼ばれ、予測関数によって暗示される近似値と（観測不可能な）真の値gの値との二乗差である二乗予測誤差（PE）の期待値である。これは、推定モデルの説明力の逆数であり、推定モデルのクロスバリデーションのプロセスで使用できる。MSPEを正確に計算するにはgの情報が必要となるため、実際にはMSPEは推定される。^{[ 1 ]} ${\displaystyle {\widehat {g}}}$ ${\displaystyle {\widehat {g}},}$

処方

スムージングまたはフィッティング手順に、観測値ベクトルを予測値ベクトルにマッピングする投影行列（ハット行列）Lがある場合、 PE と MSPE は次のように定式化されます。 ${\displaystyle y}$ ${\displaystyle {\hat {y}}=Ly,}$

${\displaystyle \operatorname {PE_{i}} =g(x_{i})-{\widehat {g}}(x_{i}),}$

${\displaystyle \operatorname {MSPE} =\operatorname {E} \left[\operatorname {PE} _{i}^{2}\right]=\sum _{i=1}^{n}\operatorname {PE} _{i}^{2}/n.}$

MSPE は、適合値の二乗バイアス(平均誤差) と適合値の 分散という 2 つの項に分解できます。

${\displaystyle \operatorname {MSPE} =\operatorname {ME} ^{2}+\operatorname {VAR} ,}$

${\displaystyle \operatorname {ME} =\operatorname {E} \left[{\widehat {g}}(x_{i})-g(x_{i})\right]}$

${\displaystyle \operatorname {VAR} =\operatorname {E} \left[\left({\widehat {g}}(x_{i})-\operatorname {E} \left[{g}(x_{i})\right]\right)^{2}\right].}$

SSPE = n MSPEという量は、予測誤差の二乗和と呼ばれます。二乗平均平方根予測誤差はMSPEの平方根です：RMSPE = √ MSPE。

サンプル外データに対するMSPEの計算

平均二乗予測誤差は、正確には 2 つの状況で計算できます。まず、長さnのデータ サンプルを使用して、データ アナリストはq個のデータ ポイント ( q < n )に対してのみ回帰を実行し、その他のn – qデータ ポイントは、サンプル外で推定されるモデルの MSPE を計算するために使用するという特定の目的で保持します (つまり、モデル推定プロセスで使用されたデータは使用しません)。回帰プロセスはq 個のインサンプル ポイントに合わせて調整されるため、通常、インサンプル MSPE は、保持されたn – q個のポイントで計算されたアウトオブサンプル MSPE よりも小さくなります。サンプル内と比較したアウトオブサンプルの MSPE の増加が比較的わずかであれば、モデルは好意的に評価されます。また、2 つのモデルを比較する場合、モデルの相対的なインサンプル パフォーマンスに関係なく、 n – q個のアウトオブサンプル データ ポイントでの MSPE が低いモデルの方が好意的に評価されます。このコンテキストでのサンプル外 MSPE は、計算されたサンプル外データ ポイントに対して正確ですが、データが抽出された、ほとんど観測されていない母集団に対するモデルの MSPE の推定値にすぎません。

2 番目に、時間が経つにつれて、データ アナリストが利用できるデータが増える可能性があり、それらの新しいデータに基づいて MSPE を計算できるようになります。

人口全体にわたるMSPEの推定

モデルが、一切の差し控えなく利用可能なすべてのデータに対して推定された場合、ほとんど観測されていないデータの全母集団に対するモデルの MSPE は次のように推定できます。

のモデルでは、次のように書くことができる 。 ${\displaystyle y_{i}=g(x_{i})+\sigma \varepsilon _{i}}$ ${\displaystyle \varepsilon _{i}\sim {\mathcal {N}}(0,1)}$

${\displaystyle n\cdot \operatorname {MSPE} (L)=g^{\text{T}}(I-L)^{\text{T}}(I-L)g+\sigma ^{2}\operatorname {tr} \left[L^{\text{T}}L\right].}$

サンプル内データ値を使用すると、右辺の最初の項は次の式と等しくなります。

${\displaystyle \sum _{i=1}^{n}\left(\operatorname {E} \left[g(x_{i})-{\widehat {g}}(x_{i})\right]\right)^{2}=\operatorname {E} \left[\sum _{i=1}^{n}\left(y_{i}-{\widehat {g}}(x_{i})\right)^{2}\right]-\sigma ^{2}\operatorname {tr} \left[\left(I-L\right)^{T}\left(I-L\right)\right].}$

したがって、

${\displaystyle n\cdot \operatorname {MSPE} (L)=\operatorname {E} \left[\sum _{i=1}^{n}\left(y_{i}-{\widehat {g}}(x_{i})\right)^{2}\right]-\sigma ^{2}\left(n-\operatorname {tr} \left[L\right]\right).}$

が既知であるか、または によって十分に推定されている場合、MSPEを次のように推定することが可能になる。 ${\displaystyle \sigma ^{2}}$ ${\displaystyle {\widehat {\sigma }}^{2}}$

${\displaystyle n\cdot \operatorname {\widehat {MSPE}} (L)=\sum _{i=1}^{n}\left(y_{i}-{\widehat {g}}(x_{i})\right)^{2}-{\widehat {\sigma }}^{2}\left(n-\operatorname {tr} \left[L\right]\right).}$

コリン・マローズは、推定された MSPE の正規化バージョンである モデル選択統計量C _pの構築においてこの方法を提唱しました。

${\displaystyle C_{p}={\frac {\sum _{i=1}^{n}\left(y_{i}-{\widehat {g}}(x_{i})\right)^{2}}{{\widehat {\sigma }}^{2}}}-n+2p.}$

ここでpは推定パラメータpの数であり、すべての可能な回帰変数を含むモデルのバージョンから計算されます。これで証明は終わりです。 ${\displaystyle {\widehat {\sigma }}^{2}}$

参照

• 赤池情報量基準
• バイアスと分散のトレードオフ
• 平均二乗誤差
• 統計における誤差と残差
• 全分散の法則
• マロウズのC _p
• モデル選択

参考文献

1. Pindyck, Robert S. ; Rubinfeld, Daniel L. (1991). 「時系列モデルによる予測」 .計量モデルと経済予測（第3版）. ニューヨーク: McGraw-Hill. pp.  516–535 . ISBN 0-07-050098-3。

「 https://en.wikipedia.org/w/index.php?title=Mean_squared_prediction_error&oldid=1257553434」より取得