Measure of the error of an estimator
統計学 において 、 平均二乗誤差 ( MSE ) [1] または 平均二乗偏差 ( MSD ) は、 (観測されない量を推定する手順の) 推定量では、 誤差 の二乗の 平均 、つまり推定値と 真の値 の平均二乗差を測定します。 MSE は リスク関数 であり、 二乗誤差損失 の 期待値 に対応します。 [2] MSE がほぼ常に厳密に正である (ゼロではない) という事実は、 ランダム性 のため、または推定量が より正確な推定値を生成できる 情報を考慮していないためです。 [3] 機械 学習 、特に 経験的リスク最小化で は、 MSE は 経験的 リスク (観測されたデータ セットの平均損失) を真の MSE (真のリスク: 実際の母集団分布の平均損失) の推定値として指す場合があります。
MSEは推定値の品質を測る指標です。 ユークリッド距離 の2乗から導出されるため、常に正の値をとり、誤差がゼロに近づくにつれて減少します。
MSE は 誤差の（原点の周りの） 2 次 モーメント であるため、推定値の 分散（ データ サンプル 間で推定値がどれだけ広がっているか）と バイアス （平均推定値が真の値からどれだけ離れているか）の両方が組み込まれています。 [ 引用が必要 ] 不偏推定値 の場合 、MSE は推定値の分散です。分散と同様に、MSE は推定される量の 2 乗と同じ測定単位を持ちます。 標準偏差 と同様に、MSE の平方根を取ると、推定される量と同じ単位を持つ 平均二乗誤差 または 平均二乗偏差 (RMSE または RMSD) が得られます。不偏推定値の場合、RMSE は分散 の平方根であり 、 標準誤差 と呼ばれます。
定義と基本的な性質 MSEは、 予測 変数（任意の入力を何らかの確率変数 の値のサンプルにマッピングする関数 ）または 推定変数 （データの サンプル を、そのデータがサンプリングされた母集団のパラメータの推定値にマッピングする数学関数）の 品質 を 評価します 。 予測 の文脈では、 予測区間を 理解することも有用です。予測区間は、将来の観測値が一定の確率で収まる範囲を示すからです。MSEの定義は、予測変数を記述するか推定変数を記述するかによって異なります。
予測者 予測ベクトルが すべての変数のデータポイント のサンプルから生成され、 が予測される変数の観測値のベクトルであり、が 予測値（例えば、 最小二乗近似 から得られる）である場合、予測変数のサンプル内MSEは次のように計算されます。 n {\displaystyle n} n {\displaystyle n} Y {\displaystyle Y} Y ^ {\displaystyle {\hat {Y}}}
MSE = 1 n ∑ i = 1 n ( Y i − Y i ^ ) 2 {\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}
言い換えれば、MSEは 誤差の二乗 の 平均 です。これは特定の標本に対して簡単に計算できる量であり（したがって標本に依存します）、 ( 1 n ∑ i = 1 n ) {\textstyle \left({\frac {1}{n}}\sum _{i=1}^{n}\right)} ( Y i − Y i ^ ) 2 {\textstyle \left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}
行列 表記 で は 、 は 列ベクトル です 。 MSE = 1 n ∑ i = 1 n ( e i ) 2 = 1 n e T e {\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(e_{i})^{2}={\frac {1}{n}}\mathbf {e} ^{\mathsf {T}}\mathbf {e} } e i {\displaystyle e_{i}} Y i − Y i ^ {\displaystyle Y_{i}-{\hat {Y_{i}}}} e {\displaystyle \mathbf {e} } n × 1 {\displaystyle n\times 1}
MSEは、モデルの推定に使用されなかった q個の データ点に対しても計算される。これらのデータは、推定のために保持されていたか、新たに取得されたものである。このプロセスは クロスバリデーション と呼ばれ、MSEはしばしばテストMSE [4] と呼ばれ、次のように計算される。
MSE = 1 q ∑ i = n + 1 n + q ( Y i − Y i ^ ) 2 {\displaystyle \operatorname {MSE} ={\frac {1}{q}}\sum _{i=n+1}^{n+q}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}
見積もり 未知のパラメータに対する 推定値のMSEは 次のように定義される [1] θ ^ {\displaystyle {\hat {\theta }}} θ {\displaystyle \theta }
MSE ( θ ^ ) = E θ [ ( θ ^ − θ ) 2 ] . {\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].}
この定義は未知のパラメータに依存するため、MSEは 推定値の 事前特性となります。MSEは未知のパラメータの関数となる可能性があり、その場合、これらのパラメータの推定値に基づくMSEの 推定値は データの関数（つまり確率変数）となります。推定値が標本統計量として導出され、何らかの母数パラメータの推定に使用される場合、期待値は標本統計量の 標本分布 に従います 。 θ ^ {\displaystyle {\hat {\theta }}}
MSEは 推定値の分散と推定 値の バイアス の二乗の合計として表すことができ、MSEを計算する便利な方法を提供し、不偏推定値の場合にはMSEと分散が同等であることを意味しています。 [5]
MSE ( θ ^ ) = Var θ ( θ ^ ) + Bias ( θ ^ , θ ) 2 . {\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} ({\hat {\theta }},\theta )^{2}.}
分散とバイアスの関係の証明 MSE ( θ ^ ) = E θ [ ( θ ^ − θ ) 2 ] = E θ [ ( θ ^ − E θ [ θ ^ ] + E θ [ θ ^ ] − θ ) 2 ] = E θ [ ( θ ^ − E θ [ θ ^ ] ) 2 + 2 ( θ ^ − E θ [ θ ^ ] ) ( E θ [ θ ^ ] − θ ) + ( E θ [ θ ^ ] − θ ) 2 ] = E θ [ ( θ ^ − E θ [ θ ^ ] ) 2 ] + E θ [ 2 ( θ ^ − E θ [ θ ^ ] ) ( E θ [ θ ^ ] − θ ) ] + E θ [ ( E θ [ θ ^ ] − θ ) 2 ] = E θ [ ( θ ^ − E θ [ θ ^ ] ) 2 ] + 2 ( E θ [ θ ^ ] − θ ) E θ [ θ ^ − E θ [ θ ^ ] ] + ( E θ [ θ ^ ] − θ ) 2 E θ [ θ ^ ] − θ = constant = E θ [ ( θ ^ − E θ [ θ ^ ] ) 2 ] + 2 ( E θ [ θ ^ ] − θ ) ( E θ [ θ ^ ] − E θ [ θ ^ ] ) + ( E θ [ θ ^ ] − θ ) 2 E θ [ θ ^ ] = constant = E θ [ ( θ ^ − E θ [ θ ^ ] ) 2 ] + ( E θ [ θ ^ ] − θ ) 2 = Var θ ( θ ^ ) + Bias θ ( θ ^ , θ ) 2 {\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]+\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}+2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\operatorname {E} _{\theta }\left[2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\right]+\operatorname {E} _{\theta }\left[\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\operatorname {E} _{\theta }\left[{\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta ={\text{constant}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]={\text{constant}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\\&=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} _{\theta }({\hat {\theta }},\theta )^{2}\end{aligned}}}
よく知られた公式、すなわち確率変数 に対して という公式を用いることで、 さらに簡潔な証明が可能です 。 [ 要出典 ] を に代入することで 、 となります
。 しかし、実際のモデリングにおいては、MSE はモデル分散、モデルバイアス、そして削減不可能な不確実性（ バイアスと分散のトレードオフを 参照）の加算として説明できます。この関係式によれば、推定量の MSE は、推定量の分散とバイアスの情報を含む 効率 比較に単純に使用できます。これは MSE 基準と呼ばれます。 X {\textstyle X} E ( X 2 ) = Var ( X ) + ( E ( X ) ) 2 {\textstyle \mathbb {E} (X^{2})=\operatorname {Var} (X)+(\mathbb {E} (X))^{2}} X {\textstyle X} θ ^ − θ {\textstyle {\hat {\theta }}-\theta } MSE ( θ ^ ) = E [ ( θ ^ − θ ) 2 ] = Var ( θ ^ − θ ) + ( E [ θ ^ − θ ] ) 2 = Var ( θ ^ ) + Bias 2 ( θ ^ , θ ) {\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]\\&=\operatorname {Var} ({\hat {\theta }}-\theta )+(\mathbb {E} [{\hat {\theta }}-\theta ])^{2}\\&=\operatorname {Var} ({\hat {\theta }})+\operatorname {Bias} ^{2}({\hat {\theta }},\theta )\end{aligned}}}
回帰では 回帰分析 では 、プロットはデータ全体の傾向をより自然に把握する方法です。各点から予測回帰モデルまでの距離の平均を計算し、平均二乗誤差として表示できます。二乗は、負の符号による複雑さを軽減するために重要です。MSEを最小限に抑えるには、モデルの精度を高め、実際のデータに近づける必要があります。この手法を用いた線型回帰の一例として、最小二乗法が挙げられます。これは、 線型回帰モデルが 二変量データセット をモデル化するのに適しているかどうかを評価する手法ですが 、 [6] データの分布が既知であることに限界があります。
平均二乗誤差 という用語は 、誤差分散の不偏推定値、 つまり残差二乗和を 自由度 の数で割ったものを指すために使用される ことがあります。既知の計算された量のこの定義は、異なる分母が使用されるという点で、上記の予測変数の計算されたMSEの定義とは異なります。分母は、同じデータから推定されたモデルパラメータの数だけ減らされたサンプルサイズで、 p個の 回帰変数の場合は( n − p ) 、 切片が使用される場合は ( n − p −1)です（詳細については、 統計における誤差と残差を参照してください）。 [7] MSE（この記事で定義されているように）は誤差分散の不偏推定値ではありませんが、予測変数の一貫性を考えると、 一貫性 があります。
回帰分析において、「平均二乗誤差」は、 平均二乗予測誤差 または「標本外平均二乗誤差」とも呼ばれ、 特定の標本空間 で推定されたモデルによって生成された、 標本外 検定空間における予測値と真値の 二乗偏差 の平均値を指すこともあります。これも既知の計算量であり、標本および標本外検定空間によって異なります。
勾配降下法 アルゴリズムの文脈では 、導関数を取った後の計算を容易にするために、MSEに係数 を導入することが一般的です 。したがって、技術的には平均二乗誤差の半分に相当する値をMSEと呼ぶことがあります。 1 / 2 {\displaystyle 1/2}
例
平均 母集団から 個のランダム標本を抽出したとします 。標本単位は 個の 復元抽出法で 抽出されたものとします。つまり、 単位は1つずつ選択され、以前に抽出された単位はすべての 抽出で引き続き選択対象となります。母平均の通常の推定値 は標本平均です。 n {\displaystyle n} X 1 , … , X n {\displaystyle X_{1},\dots ,X_{n}} n {\displaystyle n} n {\displaystyle n} μ {\displaystyle \mu }
X ¯ = 1 n ∑ i = 1 n X i {\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}
これは、期待値が真の平均に等しく （つまり偏りがない）、平均二乗誤差が μ {\displaystyle \mu }
MSE ( X ¯ ) = E [ ( X ¯ − μ ) 2 ] = ( σ n ) 2 = σ 2 n {\displaystyle \operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}}
ここで 、 は 母分散 です。 σ 2 {\displaystyle \sigma ^{2}}
ガウス分布 の場合、 これは 母平均の 最良の不偏推定値であり、すべての不偏推定値の中で最小のMSE（したがって分散）を持つものです。上記のMSEは フィッシャー情報量 の逆数に等しいことが確認できます（ クラマー・ラオ境界を参照）。しかし、例えば 一様分布 の場合、同じ標本平均は母平均の最良の推定値ではありません 。
分散 分散の通常の推定値は、 修正された 標本分散 です。
S n − 1 2 = 1 n − 1 ∑ i = 1 n ( X i − X ¯ ) 2 = 1 n − 1 ( ∑ i = 1 n X i 2 − n X ¯ 2 ) . {\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).}
これは不偏（期待値は ）であるため、 不偏サンプル分散とも呼ばれ、 そのMSEは [8]である。 σ 2 {\displaystyle \sigma ^{2}}
MSE ( S n − 1 2 ) = 1 n ( μ 4 − n − 3 n − 1 σ 4 ) = 1 n ( γ 2 + 2 n n − 1 ) σ 4 , {\displaystyle \operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4},}
ここで、は 分布または母集団の 4番目の 中心モーメントであり、 は 過剰尖度 です 。 μ 4 {\displaystyle \mu _{4}} γ 2 = μ 4 / σ 4 − 3 {\displaystyle \gamma _{2}=\mu _{4}/\sigma ^{4}-3}
しかし、 に比例する他の推定量を用いることも可能であり 、適切な選択は常により低い平均二乗誤差を与える。 σ 2 {\displaystyle \sigma ^{2}} S n − 1 2 {\displaystyle S_{n-1}^{2}}
S a 2 = n − 1 a S n − 1 2 = 1 a ∑ i = 1 n ( X i − X ¯ ) 2 {\displaystyle S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}
次に計算します:
MSE ( S a 2 ) = E [ ( n − 1 a S n − 1 2 − σ 2 ) 2 ] = E [ ( n − 1 ) 2 a 2 S n − 1 4 − 2 ( n − 1 a S n − 1 2 ) σ 2 + σ 4 ] = ( n − 1 ) 2 a 2 E [ S n − 1 4 ] − 2 ( n − 1 a ) E [ S n − 1 2 ] σ 2 + σ 4 = ( n − 1 ) 2 a 2 E [ S n − 1 4 ] − 2 ( n − 1 a ) σ 4 + σ 4 E [ S n − 1 2 ] = σ 2 = ( n − 1 ) 2 a 2 ( γ 2 n + n + 1 n − 1 ) σ 4 − 2 ( n − 1 a ) σ 4 + σ 4 E [ S n − 1 4 ] = MSE ( S n − 1 2 ) + σ 4 = n − 1 n a 2 ( ( n − 1 ) γ 2 + n 2 + n ) σ 4 − 2 ( n − 1 a ) σ 4 + σ 4 {\displaystyle {\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}}
これは、
a = ( n − 1 ) γ 2 + n 2 + n n = n + 1 + n − 1 n γ 2 . {\displaystyle a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.}
ガウス分布 （ ただし ） の場合、 これは合計を で割ったときに MSE が最小化されることを意味します 。最小過剰尖度は （[a]）であり 、 これは p = 1/2（コイン投げ）の ベルヌーイ分布 によって達成され 、MSE は に対して最小化されます 。したがって、尖度に関わらず、不偏推定値を少し縮小することで「より良い」推定値（MSE が低くなるという意味で）が得られます。これは、 収縮推定値 の簡単な例です。つまり、推定値をゼロに向かって「収縮」します（不偏推定値を縮小します）。 γ 2 = 0 {\displaystyle \gamma _{2}=0} a = n + 1 {\displaystyle a=n+1} γ 2 = − 2 {\displaystyle \gamma _{2}=-2} a = n − 1 + 2 n . {\displaystyle a=n-1+{\tfrac {2}{n}}.}
さらに、補正された標本分散はガウス分布の分散の 最良の不偏推定値 （不偏推定値の中で最小の平均二乗誤差）であるが、分布がガウス分布でない場合は、不偏推定値の中でも、分散の最良の不偏推定値は S n − 1 2 . {\displaystyle S_{n-1}^{2}.}
ガウス分布 次の表は、ガウス分布の場合の 母集団の真のパラメータμとσ2のいくつかの推定値を示しています 。 [9]
真の価値 見積もり 平均二乗誤差 θ = μ {\displaystyle \theta =\mu } θ ^ {\displaystyle {\hat {\theta }}} =母平均 の不偏推定値 、 X ¯ = 1 n ∑ i = 1 n ( X i ) {\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i})} MSE ( X ¯ ) = E [ ( X ¯ − μ ) 2 ] = σ 2 n {\displaystyle \operatorname {MSE} ({\overline {X}})=\operatorname {E} [({\overline {X}}-\mu )^{2}]={\frac {\sigma ^{2}}{n}}} θ = σ 2 {\displaystyle \theta =\sigma ^{2}} θ ^ {\displaystyle {\hat {\theta }}} =母分散 の不偏推定値 、 S n − 1 2 = 1 n − 1 ∑ i = 1 n ( X i − X ¯ ) 2 {\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}} MSE ( S n − 1 2 ) = E [ ( S n − 1 2 − σ 2 ) 2 ] = 2 n − 1 σ 4 {\displaystyle \operatorname {MSE} (S_{n-1}^{2})=\operatorname {E} [(S_{n-1}^{2}-\sigma ^{2})^{2}]={\frac {2}{n-1}}\sigma ^{4}} θ = σ 2 {\displaystyle \theta =\sigma ^{2}} θ ^ {\displaystyle {\hat {\theta }}} = 母分散 の偏りのある推定値、 S n 2 = 1 n ∑ i = 1 n ( X i − X ¯ ) 2 {\displaystyle S_{n}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}} MSE ( S n 2 ) = E [ ( S n 2 − σ 2 ) 2 ] = 2 n − 1 n 2 σ 4 {\displaystyle \operatorname {MSE} (S_{n}^{2})=\operatorname {E} [(S_{n}^{2}-\sigma ^{2})^{2}]={\frac {2n-1}{n^{2}}}\sigma ^{4}} θ = σ 2 {\displaystyle \theta =\sigma ^{2}} θ ^ {\displaystyle {\hat {\theta }}} = 母分散 の偏りのある推定値、 S n + 1 2 = 1 n + 1 ∑ i = 1 n ( X i − X ¯ ) 2 {\displaystyle S_{n+1}^{2}={\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}} MSE ( S n + 1 2 ) = E ( [ S n + 1 2 − σ 2 ) 2 ] = 2 n + 1 σ 4 {\displaystyle \operatorname {MSE} (S_{n+1}^{2})=\operatorname {E} ([S_{n+1}^{2}-\sigma ^{2})^{2}]={\frac {2}{n+1}}\sigma ^{4}}
解釈 MSE がゼロの場合、つまり推定値が完全な精度で パラメータの観測値を予測することが 理想的です (ただし通常は不可能です)。 θ ^ {\displaystyle {\hat {\theta }}} θ {\displaystyle \theta }
MSEの値は比較のために使用できます。2つ以上の 統計モデルを 、それらのMSEを用いて比較することができます。これは、与えられた観測値セットをどれだけ適切に説明できるかを示す尺度です。すべての不偏推定値の中で最小の分散を持つ不偏推定値（統計モデルから推定）は、 最良不偏推定値、 またはMVUE（ 最小分散不偏推定値 ）と呼ばれます。
分散分析 と 線形回帰 のどちらの 手法も、分析の一環としてMSEを推定し、推定されたMSEを用いて、 研究対象の因子または予測変数の 統計的有意性を判断します。 実験計画 の目的は、観測値を分析する際に、推定された処理効果の少なくとも1つの大きさに対してMSEがゼロに近づくように実験を構築することです。
一元配置分散分析 では 、平均二乗誤差（MSE）は誤差の二乗和を自由度で割ることで計算できます。また、f値は平均二乗処理とMSEの比です。
MSE は、 特定の観測セットのモデルに含める候補セットの予測変数の数を決定する一環として、
いくつかの 段階的回帰手法でも使用されます。
アプリケーション MSE （平均二乗誤差 ）の最小化は、推定値を選択する上で重要な基準です 。最小平均二乗誤差（MSE）を参照してください。不偏推定値において、MSEを最小化することは分散を最小化することと同義であり、これを実現する推定値は 最小分散不偏推定値と呼ばれます。ただし、偏りのある推定値はMSEが低くなる可能性があります。 推定値のバイアス を参照してください 。
統計モデリング において、 MSEは実際の観測値とモデルによって予測される観測値との差を表すことができます。この文脈では、MSEはモデルがデータにどの程度適合しているかを判断するだけでなく、モデルの予測能力に重大な悪影響を与えることなく説明変数の一部を削除できるかどうかを判断するために使用されます。
予測 と 予言 において 、 ブライアースコアは MSE に基づいた 予測スキル の尺度です。
損失関数 二乗誤差損失は統計学で最も広く使われている損失関数の 一つですが 、広く使われているのは、応用における実際の損失を考慮するからというよりも、数学的な利便性によるところが大きいです。 平均二乗誤差の使用を導入した カール・フリードリヒ・ガウスは、その恣意性を認識しており、この理由から反対意見に同意していました。 [3] 平均二乗誤差の数学的利点は、 線形回帰 のパフォーマンスを分析する際に特に顕著で、データセットの変動をモデルによって説明される変動とランダム性によって説明される変動に分割することができます。
批判 平均二乗誤差を無条件に使用することは、 意思決定理論家 ジェームズ・バーガーによって批判されてきた。平均二乗誤差は、特定の 効用関数 （二次効用関数）の期待値の負の値であり 、特定の状況下では必ずしも適切な効用関数ではない可能性がある。しかしながら、アプリケーションにおいて自然に発生する損失関数の近似値として平均二乗誤差が役立つシナリオもいくつかある。 [10]
分散 と同様に、平均二乗誤差には 外れ値 に大きな重みが付くという欠点があります 。 [11]これは各項を二乗した結果であり、大きな誤差は小さな誤差よりも実質的に重み付けされます。この特性は多くの用途では望ましくないため、研究者は 平均絶対誤差 や 中央値 に基づく誤差などの代替指標を使用しています 。
参照
注記 ^ これはジェンセンの不等式 によって次のように証明できる 。4次 中心モーメント は分散の2乗の上限値であるため、それらの比の最小値は1となる。したがって、 過剰尖度 の最小値は-2であり、これは例えば p =1/2のベルヌーイ関数で達成される。
参考文献 ^ ab 「平均二乗誤差（MSE）」 www.probabilitycourse.com . 2020年 9月12日 閲覧 。 ^ Bickel, Peter J. ; Doksum, Kjell A. (2015). Mathematical Statistics: Basic Ideas and Selected Topics . Vol. I (Second ed.). p. 20. 二次損失を使用する場合、リスク関数は 平均二乗誤差 （MSE）と呼ばれます... ^ ab Lehmann, EL; Casella, George (1998). 点推定理論 （第2版）. ニューヨーク: Springer. ISBN 978-0-387-98502-2 . MR 1639875。 ^ ガレス、ジェームズ、ウィッテン、ダニエラ、ハスティー、ロブ、ティブシラニ (2021). 『統計学習入門：Rへの応用』Springer. ISBN 978-1071614174 。 ^ Wackerly, Dennis; Mendenhall, William; Scheaffer, Richard L. (2008). Mathematical Statistics with Applications (7 ed.). Belmont, CA, USA: Thomson Higher Education. ISBN 978-0-495-38508-0 。 ^ 確率と統計の現代的入門：なぜ、どのように理解するのか 。デッキング、ミシェル（1946-）. ロンドン：シュプリンガー. 2005. ISBN 978-1-85233-896-1 . OCLC 262680588。 {{cite book }}: CS1 maint: others (link )^ Steel, RGD、および Torrie, JH、「 生物学を特に参照した統計の原理と手順」 、 McGraw Hill 、1960年、288ページ。 ^ Mood, A.; Graybill, F.; Boes, D. (1974). 『統計理論入門』 （第3版）. McGraw-Hill. p. 229. ^ DeGroot, Morris H. (1980). 確率と統計 （第2版）. Addison-Wesley. ^ Berger, James O. (1985). 「2.4.2 特定の標準損失関数」. 統計的決定理論とベイズ分析 （第2版）. ニューヨーク: Springer-Verlag. p. 60. ISBN 978-0-387-96098-2 . MR 0804611。 ^ Bermejo, Sergio; Cabestany, Joan (2001). 「大きなマージンを持つ分類器のための有向主成分分析」. ニューラルネットワーク . 14 (10): 1447– 1461. doi :10.1016/S0893-6080(01)00106-X. PMID 11771723. 
![{\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9a0e1b3bac58f9ba2d2f4ff8b85b2e35a8f4bf78)
![{\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]+\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}+2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\operatorname {E} _{\theta }\left[2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\right]+\operatorname {E} _{\theta }\left[\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\operatorname {E} _{\theta }\left[{\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta ={\text{定数}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]={\text{定数}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\\&=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} _{\theta }({\hat {\theta }},\theta )^{2}\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a1035f20eb752fc016407ce7160fdb394010165e)
![{\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]\\&=\operatorname {Var} ({\hat {\theta }}-\theta )+(\mathbb {E} [{\hat {\theta }}-\theta ])^{2}\\&=\operatorname {Var} ({\hat {\theta }})+\operatorname {バイアス} ^{2}({\hat {\theta }},\theta )\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a89b110dd50aaf64585bb22b53b45f92d39adbf9)
![{\displaystyle \operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b4647a2cc4c8f9a4c90b628faad2dcf80c4aae84)
![{\displaystyle {\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cf22322412b8454c706d78671e5d94208675a6e0)
![{\displaystyle \operatorname {MSE} ({\overline {X}})=\operatorname {E} [({\overline {X}}-\mu )^{2}]={\frac {\sigma ^{2}}{n}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b622e23caede3f82add8f0027b3131c7a1a3c95f)
![{\displaystyle \operatorname {MSE} (S_{n-1}^{2})=\operatorname {E} [(S_{n-1}^{2}-\sigma ^{2})^{2}]={\frac {2}{n-1}}\sigma ^{4}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1a5d3abea2ef5d814bbfddd7a57be10c2cd681e6)
![{\displaystyle \operatorname {MSE} (S_{n}^{2})=\operatorname {E} [(S_{n}^{2}-\sigma ^{2})^{2}]={\frac {2n-1}{n^{2}}}\sigma ^{4}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7c87cead1c97077a61550e3eff90b5c424642f06)
![{\displaystyle \operatorname {MSE} (S_{n+1}^{2})=\operatorname {E} ([S_{n+1}^{2}-\sigma ^{2})^{2}]={\frac {2}{n+1}}\sigma ^{4}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d02a7258dc5bb0919ed59b1840eea388b72b2399)
