Least squares approximation of linear functions to data
線形最小二乗法 （ LLS ）は、 線形関数 をデータに 最小二乗近似する手法です。 線形回帰 に関連する統計的問題を解くための定式化の集合で あり、 通常 残差（重みなし）、 重み付き残差 、 一般化 残差 （相関）の変種が含まれます 。 線形最小二乗法の数値解析法には 、正規方程式の逆行列を求める方法や 直交分解 法などがあります。
次の線形方程式を考えてみましょう
A x = b , {\displaystyle Ax=b,} 1
ここで 、および は与えられ、 は計算すべき変数です。 一般に、( 1 )には解が存在しません。例えば、 最初の2行は を 満たす
ことを要求します が、3行目は を満たさないため、 を満たす の値は存在しません。したがって、 ( 1 )を正確に解くという目標は 、通常、何らかの誤差を最小化する の値を見つけることに置き換えられます 。誤差を定義する方法は数多くありますが、最も一般的な方法の1つは と定義することです。これは 最小二乗問題 と呼ばれる最小化問題を生成します。 A ∈ R m × n {\displaystyle A\in \mathbb {R} ^{m\times n}} b ∈ R m {\displaystyle b\in \mathbb {R} ^{m}} x ∈ R n {\displaystyle x\in \mathbb {R} ^{n}} m > n , {\displaystyle m>n,} x {\displaystyle x} [ 1 0 0 1 1 1 ] x = [ 1 1 0 ] , {\displaystyle {\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}x={\begin{bmatrix}1\\1\\0\end{bmatrix}},} x = ( 1 , 1 ) , {\displaystyle x=(1,1),} m > n , {\displaystyle m>n,} x {\displaystyle x} ‖ A x − b ‖ 2 . {\displaystyle \|Ax-b\|^{2}.}
minimize x ∈ R n ‖ A x − b ‖ 2 . {\displaystyle {\begin{aligned}{\underset {x\in \mathbb {R} ^{n}}{\operatorname {minimize} }}\quad &\|Ax-b\|^{2}.\end{aligned}}} 2
最小二乗問題（ 1 ）の解は、 正規方程式 [1] を解くことによって計算される。
A ⊤ A x = A ⊤ b , {\displaystyle A^{\top }Ax=A^{\top }b,} 3
ここで は の 転置 を表します 。 A ⊤ {\displaystyle A^{\top }} A {\displaystyle A}
上記の例を続けると、次の式が 見つかり 、 正規方程式を解くと次の式が得られます。 A = [ 1 0 0 1 1 1 ] and b = [ 1 1 0 ] , {\displaystyle A={\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}\quad {\text{and}}\quad b={\begin{bmatrix}1\\1\\0\end{bmatrix}},} A ⊤ A = [ 1 0 1 0 1 1 ] [ 1 0 0 1 1 1 ] = [ 2 1 1 2 ] {\displaystyle A^{\top }A={\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}}{\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}={\begin{bmatrix}2&1\\1&2\end{bmatrix}}} A ⊤ b = [ 1 0 1 0 1 1 ] [ 1 1 0 ] = [ 1 1 ] . {\displaystyle A^{\top }b={\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}}{\begin{bmatrix}1\\1\\0\end{bmatrix}}={\begin{bmatrix}1\\1\end{bmatrix}}.} x = ( 1 / 3 , 1 / 3 ) . {\displaystyle x=(1/3,1/3).}
主な線形最小二乗法の定式化は次の 3 つです。
その他の処方には次のものがあります:
反復重み付け最小二乗法 （IRLS）は、 モデルの誤差項に 異分散性、相関、またはその両方が存在するものの、データから独立した誤差の共分散構造についてはほとんど知られていない場合に使用されます。 [3] 最初の反復では、暫定的な共分散構造を持つOLSまたはGLSが実行され、フィッティングから残差が得られます。残差に基づいて、誤差の共分散構造の推定値を改善できます。その後、この誤差構造の推定値を使用して、重みを定義する後続のGLS反復が実行されます。このプロセスは収束するまで反復できますが、多くの場合、 β の効率的な推定値を得るには1回の反復だけで十分です。 [4] [5] 操作変数 回帰（IV）は、回帰変数が誤差と相関している場合に実行できます。この場合、 E[ z i ε i ] = 0 となる 補助的な操作変数 z i が存在する必要があります。Zが 操作変数行列である場合、推定値は次のように閉形式で与えられます。 最適操作変数回帰は、 E[ ε i | z i ] = 0 となる状況への古典的な操作変数回帰の拡張です 。 β ^ = ( X T Z ( Z T Z ) − 1 Z T X ) − 1 X T Z ( Z T Z ) − 1 Z T y . {\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {y} .} 全最小二乗法 （TLS） [6] は、線形回帰モデルの最小二乗推定法の一つであり、共変量と目的変数をOLSよりも幾何学的に対称的に扱います。これは「変数の誤差」問題に対処する一つの方法であり、共変量に誤差がないと仮定した場合であっても使用されることがあります。 線形テンプレートフィット （LTF） [7]は、 最良の推定値を決定するために、線形回帰と（一般化）最小二乗法を組み合わせています。線形テンプレートフィットは、残差を解析的に表現できない、または繰り返し評価するには時間がかかりすぎるという、よくある問題に対処しています。これは、反復最小化アルゴリズムでよくあるケースです。線形テンプレートフィットでは、残差はランダム変数と基礎となる 真の モデルの線形近似から推定されますが、真のモデルは少なくとも （ 推定値の数）異なる参照値 β に対して提供される必要があります。次に、真の分布は線形回帰によって近似され、最良の推定値が次のような閉じた形式で得られます。 ここで、は 、 参照値 β のいずれかに対する既知または以前に決定されたモデルの値を持つテンプレート行列を表し、はランダム変数（たとえば、測定値）、行列 とベクトルは β の値から計算されます。LTFは 、対数正規分布 に分布するランダム変数 に対しても表現できます。 LTF の一般化は二次テンプレート フィットです。これは、モデルの 2 次回帰を想定し、少なくとも 異なる値 β の予測を必要とし、 ニュートン法を 使用して最適な推定値を見つけます。 n + 1 {\displaystyle n+1} n {\displaystyle n} β ^ = ( ( Y M ~ ) T Ω − 1 Y M ~ ) − 1 ( Y M ~ ) T Ω − 1 ( y − Y m ¯ ) , {\displaystyle {\hat {\boldsymbol {\beta }}}=((\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {Y{\tilde {M}}} )^{-1}(\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}(\mathbf {y} -\mathbf {Y{\bar {m}})} ,} Y {\displaystyle \mathbf {Y} } y {\displaystyle \mathbf {y} } M ~ {\displaystyle \mathbf {\tilde {M}} } m ~ {\displaystyle \mathbf {\tilde {m}} } n 2 + 2 n {\displaystyle n^{2}+2n} パーセンテージ最小二乗法 はパーセンテージ誤差の低減に重点を置いており、予測や時系列分析の分野で有用です。また、従属変数の範囲が広く、分散が一定でない場合にも有用です。OLS法を用いると、範囲の上限にある大きな残差が支配的になってしまうからです。パーセンテージ誤差または相対誤差が正規分布に従う場合、最小二乗パーセンテージ回帰は最大尤度推定値を提供します。パーセンテージ回帰は乗法誤差モデルと関連しているのに対し、OLS法は加法誤差項を含むモデルと関連しています。 [8]
目的関数 OLS（すなわち、重み付けされていない観測値を仮定）では、 係数ベクトルに最適な式を代入することで 目的関数 の 最適値 が求められます。
ここで 、後者の等式は対称かつべき等であるため成立します。このことから [9]、 適切な重みの割り当ての下では S の 期待値 は であること が示されます。代わりに単位重みを仮定すると、 S の期待値は となります 。 ここで は各観測値の分散です。 S = y T ( I − H ) T ( I − H ) y = y T ( I − H ) y , {\displaystyle S=\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} =\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} ,} H = X ( X T X ) − 1 X T {\displaystyle \mathbf {H} =\mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}} ( I − H ) {\displaystyle (\mathbf {I} -\mathbf {H} )} m − n {\textstyle m-n} ( m − n ) σ 2 {\displaystyle (m-n)\sigma ^{2}} σ 2 {\displaystyle \sigma ^{2}}
残差が正規分布に従うと仮定すると、重み付き二乗残差の和である目的関数は、 自由度 m − n の カイ二乗 分布 （ ） χ 2 {\displaystyle \chi ^{2}} に従う。のパーセンタイル値の具体例を 以下の表に示す。 [10] χ 2 {\displaystyle \chi ^{2}}
m − n {\displaystyle m-n} χ 0.50 2 {\displaystyle \chi _{0.50}^{2}} χ 0.95 2 {\displaystyle \chi _{0.95}^{2}} χ 0.99 2 {\displaystyle \chi _{0.99}^{2}} 10 9.34 18.3 23.2 25 24.3 37.7 44.3 100 99.3 124 136
これらの値は、適合度 に関する統計的基準として使用できます 。単位重みを使用する場合は、これらの数値を観測値の分散で割る必要があります。
WLS の場合、上記の通常の目的関数は残差の加重平均に置き換えられます。
議論 統計学 および 数学 において 、 線形最小二乗法 は、 データ点に対してモデルによって提供される理想化された値が、モデルの未知の パラメータに関して線形に表現される場合に、 数学的 または 統計的モデル を データ に当てはめる手法である。得られた当てはめモデルは 、データを 要約したり、同じシステムから観測されていない値 を予測 したり、システムの根底にある可能性のあるメカニズムを理解したりするために使用できる。
数学的には、線形最小二乗法は、過剰決定 線形方程式 A x = b を近似的に解く問題です。 ここで、 b は行列 Aの 列空間 の要素ではありません 。近似解は A x = b' の厳密解として実現されます。ここで、 b'は A の列空間への b の射影です 。したがって、最良の近似とは、データ値とそれに対応するモデル値の差の二乗和を最小化するものです。この手法は、 推定するパラメータについて仮定した関数が線形であるため、線形最小二乗法 と呼ばれます。線形最小二乗問題は 凸 問題であり、 特殊な退化した状況を除き、フィッティングに使用するデータ ポイントの数が未知のパラメータの数以上であれば、 閉じた解が一意に決まります。対照的に、 非線形最小二乗問題は、通常、 反復手順 で解かなければならず 、目的関数に対して複数の最適値を持つ非凸問題になることがあります。事前分布が利用可能な場合は、 ベイズ MMSE 推定量 を使用して、不完全決定システムでも解くことができます 。
統計学において、線形最小二乗問題は、 回帰分析 の特定の形態として生じる、特に重要な 統計モデル の一種である 線形回帰 に対応します。このようなモデルの基本的な形態の一つは、 通常の最小二乗 モデルです。本稿では、線形最小二乗問題の数学的側面に焦点を当て、統計的回帰モデルの定式化と解釈、およびそれらに関連する 統計的推論 については、前述の論文で既に取り上げています。本トピックの 概要については、「回帰分析の概要」を 参照してください。
プロパティ 実験誤差 が相関しておらず、平均が 0 で分散が一定である場合 、 ガウス・マルコフの定理 によれば、最小二乗推定値 は 、観測値の線形結合であるすべての推定値の中で分散が最小になります。この意味で、これはパラメータの最良、つまり最適な推定値です。この特性は誤差の統計的 分布関数 とは独立していることに特に注意してください。言い換えると、 誤差の分布関数は 正規分布 である必要はありません。ただし、一部の確率分布では、観測値が与えられた場合に最小二乗解が得られるという保証はありません。それでも、そのような場合には、これが線形かつ偏りのない最良の推定値となります。 ε {\displaystyle \varepsilon } σ {\displaystyle \sigma } β ^ {\displaystyle {\hat {\boldsymbol {\beta }}}}
例えば、ある量の測定値の集合の 算術平均 が、その量の値の最小二乗推定値であることは容易に示せます。ガウス・マルコフ定理の条件が適用される場合、測定値の誤差の分布がどのようなものであっても、算術平均は最適です。
しかし、実験誤差が正規分布に従う場合には、最小二乗推定値は 最大尤度 推定値でもある。 [11]
これらの特性は、仮定が厳密に有効でない場合でも、あらゆるタイプのデータ フィッティングに最小二乗法を使用することの基礎となります。
制限事項 上記の処理の根底にある仮定は、独立変数 x に誤差がないというものである。実際には、独立変数の測定誤差は通常、従属変数の誤差よりもはるかに小さいため、無視できる。そうでない場合は、 全最小二乗法 、あるいはより一般的には 変数内誤差モデル 、あるいは 厳密な最小二乗法 を用いるべきである。これは、従属変数と独立変数の両方の誤差を考慮するように重み付けスキームを調整し、標準的な手順に従うことで行うことができる。 [12] [13]
場合によっては、（重み付き）正規方程式行列 X T Xが 悪条件に なります 。多項式を近似する場合、正規方程式行列は ヴァンダーモンド行列 です。ヴァンダーモンド行列は、行列の次数が増加するにつれて、ますます悪条件になります。 [ 引用が必要 ] このような場合、最小二乗推定値は測定ノイズを増幅し、大幅に不正確になる可能性があります。 [ 引用が必要 ] このような場合、さまざまな 正規化 手法を適用できます。最も一般的なものは リッジ回帰 と呼ばれます。パラメータに関する詳細情報、たとえば の可能な値の範囲がわかっている場合は、 さまざまな手法を使用して解の安定性を高めることができます。たとえば、制約付き最小二乗法を参照してください。 β ^ {\displaystyle \mathbf {\hat {\boldsymbol {\beta }}} }
最小二乗推定量のもう 1 つの欠点は、残差のノルムが最小化されるという事実ですが 、場合によっては、パラメータ の小さな誤差 、たとえば の小さな値を取得することに本当に関心がある場合があります 。 [ 引用が必要 ] しかし、真のパラメータは 必然的に未知であるため、この量を直接最小化することはできません。 の事前確率がわかっている場合は 、 ベイズ 推定 量 を使用して 平均二乗誤差 を 最小化することができます。 事前確率がわからない場合は、最小二乗法がよく適用されます。 いくつかのパラメータを同時に推定すると、より適切な推定量を構築できます。この効果は Stein 現象 として知られています。 たとえば、測定誤差が ガウス分布で ある場合、 を支配する、つまり最小二乗法よりも 優れた 推定量がいくつか知られています。これらの最もよく知られているのは James–Stein 推定量 です。これは、回帰問題に適用されてきた、
より一般的な 収縮推定量 の一例です。 ‖ y − X β ^ ‖ {\displaystyle \|\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}\|} β ^ {\displaystyle \mathbf {\hat {\boldsymbol {\beta }}} } ‖ β − β ^ ‖ {\displaystyle \|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|} β {\displaystyle {\boldsymbol {\beta }}} β ^ {\displaystyle {\hat {\boldsymbol {\beta }}}} E { ‖ β − β ^ ‖ 2 } {\displaystyle E\left\{\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|^{2}\right\}}
アプリケーション 線形、二次、三次多項式を使用した最小二乗近似。 多項式フィッティング ：モデルは 独立変数 xの 多項式 です。 直線： [ 14] f ( x , β ) = β 1 + β 2 x {\displaystyle f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x} 二次関数: . f ( x , β ) = β 1 + β 2 x + β 3 x 2 {\displaystyle f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}} 3次、4次、および高次の多項式。 高次多項式を用いた回帰分析では、 直交多項式 の使用が 推奨される。 [15] 数値平滑化と微分化 — これは多項式フィッティングの応用です。 複数の独立変数を持つ多項式（曲面フィッティングを含む） Bスプライン による曲線フィッティング [12] ケモメトリクス 、 検量線 、 標準添加 、 グランプロット 、 混合物の分析
データフィッティングでの使用 線形最小二乗法の主な応用は、 データのフィッティング です。独立変数（ スカラー量またはベクトル量）の m 個の値 で測定された実験的測定値からなる m 個のデータ点 の集合と、それ に対応するモデル関数が与えられ、そのモデル関数がデータに「最も」適合する パラメータを見つけることが望まれます 。線形最小二乗法では、線形性はパラメータに関して満たされることを意味します 。 y 1 , y 2 , … , y m , {\displaystyle y_{1},y_{2},\dots ,y_{m},} x 1 , x 2 , … , x m {\displaystyle x_{1},x_{2},\dots ,x_{m}} x i {\displaystyle x_{i}} y = f ( x , β ) , {\displaystyle y=f(x,{\boldsymbol {\beta }}),} β = ( β 1 , β 2 , … , β n ) , {\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),} β j {\displaystyle \beta _{j}} β j , {\displaystyle \beta _{j},} f ( x , β ) = ∑ j = 1 n β j φ j ( x ) . {\displaystyle f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{n}\beta _{j}\varphi _{j}(x).}
ここで、関数は変数 x に関して 非線形で ある可能性があります 。 φ j {\displaystyle \varphi _{j}}
理想的には、モデル関数はデータに正確に適合するため、 すべてのデータについて、決定すべきパラメータの数よりもデータ点の数が多いため、通常は不可能です。そこで選択されるアプローチは、 残差 の二乗和の最小値を見つけて、 関数を最小化するというもの
です。 y i = f ( x i , β ) {\displaystyle y_{i}=f(x_{i},{\boldsymbol {\beta }})} i = 1 , 2 , … , m . {\displaystyle i=1,2,\dots ,m.} r i ( β ) = y i − f ( x i , β ) , ( i = 1 , 2 , … , m ) {\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}),\ (i=1,2,\dots ,m)} S ( β ) = ∑ i = 1 m r i 2 ( β ) . {\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{m}r_{i}^{2}({\boldsymbol {\beta }}).}
を、次に を に 代入すると 、この最小化問題は を伴う上記の2次最小化問題になり 、正規方程式を解くことで最適な近似値を求めることができます。 r i {\displaystyle r_{i}} f {\displaystyle f} X i j = φ j ( x i ) , {\displaystyle X_{ij}=\varphi _{j}(x_{i}),}
例 データポイント（赤）、最小二乗法による最適近似直線（青）、残差（緑）のプロット ある架空の研究者が実験を行い、4つの データポイント （ 右図の赤で示されている）を取得します。探索的データ分析や研究対象に関する事前知識に基づき、研究者は - 値が - 値に系統的に依存していると推測します 。 - 値は正確であると仮定されますが、 研究対象の現象や測定の不完全性などにより、 - 値には不確実性、つまり「ノイズ」が含まれます。 ( x , y ) {\displaystyle (x,y)} ( 1 , 6 ) , {\displaystyle (1,6),} ( 2 , 5 ) , {\displaystyle (2,5),} ( 3 , 7 ) , {\displaystyle (3,7),} ( 4 , 10 ) {\displaystyle (4,10)} y {\displaystyle y} x {\displaystyle x} x {\displaystyle x} y {\displaystyle y}
線を当てはめる と の間の最も単純な関係の 1 つは、 直線 です 。切片 と傾き は、最初は未知です。研究者は、直線が 4 つのデータ ポイントを通過するような と の値を見つけたいと考えています 。 言い換えると、研究者は 2 つの未知数に対する 4 つの方程式を持つ線形方程式の連立を解きたいと考えています。この連立は過剰決定されています。正確な解はありません。近似解を検討するには、 残差 、、 を 方程式に導入します。 番目の残差は 、 番目 の観測値 と 番目の予測値 との間の不一致です 。 すべての近似解の中から、研究者はある意味で「最良」の解を見つけたいと考えています。 x {\displaystyle x} y {\displaystyle y} y = β 1 + β 2 x {\displaystyle y=\beta _{1}+\beta _{2}x} β 1 {\displaystyle \beta _{1}} β 2 {\displaystyle \beta _{2}} β 1 {\displaystyle \beta _{1}} β 2 {\displaystyle \beta _{2}} β 1 + 1 β 2 = 6 , β 1 + 2 β 2 = 5 , β 1 + 3 β 2 = 7 , β 1 + 4 β 2 = 10. {\displaystyle {\begin{alignedat}{3}\beta _{1}+1\beta _{2}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}&&\;=\;&&10.&\\\end{alignedat}}} r 1 {\displaystyle r_{1}} r 2 {\displaystyle r_{2}} r 3 {\displaystyle r_{3}} r 4 {\displaystyle r_{4}} β 1 + 1 β 2 + r 1 = 6 , β 1 + 2 β 2 + r 2 = 5 , β 1 + 3 β 2 + r 3 = 7 , β 1 + 4 β 2 + r 4 = 10. {\displaystyle {\begin{alignedat}{3}\beta _{1}+1\beta _{2}+r_{1}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}+r_{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}+r_{3}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}+r_{4}&&\;=\;&&10.&\\\end{alignedat}}} i {\displaystyle i} r i {\displaystyle r_{i}} i {\displaystyle i} y i {\displaystyle y_{i}} i {\displaystyle i} β 1 + β 2 x i {\displaystyle \beta _{1}+\beta _{2}x_{i}} r 1 = 6 − ( β 1 + 1 β 2 ) , r 2 = 5 − ( β 1 + 2 β 2 ) , r 3 = 7 − ( β 1 + 3 β 2 ) , r 4 = 10 − ( β 1 + 4 β 2 ) . {\displaystyle {\begin{alignedat}{3}r_{1}&&\;=\;&&6-(\beta _{1}+1\beta _{2}),&\\r_{2}&&\;=\;&&5-(\beta _{1}+2\beta _{2}),&\\r_{3}&&\;=\;&&7-(\beta _{1}+3\beta _{2}),&\\r_{4}&&\;=\;&&10-(\beta _{1}+4\beta _{2}).&\\\end{alignedat}}}
最小二乗法 では、 残差の 二乗和に着目します。 最適解は、 および に関して を 最小化する 解と定義されます。最小値は、 の 偏微分を ゼロに 設定することで計算できます。 これらの 正規方程式は、 2つの未知数を持つ2つの線形方程式の連立方程式を構成します。解は および であり 、したがって、最も近似する直線は です 。残差は およびです （右の図を参照）。残差の二乗和の最小値は S {\displaystyle S} S ( β 1 , β 2 ) = r 1 2 + r 2 2 + r 3 2 + r 4 2 = [ 6 − ( β 1 + 1 β 2 ) ] 2 + [ 5 − ( β 1 + 2 β 2 ) ] 2 + [ 7 − ( β 1 + 3 β 2 ) ] 2 + [ 10 − ( β 1 + 4 β 2 ) ] 2 = 4 β 1 2 + 30 β 2 2 + 20 β 1 β 2 − 56 β 1 − 154 β 2 + 210. {\displaystyle {\begin{aligned}S(\beta _{1},\beta _{2})&=r_{1}^{2}+r_{2}^{2}+r_{3}^{2}+r_{4}^{2}\\[6pt]&=[6-(\beta _{1}+1\beta _{2})]^{2}+[5-(\beta _{1}+2\beta _{2})]^{2}+[7-(\beta _{1}+3\beta _{2})]^{2}+[10-(\beta _{1}+4\beta _{2})]^{2}\\[6pt]&=4\beta _{1}^{2}+30\beta _{2}^{2}+20\beta _{1}\beta _{2}-56\beta _{1}-154\beta _{2}+210.\\[6pt]\end{aligned}}} S {\displaystyle S} β 1 {\displaystyle \beta _{1}} β 2 {\displaystyle \beta _{2}} S {\displaystyle S} 0 = ∂ S ∂ β 1 = 8 β 1 + 20 β 2 − 56 , {\displaystyle 0={\frac {\partial S}{\partial \beta _{1}}}=8\beta _{1}+20\beta _{2}-56,} 0 = ∂ S ∂ β 2 = 20 β 1 + 60 β 2 − 154. {\displaystyle 0={\frac {\partial S}{\partial \beta _{2}}}=20\beta _{1}+60\beta _{2}-154.} β 1 = 3.5 {\displaystyle \beta _{1}=3.5} β 2 = 1.4 {\displaystyle \beta _{2}=1.4} y = 3.5 + 1.4 x {\displaystyle y=3.5+1.4x} 1.1 , {\displaystyle 1.1,} − 1.3 , {\displaystyle -1.3,} − 0.7 , {\displaystyle -0.7,} 0.9 {\displaystyle 0.9} S ( 3.5 , 1.4 ) = 1.1 2 + ( − 1.3 ) 2 + ( − 0.7 ) 2 + 0.9 2 = 4.2. {\displaystyle S(3.5,1.4)=1.1^{2}+(-1.3)^{2}+(-0.7)^{2}+0.9^{2}=4.2.}
この計算は、行列表記で次のように表すことができます。元の連立方程式は です。 ここで 、直感的に
は です。 より厳密には、 が 逆行列である場合、行列は の列空間への直交射影を表します 。したがって、 の形のすべてのベクトルの中で 、 に最も近いのは です 。 と設定すると
、 が解である ことは明らかです。 y = X β {\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } } y = [ 6 5 7 10 ] , X = [ 1 1 1 2 1 3 1 4 ] , β = [ β 1 β 2 ] . {\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{cc}1&1\\1&2\\1&3\\1&4\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\\\beta _{2}\end{array}}\right].} y = X β ⇒ X ⊤ y = X ⊤ X β ⇒ β = ( X ⊤ X ) − 1 X ⊤ y = [ 3.5 1.4 ] . {\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} ^{\top }\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}3.5\\1.4\end{array}}\right].} X ⊤ X {\displaystyle \mathbf {X} ^{\top }\mathbf {X} } X ( X ⊤ X ) − 1 X ⊤ {\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }} X {\displaystyle \mathbf {X} } X β {\displaystyle \mathbf {X} \mathbf {\beta } } y {\displaystyle \mathbf {y} } X ( X ⊤ X ) − 1 X ⊤ y {\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} } X ( X ⊤ X ) − 1 X ⊤ y = X β , {\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} \mathbf {\beta } ,} β = ( X ⊤ X ) − 1 X ⊤ y {\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} }
放物線のフィッティング 二次関数（青）をデータポイント（赤）の集合に フィッティングした結果 。線形最小二乗法では、関数は引数に対して線形である必要はなく 、最適なフィッティングを与えると判断されたパラメータに対してのみ線形である必要 がある。 y = β 1 + β 2 x + β 3 x 2 {\displaystyle y=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}\,} ( x i , y i ) {\displaystyle (x_{i},y_{i})} x , {\displaystyle x,} β j {\displaystyle \beta _{j}} 仮に、ある研究者が の形の放物線を近似したいとしよう 。重要なのは、このモデルは未知のパラメータ（ここでは ）に対して依然として線形であるため、線形最小二乗法が依然として適用可能であるということである。残差を考慮した方程式系は、 y = β 1 x 2 {\displaystyle y=\beta _{1}x^{2}} β 1 {\displaystyle \beta _{1}} 6 = β 1 ( 1 ) 2 + r 1 5 = β 1 ( 2 ) 2 + r 2 7 = β 1 ( 3 ) 2 + r 3 10 = β 1 ( 4 ) 2 + r 4 {\displaystyle {\begin{alignedat}{2}6&&\;=\beta _{1}(1)^{2}+r_{1}\\5&&\;=\beta _{1}(2)^{2}+r_{2}\\7&&\;=\beta _{1}(3)^{2}+r_{3}\\10&&\;=\beta _{1}(4)^{2}+r_{4}\\\end{alignedat}}}
残差の二乗和は 0 に設定する偏導関数は 1 つだけです。 解は であり 、適合モデルは です 。 S ( β 1 ) = ( 6 − β 1 ) 2 + ( 5 − 4 β 1 ) 2 + ( 7 − 9 β 1 ) 2 + ( 10 − 16 β 1 ) 2 . {\displaystyle S(\beta _{1})=(6-\beta _{1})^{2}+(5-4\beta _{1})^{2}+(7-9\beta _{1})^{2}+(10-16\beta _{1})^{2}.} 0 = ∂ S ∂ β 1 = 708 β 1 − 498. {\displaystyle 0={\frac {\partial S}{\partial \beta _{1}}}=708\beta _{1}-498.} β 1 = 0.703 {\displaystyle \beta _{1}=0.703} y = 0.703 x 2 {\displaystyle y=0.703x^{2}}
行列表記では、残差のない方程式は再び となり 、ここで と
なる。 上と同じ論理により、解は y = X β {\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } } y = [ 6 5 7 10 ] , X = [ 1 4 9 16 ] , β = [ β 1 ] . {\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{c}1\\4\\9\\16\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\end{array}}\right].} β = ( X ⊤ X ) − 1 X ⊤ y = [ 0.703 ] . {\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}0.703\end{array}}\right].}
この図は、3 つの列 ( 、 、 に1 つずつ) と赤いデータ ポイントごとに 1 つの行を 持つ設計行列を使用して 、3 つのパラメータの放物線を近似する拡張を示しています。 X {\displaystyle \mathbf {X} } x 0 {\displaystyle x^{0}} x 1 {\displaystyle x^{1}} x 2 {\displaystyle x^{2}}
他の曲線や面のフィッティング より一般的には、 回帰変数 と線形モデル
を持つことができる。 n {\displaystyle n} x j {\displaystyle x_{j}} y = β 0 + ∑ j = 1 n β j x j . {\displaystyle y=\beta _{0}+\sum _{j=1}^{n}\beta _{j}x_{j}.}
参照
参考文献 ^ Weisstein, Eric W. 「正規方程式」. MathWorld . Wolfram . 2023年 12月18日 閲覧 。 ^ Lai, TL; Robbins, H.; Wei, CZ (1978). 「多重回帰における最小二乗推定値の強い一貫性」. PNAS . 75 (7): 3034– 3036. Bibcode :1978PNAS...75.3034L. doi : 10.1073/pnas.75.7.3034 . JSTOR 68164. PMC 392707. PMID 16592540 . ^ デル・ピノ、グイド (1989). 「統計アルゴリズムにおける反復一般化最小二乗法の統一的役割」. 統計科学 . 4 (4): 394– 403. doi : 10.1214/ss/1177012408 . JSTOR 2245853. ^ Carroll, Raymond J. (1982). 「線形モデルにおける不均一分散への適応」. The Annals of Statistics . 10 (4): 1224– 1233. doi : 10.1214/aos/1176345987 . JSTOR 2240725. ^ コーエン, マイケル; ダラル, シッダールタ R.; テューキー, ジョン W. (1993). 「ロバストで滑らかな異質分散回帰」. 王立統計学会誌, シリーズC. 42 ( 2): 339– 353. JSTOR 2986237. ^ Nievergelt, Yves (1994). 「Total Least Squares: State-of-the-Art Regression in Numerical Analysis」. SIAM Review . 36 (2): 258– 264. doi :10.1137/1036055. JSTOR 2132463. ^ Britzger, Daniel (2022). 「線形テンプレートフィット」. Eur. Phys. J. C. 82 ( 8): 731. arXiv : 2112.01548 . Bibcode :2022EPJC...82..731B. doi :10.1140/epjc/s10052-022-10581-w. S2CID 244896511. ^ Tofallis, C (2009). 「最小二乗法によるパーセンテージ回帰」. Journal of Modern Applied Statistical Methods . 7 : 526–534 . doi :10.2139/ssrn.1406472. hdl : 2299/965 . SSRN 1406472. ^ Hamilton, WC (1964). 『物理科学における統計学 』 ニューヨーク: ロナルド・プレス. ^ シュピーゲル、マレー・R. (1975). シャウムの確率統計理論と問題の概要 . ニューヨーク: マグロウヒル. ISBN 978-0-585-26739-5 。 ^ ヘンリー・マーゲノー、ジョージ・モーズリー・マーフィー (1956). 『物理と化学の数学』 プリンストン: ヴァン・ノストランド. ^ ab Gans, Peter (1992). 化学科学におけるデータフィッティング . ニューヨーク: Wiley. ISBN 978-0-471-93412-7 。 ^ デミング, WE (1943). データの統計的調整 . ニューヨーク: ワイリー. ^ Acton, FS (1959). 直線データの分析 . ニューヨーク: Wiley. ^ Guest, PG (1961). 曲線フィッティングの数値的手法 . ケンブリッジ: ケンブリッジ大学出版局. [ ページが必要 ]
さらに読む
外部リンク 最小二乗法 – MathWorldより 最小二乗法による多項式フィッティング – MathWorldより
![{\displaystyle \operatorname {E} [\,\mathbf {x} _{i}\varepsilon _{i}\,]=0,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f6d7585c35934207b50eba9a513a1873c624d49c)
![{\displaystyle {\begin{aligned}S(\beta _{1},\beta _{2})&=r_{1}^{2}+r_{2}^{2}+r_{3}^{2}+r_{4}^{2}\\[6pt]&=[6-(\beta _{1}+1\beta _{2})]^{2}+[5-(\beta _{1}+2\beta _{2})]^{2}+[7-(\beta _{1}+3\beta _{2})]^{2}+[10-(\beta _{1}+4\beta _{2})]^{2}\\[6pt]&=4\beta _{1}^{2}+30\beta _{2}^{2}+20\beta _{1}\beta _{2}-56\beta _{1}-154\beta _{2}+210.\\[6pt]\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/73568a38878f3247e5109634c8b9c0feb8aec572)
![{\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{cc}1&1\\1&2\\1&3\\1&4\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\\\beta _{2}\end{array}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5a977b4270d3aea582aca39dfa2f171a6be8ef85)
![{\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} ^{\top }\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}3.5\\1.4\end{array}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6601a0a4914bf25e822c82c177e587ca0c765498)
![{\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{c}1\\4\\9\\16\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\end{array}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/63480bd9450a9c75e38ab6145bd94b0404edbfe1)
![{\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}0.703\end{array}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0014be5bec397d685e5aa5f20acab93fcc8ee8ee)
