リッジ回帰

リッジ回帰（アンドレイ・ティホノフにちなんでティホノフ正則化とも呼ばれる）は、変数の相関が高いシナリオで多重回帰モデルの係数を推定する方法である。 ^{[ 1 ]}計量経済学、化学、工学など多くの分野で使用されている。 ^{[ 2 ]}これは、不適切問題の正則化手法である。^{[ a ]}これは、多数のパラメータを持つモデルでよく発生する、線型回帰の多重共線性の問題を軽減するのに特に有用である。 ^{[ 3 ]}一般に、この手法は、許容できる量のバイアス（バイアスと分散のトレードオフを参照）と引き換えに、パラメータ推定問題における効率性を向上させる。^{[ 4 ]}

この理論は、1970年にホーレルとケナードがテクノメトリクス誌の論文「リッジ回帰：非直交問題の偏りのある推定」と「リッジ回帰：非直交問題への応用」で初めて導入されました。^{[ 5 ] [ 6 ] [ 1 ]}

リッジ回帰は、線形回帰モデルに多重共線性（高い相関）を持つ独立変数が含まれる場合に、最小二乗推定値の不正確さを解消する解決策として、リッジ回帰推定値（RR）を作成することで開発されました。この手法では、分散と平均二乗推定値が、これまでに導出された最小二乗推定値よりも小さいことが多いため、より正確なリッジパラメータ推定値が得られます。^{[ 7 ] [ 2 ]}

概要

通常の最小二乗法 では、

${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

特異モーメント行列 に近い問題は、対角要素に正の要素を追加することで緩和され、条件数 が減少します。通常の最小二乗推定量と比較すると、単純リッジ推定量の分母には次の項が追加されます。 ここで、 は回帰または応答ベクトル、は計画行列、は単位行列、リッジ（またはティホノフ）正則化パラメータは、モーメント行列の対角要素をシフトする定数として機能します。^{[ 8 ]}この推定量は、制約に従う最小二乗問題の解であることが示され、これはラグランジュ最小化として表現できます。 これは、が制約のラグランジュ乗数に他ならないことを示しています。 ^{[ 9 ]}実際、とと の間には1対1の関係があります。実際には はわからないため、経験的に を定義するか、追加のデータフィッティング戦略を使用して を見つけます。以下の「ティホノフパラメータの決定」を参照してください。 ${\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} }$ ${\displaystyle \lambda \mathbf {I} }$ $${\displaystyle {\hat {\boldsymbol {\beta }}}_{\lambda }=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Y} }$$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {I} }$ ${\displaystyle \lambda \geq 0}$ ${\displaystyle {\boldsymbol {\beta }}^{\mathsf {T}}{\boldsymbol {\beta }}=c}$ $${\displaystyle {\text{argmin}}_{\boldsymbol {\beta }}\,\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \left({\boldsymbol {\beta }}^{\mathsf {T}}{\boldsymbol {\beta }}-c\right)}$$ ${\displaystyle \lambda }$ ${\displaystyle c}$ ${\displaystyle \lambda }$ ${\displaystyle c}$ ${\displaystyle \lambda }$

のとき、制約は最終的に非拘束となり、リッジ推定量は最小ノルムの通常の最小二乗推定量（ここでは と表記） に収束することに注意してください。 ${\displaystyle \lambda \downarrow 0}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}={\hat {\boldsymbol {\beta }}}_{0}}$

$${\displaystyle \lim _{\lambda \downarrow 0}{\hat {\boldsymbol {\beta }}}_{\lambda }=\mathbf {X} ^{+}\mathbf {Y} ={\hat {\boldsymbol {\beta }}}_{0},}$$は の擬似逆行列を表し ます 。 ${\displaystyle \mathbf {X} ^{+}}$ ${\displaystyle \mathbf {X} }$

チホノフパラメータの決定

最適な正則化パラメータは通常は未知であり、実際には推定する必要があります。通常、データに基づいたTikhonov正則化パラメータの選択は、クロスバリデーション、または以下のプラグイン手順によって 行われます。 ${\displaystyle \lambda }$ ${\displaystyle \lambda }$

一般化クロスバリデーション推定量

一般的なデータ駆動型の選択肢としては、クロスバリデーション損失の最小化、またはその一般化が挙げられます。例えば、グレース・ワーバは、一般化クロスバリデーションの意味での最適パラメータは^{[ 10 ] [ 11 ]}を最小化することを証明しました。 ${\displaystyle \lambda }$

$${\displaystyle G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\left\|\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {Y} \right\|^{2}}{\left[\operatorname {tr} \left(\mathbf {I} -\mathbf {X} \left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda ^{2}\mathbf {I} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\right)\right]^{2}}},}$$ ここで、 は残差平方和、 は有効自由度の数です。 ${\displaystyle \operatorname {RSS} }$ ${\displaystyle \tau }$

プラグイン見積もり

を行列 と仮定し、行列 を定義する。次に、ティホノフ正則化パラメータとして次の値を選択することを考える。 ${\displaystyle \mathbf {X} }$ ${\displaystyle n\times p}$ ${\displaystyle \Omega :=(\mathbf {X} ^{\top }\mathbf {X} /n)^{+}}$

$${\displaystyle \lambda ^{*}:={\frac {\varsigma ^{2}\mathrm {tr} (\Omega )}{{\boldsymbol {\beta }}^{\top }\Omega {\boldsymbol {\beta }}+3\varsigma ^{2}\mathrm {tr} (\Omega ^{2})/n}},}$$

ここで、 はノイズの分散 、すなわち で ある。 リッジ推定量は、最小ノルム最小二乗推定量よりも期待される標本内リスクが小さいことが^{[ 12 ]}に示されている。より正確には、 ${\displaystyle \varsigma ^{2}}$ ${\displaystyle {\boldsymbol {\varepsilon }}=\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}}$ ${\displaystyle \mathrm {Var} ({\boldsymbol {\varepsilon }})=\varsigma ^{2}\mathbf {I} }$ ${\displaystyle {\hat {\boldsymbol {\beta }}}_{\lambda ^{*}}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}_{0}=\mathbf {X} ^{+}\mathbf {Y} }$

$${\displaystyle \mathbb {E} \|\mathbf {Y} '-\mathbf {X} {\hat {\boldsymbol {\beta }}}_{0}\|^{2}\geq \mathbb {E} \|\mathbf {Y} '-\mathbf {X} {\hat {\boldsymbol {\beta }}}_{\lambda ^{*}}\|^{2}+{\frac {\varsigma ^{2}}{n}}\lambda ^{*}\mathrm {tr} (\Omega ),}$$

ここで、期待値は固定値として扱い、はテスト応答 データであり、 から独立しています（したがって、推定値および からも独立しています）。 ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} '}$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle {\hat {\boldsymbol {\beta }}}_{0}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}_{\lambda ^{*}}}$

もちろん、実際には、 の公式は、 未知のパラメータ およびの統計的推定値を代入することによって使用されます。 のとき、これらのパラメータの最も自然な推定値は、通常の最小二乗法です。 ${\displaystyle \lambda ^{*}}$ ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle \varsigma ^{2}}$ ${\displaystyle n>p}$

$${\displaystyle {\hat {\boldsymbol {\beta }}}=\mathbf {X} ^{+}\mathbf {Y} ,\qquad {\hat {\varsigma }}^{2}={\frac {\|\mathbf {Y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}\|^{2}}{n-p}}.}$$の式の 未知数を対応するに置き換えると、最適な のいわゆるプラグイン推定値が得られます 。 ${\displaystyle {\boldsymbol {\beta }},\varsigma ^{2}}$ ${\displaystyle \lambda ^{*}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}},{\hat {\varsigma }}^{2}}$ ${\displaystyle {\widehat {\lambda }}^{*}}$ ${\displaystyle \lambda ^{*}}$

ティホノフ正則化パラメータのデータ駆動型選択に対する代替アプローチとしては、矛盾原理、L曲線法、^{[ 13 ]}制限付き最大尤度法などがある。

歴史

ティホノフ正則化は、様々な文脈で独立に考案されました。アンドレイ・ティホノフ^{[ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ]}とデイヴィッド・L・フィリップス^{[ 19 ]}の論文における積分方程式への応用を通じて広く知られるようになりました。一部の研究者はティホノフ・フィリップス正則化という用語を使用しています。有限次元の場合については、統計的アプローチを採用したアーサー・E・ホーレル^{[ 20 ]}と、この手法をウィーナー・コルモゴロフ（クリギング）フィルタとして解釈したマヌス・フォスター^{[ 21 ]}によって解説されました。ホーレルに倣い、統計学の文献ではリッジ回帰^{[ 22 ]}として知られています。これはリッジ分析（「リッジ」は制約付き最大値からの経路を指す）にちなんで名付けられました。^{[ 23 ]}

線形方程式のティホノフ正則化

既知の実行行列 とベクトルに対して、となる ベクトルを見つけたいとします。 ここで、と は異なるサイズであり、非正方形である可能性もあります。 ${\displaystyle A}$ ${\displaystyle \mathbf {b} }$ ${\displaystyle \mathbf {x} }$ $${\displaystyle A\mathbf {x} =\mathbf {b} ,}$$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {b} }$ ${\displaystyle A}$

標準的なアプローチは、通常の最小二乗線形回帰です。ただし、 が方程式を満たさないか、複数の が方程式を満たしている場合（つまり、解が一意でない場合）、問題は不良設定であると言われます。このような場合、通常の最小二乗推定では、 は過剰決定、または多くの場合は劣決定の連立方程式になります。ほとんどの現実世界の現象は、 がにマッピングされる順方向にローパスフィルタの効果をもたらします。したがって、逆問題を解く際に、逆マッピングは、ノイズを増幅するという望ましくない傾向を持つハイパスフィルタとして動作します（固有値/特異値は、順マッピングで最小だったところを逆マッピングで最大になります）。さらに、通常の最小二乗では、のヌル空間にあるの再構築バージョンのすべての要素が暗黙的にゼロになり、 の事前分布としてモデルを使用できなくなります。通常の最小二乗法は、残差の二乗和を最小化することを目指します。これは、次のように簡潔に記述できます。 ここで、 はユークリッドノルムです。 ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle A}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {b} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle A}$ ${\displaystyle \mathbf {x} }$ $${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2},}$$ ${\displaystyle \|\cdot \|_{2}}$

望ましい特性をもつ特定の解を優先するために、この最小化に正則化項を含めることができる。 ここで、適切に選ばれたティホノフ行列に対して、およびである。多くの場合、この行列は単位行列( ) のスカラー倍として選ばれ、より小さなノルムをもつ解が優先される。これはL ₂正則化として知られている。^{[ 24 ]}その他の場合では、基礎となるベクトルがほぼ連続であると考えられる場合、高域通過演算子 (たとえば、差分演算子または重み付きフーリエ演算子) を使用して滑らかさを強制することができる。この正則化により問題の条件が改善され、直接数値解法が可能になる。これを拡張行列およびをもつ通常の最小二乗問題として扱うと、解は次のようになる 。 正則化の効果は行列 のスケールによって変わる可能性がある。 の場合、 ( A ^T A ) ⁻¹が存在するという条件で、これは正則化されていない最小二乗解に簡約される。複素行列の場合は、通常どおり転置をエルミート転置に置き換える必要があることに注意してください。 $${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2}+\left\|\Gamma \mathbf {x} \right\|_{2}^{2}=\left\|{\mathcal {A}}\mathbf {x} -{\mathcal {b}}\right\|_{2}^{2},}$$ ${\displaystyle {\mathcal {A}}={\begin{pmatrix}A\\\Gamma \end{pmatrix}}}$ ${\displaystyle {\mathcal {b}}={\begin{pmatrix}\mathbf {b} \\{\boldsymbol {0}}\end{pmatrix}}}$ ${\displaystyle \Gamma }$ ${\displaystyle \Gamma =\alpha I}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle {\mathcal {b}}}$ $${\displaystyle {\hat {\mathbf {x} }}=({\mathcal {A}}^{\mathsf {T}}{\mathcal {A}})^{-1}{\mathcal {A}}^{\mathsf {T}}\mathbf {\mathcal {b}} =(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma )^{-1}A^{\mathsf {T}}\mathbf {b} .}$$ ${\displaystyle \Gamma }$ ${\displaystyle \Gamma =0}$ ${\displaystyle A}$ ${\displaystyle A^{\mathsf {T}}}$ ${\displaystyle A^{\mathsf {H}}}$

L2正則化_は線形回帰以外にもロジスティック回帰やサポートベクターマシンによる分類^{[ 25 ]}や行列分解^{[ 26 ]など多くの場面で使用されています。}

既存の適合結果への適用

ティホノフ正則化は、最適化問題における目的関数に二次項を追加するだけなので、正則化されていない最適化を行った後にこれを行うことが可能です。例えば、上記の問題でという解が得られる場合、 が存在する場合の解は次のように表すことができます 。 は「正則化行列」 です。 ${\displaystyle \Gamma =0}$ ${\displaystyle {\hat {\mathbf {x} }}_{0}}$ ${\displaystyle \Gamma \neq 0}$ $${\displaystyle {\hat {\mathbf {x} }}=B{\hat {\mathbf {x} }}_{0},}$$ ${\displaystyle B=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}A}$

パラメータ適合に推定パラメータ不確実性の共分散行列が伴う場合、正規化行列はとなり 、正規化された結果は新しい共分散を持つ。 ${\displaystyle V_{0}}$ $${\displaystyle B=(V_{0}^{-1}+\Gamma ^{\mathsf {T}}\Gamma )^{-1}V_{0}^{-1},}$$ $${\displaystyle V=BV_{0}B^{\mathsf {T}}.}$$

任意の尤度近似の文脈において、尤度関数の二次近似が成立する限り、これは有効である。つまり、正規化されていない結果からの摂動が小さい限り、共分散行列を用いて最良適合点として提示された任意の結果を正規化することができる。基礎となる尤度関数に関する詳細な知識は必要ない。^{[ 27 ]}

一般化ティホノフ正則化

とデータ誤差に対する一般的な多変量正規分布の場合、変数の変換を適用することで、上記の場合を簡約することができます。同様に、 を最小化するように を求めることもできます。 ここで、 は重み付きノルムの2乗を表します（マハラノビス距離と比較してください）。ベイズ解釈では、は の逆共分散行列、はの期待値、は の逆共分散行列です。 ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {x} }$ $${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{P}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2},}$$ ${\displaystyle \left\|\mathbf {x} \right\|_{Q}^{2}}$ ${\displaystyle \mathbf {x} ^{\mathsf {T}}Q\mathbf {x} }$ ${\displaystyle P}$ ${\displaystyle \mathbf {b} }$ ${\displaystyle \mathbf {x} _{0}}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle Q}$ ${\displaystyle \mathbf {x} }$

ティホノフ行列は明示的には含まれていない。これは、対応する正則化項が および を用いて に簡約されるためである 。となる通常の正則化の場合、ティホノフ行列はコレスキー分解に現れ、白色化フィルタとみなされる。 ${\displaystyle \left\|\Gamma \mathbf {x} -\mathbf {x} _{0}'\right\|_{Q'}^{2}}$ ${\displaystyle \Gamma \mathbf {x} _{0}=\mathbf {x} _{0}'}$ ${\displaystyle Q=\Gamma ^{T}Q'\Gamma }$ ${\displaystyle Q'=I}$ ${\displaystyle Q=\Gamma ^{\mathsf {T}}\Gamma }$

この一般化された問題には、次の式を使って明示的に記述できる 最適解がある。 ${\displaystyle {\hat {\mathbf {x} }}}$ $${\displaystyle \mathbf {\hat {\mathbf {x} }} =\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\mathbf {b} +Q\mathbf {x} _{0}\right)=\mathbf {x} _{0}+\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\left(\mathbf {b} -A\mathbf {x} _{0}\right)\right).}$$

ラヴレンチェフ正規化

状況によっては、ミハイル・ラヴレンチェフ^{[ 28 ]}が提案したように、転置の使用を避けることができる。例えば、が対称正定値、すなわち であれば、その逆行列 も となる。したがって、これを使って一般化ティホノフ正則化における 重み付きノルムの2乗を設定し、 を最小化することができる。あるいは、定数項 まで、 ${\displaystyle A^{\mathsf {T}}}$ ${\displaystyle A}$ ${\displaystyle A=A^{\mathsf {T}}>0}$ ${\displaystyle A^{-1}}$ ${\displaystyle \left\|\mathbf {x} \right\|_{P}^{2}=\mathbf {x} ^{\mathsf {T}}A^{-1}\mathbf {x} }$ $${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{A^{-1}}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2}}$$ $${\displaystyle \mathbf {x} ^{\mathsf {T}}\left(A+Q\right)\mathbf {x} -2\mathbf {x} ^{\mathsf {T}}\left(\mathbf {b} +Q\mathbf {x} _{0}\right).}$$

この最小化問題には、一般化ティホノフ問題の解に他ならない式を用いて明示的に記述できる 最適解が存在する。 ${\displaystyle \mathbf {x} ^{*}}$ $${\displaystyle \mathbf {x} ^{*}=\left(A+Q\right)^{-1}\left(\mathbf {b} +Q\mathbf {x} _{0}\right),}$$ ${\displaystyle A=A^{\mathsf {T}}=P^{-1}.}$

ラヴレンチェフ正則化は、適用可能な場合、元のティホノフ正則化よりも有利である。これは、ラヴレンチェフ行列は、ティホノフ行列と比較して、より条件付けがよい、すなわち、より小さい条件数を持つことができるからである。 ${\displaystyle A+Q}$ ${\displaystyle A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma .}$

ヒルベルト空間における正則化

典型的には、離散線形悪条件問題は積分方程式の離散化から生じ、元の無限次元の文脈においてティホノフ正則化を定式化することができる。上記において、 をヒルベルト空間上のコンパクト作用素、をの定義域と値域の元として解釈することができる。すると、は自己随伴有界可逆作用素となる。 ${\displaystyle A}$ ${\displaystyle x}$ ${\displaystyle b}$ ${\displaystyle A}$ ${\displaystyle A^{*}A+\Gamma ^{\mathsf {T}}\Gamma }$

特異値分解とウィーナーフィルタとの関係

を用いると、この最小二乗解は特異値分解を用いた特別な方法で解析できる。特異値分解を 特異値とすると、ティホノフ正規化解は次のように表される 。 ここで、は対角値を持ち 、それ以外の場所では0である。これは、正規化問題の条件数 に対するティホノフパラメータの影響を示している。一般化されたケースでは、一般化特異値分解を用いて同様の表現を導くことができる。^{[ 29 ]} ${\displaystyle \Gamma =\alpha I}$ $${\displaystyle A=U\Sigma V^{\mathsf {T}}}$$ ${\displaystyle \sigma _{i}}$ $${\displaystyle {\hat {x}}=VDU^{\mathsf {T}}b,}$$ ${\displaystyle D}$ $${\displaystyle D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}}$$

最後に、これはウィーナーフィルタと関連しています。 ここで、ウィーナー重みは であり、はのランクです。 $${\displaystyle {\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\mathsf {T}}b}{\sigma _{i}}}v_{i},}$$ ${\displaystyle f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}}$ ${\displaystyle q}$ ${\displaystyle A}$

確率論的定式化との関係

逆問題の確率的定式化では（すべての不確実性がガウス分布である場合）、モデルパラメータの事前不確実性を表す共分散行列と、観測パラメータの不確実性を表す共分散行列が導入される。^{[ 30 ]}これらの2つの行列が対角行列かつ等方行列である場合の特殊なケースでは、、、この場合には逆理論の方程式は上記の方程式に簡約され、となる。^{[ 31 ] [ 32 ]} ${\displaystyle C_{M}}$ ${\displaystyle C_{D}}$ ${\displaystyle C_{M}=\sigma _{M}^{2}I}$ ${\displaystyle C_{D}=\sigma _{D}^{2}I}$ ${\displaystyle \alpha ={\sigma _{D}}/{\sigma _{M}}}$

ベイズ解釈

一見すると、この正規化された問題に対する解の選択は人為的に見えるかもしれませんし、実際行列はかなり恣意的に見えるかもしれませんが、そのプロセスはベイズの観点から正当化できます。^{[ 33 ]}不適切設定問題の場合、一意の解を得るためには、必然的にいくつかの追加の仮定を導入する必要があることに注意してください。統計的には、 の事前確率分布は、多変量正規分布であると解釈されることがあります。^{[ 34 ]}ここでは簡単にするために、平均はゼロ、成分は独立しており、成分の標準偏差は同じであると仮定します。データにも誤差があり、 の誤差も平均ゼロ、標準偏差 で独立していると仮定します。これらの仮定の下では、ベイズの定理によれば、データと の事前分布が与えられた場合、ティホノフ正規化解が最も可能性の高い解となります。^{[ 35 ]} ${\displaystyle \Gamma }$ ${\displaystyle x}$ ${\displaystyle \sigma _{x}}$ ${\displaystyle b}$ ${\displaystyle \sigma _{b}}$ ${\displaystyle x}$

正規性の仮定を等分散性と誤差の無相関性の仮定に置き換え、さらに平均がゼロであると仮定すると、ガウス・マルコフの定理によれば、解は最小の不偏線形推定値となる。^{[ 36 ]}

参照

• LASSO 推定量は、統計における別の正規化手法です。
• 弾性ネット正則化
• 行列正則化
• L字カーブ

注記

1. 統計学ではリッジ回帰として知られ、機械学習ではリッジ回帰とその改良型は重み減衰として知られている。また、複数の独立した発見により、ティホノフ・ミラー法、フィリップス・トゥオーミー法、制約付き線形反転法、 L ₂正則化、線形正則化法などとも呼ばれる。これは、非線形最小二乗問題におけるレーベンバーグ・マルカート法と関連している

参考文献

1. Hilt, Donald E.; Seegrist, Donald W. (1977). Ridge, リッジ回帰推定値を計算するコンピュータプログラム. doi : 10.5962/bhl.title.68934 .
2. グルーバー、マーヴィン（1998年）『縮小による効率性の向上：ジェームズ・スタイン回帰とリッジ回帰推定法』CRC Press、p. 2、ISBN 978-0-8247-0156-7。
3. ケネディ、ピーター(2003). 『計量経済学ガイド（第5版）』 ケンブリッジ: MIT出版. pp.  205– 206. ISBN 0-262-61183-X。
4. グルーバー、マーヴィン (1998). 『縮小による効率性の向上：ジェームズ・スタイン回帰とリッジ回帰推定法』 ボカラトン: CRCプレス. pp.  7– 15. ISBN 0-8247-0156-9。
5. Hoerl, Arthur E.; Kennard, Robert W. (1970). 「リッジ回帰：非直交問題に対するバイアス推定」. Technometrics . 12 (1): 55– 67. doi : 10.2307/1267351 . JSTOR 1267351 . 
6. Hoerl, Arthur E.; Kennard, Robert W. (1970). 「リッジ回帰：非直交問題への応用」. Technometrics . 12 (1): 69– 82. doi : 10.2307/1267352 . JSTOR 1267352 . 
7. Jolliffe, IT (2006).主成分分析. Springer Science & Business Media. p. 178. ISBN 978-0-387-22440-4。
8. 実際の の選択については、 Khalaf, Ghadban; Shukur, Ghazi (2005). 「回帰問題におけるリッジパラメータの選択」. Communications in Statistics – Theory and Methods . 34 (5): 1177– 1182. doi : 10.1081/STA-200056836 . S2CID 122983724 .を参照。 ${\displaystyle \lambda }$ 
9. ファン・ヴィーリンゲン、ヴェッセル (2021-05-31). 「リッジ回帰の講義ノート」。arXiv : 1509.09169 [ stat.ME ]。
10. Wahba, G. (1990). 「観測データのためのスプラインモデル」. CBMS-NSF応用数学地域会議シリーズ. 応用数学協会. Bibcode : 1990smod.conf.....W .
11. Golub, G.; Heath, M.; Wahba, G. (1979). 「良好なリッジパラメータを選択するための方法としての一般化クロスバリデーション」(PDF) . Technometrics . 21 (2): 215– 223. doi : 10.1080/00401706.1979.10489751 .
12. Botev, Zdravko I.; Kroese, Dirk P.; Taimre, Thomas (2025). 『データサイエンスと機械学習：数学的・統計的手法（第2版）』ボカラトン; ロンドン: CRC Press. p. 267-268. ISBN 978-1-032-48868-4。
13. PC Hansen、「L曲線と逆問題の数値的処理におけるその利用」、 [1]
14. チホノフ、アンドレイ・ニコラエヴィチ(1943)。"Об устойчивости обратных задач" [逆問題の安定性について]。ドクラディ・アカデミ・ナウクSSSR。39 (5​​): 195–198。2005年 2 月 27 日にオリジナルからアーカイブ。
15. チホノフ、AN (1963)。 「О резении некорректно поставленных задач и методе регуляризации」。ドクラディ・アカデミ・ナウクSSSR。151 : 501 – 504.. 「誤って定式化された問題の解法と正則化法」に翻訳。ソビエト数学4 : 1035– 1038。
16. Tikhonov, AN; VY Arsenin (1977).不適切問題の解法. ワシントン: Winston & Sons. ISBN 0-470-99124-0。
17. Tikhonov, Andrey Nikolayevich; Goncharsky, A.; Stepanov, VV; Yagola, Anatolij Grigorevic (1995年6月30日).数値解析による不適切問題の解法. オランダ: Springer Netherlands. ISBN 0-7923-3583-X. 2018年8月9日閲覧。
18. チホノフ、アンドレイ・ニコラエヴィッチ;レオノフ、アレクサンドル S.。ヤゴラ、アナトリー・グリゴレヴィッチ (1998)。非線形の不良設定問題。ロンドン：チャップマン＆ホール。ISBN 0-412-78660-5. 2018年8月9日閲覧。
19. Phillips, DL (1962). 「第一種積分方程式の数値解法」 . Journal of the ACM . 9 : 84–97 . doi : 10.1145/321105.321114 . S2CID 35368397 . 
20. Hoerl, Arthur E. (1962). 「リッジ分析の回帰問題への応用」. Chemical Engineering Progress . 58 (3): 54– 59.
21. Foster, M. (1961). 「ウィーナー・コルモゴロフ平滑化理論の逆行列への応用」. Journal of the Society for Industrial and Applied Mathematics . 9 (3): 387– 392. doi : 10.1137/0109031 .
22. Hoerl, AE; RW Kennard (1970). 「リッジ回帰：非直交問題に対するバイアス推定」. Technometrics . 12 (1): 55– 67. doi : 10.1080/00401706.1970.10488634 .
23. Hoerl, Roger W. (2020年10月1日). 「リッジ回帰：歴史的背景」 . Technometrics . 62 (4): 420– 425. doi : 10.1080/00401706.2020.1742207 . ISSN 0040-1706 . 
24. Ng, Andrew Y. (2004).特徴選択、L1正則化とL2正則化、回転不変性(PDF) . Proc. ICML .
25. R.-E. Fan; K.-W. Chang; C.-J. Hsieh; X.-R. Wang; C.-J. Lin (2008). 「LIBLINEAR: 大規模線形分類のためのライブラリ」. Journal of Machine Learning Research . 9 : 1871–1874 .
26. Guan, Naiyang; Tao, Dacheng; Luo, Zhigang; Yuan, Bo (2012). 「ロバストな確率的近似を用いたオンライン非負値行列因子分解」. IEEE Transactions on Neural Networks and Learning Systems . 23 ( 7): 1087– 1099. Bibcode : 2012ITNNL..23.1087G . doi : 10.1109/TNNLS.2012.2197827 . PMID 24807135. S2CID 8755408 .  
27. Koch, Lukas (2022). 「展開断面積測定の事後正規化」. Journal of Instrumentation . 17 (10) 10021. arXiv : 2207.02125 . Bibcode : 2022JInst..17P0021K . doi : 10.1088/1748-0221/17/10/P10021 .
28. Lavrentiev, MM (1967).数理物理学におけるいくつかの不適切に提起された問題. ニューヨーク: Springer.
29. ハンセン、ペル・クリスチャン（1998年1月1日）『ランク不足問題と離散的不適切問題：線形逆行列の数値的側面』（第1版）フィラデルフィア、米国：SIAM ​​。ISBN 978-0-89871-403-6。
30. Tarantola, Albert (2005).逆問題理論とモデルパラメータ推定法（第1版）. フィラデルフィア: Society for Industrial and Applied Mathematics (SIAM). ISBN 0-89871-792-2. 2018年8月9日閲覧。
31. Huang, Yunfei.; et al. (2019). 「細胞比較のための最適化された正規化と自動ベイズパラメータ選択を備えた牽引力顕微鏡法」 . Scientific Reports . 9 (1) 539: 537. arXiv : 1810.05848 . Bibcode : 2019NatSR...9..539H . doi : 10.1038/s41598-018-36896- x . PMC 6345967. PMID 30679578 .  
32. Huang, Yunfei; Gompper, Gerhard; Sabass, Benedikt (2020). 「ユーザーフレンドリーなソフトウェアパッケージで自動ノイズ除去機能を備えたベイズ牽引力顕微鏡法」. Computer Physics Communications . 256 107313. arXiv : 2005.01377 . Bibcode : 2020CoPhC.25607313H . doi : 10.1016/j.cpc.2020.107313 .
33. グリーンバーグ、エドワード、ウェブスター、チャールズ・E・ジュニア (1983). 『高度計量経済学：文献への架け橋』 ニューヨーク：ジョン・ワイリー・アンド・サンズ. pp.  207– 213. ISBN 0-471-09077-8。
34. Huang, Yunfei.; et al. (2019). 「細胞比較のための最適化された正規化と自動ベイズパラメータ選択を備えた牽引力顕微鏡法」 . Scientific Reports . 9 (1) 539: 537. arXiv : 1810.05848 . Bibcode : 2019NatSR...9..539H . doi : 10.1038/s41598-018-36896- x . PMC 6345967. PMID 30679578 .  
35. Vogel, Curtis R. (2002).逆問題に対する計算手法フィラデルフィア: 産業応用数学協会. ISBN 0-89871-550-4。
36. 雨宮毅(1985). 『先進計量経済学』 ハーバード大学出版局. pp.  60–61 . ISBN 0-674-00560-0。

さらに読む

• グルーバー、マーヴィン（1998年）『縮小による効率性の向上：ジェームズ・スタイン回帰とリッジ回帰推定法』ボカラトン：CRCプレス、ISBN 0-8247-0156-9。
• クレス、ライナー (1998). 「ティホノフ正則化」 .数値解析. ニューヨーク: シュプリンガー. pp.  86– 90. ISBN 0-387-98408-9。
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007). 「第19.5節 線形正則化法」 .数値計算レシピ：科学計算の芸術（第3版）. ニューヨーク：ケンブリッジ大学出版局. ISBN 978-0-521-88068-8。
• Saleh, AK Md. Ehsanes; Arashi, Mohammad; Kibria, BM Golam (2019). 『リッジ回帰推定の理論とその応用』ニューヨーク: John Wiley & Sons. ISBN 978-1-118-64461-4。
• タディ、マット (2019). 「Regularization」 .ビジネスデータサイエンス：機械学習と経済学の融合によるビジネス意思決定の最適化、自動化、加速. ニューヨーク: マグロウヒル. pp.  69– 104. ISBN 978-1-260-45277-8。

「 https://en.wikipedia.org/w/index.php?title=Ridge_regression&oldid=1335746972#Tikhonov_regularization」より取得