Concept in regression analysis mathematics
正規化最小二乗法 ( RLS ) は、 正規化 を使用して結果の解をさらに制限し
ながら 最小二乗 問題を 解く一連の方法の一種です。
RLSが使用される主な理由は2つあります。1つ目は、線形システムにおける変数の数が観測値の数を超える場合です。このような状況では、 通常の最小二乗 問題は 設定不良 となり、関連する最適化問題が無限に多くの解を持つため、近似が不可能になります。RLSでは、解を一意に決定するさらなる制約を導入できます。
RLSを使用する2つ目の理由は、学習済みモデルの汎化能力 が低い場合に生じます 。このような場合、RLSは学習時に制約を課すことでモデルの汎化能力を向上させるために使用できます。この制約は、解を何らかの形で「スパース」にするか、特徴量間の相関関係に関する情報など、問題に関する他の事前知識を反映するかのいずれかです。この点を ベイズ的 に理解するには、RLS法が多くの場合、 最小二乗問題の解の 事前分布と同等であることを示す必要があります。
確率空間, によって与えられる学習設定を考えます 。 結合分布 に関する iid ペア のトレーニングセットを とします 。 損失関数 を損失関数とします。 を関数の空間として定義し、期待リスクが 明確に定義されるようにします。主な目標は、期待リスクを最小化することです。 この問題は正確に解くことができないため、解の質をどのように測定するかを明確にする必要があります。優れた学習アルゴリズムは、リスクの小さい推定値を提供する必要があります。 ( X × Y , ρ ( X , Y ) ) {\displaystyle (X\times Y,\rho (X,Y))} Y ∈ R {\displaystyle Y\in R} S = { x i , y i } i = 1 n {\displaystyle S=\{x_{i},y_{i}\}_{i=1}^{n}} n {\displaystyle n} ρ {\displaystyle \rho } V : Y × R → [ 0 ; ∞ ) {\displaystyle V:Y\times R\to [0;\infty )} F {\displaystyle F} ε ( f ) = ∫ V ( y , f ( x ) ) d ρ ( x , y ) {\displaystyle \varepsilon (f)=\int V(y,f(x))\,d\rho (x,y)} inf f ∈ F ε ( f ) {\displaystyle \inf _{f\in F}\varepsilon (f)}
結合分布は 通常は未知であるため、経験的リスクが考慮される。正規化最小二乗法では、二乗損失関数が導入される。 ρ {\displaystyle \rho } ε ( f ) = 1 n ∑ i = 1 n V ( y i , f ( x i ) ) = 1 n ∑ i = 1 n ( y i − f ( x i ) ) 2 {\displaystyle \varepsilon (f)={\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},f(x_{i}))={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}
しかし、関数が 上の二乗可積分関数の集合のような比較的制約の少ない空間から来ている場合、 このアプローチは訓練データに過剰適合し、汎化性能が低下する可能性があります。したがって、関数 の複雑性に何らかの制約またはペナルティを課す必要があります。RLSでは、これは 再生核ヒルベルト空間 （RKHS） から関数を選択し 、 における関数のノルムに比例する正則化項を目的関数に追加することで実現されます 。 X {\displaystyle X} f {\displaystyle f} H {\displaystyle {\mathcal {H}}} H {\displaystyle {\mathcal {H}}} inf f ∈ F ε ( f ) + λ R ( f ) , λ > 0 {\displaystyle \inf _{f\in F}\varepsilon (f)+\lambda R(f),\lambda >0}
RKHSの定義 RKHSは、 再生特性を持つ 対称 正定値カーネル関数 によって定義できます。
ここで 。カーネルのRKHSは 、 : （すべて実数） によって張られる関数空間の 完備化 で構成されます 。一般的に使用されるカーネルには、線形関数の空間を誘導する線形カーネル、 次数の多項式関数の空間を誘導する多項式カーネル、 および ガウスカーネルがあります。 K ( x , z ) {\displaystyle K(x,z)} ⟨ K x , f ⟩ H = f ( x ) , {\displaystyle \langle K_{x},f\rangle _{\mathcal {H}}=f(x),} K x ( z ) = K ( x , z ) {\displaystyle K_{x}(z)=K(x,z)} K {\displaystyle K} { K x ∣ x ∈ X } {\displaystyle \left\{K_{x}\mid x\in X\right\}} f ( x ) = ∑ i = 1 n α i K x i ( x ) , f ∈ H {\textstyle f(x)=\sum _{i=1}^{n}\alpha _{i}K_{x_{i}}(x),\,f\in {\mathcal {H}}} α i {\displaystyle \alpha _{i}} K ( x , z ) = x T z , {\displaystyle K(x,z)=x^{\mathsf {T}}z,} d {\displaystyle d} K ( x , z ) = ( x T z + 1 ) d , {\displaystyle K(x,z)=\left(x^{\mathsf {T}}z+1\right)^{d},} K ( x , z ) = e − ‖ x − z ‖ 2 / σ 2 . {\displaystyle K(x,z)=e^{-{\left\|x-z\right\|^{2}}/{\sigma ^{2}}}.}
任意の損失関数 に対して 、このアプローチは Tikhonov 正則化と呼ばれる一般的なアルゴリズムのクラスを定義することに注意してください。例えば、 ヒンジ損失 を用いると サポートベクターマシン アルゴリズムが、イプシロン非感受性損失を用いると サポートベクター回帰 が実現されます。 V {\displaystyle V}
任意のカーネル 代表 者定理は、 ある に対して、 解が次のように書けることを保証します 。 f ( x ) = ∑ i = 1 n c i K ( x i , x ) {\displaystyle f(x)=\sum _{i=1}^{n}c_{i}K(x_{i},x)} c ∈ R n {\displaystyle c\in \mathbb {R} ^{n}}
最小化問題は次のように表現できます。 ここで、表記法を多少乱用すると、 カーネル行列のエントリ （カーネル関数 ではなく ）は になります 。 min c ∈ R n 1 n ‖ Y − K c ‖ R n 2 + λ ‖ f ‖ H 2 , {\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda \left\|f\right\|_{H}^{2},} i , j {\displaystyle i,j} K {\displaystyle K} K ( ⋅ , ⋅ ) {\displaystyle K(\cdot ,\cdot )} K ( x i , x j ) {\displaystyle K(x_{i},x_{j})}
このような関数の場合、 ‖ f ‖ H 2 = ⟨ f , f ⟩ H = ⟨ ∑ i = 1 n c i K ( x i , ⋅ ) , ∑ j = 1 n c j K ( x j , ⋅ ) ⟩ H = ∑ i = 1 n ∑ j = 1 n c i c j ⟨ K ( x i , ⋅ ) , K ( x j , ⋅ ) ⟩ H = ∑ i = 1 n ∑ j = 1 n c i c j K ( x i , x j ) = c T K c , {\displaystyle {\begin{aligned}\left\|f\right\|_{H}^{2}&=\langle f,f\rangle _{H}\\[1ex]&=\left\langle \sum _{i=1}^{n}c_{i}K(x_{i},\cdot ),\sum _{j=1}^{n}c_{j}K(x_{j},\cdot )\right\rangle _{H}\\[1ex]&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}\left\langle K(x_{i},\cdot ),K(x_{j},\cdot )\right\rangle _{H}\\&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})\\&=c^{\mathsf {T}}Kc,\end{aligned}}}
次の最小化問題が得られます。 min c ∈ R n 1 n ‖ Y − K c ‖ R n 2 + λ c T K c . {\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}Kc.}
凸関数の和は凸関数なので、解は一意であり、その最小値は に対する勾配を に設定することによって見つけることができる 。 ここ で c {\displaystyle c} 0 {\displaystyle 0} − 1 n K ( Y − K c ) + λ K c = 0 ⇒ K ( K + λ n I ) c = K Y ⇒ c = ( K + λ n I ) − 1 Y , {\displaystyle -{\frac {1}{n}}K\left(Y-Kc\right)+\lambda Kc=0\Rightarrow K\left(K+\lambda nI\right)c=KY\Rightarrow c=\left(K+\lambda nI\right)^{-1}Y,} c ∈ R n . {\displaystyle c\in \mathbb {R} ^{n}.}
複雑 トレーニングの複雑さは、基本的にカーネル行列の計算コストと線形システムを解くコストの合計で、これはおよそ です。線形カーネルまたは ガウスカーネル のカーネル行列の計算コスト は です 。テストの複雑さは です 。 O ( n 3 ) {\displaystyle O(n^{3})} O ( n 2 D ) {\displaystyle O(n^{2}D)} O ( n ) {\displaystyle O(n)}
予測 新しいテストポイントでの予測は次 のとおりです。 x ∗ {\displaystyle x_{*}} f ( x ∗ ) = ∑ i = 1 n c i K ( x i , x ∗ ) = K ( X , X ∗ ) T c {\displaystyle f(x_{*})=\sum _{i=1}^{n}c_{i}K(x_{i},x_{*})=K(X,X_{*})^{\mathsf {T}}c}
線形カーネル 便宜上、ベクトル表記を導入する。 を行列とし、行を入力ベクトル、要素を対応する出力 ベクトル とする 。ベクトルで表すと、カーネル行列は と表すことができる 。学習関数は次のように表すことができる。 X {\displaystyle X} n × d {\displaystyle n\times d} Y {\displaystyle Y} n × 1 {\displaystyle n\times 1} K = X X T {\displaystyle K=XX^{\mathsf {T}}} f ( x ∗ ) = K x ∗ c = x ∗ T X T c = x ∗ T w {\displaystyle f(x_{*})=K_{x_{*}}c=x_{*}^{\mathsf {T}}X^{\mathsf {T}}c=x_{*}^{\mathsf {T}}w}
ここで を定義します 。目的関数は次のように書き直すことができます。 w = X T c , w ∈ R d {\displaystyle w=X^{\mathsf {T}}c,w\in \mathbb {R} ^{d}} 1 n ‖ Y − K c ‖ R n 2 + λ c T K c = 1 n ‖ y − X X T c ‖ R n 2 + λ c T X X T c = 1 n ‖ y − X w ‖ R n 2 + λ ‖ w ‖ R d 2 {\displaystyle {\begin{aligned}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}Kc&={\frac {1}{n}}\left\|y-XX^{\mathsf {T}}c\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}XX^{\mathsf {T}}c\\[1ex]&={\frac {1}{n}}\left\|y-Xw\right\|_{\mathbb {R} ^{n}}^{2}+\lambda \left\|w\right\|_{\mathbb {R} ^{d}}^{2}\end{aligned}}}
最初の項は、残差平方和に対応する、 通常最小二乗法 （OLS）回帰 の目的関数です 。2番目の項は、OLSには存在しない正則化項であり、大きな 値にペナルティを与えます。滑らかな有限次元問題が考慮されているため、標準的な微積分ツールを適用できます。目的関数を最小化するために、勾配を について計算し 、それを0に設定します。 w {\displaystyle w} w {\displaystyle w} X T X w − X T y + λ n w = 0 {\displaystyle X^{\mathsf {T}}Xw-X^{\mathsf {T}}y+\lambda nw=0} w = ( X T X + λ n I ) − 1 X T y {\displaystyle w=\left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}X^{\mathsf {T}}y}
この解は、追加の項 がある標準的な線型回帰の解とよく似ています 。OLS 回帰の仮定が成り立つ場合、 を伴う解 は不偏推定量であり、 は ガウス・マルコフの定理 によれば最小分散の線型不偏推定量です 。したがって、項 は偏った解につながりますが、分散を減らす傾向もあります。値 の 共 分散行列は に比例するため 、これは簡単にわかります。 したがって、 の値が大きいほど 分散が低くなります。したがって、 を操作することは、 バイアスと分散のトレードオフに対応します。 比較的小さいまたは相関のある回帰変数を持つケースなどの高分散推定値の問題では 、非ゼロの を使用し、分散を減らすためにいくらかのバイアスを導入することによって、最適な予測精度が得られる可能性があります。さらに、 機械学習 では の場合が 珍しくなく 、その場合はが ランク 落ちであり 、 を計算するために非ゼロが必要になります 。 λ I {\displaystyle \lambda I} w = ( X T X ) − 1 X T y {\displaystyle w=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}y} λ = 0 {\displaystyle \lambda =0} λ n I {\displaystyle \lambda nI} w {\displaystyle w} ( X T X + λ n I ) − 1 {\displaystyle \left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}} λ {\displaystyle \lambda } λ {\displaystyle \lambda } w {\displaystyle w} n {\displaystyle n} λ {\displaystyle \lambda } n < d {\displaystyle n<d} X T X {\displaystyle X^{\mathsf {T}}X} λ {\displaystyle \lambda } ( X T X + λ n I ) − 1 {\displaystyle \left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}}
複雑 パラメータ は 行列 の逆行列性を制御します 。上記の線形システムを解くにはいくつかの方法がありますが、行列 が 対称 かつ 正定値 であるため、 コレスキー分解 がおそらく最適な方法です 。この方法の複雑さは、 学習と テストに起因します。コストは 基本的に を計算するのと同じ で、逆計算（つまり線形システムの解）はおおよそ です 。 λ {\displaystyle \lambda } X T X + λ n I {\displaystyle X^{\mathsf {T}}X+\lambda nI} X T X + λ n I {\displaystyle X^{\mathsf {T}}X+\lambda nI} O ( n D 2 ) {\displaystyle O(nD^{2})} O ( D ) {\displaystyle O(D)} O ( n D 2 ) {\displaystyle O(nD^{2})} X T X {\displaystyle X^{\mathsf {T}}X} O ( D 3 ) {\displaystyle O(D^{3})}
特徴マップとマーサーの定理 この節では、RLSを任意の再生カーネルKに拡張する方法を示します。線形カーネルの代わりに、特徴空間と呼ばれる ヒルベルト空間 に対する特徴マップが考慮されます 。この場合、カーネルは次のように定義されます。行列 は、 新しいデータ行列 （ 、つまり の- 番目 の成分）に置き換えられます 。 これは、与えられたトレーニングセット に対して が成り立つことを意味します 。したがって、目的関数は次のように記述できます
。 Φ : X → F {\displaystyle \Phi :X\to F} F {\displaystyle F} X {\displaystyle X} Φ {\displaystyle \Phi } Φ i j = φ j ( x i ) {\displaystyle \Phi _{ij}=\varphi _{j}(x_{i})} j {\displaystyle j} φ ( x i ) {\displaystyle \varphi (x_{i})} K ( x , x ′ ) = ⟨ Φ ( x ) , Φ ( x ′ ) ⟩ F . {\displaystyle K(x,x')=\langle \Phi (x),\Phi (x')\rangle _{F}.} K = Φ Φ T {\displaystyle K=\Phi \Phi ^{\mathsf {T}}} min c ∈ R n ‖ Y − Φ Φ T c ‖ R n 2 + λ c T Φ Φ T c . {\displaystyle \min _{c\in \mathbb {R} ^{n}}\left\|Y-\Phi \Phi ^{\mathsf {T}}c\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}\Phi \Phi ^{\mathsf {T}}c.}
このアプローチは カーネルトリック として知られています。この手法は計算操作を大幅に簡素化できます。 が高次元の場合、計算負荷が かなり高くなる可能性があります。カーネル関数の明示的な形式が分かっている場合は、 カーネル行列 を計算して保存するだけで済みます 。 F {\displaystyle F} φ ( x i ) {\displaystyle \varphi (x_{i})} n × n {\displaystyle n\times n} K {\displaystyle K}
実際、 ヒルベルト空間は と同型である必要はなく 、無限次元になることができます。これは、 連続、対称、正定値カーネル関数が 、および の 直交 基底 を
形成 すると述べる マーサーの定理 に従っています。特徴マップが コンポーネント で定義されている場合 、 が成り立ちます 。これは、任意のカーネルを特徴マップに関連付けることができ、RLS が一般に何らかのより高次元の特徴空間で実行される線形 RLS で構成されることを示しています。マーサーの定理は、1 つの特徴マップをカーネルに関連付けることができることを示していますが、実際には複数の特徴マップを特定の再生カーネルに関連付けることができます。たとえば、マップは 任意の再生カーネルの プロパティ を満たします。 F {\displaystyle F} R m {\displaystyle \mathbb {R} ^{m}} K ( x , z ) = ∑ i = 1 ∞ σ i e i ( x ) e i ( z ) {\displaystyle K(x,z)=\sum _{i=1}^{\infty }\sigma _{i}e_{i}(x)e_{i}(z)} e i ( x ) {\displaystyle e_{i}(x)} ℓ 2 ( X ) {\displaystyle \ell ^{2}(X)} σ i ∈ R {\displaystyle \sigma _{i}\in \mathbb {R} } φ ( x ) {\displaystyle \varphi (x)} φ i ( x ) = σ i e i ( x ) {\displaystyle \varphi _{i}(x)={\sqrt {\sigma _{i}}}e_{i}(x)} K ( x , z ) = ⟨ φ ( x ) , φ ( z ) ⟩ {\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle } φ ( x ) = K x {\displaystyle \varphi (x)=K_{x}} K ( x , z ) = ⟨ φ ( x ) , φ ( z ) ⟩ {\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }
ベイズ解釈 最小二乗法は、残差が正規分布するという仮定の下での尤度最大化と見なすことができます。これは、 ガウス分布 の指数がデータ内で 2 次関数であり、最小二乗法の目的関数も 2 次関数であるためです。この枠組みでは、RLS の正則化項は の 事前 分布をエンコードするものと理解できます。 [1] たとえば、Tikhonov の正則化は、 0 を中心とする の事前分布に対応します。これを理解するために、まず、 各サンプルが の周りに正規分布している場合、OLS の目的関数は 対数尤度 関数に比例することに注目してください。次に、0 を中心とする の正規事前分布は の形式の対数確率を持つことに注目してください。 ここで 、および は事前分布の分散に依存する定数であり、 とは独立しています 。したがって、尤度の対数と事前分布の積を最小化することは、OLS 損失関数とリッジ回帰正則化項の合計を最小化することと同じです。 w {\displaystyle w} w {\displaystyle w} y i {\displaystyle y^{i}} w T ⋅ x i {\displaystyle w^{\mathsf {T}}\cdot x^{i}} w {\displaystyle w} log P ( w ) = q − α ∑ j = 1 d w j 2 {\displaystyle \log P(w)=q-\alpha \sum _{j=1}^{d}w_{j}^{2}} q {\displaystyle q} α {\displaystyle \alpha } w {\displaystyle w}
これにより、ティホノフ正規化が 最小二乗問題に一意の解をもたらす 理由について、より直感的な解釈が可能になります。 データから取得された制約を満たすベクトルは無限にありますが、原点の周りに正規分布している事前の確信を持って問題に取り組むため 、この制約を念頭に置いて解を選択することになります。 w {\displaystyle w} w {\displaystyle w}
他の正規化手法は異なる事前分布に対応します。詳細については、以下のリストをご覧ください。
具体的な例
リッジ回帰（またはティホノフ正則化） ペナルティ関数として特によく使われる選択肢の一つは 、二乗 ノルム 、すなわち であり、 その解は となる。 これは一般的に ティホノフ正則化 や リッジ回帰 と呼ばれる。これは の閉形式の解を許容する 。
リッジ回帰という名称は、 という項が標本 共分散行列 の対角線の「リッジ」に沿って正の要素を追加する という事実に由来している 。 R {\displaystyle R} ℓ 2 {\displaystyle \ell _{2}} R ( w ) = ∑ j = 1 d w j 2 {\displaystyle R(w)=\sum _{j=1}^{d}w_{j}^{2}} w ^ = argmin w ∈ R d 1 n ‖ Y − X w ‖ 2 2 + λ ∑ j = 1 d | w j | 2 {\displaystyle {\hat {w}}={\text{argmin}}_{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \sum _{j=1}^{d}\left|w_{j}\right|^{2}} w {\displaystyle w} w ^ = ( 1 n X T X + λ I ) − 1 1 n X T Y = ( X T X + n λ I ) − 1 X T Y {\displaystyle {\hat {w}}=\left({\frac {1}{n}}X^{\mathsf {T}}X+\lambda I\right)^{-1}{\frac {1}{n}}X^{\mathsf {T}}Y=\left(X^{\mathsf {T}}X+n\lambda I\right)^{-1}X^{\mathsf {T}}Y} λ I {\displaystyle \lambda I} 1 n X T X {\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X}
の場合、すなわち 通常の最小二乗 法の場合、 標本 共分散行列が フルランクを持たない 条件は、逆行列を解いても一意の解を得られないことにつながります。これが、 の場合、 通常の最小二乗法 問題に無限の解が存在する可能性がある理由です 。しかし、 の場合 、すなわちリッジ回帰を使用する場合、 標本共分散行列に を加えることで、そのすべての固有値が0より大きくなることが保証されます。言い換えれば、逆行列が解けるようになり、解は一意になります。 λ = 0 {\displaystyle \lambda =0} d > n {\displaystyle d>n} 1 n X T X {\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X} d > n {\displaystyle d>n} λ > 0 {\displaystyle \lambda >0} λ I {\displaystyle \lambda I}
通常の最小二乗法と比較すると、リッジ回帰は偏りがありません。分散と平均二乗誤差 を低減するために、バイアスを受け入れます 。
簡素化と自動正規化 正規化係数の異なる値 （ と表記）を 求める場合は、 共分散行列の 固有値分解 を使用できます。 ここで、 の列は の固有ベクトルであり 、 はその 固有値です。 w ^ {\displaystyle {\hat {w}}} λ {\displaystyle \lambda } w ^ ( λ ) {\displaystyle {\hat {w}}(\lambda )} 1 n X T X = Q diag ( α 1 , … , α d ) Q T {\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X=Q{\text{diag}}(\alpha _{1},\ldots ,\alpha _{d})Q^{\mathsf {T}}} Q ∈ R d × d {\displaystyle Q\in \mathbb {R} ^{d\times d}} 1 n X T X {\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X} α 1 , … , α d {\displaystyle \alpha _{1},\ldots ,\alpha _{d}} d {\displaystyle d}
の解は次のように与えられ 、 w ^ ( λ ) = Q diag − 1 ( α 1 + λ , … , α d + λ ) Z {\displaystyle {\hat {w}}(\lambda )=Q{\text{diag}}^{-1}(\alpha _{1}+\lambda ,\ldots ,\alpha _{d}+\lambda )Z} Z = 1 n Q T X T Y = [ Z 1 , … , Z d ] T . {\displaystyle Z={\frac {1}{n}}Q^{\mathsf {T}}X^{\mathsf {T}}Y=[Z_{1},\ldots ,Z_{d}]^{\mathsf {T}}.}
上記の結果を用いて、最大尤度 推定値を 求めるアルゴリズムは 次のように定義される。 [2] λ {\displaystyle \lambda }
λ ← 1 n ∑ i = 1 d α i α i + λ [ 1 n ‖ Y − X w ^ ( λ ) ‖ 2 ‖ w ^ ( λ ) ‖ 2 + λ ] . {\displaystyle \lambda \leftarrow {\frac {1}{n}}\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}\left[{\frac {{\frac {1}{n}}\|Y-X{\hat {w}}(\lambda )\|^{2}}{\|{\hat {w}}(\lambda )\|^{2}}}+\lambda \right].}
このアルゴリズムは、自動的な（ヒューリスティックな）正則化ではなく、 パラメータの 最大尤度 推定における 固定点解として得られる。 [2] 収束の保証はないが、例では数回の反復処理で満足のいく解が得られる可能性があることが示唆されている。
固有値分解によりアルゴリズムの導出が簡素化され、計算も簡素化されます。 ‖ w ^ ( λ ) ‖ 2 = ∑ i = 1 d | Z i | 2 ( α i + λ ) 2 , {\displaystyle \|{\hat {w}}(\lambda )\|^{2}=\sum _{i=1}^{d}{\frac {|Z_{i}|^{2}}{(\alpha _{i}+\lambda )^{2}}},} 1 n ‖ Y − X w ^ ( λ ) ‖ 2 = ∑ i = 1 d | Z i | 2 α i + λ . {\displaystyle {\frac {1}{n}}\|Y-X{\hat {w}}(\lambda )\|^{2}=\sum _{i=1}^{d}{\frac {|Z_{i}|^{2}}{\alpha _{i}+\lambda }}.}
Gull-McKayアルゴリズム[2] として知られる代替の固定小数点アルゴリズムは 通常より高速に収束しますが、 の場合にのみ使用できます 。したがって、 の場合は問題なく使用できますが、 の場合は 注意して使用することをお勧めします 。 λ ← 1 n ‖ Y − X w ^ ( λ ) ‖ 2 [ n ∑ i = 1 d α i α i + λ − 1 ] ‖ w ^ ( λ ) ‖ 2 {\displaystyle \lambda \leftarrow {\frac {{\frac {1}{n}}\|Y-X{\hat {w}}(\lambda )\|^{2}}{\left[{\frac {n}{\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}}}-1\right]\|{\hat {w}}(\lambda )\|^{2}}}} n > ∑ i = 1 d α i α i + λ {\displaystyle n>\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}} n > d {\displaystyle n>d} n < d {\displaystyle n<d}
Lasso回帰 最小絶対選択縮小法（LASSO）も人気の高い選択肢です。LASSO 回帰 では、LASSOペナルティ関数が 標準関数 です 。つまり、 R {\displaystyle R} ℓ 1 {\displaystyle \ell _{1}} R ( w ) = ∑ j = 1 d | w j | {\displaystyle R(w)=\sum _{j=1}^{d}\left|w_{j}\right|} 1 n ‖ Y − X w ‖ 2 2 + λ ∑ j = 1 d | w j | → min w ∈ R d {\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \sum _{j=1}^{d}|w_{j}|\rightarrow \min _{w\in \mathbb {R} ^{d}}}
LASSOペナルティ関数は凸関数ではあるが、厳密に凸ではないことに注意してください。 ティホノフ正則化 とは異なり、この手法には便利な閉形式の解はありません。代わりに、解は通常、 二次計画法 やより一般的な 凸最適化 法、あるいは 最小角回帰 アルゴリズムなどの特定のアルゴリズムを用いて求められます。
Lasso回帰とTikhonov正則化の重要な違いは、Lasso回帰では、 のエントリが 実際にはそうでない場合よりも多く0になる点です。一方、Tikhonov正則化では、 のエントリが 小さくなるように強制しますが、そうでない場合よりも多くのエントリが0になるわけではありません。したがって、 の非ゼロのエントリの数が 少ないと予想される場合には、LASSO正則化はTikhonov正則化よりも適切であり、 のエントリが 一般的には小さくなるものの必ずしも0になるとは限らないと予想される場合には、Tikhonov正則化の方が適切です。どちらの手法がより適切であるかは、対象となるデータセットによって異なります。 w {\displaystyle w} w {\displaystyle w} w {\displaystyle w} w {\displaystyle w}
上述の特徴選択に加えて、LASSOにはいくつかの限界があります。リッジ回帰は、 相関の高い変数の場合に優れた精度を提供します。 [3] また 、LASSOは最大で個の 変数を選択します。さらに、LASSOは相関の高いサンプル群から任意の変数を選択する傾向があるため、グループ化効果はありません。 n > d {\displaystyle n>d} n < d {\displaystyle n<d} n {\displaystyle n}
ℓ 0 罰則 1 n ‖ Y − X w ‖ 2 2 + λ ‖ w j ‖ 0 → min w ∈ R d {\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \left\|w_{j}\right\|_{0}\rightarrow \min _{w\in \mathbb {R} ^{d}}} スパース性を強化する最も極端な方法は、 の係数の実際の大きさは 重要ではない、むしろ の複雑さを決定するのは 非ゼロ要素の数だけである、というものです。これは、 を の ノルム に設定することに相当します。この正則化関数は、保証するスパース性という点で魅力的ですが、 弱凸 ですらない関数の最適化が必要となるため、解くのは非常に困難です。Lasso回帰は、 弱凸最適化問題を生み出すペナルティ の最小限の緩和です。 w {\displaystyle w} w {\displaystyle w} R ( w ) {\displaystyle R(w)} ℓ 0 {\displaystyle \ell _{0}} w {\displaystyle w} ℓ 0 {\displaystyle \ell _{0}}
弾性ネット 任意の非負の場合 、 目的関数は次の形式になります。 λ 1 {\displaystyle \lambda _{1}} λ 2 {\displaystyle \lambda _{2}} 1 n ‖ Y − X w ‖ 2 2 + λ 1 ∑ j = 1 d | w j | + λ 2 ∑ j = 1 d | w j | 2 → min w ∈ R d {\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda _{1}\sum _{j=1}^{d}\left|w_{j}\right|+\lambda _{2}\sum _{j=1}^{d}\left|w_{j}\right|^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}}
とする と、最小化問題の解は次のように記述されます。 ある に対して 。 α = λ 1 λ 1 + λ 2 {\displaystyle \alpha ={\frac {\lambda _{1}}{\lambda _{1}+\lambda _{2}}}} 1 n ‖ Y − X w ‖ 2 2 → min w ∈ R d s.t. ( 1 − α ) ‖ w ‖ 1 + α ‖ w ‖ 2 ≤ t {\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}{\text{ s.t. }}(1-\alpha )\left\|w\right\|_{1}+\alpha \left\|w\right\|_{2}\leq t} t {\displaystyle t}
Elastic Net ペナルティ関数として 考えてみましょう。 ( 1 − α ) ‖ w ‖ 1 + α ‖ w ‖ 2 ≤ t {\displaystyle (1-\alpha )\left\|w\right\|_{1}+\alpha \left\|w\right\|_{2}\leq t}
のとき 、Elastic Netはリッジ回帰になりますが、 Lassoはリッジ回帰になります。Elastic Netのペナルティ関数は0で1次導関数を持たず、 Lasso回帰 と リッジ回帰の 両方の特性を持つ厳密に凸です 。 α = 1 {\displaystyle \alpha =1} α = 0 {\displaystyle \alpha =0} ∀ α ∈ ( 0 , 1 ] {\displaystyle \forall \alpha \in (0,1]} ∀ α > 0 {\displaystyle \forall \alpha >0}
弾性ネットの主な特性の一つは、相関のある変数のグループを選択できることです。サンプルと重みベクトルの差は 、 次 のように与えられます 。 [4] x i {\displaystyle x_{i}} x j {\displaystyle x_{j}} | w i ∗ ( λ 1 , λ 2 ) − w j ∗ ( λ 1 , λ 2 ) | ≤ ∑ i = 1 n | y i | λ 2 2 ( 1 − ρ i j ) , {\displaystyle \left|w_{i}^{*}(\lambda _{1},\lambda _{2})-w_{j}^{*}(\lambda _{1},\lambda _{2})\right|\leq {\frac {\sum _{i=1}^{n}|y_{i}|}{\lambda _{2}}}{\sqrt {2(1-\rho _{ij})}},} ρ i j = x i T x j {\displaystyle \rho _{ij}=x_{i}^{\mathsf {T}}x_{j}}
と が高度に相関している 場合 （ ）、重みベクトルは非常に近くなります。負の相関がある場合（ ）、サンプルは から抽出されます。まとめると、相関の高い変数の場合、重みベクトルは負の相関がある場合、符号を除いて等しくなる傾向があります。 x i {\displaystyle x_{i}} x j {\displaystyle x_{j}} ρ i j → 1 {\displaystyle \rho _{ij}\to 1} ρ i j → − 1 {\displaystyle \rho _{ij}\to -1} − x j {\displaystyle -x_{j}}
RLS法の一部リスト 以下は、正規化関数の可能な選択肢のリストです 。それぞれの名前、単純な事前確率がある場合はそれに対応する事前確率、および結果として得られる最適化問題の解を計算する方法が記載されています。 R ( ⋅ ) {\displaystyle R(\cdot )}
名前 正規化関数 対応する事前 解決方法 ティホノフ正規化 ‖ w ‖ 2 2 {\displaystyle \left\|w\right\|_{2}^{2}} 普通 閉じた形式 Lasso回帰 ‖ w ‖ 1 {\displaystyle \left\|w\right\|_{1}} ラプラス 近位勾配降下法 、 最小角度回帰 ℓ 0 {\displaystyle \ell _{0}} 罰則 ‖ w ‖ 0 {\displaystyle \left\|w\right\|_{0}} – 前方選択 、 後方除去 、スパイクやスラブなどの事前分布の使用 弾性ネット β ‖ w ‖ 1 + ( 1 − β ) ‖ w ‖ 2 2 {\displaystyle \beta \left\|w\right\|_{1}+(1-\beta )\left\|w\right\|_{2}^{2}} 正規分布とラプラス分布の 混合 近位勾配降下法 全変動正規化 ∑ j = 1 d − 1 | w j + 1 − w j | {\displaystyle \sum _{j=1}^{d-1}\left|w_{j+1}-w_{j}\right|} – スプリット・ブレグマン法など
参照
参考文献 ^ Huang, Yunfei.; et al. (2022). 「データからの確率微分方程式のスパース推論と能動学習」. Scientific Reports . 12 (1): 21691. arXiv : 2203.11010 . Bibcode :2022NatSR..1221691H. doi : 10.1038/s41598-022-25638-9 . PMC 9755218. PMID 36522347 . ^ abc Gomes de Pinho Zanco, Daniel; Szczecinski, Leszek; Benesty, Jacob (2025). 「 線形MMSEフィルタの自動正規化」 . 信号処理 . 230. Bibcode :2025SigPr.23009820G. doi :10.1016/j.sigpro.2024.109820. ^ Tibshirani Robert (1996). 「Lassoによる回帰シュリンクと選択」 (PDF) . Journal of the Royal Statistical Society, Series B. 58 : pp . 266–288. doi :10.1111/j.2517-6161.1996.tb02080.x. ^ Hui, Zou ; Hastie, Trevor (2003). 「弾性ネットによる正則化と変数選択」 (PDF) . 英国王立統計学会誌, シリーズB. 67 ( 2): pp. 301–320.
外部リンク http://www.stanford.edu/~hastie/TALKS/enet_talk.pdf 弾性ネットによる正規化と変数選択（プレゼンテーション） 正規化最小二乗法とサポートベクターマシン（プレゼンテーション） 正規化最小二乗法（プレゼンテーション） 
![{\displaystyle {\begin{aligned}\left\|f\right\|_{H}^{2}&=\langle f,f\rangle _{H}\\[1ex]&=\left\langle \sum _{i=1}^{n}c_{i}K(x_{i},\cdot ),\sum _{j=1}^{n}c_{j}K(x_{j},\cdot )\right\rangle _{H}\\[1ex]&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}\left\langle K(x_{i},\cdot ),K(x_{j},\cdot )\right\rangle _{H}\\&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})\\&=c^{\mathsf {T}}Kc,\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a30e14685b6c7600e236a0e04bb08c4f21291d92)
![{\displaystyle {\begin{aligned}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}Kc&={\frac {1}{n}}\left\|y-XX^{\mathsf {T}}c\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}XX^{\mathsf {T}}c\\[1ex]&={\frac {1}{n}}\left\|y-Xw\right\|_{\mathbb {R} ^{n}}^{2}+\lambda \left\|w\right\|_{\mathbb {R} ^{d}}^{2}\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f2ff11be5ddb32836b114fe2c8c838d64157777b)
![{\displaystyle Z={\frac {1}{n}}Q^{\mathsf {T}}X^{\mathsf {T}}Y=[Z_{1},\ldots ,Z_{d}]^{\mathsf {T}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/50afdb4d7a9a424a6ae3543dbe0fc3a7c735e7a3)
![{\displaystyle \lambda \leftarrow {\frac {1}{n}}\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}\left[{\frac {{\frac {1}{n}}\|YX{\hat {w}}(\lambda )\|^{2}}{\|{\hat {w}}(\lambda )\|^{2}}}+\lambda \right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fa792929a4ae76ec8294ba56e1f7239535c48a5b)
![{\displaystyle \lambda \leftarrow {\frac {{\frac {1}{n}}\|YX{\hat {w}}(\lambda )\|^{2}}{\left[{\frac {n}{\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}}}-1\right]\|{\hat {w}}(\lambda )\|^{2}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ce975bdd689bca36bfec327253fd1f978f3033f1)
![{\displaystyle \forall \alpha \in (0,1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a30bd3118211ecc4c1e69bf3317464749f4b2211)
