Technique to make a model more generalizable and transferable
緑関数と青関数はどちらも、与えられたデータ点に対して損失はゼロです。学習モデルは、 正規化項の重みを調整することで、緑関数を優先するように誘導できます。緑関数は、基礎となる未知の分布から抽出されたより多くの点に対して、より適切に一般化できる可能性があります。 λ {\displaystyle \lambda } 数学 、 統計学 、 金融 [1] 、 そして コンピュータサイエンス 、特に 機械学習 と 逆問題 において、 正則化とは 問題 の答えを より単純なものに変換するプロセスです。これは、 不適切設定問題を解く場合や、 過適合を 防ぐ場合に よく用いられます 。 [2]
正規化手順はさまざまな方法で分割できますが、次の説明が特に役立ちます。
明示的正則化 とは、最適化問題に明示的に項を追加する正則化です。これらの項には、 事前分布 、ペナルティ、制約条件などが挙げられます。明示的正則化は、不適切設定最適化問題でよく用いられます。正則化項、つまりペナルティは、最適解を一意にするために最適化関数にコストを課します。 暗黙的正則化 とは、正則化の他のすべての形態を指します。これには、例えば、早期停止、ロバスト損失関数の使用、外れ値の破棄などが含まれます。暗黙的正則化は、 深層ニューラルネットワークの 学習のため の確率的勾配降下法 や、 アンサンブル法（ ランダムフォレスト や 勾配ブースティング木 など ）など、現代の機械学習手法において本質的に広く用いられています。 明示的な正則化では、問題やモデルに関係なく、測定の尤度に対応するデータ項と、事前分布に対応する正則化項が常に存在します。 ベイズ統計 を用いて両者を組み合わせることで、両方の情報源を含む事後分布を計算でき、推定プロセスを安定化させることができます。両方の目的をトレードオフすることで、データにより忠実に従うか、（過剰適合を防ぐために）正則化を強制するかを選択します。あらゆる可能性のある正則化を扱う研究分野が存在します。実際には、通常は特定の正則化を試し、その正則化に対応する確率密度を計算して選択を正当化します。また、常識や直感によって物理的に動機付けられることもあります。
機械学習 において 、データ項は学習データに対応し、正則化はモデルの選択、あるいはアルゴリズムの修正のいずれかです。正則化は常に、学習データではなく評価セット（テストデータ）における学習済みモデルの 一般化誤差 、すなわち誤差スコアを低減することを目的としています。 [3]
正規化の最も初期の使用法の 1 つは 、最小二乗法に関連する Tikhonov 正規化(リッジ回帰) です。
機械学習における正則化 機械学習 における 重要な課題は、モデルが既知のトレーニングデータだけでなく、未知のデータに対しても結果を正確に予測できるようにすることです。正則化は、モデルがトレーニングデータの詳細を記憶するが、新しいデータに一般化できない過学習に対処するために不可欠です 。 正則化の目的は、モデルがデータを記憶するのではなく、データ内のより広範なパターンを学習するように促すことです。 早期停止 、L1および L2正則化 、 ドロップアウト などの手法は、過学習と過学習を防ぐように設計されており、それによってモデルの新しいデータへの適応能力とパフォーマンスが向上し、モデルの一般化が向上します。 [4]
早期終了 検証パフォーマンスが低下したときにトレーニングを停止し、モデルがトレーニングデータを記憶する前に停止することで過剰適合を防ぎます。 [4]
L1およびL2正則化 複雑なモデルを回避するためにコスト関数にペナルティ項を追加します。
L1 正則化 ( LASSO とも呼ばれる) は、係数の絶対値に基づいてペナルティを追加することでスパース モデルを実現します。 L2正則化 （ リッジ回帰 とも呼ばれる）は、係数の二乗に基づいてペナルティを追加することで、より小さく均等に分散された重み付けを推奨します。 [4]
ドロップアウト ニューラルネットワークの文脈では、ドロップアウト技術はトレーニング中にニューロンのランダムなサブセットを繰り返し無視し、複数のニューラルネットワークアーキテクチャのトレーニングを一度にシミュレートして一般化を向上させます。 [4]
分類 分類器の経験的学習（有限データセットから）は、 与えられた例のみ の関数を推論しようとするため、常に 未決定 問題となります。 x {\displaystyle x} x 1 , x 2 , … , x n {\displaystyle x_{1},x_{2},\dots ,x_{n}}
正則化項（またはレギュラライザー）は 損失関数 に追加されます 。 ここで は、 平方損失 や ヒンジ損失 など、 ラベル が である場合の 予測コストを記述する基礎損失関数です 。 は、 正則化項の重要性を制御するパラメータです。 は通常、 の複雑性にペナルティを課すために選択されます 。使用される複雑性の具体的な概念には、 滑らかさの 制約や ベクトル空間ノルム の境界が含まれます。 [5] [ ページが必要 ] R ( f ) {\displaystyle R(f)} min f ∑ i = 1 n V ( f ( x i ) , y i ) + λ R ( f ) {\displaystyle \min _{f}\sum _{i=1}^{n}V(f(x_{i}),y_{i})+\lambda R(f)} V {\displaystyle V} f ( x ) {\displaystyle f(x)} y {\displaystyle y} λ {\displaystyle \lambda } R ( f ) {\displaystyle R(f)} f {\displaystyle f}
正則化の理論的な根拠は、 解に オッカムの剃刀を適用しようとする点にある（上図に示すように、より単純なグリーン関数が好まれる可能性がある）。 ベイズ理論の観点から見ると、多くの正則化手法は、モデルパラメータに特定の 事前 分布を課すことに相当する 。 [6]
正規化は、より単純なモデルの学習、モデルのスパース化の誘導、 学習問題への
グループ構造 [ 説明が必要 ]の導入など、複数の目的に役立ちます。
同様の考え方は 科学の多くの分野で生まれました。 積分方程式 に適用される単純な正則化 （ ティホノフ正則化）は、本質的にデータのフィッティングと解のノルムの低減との間のトレードオフです。近年では、 全変分正則化 を含む非線形正則化手法が 普及しています。
一般化 正規化は、学習したモデルの一般化可能性を向上させる手法として考えられます。
この学習問題の目的は、あらゆる入力とラベルに対して期待誤差を最小化する結果（ラベル）を近似または予測する関数を見つけることです。関数の期待誤差は次式で表されます。 ここ で 、 と はそれぞれ入力データの定義域 とそのラベルです 。 f n {\displaystyle f_{n}} I [ f n ] = ∫ X × Y V ( f n ( x ) , y ) ρ ( x , y ) d x d y {\displaystyle I[f_{n}]=\int _{X\times Y}V(f_{n}(x),y)\rho (x,y)\,dx\,dy} X {\displaystyle X} Y {\displaystyle Y} x {\displaystyle x} y {\displaystyle y}
学習問題では、通常、入力データとラベルの一部のみが利用可能であり、それらはノイズを含んで測定されます。したがって、期待誤差は測定不可能であり、利用可能な最良の代替誤差は、 利用可能なサンプルにおける経験誤差です。
利用可能な 関数空間（正式には、 再生核ヒルベルト空間 ）の複雑さに上限がない場合、代替経験誤差による損失がゼロとなるモデルが学習されます。もし（ の ）測定がノイズを含んで行われた場合、このモデルは 過剰適合の 影響を受け、期待誤差が悪化する可能性があります。正則化は、モデル構築に使用される関数空間の特定の領域を探索する際にペナルティを導入しますが、これは汎化を向上させる可能性があります。 N {\displaystyle N} I S [ f n ] = 1 n ∑ i = 1 N V ( f n ( x ^ i ) , y ^ i ) {\displaystyle I_{S}[f_{n}]={\frac {1}{n}}\sum _{i=1}^{N}V(f_{n}({\hat {x}}_{i}),{\hat {y}}_{i})} x i {\displaystyle x_{i}}
ティホノフ正則化（リッジ回帰） これらの手法は、 積分方程式 に正規化を適用し 、他の多くの分野で重要な貢献をした Andrey Nikolayevich Tikhonovにちなんで名付けられました。
線形関数 を学習する場合 、 その関数は となる未知の ベクトル によって特徴付けられます。このベクトルの -ノルムを損失式に 加える ことで、より小さなノルムを持つ解を優先させることができます。ティホノフ正則化は最も一般的な形式の一つです。リッジ回帰とも呼ばれます。これは次のように表されます。 ここで 、 は学習に用いられるサンプルを表します。 f {\displaystyle f} w {\displaystyle w} f ( x ) = w ⋅ x {\displaystyle f(x)=w\cdot x} L 2 {\displaystyle L_{2}} w {\displaystyle w} min w ∑ i = 1 n V ( x ^ i ⋅ w , y ^ i ) + λ ‖ w ‖ 2 2 , {\displaystyle \min _{w}\sum _{i=1}^{n}V({\hat {x}}_{i}\cdot w,{\hat {y}}_{i})+\lambda \left\|w\right\|_{2}^{2},} ( x ^ i , y ^ i ) , 1 ≤ i ≤ n , {\displaystyle ({\hat {x}}_{i},{\hat {y}}_{i}),\,1\leq i\leq n,}
一般関数の場合、その 再生核ヒルベルト空間 における関数のノルムは次のようになります。 min f ∑ i = 1 n V ( f ( x ^ i ) , y ^ i ) + λ ‖ f ‖ H 2 {\displaystyle \min _{f}\sum _{i=1}^{n}V(f({\hat {x}}_{i}),{\hat {y}}_{i})+\lambda \left\|f\right\|_{\mathcal {H}}^{2}}
ノルムは微分可能 である ため、 勾配降下法 によって学習を進めることができます 。 L 2 {\displaystyle L_{2}}
ティホノフ正規化最小二乗法 最小二乗 損失関数とティホノフ正則化を用いた学習問題は 解析的に解くことができます。行列形式で表すと、最適解は 損失関数の勾配が に対して 0となるものです。 ここで、3番目の文は 一階条件 です。 w {\displaystyle w} w {\displaystyle w} min w 1 n ( X ^ w − Y ) T ( X ^ w − Y ) + λ ‖ w ‖ 2 2 {\displaystyle \min _{w}{\frac {1}{n}}\left({\hat {X}}w-Y\right)^{\mathsf {T}}\left({\hat {X}}w-Y\right)+\lambda \left\|w\right\|_{2}^{2}} ∇ w = 2 n X ^ T ( X ^ w − Y ) + 2 λ w {\displaystyle \nabla _{w}={\frac {2}{n}}{\hat {X}}^{\mathsf {T}}\left({\hat {X}}w-Y\right)+2\lambda w} 0 = X ^ T ( X ^ w − Y ) + n λ w {\displaystyle 0={\hat {X}}^{\mathsf {T}}\left({\hat {X}}w-Y\right)+n\lambda w} w = ( X ^ T X ^ + λ n I ) − 1 ( X ^ T Y ) {\displaystyle w=\left({\hat {X}}^{\mathsf {T}}{\hat {X}}+\lambda nI\right)^{-1}\left({\hat {X}}^{\mathsf {T}}Y\right)}
最適化問題の構成により、 の他の値は損失関数に大きな値を与えることが分かる。これは 二階微分 を調べることで検証できる 。 w {\displaystyle w} ∇ w w {\displaystyle \nabla _{ww}}
このアルゴリズムの学習には 時間 がかかります。項は それぞれ逆行列の計算と計算に対応します。テストには 時間がかかります。 O ( d 3 + n d 2 ) {\displaystyle O(d^{3}+nd^{2})} X T X {\displaystyle X^{\mathsf {T}}X} O ( n d ) {\displaystyle O(nd)}
早期終了 早期停止は、時間に関する正則化と見なすことができます。直感的に言えば、勾配降下法のような学習手順は、反復回数が増えるにつれて、より複雑な関数を学習する傾向があります。時間に関する正則化を行うことで、モデルの複雑さを制御し、汎化を向上させることができます。
早期停止は、学習用データセット、検証用データセット、そしてテスト用データセットを用いて実装されます。モデルは、検証用データセットでのパフォーマンスが向上できなくなるまで学習され、その後テスト用データセットに適用されます。
最小二乗法における理論的動機 可逆行列 Aの ノイマン級数 の有限近似を考えます。 ここで 、 ‖ I − A ‖ < 1 {\displaystyle \left\|I-A\right\|<1} ∑ i = 0 T − 1 ( I − A ) i ≈ A − 1 {\displaystyle \sum _{i=0}^{T-1}\left(I-A\right)^{i}\approx A^{-1}}
γ を導入してノルムが 1 未満になることを保証すると 、これを使用して非正規化最小二乗法の解析解を近似できます。 w T = γ n ∑ i = 0 T − 1 ( I − γ n X ^ T X ^ ) i X ^ T Y ^ {\displaystyle w_{T}={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}}
非正規化最小二乗学習問題の厳密解は経験誤差を最小化しますが、失敗する可能性があります。上記のアルゴリズムにおける唯一の自由パラメータである Tを 制限することで、問題は時間に関して正規化され、一般化が向上する可能性があります。
上記のアルゴリズムは、 勾配降下法の更新によって経験的リスクの勾配降下法の反復回数を制限することと同等です。 I s [ w ] = 1 2 n ‖ X ^ w − Y ^ ‖ R n 2 {\displaystyle I_{s}[w]={\frac {1}{2n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|_{\mathbb {R} ^{n}}^{2}} w 0 = 0 w t + 1 = ( I − γ n X ^ T X ^ ) w t + γ n X ^ T Y ^ {\displaystyle {\begin{aligned}w_{0}&=0\\[1ex]w_{t+1}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)w_{t}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}
基本ケースは自明です。帰納的ケースは次のように証明されます。 w T = ( I − γ n X ^ T X ^ ) γ n ∑ i = 0 T − 2 ( I − γ n X ^ T X ^ ) i X ^ T Y ^ + γ n X ^ T Y ^ = γ n ∑ i = 1 T − 1 ( I − γ n X ^ T X ^ ) i X ^ T Y ^ + γ n X ^ T Y ^ = γ n ∑ i = 0 T − 1 ( I − γ n X ^ T X ^ ) i X ^ T Y ^ {\displaystyle {\begin{aligned}w_{T}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right){\frac {\gamma }{n}}\sum _{i=0}^{T-2}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=1}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}
スパース性のための正則化子 次元を持つ 辞書 が与えられ、関数空間内の関数が次のように表現できると仮定します。 ϕ j {\displaystyle \phi _{j}} p {\displaystyle p} f ( x ) = ∑ j = 1 p ϕ j ( x ) w j {\displaystyle f(x)=\sum _{j=1}^{p}\phi _{j}(x)w_{j}}
2 次元の L1 ボールと L2 ボールを比較すると、L1 正則化によってスパース性が実現される仕組みが直感的にわかります。 にスパース制約を課すことで、より単純で解釈しやすいモデルを構築できます。これは 、計算生物学 などの多くの実社会のアプリケーションで有用です 。例えば、医療検査の実施コストを最小限に抑えながら予測力を最大化するために、疾患の単純な予測検査を開発することが挙げられます。 w {\displaystyle w}
実用的なスパース制約は ノルム であり、これは における非ゼロ要素の数として定義されます 。しかし、正規化学習問題を解くことは NP困難で あることが実証されています 。 [7] L 0 {\displaystyle L_{0}} ‖ w ‖ 0 {\displaystyle \|w\|_{0}} w {\displaystyle w} L 0 {\displaystyle L_{0}}
ノルム （ ノルムも参照） は 、凸緩和法を用いて最適ノルムを近似するために使用できます 。ノルムはスパース性を誘導することが示されます 。最小二乗法の場合、この問題は統計学では LASSO 、信号処理では 基底追求 として知られています。 L 1 {\displaystyle L_{1}} L 0 {\displaystyle L_{0}} L 1 {\displaystyle L_{1}} min w ∈ R p 1 n ‖ X ^ w − Y ^ ‖ 2 + λ ‖ w ‖ 1 {\displaystyle \min _{w\in \mathbb {R} ^{p}}{\frac {1}{n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|^{2}+\lambda \left\|w\right\|_{1}}
弾性ネット正則化 L 1 {\displaystyle L_{1}} 正則化は、時折、一意でない解を生成することがあります。図には、解の可能な空間が45度線上にある場合の簡単な例が示されています。これは特定の用途では問題となる可能性があり、弾性ネット正則化 における正則化 と組み合わせることで解決できます。 弾性ネット正則化 は、以下の形式をとります。 L 1 {\displaystyle L_{1}} L 2 {\displaystyle L_{2}} min w ∈ R p 1 n ‖ X ^ w − Y ^ ‖ 2 + λ ( α ‖ w ‖ 1 + ( 1 − α ) ‖ w ‖ 2 2 ) , α ∈ [ 0 , 1 ] {\displaystyle \min _{w\in \mathbb {R} ^{p}}{\frac {1}{n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|^{2}+\lambda \left(\alpha \left\|w\right\|_{1}+(1-\alpha )\left\|w\right\|_{2}^{2}\right),\alpha \in [0,1]}
弾性ネット正規化にはグループ化効果がある傾向があり、相関する入力機能には等しい重みが割り当てられます。
弾性ネット正則化は実際には一般的に使用されており、多くの機械学習ライブラリに実装されています。
近似法 ノルムはNP困難問題にはなりません が、 ノルムは凸ですが、x = 0におけるキンクのため厳密に微分可能ではありません。 劣微分 に依存する 劣勾配法は、 正則化学習問題を解くために使用できます 。ただし、近似法を用いることでより速い収束を達成できます。 L 1 {\displaystyle L_{1}} L 1 {\displaystyle L_{1}} L 1 {\displaystyle L_{1}}
が凸、連続、微分可能で、リプシッツ連続勾配（最小二乗損失関数など）を持ち、が凸、連続、かつ固有である ような 問題に対して、近似法による解法は以下のとおりである。まず 近似演算子 を定義し 、次に反復する
。 min w ∈ H F ( w ) + R ( w ) {\displaystyle \min _{w\in H}F(w)+R(w)} F {\displaystyle F} R {\displaystyle R} prox R ( v ) = argmin w ∈ R D { R ( w ) + 1 2 ‖ w − v ‖ 2 } , {\displaystyle \operatorname {prox} _{R}(v)=\mathop {\operatorname {argmin} } _{w\in \mathbb {R} ^{D}}\left\{R(w)+{\frac {1}{2}}\left\|w-v\right\|^{2}\right\},} w k + 1 = prox γ , R ( w k − γ ∇ F ( w k ) ) {\displaystyle w_{k+1}=\mathop {\operatorname {prox} } _{\gamma ,R}\left(w_{k}-\gamma \nabla F(w_{k})\right)}
近似法は、勾配降下法を繰り返し実行し、その結果を によって許可された空間に投影し戻します 。 R {\displaystyle R}
がL 1 正則化子である 場合 、近似演算子はソフト閾値演算子と等価であり、 R {\displaystyle R} S λ ( v ) f ( n ) = { v i − λ , if v i > λ 0 , if v i ∈ [ − λ , λ ] v i + λ , if v i < − λ {\displaystyle S_{\lambda }(v)f(n)={\begin{cases}v_{i}-\lambda ,&{\text{if }}v_{i}>\lambda \\0,&{\text{if }}v_{i}\in [-\lambda ,\lambda ]\\v_{i}+\lambda ,&{\text{if }}v_{i}<-\lambda \end{cases}}}
これにより、効率的な計算が可能になります。
重複のないグループのスパース性 特徴のグループはスパース制約によって正規化することができ、これは特定の事前知識を最適化問題に表現するのに役立ちます。
重複しない既知のグループを持つ線形モデルの場合、正規化子を 次のように定義できる。 R ( w ) = ∑ g = 1 G ‖ w g ‖ 2 , {\displaystyle R(w)=\sum _{g=1}^{G}\left\|w_{g}\right\|_{2},} ‖ w g ‖ 2 = ∑ j = 1 | G g | ( w g j ) 2 {\displaystyle \|w_{g}\|_{2}={\sqrt {\sum _{j=1}^{|G_{g}|}\left(w_{g}^{j}\right)^{2}}}}
これは、各グループのメンバーの規範に続いてグループの規範 に正則化子を誘導するものと見ることができます 。 L 2 {\displaystyle L_{2}} L 1 {\displaystyle L_{1}}
これは近似法によって解決できます。近似演算子はブロック単位のソフトしきい値関数です。
prox λ , R , g ( w g ) = { ( 1 − λ ‖ w g ‖ 2 ) w g , if ‖ w g ‖ 2 > λ 0 , if ‖ w g ‖ 2 ≤ λ {\displaystyle \operatorname {prox} \limits _{\lambda ,R,g}(w_{g})={\begin{cases}\left(1-{\dfrac {\lambda }{\left\|w_{g}\right\|_{2}}}\right)w_{g},&{\text{if }}\left\|w_{g}\right\|_{2}>\lambda \\[1ex]0,&{\text{if }}\|w_{g}\|_{2}\leq \lambda \end{cases}}}
重複のあるグループのスパース性 重複のないグループのスパース性について説明したアルゴリズムは、特定の状況において、グループが重複している場合にも適用できます。その結果、すべての要素がゼロのグループもあれば、一部がゼロ以外の要素、一部がゼロの要素を含むグループも発生する可能性があります。
グループ構造を保持したい場合は、新しい正規化子を定義できます。 R ( w ) = inf { ∑ g = 1 G ‖ w g ‖ 2 : w = ∑ g = 1 G w ¯ g } {\displaystyle R(w)=\inf \left\{\sum _{g=1}^{G}\|w_{g}\|_{2}:w=\sum _{g=1}^{G}{\bar {w}}_{g}\right\}}
各 に対して 、は、 のグループへ の制約が に 等しく 、 の他のすべての要素が ゼロとなるようなベクトルとして定義されます。正則化子は を部分への最適な分解を見つけます 。これは、複数のグループに存在するすべての要素を複製するものと見なすことができます。この正則化子を用いた学習問題は、複雑な近似法を用いて解くこともできます。近似演算子は閉じた形で計算することはできませんが、近似法の反復処理内に内部反復処理を誘導することで、反復的に効果的に解くことができます。 w g {\displaystyle w_{g}} w ¯ g {\displaystyle {\bar {w}}_{g}} w ¯ g {\displaystyle {\bar {w}}_{g}} g {\displaystyle g} w g {\displaystyle w_{g}} w ¯ g {\displaystyle {\bar {w}}_{g}} w {\displaystyle w}
半教師あり学習のための正則化子 入力例よりもラベルの収集コストが高い場合、半教師あり学習が有用となることがあります。正則化子は、学習アルゴリズムが教師なし学習サンプルの構造を尊重するモデルを学習できるように設計されてきました。対称重み行列 が与えられた場合、正則化子は次のように定義できます。 W {\displaystyle W} R ( f ) = ∑ i , j w i j ( f ( x i ) − f ( x j ) ) 2 {\displaystyle R(f)=\sum _{i,j}w_{ij}\left(f(x_{i})-f(x_{j})\right)^{2}}
が点および に対する何らかの距離計量の結果を符号化する 場合 、 が望ましい 。この正則化子は、この直感を捉えており、次と同等である。 ここで、 は によって誘導されるグラフの ラプラシアン行列 である 。 W i j {\displaystyle W_{ij}} x i {\displaystyle x_{i}} x j {\displaystyle x_{j}} f ( x i ) ≈ f ( x j ) {\displaystyle f(x_{i})\approx f(x_{j})} R ( f ) = f ¯ T L f ¯ {\displaystyle R(f)={\bar {f}}^{\mathsf {T}}L{\bar {f}}} L = D − W {\displaystyle L=D-W} W {\displaystyle W}
制約条件をすべての教師ありサンプルに適用すれば、最適化問題は 解析的に解くことができます 。したがって、ベクトルのラベル部分は 明らかです。のラベルなし部分は 次のように解けます。 は と同じ値域を持つ ため、擬似逆行列を求めることができます 。 min f ∈ R m R ( f ) , m = u + l {\displaystyle \min _{f\in \mathbb {R} ^{m}}R(f),m=u+l} f ( x i ) = y i {\displaystyle f(x_{i})=y_{i}} f {\displaystyle f} f {\displaystyle f} min f u ∈ R u f T L f = min f u ∈ R u { f u T L u u f u + f l T L l u f u + f u T L u l f l } {\displaystyle \min _{f_{u}\in \mathbb {R} ^{u}}f^{\mathsf {T}}Lf=\min _{f_{u}\in \mathbb {R} ^{u}}\left\{f_{u}^{\mathsf {T}}L_{uu}f_{u}+f_{l}^{\mathsf {T}}L_{lu}f_{u}+f_{u}^{\mathsf {T}}L_{ul}f_{l}\right\}} ∇ f u = 2 L u u f u + 2 L u l Y {\displaystyle \nabla _{f_{u}}=2L_{uu}f_{u}+2L_{ul}Y} f u = L u u † ( L u l Y ) {\displaystyle f_{u}=L_{uu}^{\dagger }\left(L_{ul}Y\right)} L u l {\displaystyle L_{ul}} L u u {\displaystyle L_{uu}}
マルチタスク学習のための正規化子 マルチタスク学習の場合、 複数の問題が同時に検討され、それぞれが何らかの形で関連しています。目標は 、理想的にはタスクの関連性を活かしながら、予測力を持つ関数を学習することです。これは行列を学習することと同等です 。 T {\displaystyle T} T {\displaystyle T} W : T × D {\displaystyle W:T\times D}
列のスパース正規化 R ( w ) = ∑ i = 1 D ‖ W ‖ 2 , 1 {\displaystyle R(w)=\sum _{i=1}^{D}\left\|W\right\|_{2,1}}
この正則化子は、各列にL2ノルムを定義し、すべての列にL1ノルムを定義します。これは近似法によって解くことができます。
核ノルム正規化 R ( w ) = ‖ σ ( W ) ‖ 1 {\displaystyle R(w)=\left\|\sigma (W)\right\|_{1}} ここで、 の 特異値分解 における 固有値 です 。 σ ( W ) {\displaystyle \sigma (W)} W {\displaystyle W}
平均制約付き正則化 R ( f 1 ⋯ f T ) = ∑ t = 1 T ‖ f t − 1 T ∑ s = 1 T f s ‖ H k 2 {\displaystyle R(f_{1}\cdots f_{T})=\sum _{t=1}^{T}\left\|f_{t}-{\frac {1}{T}}\sum _{s=1}^{T}f_{s}\right\|_{H_{k}}^{2}}
この正則化子は、各タスクで学習された関数が、全タスクの関数の全体的な平均に類似するように制約します。これは、各タスクが他のタスクと共有すると予想される事前情報を表現するのに便利です。例えば、各タスクが個人を表す場合、1日の異なる時間帯に測定された血中鉄濃度を予測することが挙げられます。
クラスター化平均制約正則化 R ( f 1 ⋯ f T ) = ∑ r = 1 C ∑ t ∈ I ( r ) ‖ f t − 1 I ( r ) ∑ s ∈ I ( r ) f s ‖ H k 2 {\displaystyle R(f_{1}\cdots f_{T})=\sum _{r=1}^{C}\sum _{t\in I(r)}\left\|f_{t}-{\frac {1}{I(r)}}\sum _{s\in I(r)}f_{s}\right\|_{H_{k}}^{2}} タスクのクラスターがある 場所です。 I ( r ) {\displaystyle I(r)}
この正則化は平均制約正則化に似ていますが、同じクラスター内のタスク間の類似性を強制します。これにより、より複雑な事前情報を捉えることができます。この手法は Netflixの レコメンデーションを予測するために使用されています。クラスターとは、似たような嗜好を持つ人々のグループに相当します。
グラフベースの類似性 上記よりも一般的に、タスク間の類似性は関数によって定義できます。正規化関数は、モデルが類似したタスクに対して類似した関数を学習するように促します。
与えられた対称 類似度行列 に対して 。 R ( f 1 ⋯ f T ) = ∑ t , s = 1 , t ≠ s T ‖ f t − f s ‖ 2 M t s {\displaystyle R(f_{1}\cdots f_{T})=\sum _{t,s=1,t\neq s}^{\mathsf {T}}\left\|f_{t}-f_{s}\right\|^{2}M_{ts}} M {\displaystyle M}
統計学と機械学習における正則化のその他の用途 ベイズ学習 法では、（通常）複雑なモデルには低い確率を与える 事前確率 が用いられます。よく知られているモデル選択手法としては、 赤池情報量基準 （AIC）、 最小記述長 （MDL）、 ベイズ情報量基準（BIC）などがあります。正則化を伴わない過学習抑制の代替手法としては 、交差検証法 などがあります 。
さまざまな正規化手法を 線形モデル に適用する例は次のとおりです。
モデル フィット測定 エントロピー測定 [5] [8] AIC / BIC ‖ Y − X β ‖ 2 {\displaystyle \left\|Y-X\beta \right\|_{2}} ‖ β ‖ 0 {\displaystyle \left\|\beta \right\|_{0}} ラッソ [9] ‖ Y − X β ‖ 2 {\displaystyle \left\|Y-X\beta \right\|_{2}} ‖ β ‖ 1 {\displaystyle \left\|\beta \right\|_{1}} リッジ回帰 [10] ‖ Y − X β ‖ 2 {\displaystyle \left\|Y-X\beta \right\|_{2}} ‖ β ‖ 2 {\displaystyle \left\|\beta \right\|_{2}} 基底追求ノイズ除去 ‖ Y − X β ‖ 2 {\displaystyle \left\|Y-X\beta \right\|_{2}} λ ‖ β ‖ 1 {\displaystyle \lambda \left\|\beta \right\|_{1}} ルーディン・オシェル・ファテミモデル (TV) ‖ Y − X β ‖ 2 {\displaystyle \left\|Y-X\beta \right\|_{2}} λ ‖ ∇ β ‖ 1 {\displaystyle \lambda \left\|\nabla \beta \right\|_{1}} ポッツモデル ‖ Y − X β ‖ 2 {\displaystyle \left\|Y-X\beta \right\|_{2}} λ ‖ ∇ β ‖ 0 {\displaystyle \lambda \left\|\nabla \beta \right\|_{0}} RLAD [11] ‖ Y − X β ‖ 1 {\displaystyle \left\|Y-X\beta \right\|_{1}} ‖ β ‖ 1 {\displaystyle \left\|\beta \right\|_{1}} ダンツィヒセレクター [12] ‖ X T ( Y − X β ) ‖ ∞ {\displaystyle \left\|X^{\mathsf {T}}(Y-X\beta )\right\|_{\infty }} ‖ β ‖ 1 {\displaystyle \left\|\beta \right\|_{1}} スロープ [13] ‖ Y − X β ‖ 2 {\displaystyle \left\|Y-X\beta \right\|_{2}} ∑ i = 1 p λ i | β | ( i ) {\displaystyle \sum _{i=1}^{p}\lambda _{i}\left|\beta \right|_{(i)}}
参照
注記 ^ Kratsios, Anastasis (2020). 「一般化HJMフレームワークによる裁定取引正則化データを用いた深層裁定取引フリー学習」. Risks . 8 (2): [1]. arXiv : 1710.05114 . doi : 10.3390/risks8020040 . hdl : 20.500.11850/456375 . 期間構造モデルは、裁定取引の機会を排除するために正則化することができる[ sic ? ]。 ^ ビュールマン, ピーター; ヴァン・デ・ギア, サラ (2011). 高次元データのための統計学 . シュプリンガー統計シリーズ. p. 9. doi :10.1007/978-3-642-20192-9. ISBN 978-3-642-20191-2 p > n の場合、 通常の最小二乗推定値は一意ではなく、データに大きく過剰適合します。そのため、何らかの複雑性正規化が必要になります。 ^ Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron. ディープラーニングブック. 2021年1月29日 閲覧 。 ^ abcd Guo, Jingru. 「AIノート：ニューラルネットワークの正規化」. deeplearning.ai . 2024年2月4日 閲覧 。 ^ ab ビショップ、クリストファー・M. (2007). パターン認識と機械学習 （訂正印刷版）. ニューヨーク: シュプリンガー. ISBN 978-0-387-31073-2 。 ^ 最大事後推定 と リッジ回帰 の関係については 、Weinberger, Kilian (2018年7月11日)「線形/リッジ回帰」を参照 。CS4780 機械学習講義13。 コーネル大学。 ^ Natarajan, B. (1995-04-01). 「線形システムのスパース近似解」 . SIAM Journal on Computing . 24 (2): 227– 234. doi :10.1137/S0097539792240406. ISSN 0097-5397. S2CID 2072045. ^ Duda, Richard O. (2004). パターン分類＋コンピュータマニュアル：ハードカバーセット （第2版）. ニューヨーク[ua]: Wiley. ISBN 978-0-471-70350-1 。 ^ Tibshirani, Robert (1996). 「Lassoによる回帰シュリンクと選択」. Journal of the Royal Statistical Society, Series B. 58 ( 1): 267– 288. doi :10.1111/j.2517-6161.1996.tb02080.x. MR 1379242. 2008年10月31日時点の オリジナル （ PostScript ）からアーカイブ。 2009年3月19日 閲覧 。 ^ Arthur E. Hoerl; Robert W. Kennard (1970). 「リッジ回帰：非直交問題に対するバイアス推定」 Technometrics . 12 (1): 55– 67. doi :10.2307/1267351. JSTOR 1267351. ^ Li Wang、Michael D. Gordon、Ji Zhu (2006). 「正規化最小絶対偏差回帰と効率的なパラメータチューニングアルゴリズム」 第6回国際データマイニング会議 . pp. 690– 700. doi :10.1109/ICDM.2006.134. ISBN 978-0-7695-2701-7 。 ^ Candes, Emmanuel ; Tao, Terence (2007). 「Dantzigセレクタ： pが n よりはるかに大きい場合の統計的推定 」 Annals of Statistics . 35 (6): 2313– 2351. arXiv : math/0506081 . doi :10.1214/009053606000001523. MR 2382644. S2CID 88524200. ^ マウゴルザタ・ボグダン ;エウアウト・ファン・デン・ベルク。スー・ウェイジエ。エマニュエル J. カンデス (2013)。 「順序付けされた L1 ノルムによる統計的推定とテスト」。 arXiv : 1310.1969 [stat.ME]。
参考文献 Neumaier, A. (1998). 「悪条件および特異線形システムの解法：正則化に関するチュートリアル」 （PDF） . SIAM Review . 40 (3): 636– 666. Bibcode :1998SIAMR..40..636N. doi :10.1137/S0036144597321909. オリジナル （PDF） から2007年6月30日にアーカイブ。 Kukačka, Jan; Golkov, Vladimir; Cremers, Daniel (2017). 「ディープラーニングのための正則化：分類法」. arXiv : 1710.10686 [cs.LG].
![{\displaystyle I[f_{n}]=\int _{X\times Y}V(f_{n}(x),y)\rho (x,y)\,dx\,dy}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ed5b23928275fa76b21e57ae0e15ca2b145951fc)
![{\displaystyle I_{S}[f_{n}]={\frac {1}{n}}\sum _{i=1}^{N}V(f_{n}({\hat {x}}_{i}),{\hat {y}}_{i})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a58098b9d07627cd142659a29510d7e9d7b02510)
![{\displaystyle I_{s}[w]={\frac {1}{2n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|_{\mathbb {R} ^{n}}^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e9026461a341e26206c118e94aaa72f0ef54c8c8)
![{\displaystyle {\begin{aligned}w_{0}&=0\\[1ex]w_{t+1}&=\left(I-{\frac {\gamma}{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)w_{t}+{\frac {\gamma}{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/faa62ed56683605d9076bd2e16e2e6a78e2c0ac8)
![{\displaystyle {\begin{aligned}w_{T}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right){\frac {\gamma }{n}}\sum _{i=0}^{T-2}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=1}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a9db8fc95e0e48598fa460210d8fb4103167135c)
![{\displaystyle \min _{w\in \mathbb {R} ^{p}}{\frac {1}{n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|^{2}+\lambda \left(\alpha \left\|w\right\|_{1}+(1-\alpha )\left\|w\right\|_{2}^{2}\right),\alpha \in [0,1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/114822b99a2e7ac7104e507bd6873f1337b44807)
![{\displaystyle S_{\lambda }(v)f(n)={\begin{cases}v_{i}-\lambda ,&{\text{if }}v_{i}>\lambda \\0,&{\text{if }}v_{i}\in [-\lambda ,\lambda ]\\v_{i}+\lambda ,&{\text{if }}v_{i-\lambda \end{cases}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c66ce8f0dd246cee2c7dc8e38051a7f4526bb41f)
![{\displaystyle \operatorname {prox} \limits _{\lambda ,R,g}(w_{g})={\begin{cases}\left(1-{\dfrac {\lambda }{\left\|w_{g}\right\|_{2}}}\right)w_{g},&{\text{if }}\left\|w_{g}\right\|_{2}>\lambda \\[1ex]0,&{\text{if }}\|w_{g}\|_{2}\leq \lambda \end{cases}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ef394215d5b0d59b5a26afee3b81cfcbf68363cd)
