Method used to make artificial neural networks faster and stable by re-centering and re-scaling
人工ニューラルネットワーク において 、 バッチ正規化（ バッチノルム とも呼ばれる ）は、各層への入力を調整し、ゼロを中心に再調整し、標準サイズに再スケーリングすることで、学習の高速 化 と安定性を高める正規化手法です。これは、2015年にセルゲイ・ヨッフェとクリスチャン・セゲディによって導入されました。 [1]
専門家の間では、バッチ正規化がなぜこれほど効果的なのか、いまだに議論が続いています。当初は、 内部共変量シフト 、つまりパラメータの初期化と各層の入力分布の変化がネットワークの学習率に影響を及ぼす問題に対処するためのものと考えられていました。 [1] しかし、最近の研究では、このシフトを修正するのではなく、 目的関数 （ネットワークが改善するために従う数学的なガイド）を平滑化することでパフォーマンスを向上させることが示唆されています。 [2] 非常に深いネットワークでは、バッチ正規化によって当初は深刻な 勾配爆発 （ネットワークの更新が制御不能に大きくなる）が発生する可能性がありますが、これは残差ネットワークにおけるスキップ接続と呼ばれるショートカットによって管理されます。 [3] 別の理論では、バッチ正規化はデータのサイズとパスを個別に処理することでデータを調整し、トレーニングを高速化するとされています。 [4]
内部共変量シフト ニューラルネットワークの各層は、特定の分布に従う入力を持ちます。この分布は、 ネットワーク設定（ パラメータ初期化）のランダムな初期値と入力データの自然な変動という2つの主な要因によって学習中に変化します。ネットワークの内部層への入力に影響を与えるこの変化パターンは、 内部共変量シフト と呼ばれます。厳密な定義は完全には一致していませんが、実験から、学習中にこれらの入力の平均と分散が変化することが示されています。
バッチ正規化は、内部共変量シフトに対処するために最初に開発されました。 [1] 学習中、先行層のパラメータが調整されると、現在の層への入力分布もそれに応じて変化し、現在の層は常に新しい分布に合わせて再調整する必要があります。この問題は特に深層ネットワークにおいて深刻です。浅い隠れ層での小さな変化がネットワーク内を伝播するにつれて増幅され、結果としてより深い隠れ層に大きなシフトが生じるからです。バッチ正規化は、これらの不要なシフトを削減することで学習を高速化し、より信頼性の高いモデルを生成するために提案されました。
バッチ正規化は、内部共変量シフトへの対処に加え、いくつかの追加的な利点も提供します。ネットワークは、更新が過小または過大になる勾配消失や勾配爆発といった問題を引き起こすことなく、より高い 学習率 （ネットワークの学習速度を制御する設定）を使用できます。また、正規化効果もあるようで、ネットワークの新しいデータへの汎化能力が向上し、 ドロップアウトの必要性が減少します。ドロップアウトは、 過学習 （モデルがトレーニングデータを過度に学習し、新しいデータで失敗する状態）を防ぐために使用される手法です 。さらに、バッチ正規化を使用するネットワークは、初期設定や学習率の選択にあまり影響を受けないため、より堅牢で適応性に優れています。
手順
ニューラルネットワークでは、バッチ正規化は、各層の入力の平均と分散を固定する正規化ステップによって実現されます。理想的には、正規化は学習セット全体にわたって行われますが、このステップを 確率的最適化 手法と併用する場合、グローバル情報を利用することは現実的ではありません。そのため、正規化は学習プロセスにおける各ミニバッチに限定されます。
訓練セット全体のサイズ m のミニバッチを B で表すとしよう。B の経験 平均 と 分散は 次のように表される 。
μ B = 1 m ∑ i = 1 m x i {\displaystyle \mu _{B}={\frac {1}{m}}\sum _{i=1}^{m}x_{i}} そして 。 σ B 2 = 1 m ∑ i = 1 m ( x i − μ B ) 2 {\displaystyle \sigma _{B}^{2}={\frac {1}{m}}\sum _{i=1}^{m}(x_{i}-\mu _{B})^{2}}
d 次元の入力 を持つネットワークの層の場合 、その入力の各次元は個別に正規化（つまり、再中心化および再スケール化）されます。 x = ( x ( 1 ) , . . . , x ( d ) ) {\displaystyle x=(x^{(1)},...,x^{(d)})}
x ^ i ( k ) = x i ( k ) − μ B ( k ) ( σ B ( k ) ) 2 + ϵ {\displaystyle {\hat {x}}_{i}^{(k)}={\frac {x_{i}^{(k)}-\mu _{B}^{(k)}}{\sqrt {\left(\sigma _{B}^{(k)}\right)^{2}+\epsilon }}}} ここで、 および ; および は、 それぞれ次元ごとの平均と標準偏差です。 k ∈ [ 1 , d ] {\displaystyle k\in [1,d]} i ∈ [ 1 , m ] {\displaystyle i\in [1,m]} μ B ( k ) {\displaystyle \mu _{B}^{(k)}} σ B ( k ) {\displaystyle \sigma _{B}^{(k)}}
ϵ {\displaystyle \epsilon } は数値安定性のために分母に加えられており、任意に小さい正の定数である。 を考慮しない 場合、結果として得られる正規化された活性化は平均0、分散1となる 。ネットワークの表現力を回復するために、以下の変換ステップが実行される。 x ^ ( k ) {\displaystyle {\hat {x}}^{(k)}} ϵ {\displaystyle \epsilon }
y i ( k ) = γ ( k ) x ^ i ( k ) + β ( k ) {\displaystyle y_{i}^{(k)}=\gamma ^{(k)}{\hat {x}}_{i}^{(k)}+\beta ^{(k)}} 、
ここで、パラメータ およびは、 最適化プロセスで後で学習されます。 γ ( k ) {\displaystyle \gamma ^{(k)}} β ( k ) {\displaystyle \beta ^{(k)}}
正式には、バッチ正規化を実装する操作は、 バッチ正規化変換と呼ばれる変換です。BN変換の出力は 他のネットワーク層に渡されますが、正規化された出力は 現在の層の内部に残ります。 B N γ ( k ) , β ( k ) : x 1... m ( k ) → y 1... m ( k ) {\displaystyle BN_{\gamma ^{(k)},\beta ^{(k)}}:x_{1...m}^{(k)}\rightarrow y_{1...m}^{(k)}} y ( k ) = B N γ ( k ) , β ( k ) ( x ( k ) ) {\displaystyle y^{(k)}=BN_{\gamma ^{(k)},\beta ^{(k)}}(x^{(k)})} x ^ i ( k ) {\displaystyle {\hat {x}}_{i}^{(k)}}
バックプロパゲーション 説明したBN変換は 微分可能な 演算であり、 異なるパラメータに対する 損失 l の勾配は 連鎖律 を使用して直接計算できます。
具体的には、 活性化関数 の選択に依存し 、他のパラメータに対する 勾配は の関数として表すことができます 。 ∂ l ∂ y i ( k ) {\displaystyle {\frac {\partial l}{\partial y_{i}^{(k)}}}} ∂ l ∂ y i ( k ) {\displaystyle {\frac {\partial l}{\partial y_{i}^{(k)}}}}
∂ l ∂ x ^ i ( k ) = ∂ l ∂ y i ( k ) γ ( k ) {\displaystyle {\frac {\partial l}{\partial {\hat {x}}_{i}^{(k)}}}={\frac {\partial l}{\partial y_{i}^{(k)}}}\gamma ^{(k)}} 、
∂ l ∂ γ ( k ) = ∑ i = 1 m ∂ l ∂ y i ( k ) x ^ i ( k ) {\displaystyle {\frac {\partial l}{\partial \gamma ^{(k)}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}{\hat {x}}_{i}^{(k)}} 、、、、、 ∂ l ∂ β ( k ) = ∑ i = 1 m ∂ l ∂ y i ( k ) {\displaystyle {\frac {\partial l}{\partial \beta ^{(k)}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}} ∂ l ∂ σ B ( k ) 2 = ∑ i = 1 m ∂ l ∂ y i ( k ) ( x i ( k ) − μ B ( k ) ) ( − γ ( k ) 2 ( σ B ( k ) 2 + ϵ ) − 3 / 2 ) {\displaystyle {\frac {\partial l}{\partial \sigma _{B}^{(k)^{2}}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}(x_{i}^{(k)}-\mu _{B}^{(k)})\left(-{\frac {\gamma ^{(k)}}{2}}(\sigma _{B}^{(k)^{2}}+\epsilon )^{-3/2}\right)} ∂ l ∂ μ B ( k ) = ∑ i = 1 m ∂ l ∂ y i ( k ) − γ ( k ) σ B ( k ) 2 + ϵ + ∂ l ∂ σ B ( k ) 2 1 m ∑ i = 1 m ( − 2 ) ⋅ ( x i ( k ) − μ B ( k ) ) {\displaystyle {\frac {\partial l}{\partial \mu _{B}^{(k)}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}{\frac {-\gamma ^{(k)}}{\sqrt {\sigma _{B}^{(k)^{2}}+\epsilon }}}+{\frac {\partial l}{\partial \sigma _{B}^{(k)^{2}}}}{\frac {1}{m}}\sum _{i=1}^{m}(-2)\cdot (x_{i}^{(k)}-\mu _{B}^{(k)})}
そして 。 ∂ l ∂ x i ( k ) = ∂ l ∂ x ^ i ( k ) 1 σ B ( k ) 2 + ϵ + ∂ l ∂ σ B ( k ) 2 2 ( x i ( k ) − μ B ( k ) ) m + ∂ l ∂ μ B ( k ) 1 m {\displaystyle {\frac {\partial l}{\partial x_{i}^{(k)}}}={\frac {\partial l}{\partial {\hat {x}}_{i}^{(k)}}}{\frac {1}{\sqrt {\sigma _{B}^{(k)^{2}}+\epsilon }}}+{\frac {\partial l}{\partial \sigma _{B}^{(k)^{2}}}}{\frac {2(x_{i}^{(k)}-\mu _{B}^{(k)})}{m}}+{\frac {\partial l}{\partial \mu _{B}^{(k)}}}{\frac {1}{m}}}
推論 学習段階では、効率的で信頼性の高い学習を保証するために、正規化手順はミニバッチに依存します。しかし、推論段階では、この依存性はもはや役に立ちません。代わりに、この段階の正規化手順は母集団統計量を用いて計算されるため、出力は入力に決定論的に依存します。母集団平均 と分散 は 次のように計算されます。 E [ x ( k ) ] {\displaystyle E[x^{(k)}]} Var [ x ( k ) ] {\displaystyle \operatorname {Var} [x^{(k)}]}
E [ x ( k ) ] = E B [ μ B ( k ) ] {\displaystyle E[x^{(k)}]=E_{B}[\mu _{B}^{(k)}]} 、 そして 。 Var [ x ( k ) ] = m m − 1 E B [ ( σ B ( k ) ) 2 ] {\displaystyle \operatorname {Var} [x^{(k)}]={\frac {m}{m-1}}E_{B}[\left(\sigma _{B}^{(k)}\right)^{2}]}
したがって、母集団統計はミニバッチの完全な表現となります。
推論ステップにおけるBN変換は、
y ( k ) = B N γ ( k ) , β ( k ) inf ( x ( k ) ) = γ ( k ) x ( k ) − E [ x ( k ) ] Var [ x ( k ) ] + ϵ + β ( k ) {\displaystyle y^{(k)}=BN_{\gamma ^{(k)},\beta ^{(k)}}^{\text{inf}}(x^{(k)})=\gamma ^{(k)}{\frac {x^{(k)}-E[x^{(k)}]}{\sqrt {\operatorname {Var} [x^{(k)}]+\epsilon }}}+\beta ^{(k)}} 、
ここで 、 は の代わりに次の層に渡されます 。この変換ではパラメータが固定されているため、バッチ正規化手順は本質的に 活性化関数に 線形変換を適用することになります。 y ( k ) {\displaystyle y^{(k)}} x ( k ) {\displaystyle x^{(k)}}
理論 バッチ正規化は、その優れた経験的パフォーマンスのために人気が高まっていますが、この手法の動作メカニズムはまだ十分に解明されていません。元の論文 [1] では、バッチ正規化は内部共変量シフトを減らすことによって機能すると説明されていましたが、これは最近の研究によって異論が出ています。ある実験 [5] では、 VGG -16 ネットワーク [6] を 3 つの異なるトレーニング レジーム (標準 (バッチ正規化なし)、バッチ正規化、トレーニング中に各レイヤーにノイズを追加したバッチ正規化) でトレーニングしました。3 番目のモデルでは、ノイズの平均がゼロではなく分散が非単位であるため、共変量シフトが明示的に導入されます。それにもかかわらず、2 番目のモデルと同等の精度を示し、どちらも最初のモデルよりも優れたパフォーマンスを示しました。これは、共変量シフトがバッチ正規化によってパフォーマンスが向上する理由ではないことを示唆しています。
バッチ正規化を使用するとバッチ内の項目は iid ではなくなり、品質の低い勾配推定のためにトレーニングが困難になる可能性があります。 [7]
滑らかさ もう一つの説明 [5] は、バッチ正規化による改善は、より小さな リプシッツ定数 によって形式化されるように、より滑らかなパラメータ空間とより滑らかな勾配を生成することによるものであるというものである。
2つの同一のネットワークを考えます。一方にはバッチ正規化層があり、もう一方にはありません。これら2つのネットワークの挙動を比較します。損失関数をそれぞれ、 およびとします 。両方のネットワークへの入力を 、出力を とします 。ここで 、 は層の重みです。2つ目のネットワークでは、 はさらにバッチ正規化層を通過します。正規化された活性化を とします。 これ は平均が0で分散が1です。変換された活性化を とし 、 と は 定数とします。最後に、ミニバッチの標準偏差を とします 。 L ^ {\displaystyle {\hat {L}}} L {\displaystyle L} x {\displaystyle x} y {\displaystyle y} y = W x {\displaystyle y=Wx} W {\displaystyle W} y {\displaystyle y} y ^ {\displaystyle {\hat {y}}} z = γ y ^ + β {\displaystyle z=\gamma {\hat {y}}+\beta } γ {\displaystyle \gamma } β {\displaystyle \beta } y j ^ ∈ R m {\displaystyle {\hat {y_{j}}}\in \mathbb {R} ^{m}} σ j {\displaystyle \sigma _{j}}
まず、バッチ正規化ネットワークの勾配の大きさは有界であることが示され 、その有界は次のように表される。 | | ▽ y i L ^ | | {\displaystyle ||\triangledown _{y_{i}}{\hat {L}}||}
| | ▽ y i L ^ | | 2 ≤ γ 2 σ j 2 ( | | ▽ y i L | | 2 − 1 m ⟨ 1 , ▽ y i L ⟩ 2 − 1 m ⟨ ▽ y i L , y ^ j ⟩ 2 ) {\displaystyle ||\triangledown _{y_{i}}{\hat {L}}||^{2}\leq {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}{\Bigg (}||\triangledown _{y_{i}}L||^{2}-{\frac {1}{m}}\langle 1,\triangledown _{y_{i}}L\rangle ^{2}-{\frac {1}{m}}\langle \triangledown _{y_{i}}L,{\hat {y}}_{j}\rangle ^{2}{\bigg )}} 。
勾配の大きさは損失のリプシッツ性を表すため、この関係はバッチ正規化ネットワークが比較的高いリプシッツ性を達成できることを示しています。勾配が 活性化と相関する場合 、境界はより狭くなることに注意してください。これは一般的な現象です。分散が大きい場合が多いため、 のスケーリング も重要です。 ▽ y i L ^ {\displaystyle \triangledown _{y_{i}}{\hat {L}}} y i ^ {\displaystyle {\hat {y_{i}}}} γ 2 σ j 2 {\displaystyle {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}}
第二に、勾配方向の活性化に関する損失ヘッセ行列の二次形式は次のように定義できる。
( ▽ y j L ^ ) T ∂ L ^ ∂ y j ∂ y j ( ▽ y j L ^ ) ≤ γ 2 σ 2 ( ∂ L ^ ∂ y j ) T ( ∂ L ∂ y j ∂ y j ) ( ∂ L ^ ∂ y j ) − γ m σ 2 ⟨ ▽ y j L , y j ^ ⟩ | | ∂ L ^ ∂ y j | | 2 {\displaystyle (\triangledown _{y_{j}}{\hat {L}})^{T}{\frac {\partial {\hat {L}}}{\partial y_{j}\partial y_{j}}}(\triangledown _{y_{j}}{\hat {L}})\leq {\frac {\gamma ^{2}}{\sigma ^{2}}}{\bigg (}{\frac {\partial {\hat {L}}}{\partial y_{j}}}{\bigg )}^{T}{\bigg (}{\frac {\partial L}{\partial y_{j}\partial y_{j}}}{\bigg )}{\bigg (}{\frac {\partial {\hat {L}}}{\partial y_{j}}}{\bigg )}-{\frac {\gamma }{m\sigma ^{2}}}\langle \triangledown _{y_{j}}L,{\hat {y_{j}}}\rangle {\bigg |}{\bigg |}{\frac {\partial {\hat {L}}}{\partial y_{j}}}{\bigg |}{\bigg |}^{2}} 。
のスケーリングは 、損失ヘッセ行列がミニバッチ分散に対して耐性があることを示している一方、右辺第2項は、 ヘッセ行列 と内積が非負の場合に損失ヘッセ行列がより滑らかになることを示唆している。損失が局所的に 凸で ある場合、ヘッセ行列は 半正定値 となり、内積は 損失の最小値に向かう方向にある場合正となる。したがって、この不等式から、バッチ正規化層によって勾配の予測精度が一般的に向上すると結論付けることができる。 γ 2 σ j 2 {\displaystyle {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}} g j ^ {\displaystyle {\hat {g_{j}}}}
次に、正規化されたアクティベーションに関する損失に関連する境界を、ネットワークの重みに関する損失の境界に変換します。
g j ^ ≤ γ 2 σ j 2 ( g j 2 − m μ g j 2 − λ 2 ⟨ ▽ y j L , y ^ j ⟩ 2 ) {\displaystyle {\hat {g_{j}}}\leq {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}(g_{j}^{2}-m\mu _{g_{j}}^{2}-\lambda ^{2}\langle \triangledown _{y_{j}}L,{\hat {y}}_{j}\rangle ^{2})} 、ここで 、 および 。 g j = m a x | | X | | ≤ λ | | ▽ W L | | 2 {\displaystyle g_{j}=max_{||X||\leq \lambda }||\triangledown _{W}L||^{2}} g ^ j = m a x | | X | | ≤ λ | | ▽ W L ^ | | 2 {\displaystyle {\hat {g}}_{j}=max_{||X||\leq \lambda }||\triangledown _{W}{\hat {L}}||^{2}}
より滑らかな地形に加えて、バッチ正規化によって次の不等式によるより優れた初期化が得られる可能性があることがさらに示されています。
| | W 0 − W ^ ∗ | | 2 ≤ | | W 0 − W ∗ | | 2 − 1 | | W ∗ | | 2 ( | | W ∗ | | 2 − ⟨ W ∗ , W 0 ⟩ ) 2 {\displaystyle ||W_{0}-{\hat {W}}^{*}||^{2}\leq ||W_{0}-W^{*}||^{2}-{\frac {1}{||W^{*}||^{2}}}(||W^{*}||^{2}-\langle W^{*},W_{0}\rangle )^{2}} ここで 、 と は それぞれ 2 つのネットワークの局所最適重みです。 W ∗ {\displaystyle W^{*}} W ^ ∗ {\displaystyle {\hat {W}}^{*}}
一部の研究者は、上記の分析はバッチ正規化の性能を完全に捉えきれていないと主張している。なぜなら、証明は最大固有値、つまりランドスケープにおける全ての点における一方向のみを対象としているからである。決定的な分析を行うには、完全な固有スペクトルを考慮する必要があると示唆されている。 [8] [5]
測定 バッチ正規化層は内部共変量シフトを低減できるという仮説があるため、共変量シフトがどの程度低減されるかを定量的に測定するための実験 [ 要出典 ] が設定されている。まず、内部共変量シフトの概念を数学的に定義する必要がある。具体的には、ある層のパラメータが前の層の更新に応じて行う調整を定量化するために、すべての前の層が更新される前と更新された後の損失の勾配間の相関を測定する。これは、勾配が一次学習法によるシフトを捉えることができるためである。前の層の変更によってもたらされるシフトが小さい場合、勾配間の相関は1に近くなる。
勾配間の相関は、4つのモデル、すなわち標準 VGGネットワーク 、バッチ正規化層を備えたVGGネットワーク [6] 、フルバッチ勾配降下法で学習された25層の深層線形ネットワーク（DLN）、およびバッチ正規化層を備えたDLNネットワークについて計算された。興味深いことに、標準VGGモデルとDLNモデルはどちらも、対応するモデルと比較して勾配の相関が高く、追加のバッチ正規化層が内部共変量シフトを低減していないことが示された。
消失/爆発勾配 バッチノルムはもともと 勾配消失問題や勾配爆発問題を 軽減するために導入されたが、ディープバッチノルムネットワークは実際には、非線形性に何を使用しても、初期化時に 勾配爆発の影響を受ける 。したがって、ランダムに初期化されたディープバッチノルムネットワークの最適化ランドスケープは滑らかとはほど遠い。より正確には、ネットワークが 層を持つ場合、最初の層の重みの勾配は非線形性のみに依存する いくつかのノルムを持つ 。任意の固定された非線形性に対して、 バッチサイズが増加するにつれて、は減少する。たとえば、ReLUの場合、バッチサイズが無限大に近づくにつれて 、は減少する。実際には、これはディープバッチノルムネットワークが学習不可能であることを意味する。これは、 残差ネットワーク のようなスキップ接続によってのみ緩和される 。 [9] L {\displaystyle L} > c λ L {\displaystyle >c\lambda ^{L}} λ > 1 , c > 0 {\displaystyle \lambda >1,c>0} λ {\displaystyle \lambda } λ {\displaystyle \lambda } π / ( π − 1 ) ≈ 1.467 {\displaystyle \pi /(\pi -1)\approx 1.467}
この表面上の勾配爆発は、前のセクションで説明した 滑らかさの 特性と矛盾しますが、実際には両者は整合しています。前のセクションでは、ネットワークに単一のバッチノルムを挿入した場合の効果を検証しましたが、勾配爆発は、現代のディープニューラルネットワークに典型的なバッチノルムの積み重ねに依存しています。
デカップリング バッチ正規化が成功するもう 1 つの理由は、 重みベクトルの長さと方向 が分離され、より適切なトレーニングが可能になることです。
バッチ正規化を重み空間の再パラメータ化として解釈することにより、重みの長さと方向が分離され、別々に学習できることが示される。入力 と重みベクトルを持つ特定のニューラルネットワークユニットについて 、その出力を と表す。 ここで は活性化関数であり、 と表す 。 、 行列の スペクトルが 、 で 有界であり 、 が 対称正定値であると仮定する。このユニットにバッチ正規化を追加すると、以下のようになる。 x {\displaystyle x} w {\displaystyle w} f ( w ) = E x [ ϕ ( x T w ) ] {\displaystyle f(w)=E_{x}[\phi (x^{T}w)]} ϕ {\displaystyle \phi } S = E [ x x T ] {\displaystyle S=E[xx^{T}]} E [ x ] = 0 {\displaystyle E[x]=0} S {\displaystyle S} 0 < μ = λ m i n ( S ) {\displaystyle 0<\mu =\lambda _{min}(S)} L = λ m a x ( S ) < ∞ {\displaystyle L=\lambda _{max}(S)<\infty } S {\displaystyle S}
f B N ( w , γ , β ) = E x [ ϕ ( B N ( x T w ) ) ] = E x [ ϕ ( γ ( x T w − E x [ x T w ] v a r x [ x T w ] 1 / 2 ) + β ) ] {\displaystyle f_{BN}(w,\gamma ,\beta )=E_{x}[\phi (BN(x^{T}w))]=E_{x}{\bigg [}\phi {\bigg (}\gamma ({\frac {x^{T}w-E_{x}[x^{T}w]}{var_{x}[x^{T}w]^{1/2}}})+\beta {\bigg )}{\bigg ]}} 定義上はそうです。
分散項は と簡略化できる 。 の平均がゼロで を省略できると仮定すると、次の式が成り立つ。 v a r x [ x T w ] = w T S w {\displaystyle var_{x}[x^{T}w]=w^{T}Sw} x {\displaystyle x} β {\displaystyle \beta }
f B N ( w , γ ) = E x [ ϕ ( γ x T w ( w T S w ) 1 / 2 ) ] {\displaystyle f_{BN}(w,\gamma )=E_{x}{\bigg [}\phi {\bigg (}\gamma {\frac {x^{T}w}{(w^{T}Sw)^{1/2}}}{\bigg )}{\bigg ]}} 、ここで は の 誘導ノルムです 。 ( w T S w ) 1 2 {\displaystyle (w^{T}Sw)^{\frac {1}{2}}} S {\displaystyle S} | | w | | s {\displaystyle ||w||_{s}}
したがって、 、 および は長さと方向を別々に考慮すると 、 と 結論付けられます 。この性質は、バッチ正規化を用いた問題の収束が速いことを証明するために使用できます。 f B N ( w , γ ) = E x [ ϕ ( x T w ~ ) ] {\displaystyle f_{BN}(w,\gamma )=E_{x}[\phi (x^{T}{\tilde {w}})]} w ~ = γ w | | w | | s {\displaystyle {\tilde {w}}=\gamma {\frac {w}{||w||_{s}}}} γ {\displaystyle \gamma } w {\displaystyle w}
線形収束
最小二乗問題 再パラメータ化の解釈により、通常の最小二乗問題にバッチ正規化を適用すると、勾配降下法において線形収束率が得られ、これは、線形以下の収束のみを伴う通常の勾配降下法よりも高速であることが証明されました。
通常の最小二乗問題を最小化する目的を次のように表す。
min w ~ ∈ R d f O L S ( w ~ ) = min w ~ ∈ R d ( E x , y [ ( y − x T w ~ ) 2 ] ) = min w ~ ∈ R d ( 2 u T w ~ + w ~ T S w ~ ) {\displaystyle \min _{{\tilde {w}}\in R^{d}}f_{OLS}({\tilde {w}})=\min _{{\tilde {w}}\in R^{d}}(E_{x,y}[(y-x^{T}{\tilde {w}})^{2}])=\min _{{\tilde {w}}\in R^{d}}(2u^{T}{\tilde {w}}+{\tilde {w}}^{T}S{\tilde {w}})} 、ここで 、 および 。 u = E [ − y x ] {\displaystyle u=E[-yx]} S = E [ x x T ] {\displaystyle S=E[xx^{T}]}
なので 、目的は次のようになる。 w ~ = γ w | | w | | s {\displaystyle {\tilde {w}}=\gamma {\frac {w}{||w||_{s}}}}
min w ∈ R d ∖ { 0 } , γ ∈ R f O L S ( w , γ ) = min w ∈ R d ∖ { 0 } , γ ∈ R ( 2 γ u T w | | w | | S + γ 2 ) {\displaystyle \min _{w\in R^{d}\backslash \{0\},\gamma \in R}f_{OLS}(w,\gamma )=\min _{w\in R^{d}\backslash \{0\},\gamma \in R}{\bigg (}2\gamma {\frac {u^{T}w}{||w||_{S}+\gamma ^{2}}}{\bigg )}} ただし、分母に 0 が入らないように 0 は除外されます。
目的関数は に関して凸関数であるため 、 に対する目的関数の偏微分を 0 に設定することで最適値を計算できます。目的関数はさらに次のように簡略化できます。 γ {\displaystyle \gamma } γ {\displaystyle \gamma }
min w ∈ R d ∖ { 0 } ρ ( w ) = min w ∈ R d ∖ { 0 } ( − w T u u T w w T S w ) {\displaystyle \min _{w\in R^{d}\backslash \{0\}}\rho (w)=\min _{w\in R^{d}\backslash \{0\}}{\bigg (}-{\frac {w^{T}uu^{T}w}{w^{T}Sw}}{\bigg )}} 。
この目的は一般化レイリー商 の形式であることに注意する。
ρ ~ ( w ) = w T B w w T A w {\displaystyle {\tilde {\rho }}(w)={\frac {w^{T}Bw}{w^{T}Aw}}} ここで、 は対称行列であり、 は対称 正定値 行列です。 B ∈ R d × d {\displaystyle B\in R^{d\times d}} A ∈ R d × d {\displaystyle A\in R^{d\times d}}
一般化レイリー商の勾配降下収束率は次の式で表されることが証明されている。
λ 1 − ρ ( w t + 1 ) ρ ( w t + 1 − λ 2 ) ≤ ( 1 − λ 1 − λ 2 λ 1 − λ m i n ) 2 t λ 1 − ρ ( w t ) ρ ( w t ) − λ 2 {\displaystyle {\frac {\lambda _{1}-\rho (w_{t+1})}{\rho (w_{t+1}-\lambda _{2})}}\leq {\bigg (}1-{\frac {\lambda _{1}-\lambda _{2}}{\lambda _{1}-\lambda _{min}}}{\bigg )}^{2t}{\frac {\lambda _{1}-\rho (w_{t})}{\rho (w_{t})-\lambda _{2}}}} ここでは の 最大 固有値 、 は の2番目に大きい固有値 、 は の最小の固有値である 。 [10] λ 1 {\displaystyle \lambda _{1}} B {\displaystyle B} λ 2 {\displaystyle \lambda _{2}} B {\displaystyle B} λ m i n {\displaystyle \lambda _{min}} B {\displaystyle B}
この場合、は階数1の行列であり、収束結果はそれに応じて簡略化できます。具体的には 、 から開始し 、 ステップサイズ の形式の勾配降下ステップを考えると、 B = u u T {\displaystyle B=uu^{T}} w t + 1 = w t − η t ▽ ρ ( w t ) {\displaystyle w_{t+1}=w_{t}-\eta _{t}\triangledown \rho (w_{t})} η t = w t T S w t 2 L | ρ ( w t ) | {\displaystyle \eta _{t}={\frac {w_{t}^{T}Sw_{t}}{2L|\rho (w_{t})|}}} ρ ( w 0 ) ≠ 0 {\displaystyle \rho (w_{0})\neq 0}
ρ ( w t ) − ρ ( w ∗ ) ≤ ( 1 − μ L ) 2 t ( ρ ( w 0 ) − ρ ( w ∗ ) ) {\displaystyle \rho (w_{t})-\rho (w^{*})\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2t}(\rho (w_{0})-\rho (w^{*}))} 。
半空間問題の学習 半空間学習の問題とは、ニューラルネットワークの最も単純な形態であるパーセプトロン の学習を指す 。この場合の最適化問題は、
min w ~ ∈ R d f L H ( w ~ ) = E y , x [ ϕ ( z T w ~ ) ] {\displaystyle \min _{{\tilde {w}}\in R^{d}}f_{LH}({\tilde {w}})=E_{y,x}[\phi (z^{T}{\tilde {w}})]} ここで、 および は任意の損失関数です。 z = − y x {\displaystyle z=-yx} ϕ {\displaystyle \phi }
が無限微分可能で、導関数が有界であると仮定する 。目的関数 が - 滑らか で、解が 存在し、 となる有界性を持つと仮定する 。また、は 多変数正規確率変数 であると仮定する。ガウス分布の仮定を用いると、損失関数 の任意の選択に対して、すべての 臨界点 が同一直線上に存在することが 示される 。具体的には、 の勾配は 次のように表される
。 ϕ {\displaystyle \phi } f L H {\displaystyle f_{LH}} ζ {\displaystyle \zeta } α ∗ = a r g m i n α | | ▽ f ( α w ) | | 2 {\displaystyle \alpha ^{*}=argmin_{\alpha }||\triangledown f(\alpha w)||^{2}} − ∞ < α ∗ < ∞ {\displaystyle -\infty <\alpha ^{*}<\infty } z {\displaystyle z} ϕ {\displaystyle \phi } f L H {\displaystyle f_{LH}}
▽ w ~ f L H ( w ~ ) = c 1 ( w ~ ) u + c 2 ( w ~ ) S w ~ {\displaystyle \triangledown _{\tilde {w}}f_{LH}({\tilde {w}})=c_{1}({\tilde {w}})u+c_{2}({\tilde {w}})S{\tilde {w}}} ここで 、、、 は の - 階導関数 です 。 c 1 ( w ~ ) = E z [ ϕ ( 1 ) ( z T w ~ ) ] − E z [ ϕ ( 2 ) ( z T w ~ ) ] ( u T w ~ ) {\displaystyle c_{1}({\tilde {w}})=E_{z}[\phi ^{(1)}(z^{T}{\tilde {w}})]-E_{z}[\phi ^{(2)}(z^{T}{\tilde {w}})](u^{T}{\tilde {w}})} c 2 ( w ~ ) = E z [ ϕ ( 2 ) ( z T w ~ ) ] {\displaystyle c_{2}({\tilde {w}})=E_{z}[\phi ^{(2)}(z^{T}{\tilde {w}})]} ϕ ( i ) {\displaystyle \phi ^{(i)}} i {\displaystyle i} ϕ {\displaystyle \phi }
勾配を0と設定することで、有界臨界点 は と表すことができます。 ここで、は および に 依存します 。この大域的特性と長さ方向の分離を組み合わせることで、この最適化問題が線形収束することが証明できます。 w ~ ∗ {\displaystyle {\tilde {w}}_{*}} w ~ ∗ = g ∗ S − 1 u {\displaystyle {\tilde {w}}_{*}=g_{*}S^{-1}u} g ∗ {\displaystyle g_{*}} w ~ ∗ {\displaystyle {\tilde {w}}_{*}} ϕ {\displaystyle \phi }
まず、バッチ正規化を用いた勾配降下法 のバリエーション である正規化パラメータ化勾配降下法（GDNP）を目的関数 に対して設計し 、重みの方向と長さを別々に更新する。GDNPの停止基準を以下のように記す。 min w ∈ R d ∖ { 0 } , γ ∈ R f L H ( w , γ ) {\displaystyle \min _{w\in R^{d}\backslash \{0\},\gamma \in R}f_{LH}(w,\gamma )}
h ( w t , γ t ) = E z [ ϕ ′ ( z T w ~ t ) ] ( u T w t ) − E z [ ϕ ″ ( z T w ~ t ) ] ( u T w t ) 2 {\displaystyle h(w_{t},\gamma _{t})=E_{z}[\phi '(z^{T}{\tilde {w}}_{t})](u^{T}w_{t})-E_{z}[\phi ''(z^{T}{\tilde {w}}_{t})](u^{T}w_{t})^{2}} 。
ステップサイズは
s t = s ( w t , γ t ) = − | | w t | | S 3 L g t h ( w t , γ t ) {\displaystyle s_{t}=s(w_{t},\gamma _{t})=-{\frac {||w_{t}||_{S}^{3}}{Lg_{t}h(w_{t},\gamma _{t})}}} 。
各ステップにおいて、 ならば 、方向を次のように更新する。 h ( w t , γ t ) ≠ 0 {\displaystyle h(w_{t},\gamma _{t})\neq 0}
w t + 1 = w t − s t ▽ w f ( w t , γ t ) {\displaystyle w_{t+1}=w_{t}-s_{t}\triangledown _{w}f(w_{t},\gamma _{t})} 。
次に長さを更新します。
γ t = Bisection ( T s , f , w t ) {\displaystyle \gamma _{t}={\text{Bisection}}(T_{s},f,w_{t})} ここで、 は古典的な 二分アルゴリズム であり、 は二分ステップで実行される反復の合計回数です。 Bisection() {\displaystyle {\text{Bisection()}}} T s {\displaystyle T_{s}}
反復回数を とすると 、GDNPの最終出力は次のようになる。 T d {\displaystyle T_{d}}
w ~ T d = γ T d w T d | | w T d | | S {\displaystyle {\tilde {w}}_{T_{d}}=\gamma _{T_{d}}{\frac {w_{T_{d}}}{||w_{T_{d}}||_{S}}}} 。
したがって、GDNP アルゴリズムは、数学的分析を容易にするためにバッチ正規化ステップをわずかに変更します。
GDNPでは、長さ成分に対する偏微分は線形速度でゼロに収束すること が示されており、 f L H {\displaystyle f_{LH}}
( ∂ γ f L H ( w t , a t ( T s ) ) 2 ≤ 2 − T s ζ | b t ( 0 ) − a t ( 0 ) | μ 2 {\displaystyle (\partial _{\gamma }f_{LH}(w_{t},a_{t}^{(T_{s})})^{2}\leq {\frac {2^{-T_{s}}\zeta |b_{t}^{(0)}-a_{t}^{(0)}|}{\mu ^{2}}}} ここで、 と は それぞれ、左と右の二分アルゴリズムの 2 つの開始点です。 a t ( 0 ) {\displaystyle a_{t}^{(0)}} b t 0 {\displaystyle b_{t}^{0}}
さらに、各反復において、の勾配 のノルムは 線形収束し、 f L H {\displaystyle f_{LH}} w {\displaystyle w}
| | w t | | S 2 | | ▽ f L H ( w t , g t ) | | S − 1 2 ≤ ( 1 − μ L ) 2 t Φ 2 γ t 2 ( ρ ( w 0 ) − ρ ∗ ) {\displaystyle ||w_{t}||_{S}^{2}||\triangledown f_{LH}(w_{t},g_{t})||_{S^{-1}}^{2}\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2t}\Phi ^{2}\gamma _{t}^{2}(\rho (w_{0})-\rho ^{*})} 。
これら2つの不等式を組み合わせると、 に関する勾配の境界が得られます 。 w ~ T d {\displaystyle {\tilde {w}}_{T_{d}}}
| | ▽ w ~ f ( w ~ T d ) | | 2 ≤ ( 1 − μ L ) 2 T d Φ 2 ( ρ ( w 0 ) − ρ ∗ ) + 2 − T s ζ | b t ( 0 ) − a t ( 0 ) | μ 2 {\displaystyle ||\triangledown _{\tilde {w}}f({\tilde {w}}_{T_{d}})||^{2}\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2T_{d}}\Phi ^{2}(\rho (w_{0})-\rho ^{*})+{\frac {2^{-T_{s}}\zeta |b_{t}^{(0)}-a_{t}^{(0)}|}{\mu ^{2}}}} アルゴリズムが線形収束することが保証されるようになります。
証明はガウス入力を前提としていますが、実験では GDNP がこの制約なしで最適化を加速できることも示されています。
ニューラルネットワーク 1つの隠れ層と、入力から スカラー出力への マッピングが次のように記述される隠れユニットを持つ 多層パーセプトロン （MLP）を考える。 m {\displaystyle m} x ∈ R d {\displaystyle x\in R^{d}}
F x ( W ~ , Θ ) = ∑ i = 1 m θ i ϕ ( x T w ~ ( i ) ) {\displaystyle F_{x}({\tilde {W}},\Theta )=\sum _{i=1}^{m}\theta _{i}\phi (x^{T}{\tilde {w}}^{(i)})} ここで、 および はそれぞれユニットの入力重みと出力重みであり 、 は活性化関数であり、 は tanh 関数 であると仮定されます 。 w ~ ( i ) {\displaystyle {\tilde {w}}^{(i)}} θ i {\displaystyle \theta _{i}} i {\displaystyle i} ϕ {\displaystyle \phi }
入力と出力の重みは次のように最適化できる。
min W ~ , Θ ( f N N ( W ~ , Θ ) = E y , x [ l ( − y F x ( W ~ , Θ ) ) ] ) {\displaystyle \min _{{\tilde {W}},\Theta }(f_{NN}({\tilde {W}},\Theta )=E_{y,x}[l(-yF_{x}({\tilde {W}},\Theta ))])} ここで、 は損失関数、 、 です 。 l {\displaystyle l} W ~ = { w ~ ( 1 ) , . . . , w ~ ( m ) } {\displaystyle {\tilde {W}}=\{{\tilde {w}}^{(1)},...,{\tilde {w}}^{(m)}\}} Θ = { θ ( 1 ) , . . . , θ ( m ) } {\displaystyle \Theta =\{\theta ^{(1)},...,\theta ^{(m)}\}}
を固定し、 のみを最適化すること を考えると、 特定の隠れユニットの臨界点 、 はすべて、隠れ層に入る情報に応じて1つの線に沿って並ぶこと が示され、 Θ {\displaystyle \Theta } W ~ {\displaystyle {\tilde {W}}} f N N ( W ~ ) {\displaystyle f_{NN}({\tilde {W}})} i {\displaystyle i} w ^ ( i ) {\displaystyle {\hat {w}}^{(i)}}
w ^ ( i ) = c ^ ( i ) S − 1 u {\displaystyle {\hat {w}}^{(i)}={\hat {c}}^{(i)}S^{-1}u} 、ここで はスカラー、 。 c ^ ( i ) ∈ R {\displaystyle {\hat {c}}^{(i)}\in R} i = 1 , . . . , m {\displaystyle i=1,...,m}
この結果は、 の勾配を ゼロに設定し、連立方程式を解くことによって証明できます。 f N N {\displaystyle f_{NN}}
この最適化問題にGDNPアルゴリズムを適用し、異なる隠れユニットに対して交互に最適化を行います。具体的には、各隠れユニットについてGDNPを実行し、最適な と を求めます 。 停止基準とステップサイズを同じにした場合、以下の式が成り立ちます。 W {\displaystyle W} γ {\displaystyle \gamma }
| | ▽ w ~ ( i ) f ( w ~ t ( i ) ) | | S − 1 2 ≤ ( 1 − μ L ) 2 t C ( ρ ( w 0 ) − ρ ∗ ) + 2 − T s ( i ) ζ | b t ( 0 ) − a t ( 0 ) | μ 2 {\displaystyle ||\triangledown _{{\tilde {w}}^{(i)}}f({\tilde {w}}_{t}^{(i)})||_{S^{-1}}^{2}\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2t}C(\rho (w_{0})-\rho ^{*})+{\frac {2^{-T_{s}^{(i)}}\zeta |b_{t}^{(0)}-a_{t}^{(0)}|}{\mu ^{2}}}} 。
各隠れユニットのパラメータは線形収束するため、最適化問題全体は線形収束率を持つ。 [8]
参考文献 ^ abcd Ioffe, Sergey; Szegedy, Christian (2015). 「バッチ正規化：内部共変量シフトの削減によるディープネットワークトレーニングの高速化」 arXiv : 1502.03167 [cs.LG]. ^ Santurkar, Shibani; Tsipras, Dimitris; Ilyas, Andrew; Madry, Aleksander (2018年5月29日). 「バッチ正規化は最適化にどのように役立つか？」 arXiv : 1805.11604 [stat.ML]. ^ Yang, Greg; Pennington, Jeffrey; Rao, Vinay; Sohl-Dickstein, Jascha; Schoenholz, Samuel S. (2019). 「バッチ正規化の平均場理論」. arXiv : 1902.08129 [cs.NE]. ^ Kohler, Jonas; Daneshmand, Hadi; Lucchi, Aurelien; Zhou, Ming; Neymeyr, Klaus; Hofmann, Thomas (2018年5月27日). 「バッチ正規化の指数収束率：非凸最適化における長さ方向分離の威力」 arXiv : 1805.10694 [stat.ML]. ^ abc Santurkar, Shibani; Tsipras, Dimitris; Ilyas, Andrew; Madry, Aleksander (2018年5月29日). 「バッチ正規化は最適化にどのように役立つか？」 arXiv : 1805.11604 [stat.ML]. ^ ab Simonyan, Karen; Andrew, Zisserman (2014). 「大規模画像認識のための超深層畳み込みネットワーク」 arXiv : 1409.1556 [cs.CV]. ^ Ba, J., Kiros, JR, Hinton, GE (2016). レイヤーの正規化. ArXiv, abs/1607.06450. ^ ab Kohler, Jonas; Daneshmand, Hadi; Lucchi, Aurelien; Zhou, Ming; Neymeyr, Klaus; Hofmann, Thomas (2018年5月27日). 「バッチ正規化における指数収束率：非凸最適化における長さ方向分離の威力」 arXiv : 1805.10694 [stat.ML]. ^ Yang, Greg; Pennington, Jeffrey; Rao, Vinay; Sohl-Dickstein, Jascha; Schoenholz, Samuel S. (2019). 「バッチ正規化の平均場理論」. arXiv : 1902.08129 [cs.NE]. ^ Knyazev, Neymeyr (2003). 「前処理付き逆反復法のための幾何学理論III：一般化固有値問題に対する短く鋭い収束推定」. 線形代数とその応用 . 358 ( 1–3 ): 95–114 . doi : 10.1016/S0024-3795(01)00461-X .
さらに読む Ioffe, Sergey; Szegedy, Christian (2015). 「バッチ正規化：内部共変量シフトの低減による深層ネットワーク学習の高速化」, ICML'15: Proceedings of the 32nd International Conference on Machine Learning - Volume 37, July 2015, 448–456ページ Simonyan, Karen; Zisserman, Andrew (2014). 「大規模画像認識のための超深層畳み込みネットワーク」 arXiv : 1409.1556 [cs.CV].
![{\displaystyle k\in [1,d]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/198a4d2d8ce137b1f4242c3f5cce495d77d7b0fd)
![{\displaystyle i\in [1,m]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ab916af4b9efb98e62b719bad44c18601285097b)
![{\displaystyle E[x^{(k)}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9de884a23a219434520a8f5d2fa6029aa08d9229)
![{\displaystyle \operatorname {Var} [x^{(k)}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9626fe6237e75a52277fdfc8f0bde740b22106b2)
![{\displaystyle E[x^{(k)}]=E_{B}[\mu _{B}^{(k)}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/924410b15e63683d9d19aeccadb2d57ca423f151)
![{\displaystyle \operatorname {Var} [x^{(k)}]={\frac {m}{m-1}}E_{B}[\left(\sigma _{B}^{(k)}\right)^{2}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1717aca2b768b32fe46c3c8f9c66daa25f953dff)
![{\displaystyle y^{(k)}=BN_{\gamma ^{(k)},\beta ^{(k)}}^{\text{inf}}(x^{(k)})=\gamma ^{(k)}{\frac {x^{(k)}-E[x^{(k)}]}{\sqrt {\operatorname {Var} [x^{(k)}]+\epsilon }}}+\beta ^{(k)}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/032e23f561aa029ae0936e1b55f38a33f4488dcd)
![{\displaystyle f(w)=E_{x}[\phi (x^{T}w)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/870188d380627f799e598e056ea71b4c23815741)
![{\displaystyle S=E[xx^{T}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/71f3a47dfa9441a4050edac91329e66ac747684b)
![{\displaystyle E[x]=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f464a09bd74ae67c6e8094c223aa1edd093699c9)
![{\displaystyle f_{BN}(w,\gamma,\beta)=E_{x}[\phi(BN(x^{T}w))]=E_{x}{\bigg[}\phi{\bigg(}\gamma({\frac{x^{T}w-E_{x}[x^{T}w]}{var_{x}[x^{T}w]^{1/2}}})+\beta{\bigg)}{\bigg]}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ef3c8776e25fec4bb27c4e556fafeda7d35686a3)
![{\displaystyle var_{x}[x^{T}w]=w^{T}Sw}](https://wikimedia.org/api/rest_v1/media/math/render/svg/64581f03bf8607566e4f8126ce8822e23ca4454d)
![{\displaystyle f_{BN}(w,\gamma )=E_{x}{\bigg [}\phi {\bigg (}\gamma {\frac {x^{T}w}{(w^{T}Sw)^{1/2}}}{\bigg )}{\bigg ]}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8073fc1cb01c6722a53258ee44d8ad020f8b1e6f)
![{\displaystyle f_{BN}(w,\gamma)=E_{x}[\phi (x^{T}{\tilde {w}})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0479b5ef1b32a46c9837a35b2e6746a8a8b36803)
![{\displaystyle \min _{{\tilde {w}}\in R^{d}}f_{OLS}({\tilde {w}})=\min _{{\tilde {w}}\in R^{d}}(E_{x,y}[(yx^{T}{\tilde {w}})^{2}])=\min _{{\tilde {w}}\in R^{d}}(2u^{T}{\tilde {w}}+{\tilde {w}}^{T}S{\tilde {w}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e501150c07350a39f023afeb945d47aa0479d605)
![{\displaystyle u=E[-yx]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/946686cd36bcf56c7210946d1a01c17c92c146e1)
![{\displaystyle \min _{{\tilde {w}}\in R^{d}}f_{LH}({\tilde {w}})=E_{y,x}[\phi (z^{T}{\tilde {w}})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cad358cdfcff14d371a6807c76a72f07179b76a0)
![{\displaystyle c_{1}({\tilde {w}})=E_{z}[\phi ^{(1)}(z^{T}{\tilde {w}})]-E_{z}[\phi ^{(2)}(z^{T}{\tilde {w}})](u^{T}{\tilde {w}})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6d41acf60dc403751d136a81ba607fbbf80b76ab)
![{\displaystyle c_{2}({\チルダ {w}})=E_{z}[\phi ^{(2)}(z^{T}{\チルダ {w}})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e43fecb96d87a856bc20fe7e94d6f6fd172f58c3)
-E_{z}[\phi ''(z^{T}{\tilde {w}}_{t})](u^{T}w_{t})^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f5d9060d18d7abd003631c293bd29c2432de2d7c)
![{\displaystyle \min _{{\チルダ {W}},\Theta }(f_{NN}({\tilde {W}},\Theta )=E_{y,x}[l(-yF_{x}({\tilde {W}},\Theta ))])}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0fa1741f223166a1d9cb8ba20cb27e6eec9d021b)
