ヒンジの喪失

Loss function in machine learning

縦軸は、固定されたt = 1におけるヒンジ損失（青）とゼロワン損失（緑）の値を表し、横軸は予測yの値を表します。このプロットは、ヒンジ損失がy < 1の予測にペナルティを課すことを示しています。これは、サポートベクターマシンにおけるマージンの概念に対応しています。

機械学習において、ヒンジ損失は分類器の学習に用いられる損失関数です。ヒンジ損失は「最大マージン」分類に用いられ、特にサポートベクターマシン（SVM）で顕著です。^[1]

意図された出力t = ±1と分類器スコアyの場合、予測yのヒンジ損失は次のように定義されます。

${\displaystyle \ell (y)=\max(0,1-t\cdot y)}$

は分類器の決定関数の「生の」出力であり、予測されたクラスラベルではないことに注意してください。例えば、線形SVMでは、 は超平面のパラメータであり、は入力変数です。 ${\displaystyle y}$ ${\displaystyle y=\mathbf {w} \cdot \mathbf {x} +b}$ ${\displaystyle (\mathbf {w} ,b)}$ ${\displaystyle \mathbf {x} }$

tとy が同じ符号（つまりy が正しいクラスを予測する）での場合、ヒンジ損失 はになります。 t と y が反対符号の場合、 はyとともに線形に増加します。 t と y が同じ符号（正しい予測ですが、十分なマージンではありません）であっても、 も同様に増加します。 ${\displaystyle |y|\geq 1}$ ${\displaystyle \ell (y)=0}$ ${\displaystyle \ell (y)}$ ${\displaystyle |y|<1}$

ヒンジ損失は適切なスコアリングルールではありません。

拡張機能

バイナリSVMは一般的に1対全または1対1の多クラス分類に拡張されますが、 ^[2]ヒンジ損失自体をそのような目的に拡張することも可能です。多クラスヒンジ損失にはいくつかの異なるバリエーションが提案されています。^[3]例えば、CrammerとSinger ^[4]は 線形分類器に対してヒンジ損失を次のように定義しました^[5]

${\displaystyle \ell (y)=\max(0,1+\max _{y\neq t}\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )}$、

ここで、 はターゲット ラベル、はモデル パラメーターです。 ${\displaystyle t}$ ${\displaystyle \mathbf {w} _{t}}$ ${\displaystyle \mathbf {w} _{y}}$

ウェストンとワトキンスも同様の定義を示したが、最大値ではなく合計を用いた。^{[6] [3]}

${\displaystyle \ell (y)=\sum _{y\neq t}\max(0,1+\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )}$。

構造化予測では、ヒンジ損失は構造化出力空間にさらに拡張できます。マージン再スケーリングを備えた構造化SVMでは、以下の変形が用いられます。ここで、wはSVMのパラメータ、yはSVMの予測値、φは結合特徴関数、Δはハミング損失を表します。

${\displaystyle {\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\end{aligned}}}$。

最適化

ヒンジ損失は凸関数であるため、機械学習でよく用いられる凸最適化器の多くは、この損失を扱うことができます。これは微分可能ではありませんが、線形SVMのモデルパラメータwに関して劣勾配を持ち、そのスコア関数は次式で与えられます。 ${\displaystyle y=\mathbf {w} \cdot \mathbf {x} }$

${\displaystyle {\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1,\\0&{\text{otherwise}}.\end{cases}}}$

z = tyの関数としてヒンジ損失の3つの変種をプロットしたもの。「通常の」変種（青）、その正方関数（緑）、そしてRennieとSrebroによる区分的に滑らかな変種（赤）。y軸はl(y)ヒンジ損失、x軸はパラメータtである。

しかし、ヒンジ損失の導関数は定義されていないため、最適化にはレニーとスレブロ^{[7]のような}平滑化されたバージョンが好まれるかもしれない。 ${\displaystyle ty=1}$

${\displaystyle \ell (y)={\begin{cases}{\frac {1}{2}}-ty&{\text{if}}~~ty\leq 0,\\{\frac {1}{2}}(1-ty)^{2}&{\text{if}}~~0<ty<1,\\0&{\text{if}}~~1\leq ty\end{cases}}}$

または二次平滑化された

${\displaystyle \ell _{\gamma }(y)={\begin{cases}{\frac {1}{2\gamma }}\max(0,1-ty)^{2}&{\text{if}}~~ty\geq 1-\gamma ,\\1-{\frac {\gamma }{2}}-ty&{\text{otherwise}}\end{cases}}}$

Zhangによって提案された。^[8]修正Huber損失は 、この損失関数の特殊なケースであり、具体的には である。 ${\displaystyle L}$ ${\displaystyle \gamma =2}$ ${\displaystyle L(t,y)=4\ell _{2}(y)}$

参照

• 多変量適応回帰スプライン§ヒンジ関数

参考文献

1. ロザスコ、L.;デ・ヴィート、ED;カポネット、A.ピアナ、M.ヴェリ、A. (2004)。 「損失関数はすべて同じですか?」(PDF)。ニューラル計算。16 ( 5 ) : 1063–1076。CiteSeerX 10.1.1.109.6786 。土井：10.1162/089976604773135104。PMID  15070510。 
2. Duan, KB; Keerthi, SS (2005). 「最適なマルチクラスSVM手法はどれか？実証的研究」(PDF) .マルチクラス分類システム. LNCS . 第3541巻. pp.  278– 285. CiteSeerX 10.1.1.110.6789 . doi :10.1007/11494683_28. ISBN  978-3-540-26306-7。
3. Doğan, Ürün; Glasmachers, Tobias; Igel, Christian (2016). 「多クラスサポートベクター分類に関する統一的な見解」(PDF) . Journal of Machine Learning Research . 17 : 1– 32.
4. Crammer, Koby; Singer, Yoram (2001). 「マルチクラスカーネルベースベクトルマシンのアルゴリズム実装について」(PDF) . Journal of Machine Learning Research . 2 : 265– 292.
5. Moore, Robert C.; DeNero, John (2011). 「多クラスヒンジ損失モデルにおけるL1およびL2正規化」(PDF) .音声言語処理における機械学習に関するシンポジウム.
6. ウェストン、ジェイソン；ワトキンス、クリス (1999). 「多クラスパターン認識のためのサポートベクターマシン」(PDF) .ヨーロッパ人工ニューラルネットワークシンポジウム.
7. Rennie, Jason DM; Srebro, Nathan (2005). 選好水準の損失関数：離散順序ラベルを用いた回帰(PDF) . Proc. IJCAI Multidisciplinary Workshop on Advances in Preference Handling.
8. Zhang, Tong (2004). 確率的勾配降下法を用いた大規模線形予測問題の解決(PDF) . ICML.

Retrieved from "https://en.wikipedia.org/w/index.php?title=Hinge_loss&oldid=1298747597"