分類のための損失関数

Concept in machine learning

ベイズ整合損失関数: ゼロワン損失 (灰色)、サベージ損失 (緑)、ロジスティック損失 (オレンジ)、指数損失 (紫)、接線損失 (茶色)、平方損失 (青)

機械学習と数理最適化において、分類の損失関数は、分類問題（特定の観測がどのカテゴリに属する​​かを識別する問題）における予測の不正確さに対して支払われる代償を表す計算上実行可能な損失関数である。 ^[1]がすべての可能な入力（通常は ）の空間として、ラベル（可能な出力）の集合として 与えられた場合、分類アルゴリズムの典型的な目標は、与えられた入力 に対してラベルを最もよく予測する関数を見つけることである。^[2] しかし、不完全な情報、測定におけるノイズ、または基礎となるプロセスにおける確率的要素のために、同じ関数が異なる を生成する可能性がある。^[3] 結果として、学習問題の目標は、次のように定義される期待損失（リスクとも呼ばれる）を最小化することとなる。 ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {X}}\subset \mathbb {R} ^{d}}$ ${\displaystyle {\mathcal {Y}}=\{-1,1\}}$ ${\displaystyle f:{\mathcal {X}}\to {\mathcal {Y}}}$ ${\displaystyle y}$ ${\displaystyle {\vec {x}}}$ ${\displaystyle {\vec {x}}}$ ${\displaystyle y}$

${\displaystyle I[f]=\displaystyle \int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy}$

ここで、は与えられた損失関数であり、 はデータを生成したプロセスの確率密度関数であり、次のように等価的に記述できる。 ${\displaystyle V(f({\vec {x}}),y)}$ ${\displaystyle p({\vec {x}},y)}$

${\displaystyle p({\vec {x}},y)=p(y\mid {\vec {x}})p({\vec {x}}).}$

分類において、一般的に用いられる損失関数のいくつかは、真のラベルと予測ラベルの積のみで記述されます。したがって、それらは1つの変数のみの関数として定義することができ、適切に選択された関数を用いることで、損失関数は成り立ちます。これらはマージンベースの損失関数と呼ばれます。マージンベースの損失関数を選択することは、損失関数を選択することと同じです。この枠組みにおける損失関数の選択は、期待リスクを最小化する最適値に影響を与えます。 経験的リスク最小化を参照してください。 ${\displaystyle y}$ ${\displaystyle f({\vec {x}})}$ ${\displaystyle \upsilon =yf({\vec {x}})}$ ${\displaystyle V(f({\vec {x}}),y)=\phi (yf({\vec {x}}))=\phi (\upsilon )}$ ${\displaystyle \phi :\mathbb {R} \to \mathbb {R} }$ ${\displaystyle \phi }$ ${\displaystyle f_{\phi }^{*}}$

二値分類の場合、上記の積分から期待リスクの計算を簡略化することができます。具体的には、

${\displaystyle {\begin{aligned}I[f]&=\int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy\\[6pt]&=\int _{\mathcal {X}}\int _{\mathcal {Y}}\phi (yf({\vec {x}}))\,p(y\mid {\vec {x}})\,p({\vec {x}})\,dy\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))\,p(-1\mid {\vec {x}})]\,p({\vec {x}})\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))\,(1-p(1\mid {\vec {x}}))]\,p({\vec {x}})\,d{\vec {x}}\end{aligned}}}$

2番目の等式は、上記の性質から導かれます。3番目の等式は、 の可能な値は1と-1のみであるという事実から導かれます。4番目の等式は、 であるという事実から導かれます。括弧内の項は条件付きリスクと呼ばれます。 ${\displaystyle y}$ ${\displaystyle p(-1\mid x)=1-p(1\mid x)}$ ${\displaystyle [\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]}$

の最小値を求めるには、最後の等式の関数微分を について取り、その微分を0とおく。これは次の式となる。 ${\displaystyle I[f]}$ ${\displaystyle f}$

${\displaystyle {\frac {\partial \phi (f)}{\partial f}}\eta +{\frac {\partial \phi (-f)}{\partial f}}(1-\eta )=0,\;\;\;\;\;(1)}$^{[引用が必要] [説明が必要]}

ここで、これは条件付きリスクの導関数をゼロに設定することと同等です。 ${\displaystyle \eta =p(y=1|{\vec {x}})}$

分類の二項性を考慮すると、損失関数（偽陽性と偽陰性のコストが等しいと仮定）の自然淘汰は0-1損失関数（0-1指標関数）となり、予測分類が真のクラスと等しい場合は0、一致しない場合は1となる。この淘汰は次のようにモデル化される。

${\displaystyle V(f({\vec {x}}),y)=H(-yf({\vec {x}}))}$

ここで、はヘヴィサイドステップ関数を示す。しかし、この損失関数は非凸かつ非滑らかであり、最適解を求めることはNP困難な組み合わせ最適化問題となる。^[4] そのため、凸や滑らかといった便利な特性を持つ、一般的に用いられる学習アルゴリズムで扱いやすい損失関数代替関数で代用する方がよい。計算上の扱いやすさに加えて、これらの損失代替関数を用いた学習問題の解は、元の分類問題の実際の解を復元できることを示すことができる。^[5] これらの代替関数のいくつかを以下に説明する。 ${\displaystyle H}$

実際には、確率分布は未知である。したがって、独立かつ同一に分布するサンプル点の訓練セットを利用することで、 ${\displaystyle p({\vec {x}},y)}$ ${\displaystyle n}$

${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}}$

データサンプル空間から抽出されたデータを用いて、経験的リスクを最小化することを目指す

${\displaystyle I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$

期待リスクの代理として。^[3]（より詳細な説明については統計学習理論を参照。）

ベイズ一貫性

ベイズの定理を利用すると、最適な、すなわち、ゼロ・ワン損失に関連する期待リスクを最小化するものは、二値分類問題に対するベイズ最適決定規則を実装し、次の形式となることが示される。 ${\displaystyle f_{0/1}^{*}}$

${\displaystyle f_{0/1}^{*}({\vec {x}})\;=\;{\begin{cases}\;\;\;1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\\;\;\;0&{\text{if }}p(1\mid {\vec {x}})=p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$。

損失関数が分類較正済みまたはベイズ整合的であるとは、その最適値が となり、ベイズ決定則の下で最適となる場合を指します。ベイズ整合的損失関数を用いることで、確率密度関数を明示的にモデル化することなく、期待リスクを直接最小化することでベイズ最適決定関数を求めることができます。 ${\displaystyle f_{\phi }^{*}}$ ${\displaystyle f_{0/1}^{*}({\vec {x}})=\operatorname {sgn} (f_{\phi }^{*}({\vec {x}}))}$ ${\displaystyle f_{\phi }^{*}}$

凸マージン損失 の場合、がベイズ整合的であることと、それが 0 および で微分可能であることが同値であることが示される。^{[6] [1]}しかし、この結果は非凸ベイズ整合的損失関数の存在を排除するものではない。より一般的な結果は、ベイズ整合的損失関数は次の定式を用いて生成できることを示している^[7] ${\displaystyle \phi (\upsilon )}$ ${\displaystyle \phi (\upsilon )}$ ${\displaystyle \phi '(0)<0}$

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]\;\;\;\;\;(2)}$、

ここでは となる任意の可逆関数であり はとなる任意の微分可能な厳密に凹な関数である。表 I は、およびのいくつかの例の選択に対して生成されたベイズ整合損失関数を示している。サベージ損失とタンジェント損失は凸ではないことに注意されたい。このような非凸損失関数は分類における外れ値の処理に有効であることがわかっている。^{[7] [8]}（2）から生成されたすべての損失関数について、事後確率は可逆リンク関数を使用してとして 求めることができる。事後確率が可逆リンクを使用して回復できるこのような損失関数は、適切な損失関数と呼ばれる。 ${\displaystyle f(\eta ),(0\leq \eta \leq 1)}$ ${\displaystyle f^{-1}(-v)=1-f^{-1}(v)}$ ${\displaystyle C(\eta )}$ ${\displaystyle C(\eta )=C(1-\eta )}$ ${\displaystyle C(\eta )}$ ${\displaystyle f^{-1}(v)}$ ${\displaystyle p(y=1|{\vec {x}})}$ ${\displaystyle p(y=1|{\vec {x}})=\eta =f^{-1}(v)}$

表I

損失名	${\displaystyle \phi (v)}$	${\displaystyle C(\eta )}$	${\displaystyle f^{-1}(v)}$	${\displaystyle f(\eta )}$
指数関数	${\displaystyle e^{-v}}$	${\displaystyle 2{\sqrt {\eta (1-\eta )}}}$	${\displaystyle {\frac {e^{2v}}{1+e^{2v}}}}$	${\displaystyle {\frac {1}{2}}\log({\frac {\eta }{1-\eta }})}$
ロジスティクス	${\displaystyle {\frac {1}{\log(2)}}\log(1+e^{-v})}$	${\displaystyle {\frac {1}{\log(2)}}[-\eta \log(\eta )-(1-\eta )\log(1-\eta )]}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$	${\displaystyle \log({\frac {\eta }{1-\eta }})}$
四角	${\displaystyle (1-v)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle {\frac {1}{2}}(v+1)}$	${\displaystyle 2\eta -1}$
野蛮人	${\displaystyle {\frac {1}{(1+e^{v})^{2}}}}$	${\displaystyle \eta (1-\eta )}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$	${\displaystyle \log({\frac {\eta }{1-\eta }})}$
正接	${\displaystyle (2\arctan(v)-1)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle \arctan(v)+{\frac {1}{2}}}$	${\displaystyle \tan(\eta -{\frac {1}{2}})}$

上記で生成された損失関数に関連付けられた期待リスクの唯一の最小化関数は、式(1)から直接求められ、対応する と等しいことが示されます。これは非凸損失関数の場合でも成り立ち、勾配ブースティングなどの勾配降下法に基づくアルゴリズムを用いて最小化関数を構築できることを意味します。 ${\displaystyle f_{\phi }^{*}}$ ${\displaystyle f(\eta )}$

適切な損失関数、損失マージン、正則化

(赤) 標準ロジスティクス損失 ( ) および (青) 増加マージンロジスティクス損失 ( ) ${\displaystyle \gamma =1,\mu =2}$ ${\displaystyle \gamma =0.2}$

適切な損失関数の場合、損失マージンは と定義でき、分類器の正則化特性に直接関係することが示されています。^[9]具体的には、マージンが大きい損失関数は正則化を高め、事後確率のより正確な推定値を生成します。 たとえば、ロジスティック損失の損失マージンを増やすには、パラメータ を導入し、ロジスティック損失を と書きます。ここで、 が小さいほど損失のマージンが増えます。 これは、勾配ブースティングで学習率を下げることと直接等価であることが示されています。学習率を下げると、ブースティングされた分類器の正則化が向上します。 理論により、 の学習率を使用する場合、事後確率を取得するための正しい式は になることが明確になっています。 ${\displaystyle \mu _{\phi }=-{\frac {\phi '(0)}{\phi ''(0)}}}$ ${\displaystyle \gamma }$ ${\displaystyle {\frac {1}{\gamma }}\log(1+e^{-\gamma v})}$ ${\displaystyle 0<\gamma <1}$ ${\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma h_{m}(x),}$ ${\displaystyle \gamma }$ ${\displaystyle \gamma }$ ${\displaystyle \eta =f^{-1}(\gamma F(x))}$

結論として、より大きなマージン（より小さい）を持つ損失関数を選択することで、正則化が強化され、事後確率の推定値が向上し、最終的な分類器の ROC 曲線が改善されます。 ${\displaystyle \gamma }$

スクエアロス

二乗損失関数は回帰分析でよく使用されますが、関数として書き直して分類に利用することもできます。これは、(2)式と表Iを用いて以下のように生成できます。 ${\displaystyle \phi (yf({\vec {x}}))}$

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4({\frac {1}{2}}(v+1))(1-{\frac {1}{2}}(v+1))+(1-{\frac {1}{2}}(v+1))(4-8({\frac {1}{2}}(v+1)))=(1-v)^{2}.}$

二乗損失関数は凸関数かつ滑らかです。しかし、二乗損失関数は外れ値に対して過剰なペナルティを課す傾向があり、ロジスティック損失関数やヒンジ損失関数よりも（サンプルの複雑さに関して）収束速度が遅くなります。^[1] さらに、いくつかの関数において高い値を生成する関数は、二乗損失関数ではパフォーマンスが低下します。これは、とが符号一致しているかどうかにかかわらず、高い値に対して大きなペナルティが課されるためです。 ${\displaystyle f({\vec {x}})}$ ${\displaystyle x\in X}$ ${\displaystyle yf({\vec {x}})}$ ${\displaystyle y}$ ${\displaystyle f({\vec {x}})}$

平方損失関数の利点は、その構造により正則化パラメータのクロスバリデーションが容易になることです。特にティホノフ正則化の場合、leave-one-outクロスバリデーションを用いて正則化パラメータを解くのにかかる時間は、単一の問題を解くのにかかる時間と同じです。^[10]

二乗損失関数の最小値は式(1)から直接求められる。 ${\displaystyle I[f]}$

${\displaystyle f_{\text{Square}}^{*}=2\eta -1=2p(1\mid x)-1.}$

物流損失

ロジスティック損失関数は、（2）と表Iを使用して次のように生成できる。

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)\,C'\left[f^{-1}(v)\right]\\&={\frac {1}{\log(2)}}\left[{\frac {-e^{v}}{1+e^{v}}}\log {\frac {e^{v}}{1+e^{v}}}-\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\log \left(1-{\frac {e^{v}}{1+e^{v}}}\right)\right]+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left[{\frac {-1}{\log(2)}}\log \left({\frac {\frac {e^{v}}{1+e^{v}}}{1-{\frac {e^{v}}{1+e^{v}}}}}\right)\right]\\&={\frac {1}{\log(2)}}\log(1+e^{-v}).\end{aligned}}}$

ロジスティック損失は凸型であり、負の値に対して線形に増加するため、外れ値に対する感度が低くなります。ロジスティック損失はLogitBoostアルゴリズムで使用されます。

ロジスティック損失関数の最小値は式(1)から直接求められる。 ${\displaystyle I[f]}$

${\displaystyle f_{\text{Logistic}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

この関数は、またはのときは定義されません（ それぞれ∞と−∞に向かう）。しかし、が増加すると大きくなり、のときは0になる滑らかな曲線を予測します。^[3] ${\displaystyle p(1\mid x)=1}$ ${\displaystyle p(1\mid x)=0}$ ${\displaystyle p(1\mid x)}$ ${\displaystyle p(1\mid x)=0.5}$

ロジスティック損失とバイナリクロスエントロピー損失（Log損失）が実際には同じであることは簡単に確認できます（乗法定数 を除く）。クロスエントロピー損失は、経験分布と予測分布間のカルバック・ライブラー距離と密接に関連しています。クロスエントロピー損失は、現代のディープニューラルネットワークにおいて広く用いられています。 ${\displaystyle {\frac {1}{\log(2)}}}$

指数関数的損失

指数損失関数は、(2)と表Iを使用して次のように生成できます。

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=2{\sqrt {\left({\frac {e^{2v}}{1+e^{2v}}}\right)\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)}}+\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)\left({\frac {1-{\frac {2e^{2v}}{1+e^{2v}}}}{\sqrt {{\frac {e^{2v}}{1+e^{2v}}}(1-{\frac {e^{2v}}{1+e^{2v}}})}}}\right)=e^{-v}}$

指数損失は凸型であり、負の値に対して指数的に増加するため、外れ値に対する感度が高くなります。指数重み付けされた0-1損失はAdaBoostアルゴリズムで使用され、暗黙的に指数損失を生み出します。

指数損失関数の最小値は式(1)から直接求められる。 ${\displaystyle I[f]}$

${\displaystyle f_{\text{Exp}}^{*}={\frac {1}{2}}\log \left({\frac {\eta }{1-\eta }}\right)={\frac {1}{2}}\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

残酷な損失

サベージ損失^[7]は、 (2)と表Iを用いて以下のように生成できる。

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=\left({\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {e^{v}}{1+e^{v}}}\right)+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {2e^{v}}{1+e^{v}}}\right)={\frac {1}{(1+e^{v})^{2}}}.}$

Savage損失は準凸損失であり、大きな負の値に対して有界であるため、外れ値に対する感度が低くなります。Savage損失は、勾配ブースティングやSavageBoostアルゴリズムで使用されています。

サベージ損失関数の最小値は式(1)から直接求められる。 ${\displaystyle I[f]}$

${\displaystyle f_{\text{Savage}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

接線損失

接線損失^[11]は、 (2)と表Iを用いて以下のように生成できる。

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)C'[f^{-1}(v)]\\&=4\left(\arctan(v)+{\frac {1}{2}}\right)\left(1-\left(\arctan(v)+{\frac {1}{2}}\right)\right)+\left(1-\left(\arctan(v)+{\frac {1}{2}}\right)\right)\left(4-8\left(\arctan(v)+{\frac {1}{2}}\right)\right)\\&=\left(2\arctan(v)-1\right)^{2}.\end{aligned}}}$

接線損失は準凸関数であり、大きな負の値に対しては有界であるため、外れ値に対する感度が低くなります。興味深いことに、接線損失は「正しく分類されすぎた」データポイントに対しても有界ペナルティを課します。これはデータセットの過剰学習を防ぐのに役立ちます。接線損失は、勾配ブースティング、TangentBoostアルゴリズム、および交互決定フォレストで使用されています。^[12]

接線損失関数の最小値は式(1)から直接求められる。 ${\displaystyle I[f]}$

${\displaystyle f_{\text{Tangent}}^{*}=\tan \left(\eta -{\frac {1}{2}}\right)=\tan \left(p\left(1\mid x\right)-{\frac {1}{2}}\right).}$

ヒンジの喪失

ヒンジ損失関数は で定義されます。ここでは正の部分関数です。 ${\displaystyle \phi (\upsilon )=\max(0,1-\upsilon )=[1-\upsilon ]_{+}}$ ${\displaystyle [a]_{+}=\max(0,a)}$

${\displaystyle V(f({\vec {x}}),y)=\max(0,1-yf({\vec {x}}))=[1-yf({\vec {x}})]_{+}.}$

ヒンジ損失は、0–1指標関数に対して比較的タイトな凸上界を与える。具体的には、および のとき、ヒンジ損失は0–1指標関数に等しい。さらに、この損失の経験的リスク最小化は、サポートベクターマシン（SVM）の古典的な定式化と同等である。サポートベクターのマージン境界の外側にある正しく分類された点はペナルティを課されないが、マージン境界内にある点、または超平面の反対側にある点は、正しい境界からの距離に比例してペナルティを課される。^[4] ${\displaystyle \operatorname {sgn} (f({\vec {x}}))=y}$ ${\displaystyle |yf({\vec {x}})|\geq 1}$

ヒンジ損失関数は凸かつ連続であるが、 では滑らかではない（微分可能ではない）。したがって、ヒンジ損失関数は、領域全体にわたる微分可能性に依存する勾配降下法や確率的勾配降下法では使用できません。ただし、ヒンジ損失は において劣勾配を持つため、劣勾配降下法を利用することができます。^{[4]ヒンジ損失関数を利用するSVMは、}二次計画法 を用いて解くこともできます。 ${\displaystyle yf({\vec {x}})=1}$ ${\displaystyle yf({\vec {x}})=1}$

ヒンジ損失関数の最小値は ${\displaystyle I[f]}$

${\displaystyle f_{\text{Hinge}}^{*}({\vec {x}})\;=\;{\begin{cases}1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$

のとき、これは0–1指示関数のそれと一致します。この結論は、期待リスクとヒンジ損失関数の符号の差に境界を設けることができるため、ヒンジ損失を非常に魅力的なものにしています。^[1]ヒンジ損失は(2)式から導出できません 。なぜなら、は逆関数ではない からです。 ${\displaystyle p(1\mid x)\neq 0.5}$ ${\displaystyle f_{\text{Hinge}}^{*}}$

一般的な滑らかなヒンジの喪失

パラメータを持つ一般化平滑ヒンジ損失関数は次のように定義される。 ${\displaystyle \alpha }$

${\displaystyle f_{\alpha }^{*}(z)\;=\;{\begin{cases}{\frac {\alpha }{\alpha +1}}-z&{\text{if }}z\leq 0\\{\frac {1}{\alpha +1}}z^{\alpha +1}-z+{\frac {\alpha }{\alpha +1}}&{\text{if }}0<z<1\\0&{\text{if }}z\geq 1\end{cases}},}$

どこ

${\displaystyle z=yf({\vec {x}}).}$

それは単調に減少し、 のときに 0 に達します。 ${\displaystyle z=1}$

参照

• 微分可能プログラミング
• スコアリング機能

参考文献

1. ロザスコ、L.;デ・ヴィート、ED;カポネット、A.ピアナ、M.ヴェリ、A. (2004)。 「損失関数はすべて同じですか?」(PDF)。ニューラル計算。16 ( 5 ) : 1063–1076。CiteSeerX 10.1.1.109.6786 。土井：10.1162/089976604773135104。PMID  15070510。S2CID 11845688  。 
2. Shen, Yi (2005), バイナリ分類とクラス確率推定の損失関数(PDF)、ペンシルバニア大学、 2014年12月6日閲覧
3. Rosasco, Lorenzo; Poggio, Tomaso (2014), 「機械学習の正規化ツアー」、MIT-9.520 講義ノート、第3巻、原稿
4. Piyush, Rai (2011年9月13日)、「サポートベクターマシン（続）、分類損失関数と正規化子（PDF）」、ユタ州 CS5350/6350: 機械学習、 2021年5月4日閲覧。
5. Ramanan, Deva (2008年2月27日)、講義14 (PDF)、UCI ICS273A: 機械学習、 2014年12月6日閲覧。{{citation}}: CS1 maint: publisher location (link)
6. バートレット, ピーター L.; ジョーダン, マイケル I.; マコーリフ, ジョン D. (2006). 「凸性、分類、およびリスク境界」.アメリカ統計学会誌. 101 (473): 138– 156. doi :10.1198/016214505000000907. ISSN  0162-1459. JSTOR  30047445. S2CID  2833811.
7. Masnadi-Shirazi, Hamed; Vasconcelos, Nuno (2008). 「分類のための損失関数の設計について：理論、外れ値に対する堅牢性、そしてSavageBoost」(PDF) .第21回国際神経情報処理システム会議議事録. NIPS'08. 米国: Curran Associates Inc.: 1049– 1056. ISBN 9781605609492。
8. Leistner, C.; Saffari, A.; Roth, PM; Bischof, H. (2009年9月). 「オンラインブースティングの堅牢性について - 競合的研究」. 2009 IEEE 第12回国際コンピュータビジョン会議ワークショップ, ICCVワークショップ. pp.  1362– 1369. doi :10.1109/ICCVW.2009.5457451. ISBN 978-1-4244-4442-7. S2CID  6032045。
9. Vasconcelos, Nuno; Masnadi-Shirazi, Hamed (2015). 「マージンロスを確率推定の正規化因子として捉える視点」. Journal of Machine Learning Research . 16 (85): 2751– 2795. ISSN  1533-7928.
10. Rifkin, Ryan M.; Lippert, Ross A. (2007年5月1日)、正規化最小二乗法に関するメモ(PDF)、MITコンピュータサイエンスおよび人工知能研究所
11. Masnadi-Shirazi, H.; Mahadevan, V.; Vasconcelos, N. (2010年6月). 「コンピュータビジョンのための堅牢な分類器の設計について」. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition . pp.  779– 786. CiteSeerX 10.1.1.172.6416 . doi :10.1109/CVPR.2010.5540136. ISBN  978-1-4244-6984-0. S2CID  632758。
12. Schulter, S.; Wohlhart, P.; Leistner, C.; Saffari, A.; Roth, PM; Bischof, H. (2013年6月). 「交互決定フォレスト」. 2013 IEEE Con​​ference on Computer Vision and Pattern Recognition . pp.  508– 515. CiteSeerX 10.1.1.301.1305 . doi :10.1109/CVPR.2013.72. ISBN  978-0-7695-4989-7. S2CID  6557162。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Loss_functions_for_classification&oldid=1321571517"