アダブースト

Adaptive boosting based classification algorithm

AdaBoost （アダブースト、 Ada ptive Boostingの略）は、1995年にヨアヴ・フロイントとロバート・シャピレによって考案された統計分類 メタアルゴリズムであり、2人はその功績により2003年のゲーデル賞を受賞しました。AdaBoostは、様々な学習アルゴリズムと組み合わせて用いることで、パフォーマンスを向上させることができます。複数の弱学習器の出力を重み付け和として統合し、ブースティングされた分類器の最終出力を生成します。通常、AdaBoostは2値分類に用いられますが、複数のクラスや実数値の境界付き区間にも一般化できます。^{[1] [2]}

AdaBoostは、後続の弱学習器（モデル）が、以前のモデルによって誤分類された事例を優先するように調整されるという意味で適応的です。問題によっては、他の学習アルゴリズムよりも過学習の影響を受けにくい場合があります。個々の学習器は弱くても、それぞれのパフォーマンスがランダムな推測よりもわずかに優れている限り、最終的なモデルは強い学習器に収束することが証明できます。

AdaBoostは通常、弱ベース学習器（決定木など）を組み合わせるために使用されますが、強ベース学習器（より深い決定木など）も効果的に組み合わせて、より正確なモデルを生成することが示されています。^[3]

すべての学習アルゴリズムは、ある種類の問題には他の種類よりも適している傾向があり、通常、データセットで最適なパフォーマンスを達成する前に調整すべき多くの異なるパラメータと構成があります。AdaBoost（弱学習者として決定木を使用）は、すぐに使用できる最高の分類器と呼ばれることがよくあります。^{[4] [5]}決定木学習で使用する場合、AdaBoostアルゴリズムの各段階で収集された各トレーニングサンプルの相対的な「難しさ」に関する情報がツリー成長アルゴリズムに取り込まれ、後のツリーでは分類が難しい例に重点が置かれるようになります。

トレーニング

AdaBoostは、ブースティング分類器を学習させる特定の手法を指します。ブースティング分類器 とは、各分類器がオブジェクトを入力として受け取り、そのオブジェクトのクラスを示す値を返す弱学習器である、という形式の分類器です。例えば、2クラス問題では、弱学習器の出力の符号が予測されるオブジェクトクラスを識別し、絶対値がその分類の信頼度を示します。 $${\displaystyle F_{T}(x)=\sum _{t=1}^{T}f_{t}(x)}$$ ${\displaystyle f_{t}}$ ${\displaystyle x}$

各弱学習器は、訓練セットの各サンプルに対する予測を固定する出力仮説を生成する。各反復において、弱学習器が選択され、結果として得られる 段ブースティング分類器の総訓練誤差が最小化されるように係数が割り当てられる。 ${\displaystyle h}$ ${\displaystyle h(x_{i})}$ ${\displaystyle t}$ ${\displaystyle \alpha _{t}}$ ${\displaystyle E_{t}}$ ${\displaystyle t}$

$${\displaystyle E_{t}=\sum _{i}E[F_{t-1}(x_{i})+\alpha _{t}h(x_{i})]}$$

これは、前のトレーニング段階までに構築されたブースト分類器であり、最終的な分類器に追加することが検討されている弱学習器です。 ${\displaystyle F_{t-1}(x)}$ ${\displaystyle f_{t}(x)=\alpha _{t}h(x)}$

重み付け

学習プロセスの各反復において、学習セット内の各サンプルに、そのサンプルの現在の誤差に等しい重みが割り当てられます。これらの重みは、弱学習器の学習に使用できます。例えば、大きな重みを持つサンプルセットを分割することを優先する決定木を成長させることができます。 ${\displaystyle w_{i,t}}$ ${\displaystyle E(F_{t-1}(x_{i}))}$

導出

この導出はロハス（2009）に従っている：^[6]

各アイテムにクラス が関連付けられているデータセットと、各アイテムの分類結果を出力する弱分類器の集合があるとします。回の反復処理の後、ブースト分類器は、以下の形式の弱分類器の線形結合になります。ここで、クラス は の符号です。 回の反復処理では、別の重み を持つ別の弱分類器 を追加することで、これをより優れたブースト分類器に拡張します。 ${\displaystyle \{(x_{1},y_{1}),\ldots ,(x_{N},y_{N})\}}$ ${\displaystyle x_{i}}$ ${\displaystyle y_{i}\in \{-1,1\}}$ ${\displaystyle \{k_{1},\ldots ,k_{L}\}}$ ${\displaystyle k_{j}(x_{i})\in \{-1,1\}}$ ${\displaystyle (m-1)}$ $${\displaystyle C_{(m-1)}(x_{i})=\alpha _{1}k_{1}(x_{i})+\cdots +\alpha _{m-1}k_{m-1}(x_{i}),}$$ ${\displaystyle C_{(m-1)}(x_{i})}$ ${\displaystyle m}$ ${\displaystyle k_{m}}$ ${\displaystyle \alpha _{m}}$ $${\displaystyle C_{m}(x_{i})=C_{(m-1)}(x_{i})+\alpha _{m}k_{m}(x_{i})}$$

したがって、 に対してどの弱分類器が最適か、そしてその重みはどの程度にすべきかを決定することが残されている。の総誤差を、各データ点における指数損失の合計として定義し、以下のように表す。 ${\displaystyle k_{m}}$ ${\displaystyle \alpha _{m}}$ ${\displaystyle E}$ ${\displaystyle C_{m}}$ $${\displaystyle E=\sum _{i=1}^{N}e^{-y_{i}C_{m}(x_{i})}=\sum _{i=1}^{N}e^{-y_{i}C_{(m-1)}(x_{i})}e^{-y_{i}\alpha _{m}k_{m}(x_{i})}}$$

および を とすると、次の式が得られます。 ${\displaystyle w_{i}^{(1)}=1}$ ${\displaystyle w_{i}^{(m)}=e^{-y_{i}C_{m-1}(x_{i})}}$ ${\displaystyle m>1}$ $${\displaystyle E=\sum _{i=1}^{N}w_{i}^{(m)}e^{-y_{i}\alpha _{m}k_{m}(x_{i})}}$$

この合計を、 によって正しく分類されたデータ ポイント(つまり) と誤分類されたデータ ポイント (つまり ) に分割できます。 ${\displaystyle k_{m}}$ ${\displaystyle y_{i}k_{m}(x_{i})=1}$ ${\displaystyle y_{i}k_{m}(x_{i})=-1}$ $${\displaystyle {\begin{aligned}E&=\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{(m)}e^{-\alpha _{m}}+\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}e^{\alpha _{m}}\\&=\sum _{i=1}^{N}w_{i}^{(m)}e^{-\alpha _{m}}+\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}\left(e^{\alpha _{m}}-e^{-\alpha _{m}}\right)\end{aligned}}}$$

この式の右辺で に依存する部分は のみであるため、を最小化する は、セット内で を最小化するものであることがわかります( と仮定)。つまり、重み付け誤差が最も低い弱分類器 (重み) です。 ${\displaystyle k_{m}}$ ${\textstyle \sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}$ ${\displaystyle k_{m}}$ ${\displaystyle E}$ ${\displaystyle \{k_{1},\ldots ,k_{L}\}}$ ${\textstyle \sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}$ ${\displaystyle \alpha _{m}>0}$ ${\displaystyle w_{i}^{(m)}=e^{-y_{i}C_{m-1}(x_{i})}}$

先ほど決定した を最小化する望ましい重量を決定するには、次のように微分します。 ${\displaystyle \alpha _{m}}$ ${\displaystyle E}$ ${\displaystyle k_{m}}$ $${\displaystyle {\frac {dE}{d\alpha _{m}}}={\frac {d(\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{(m)}e^{-\alpha _{m}}+\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}e^{\alpha _{m}})}{d\alpha _{m}}}}$$

幸いなことに、これをゼロに設定して解くと最小値が発生し、次のようになります。 ${\displaystyle \alpha _{m}}$ $${\displaystyle \alpha _{m}={\frac {1}{2}}\ln \left({\frac {\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{(m)}}{\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}}\right)}$$

証拠

$${\displaystyle {\frac {dE}{d\alpha _{m}}}=-\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{(m)}e^{-\alpha _{m}}+\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}e^{\alpha _{m}}=0}$$依存しないので ${\displaystyle e^{-\alpha _{m}}}$ ${\displaystyle i}$ $${\displaystyle e^{-\alpha _{m}}\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{(m)}=e^{\alpha _{m}}\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}$$ $${\displaystyle -\alpha _{m}+\ln \left(\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{(m)}\right)=\alpha _{m}+\ln \left(\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}\right)}$$ $${\displaystyle -2\alpha _{m}=\ln \left({\dfrac {\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}{\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{(m)}}}\right)}$$ $${\displaystyle \alpha _{m}=-{\dfrac {1}{2}}\ln \left({\dfrac {\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}{\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{(m)}}}\right)}$$ $${\displaystyle \alpha _{m}={\dfrac {1}{2}}\ln \left({\dfrac {\sum _{y_{i}=k_{m}(x_{i})}w_{i}^{(m)}}{\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}}\right)}$$

弱分類器の重み付きエラー率を計算すると となり、 これは負のロジット関数に0.5を掛けた値です。の関数としての の凸性により、 に対するこの新しい式は損失関数の大域的最小値を与えます。 ${\displaystyle \epsilon _{m}={\frac {\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}{\sum _{i=1}^{N}w_{i}^{(m)}}}}$ $${\displaystyle \alpha _{m}={\frac {1}{2}}\ln \left({\frac {1-\epsilon _{m}}{\epsilon _{m}}}\right)}$$ ${\displaystyle E}$ ${\displaystyle \alpha _{m}}$ ${\displaystyle \alpha _{m}}$

注: この導出は の場合にのみ適用されますが、弱学習器に偏りがある場合 ( )、複数の葉がある場合 ( )、または他の関数 の場合など、他の場合にも適切な初期推測値になります。 ${\displaystyle k_{m}(x_{i})\in \{-1,1\}}$ ${\displaystyle k_{m}(x)\in \{a,b\},a\neq -b}$ ${\displaystyle k_{m}(x)\in \{a,b,\dots ,n\}}$ ${\displaystyle k_{m}(x)\in \mathbb {R} }$

このようにして、AdaBoost アルゴリズムを導出しました。各反復で、合計重み付けエラー を最小化する分類器 を選択し、これを使用してエラー率 を計算し、これを使用して重み を計算し、最後にこれを使用してブーストされた分類器をに改善します。 ${\displaystyle k_{m}}$ ${\textstyle \sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}$ ${\displaystyle \epsilon _{m}={\frac {\sum _{y_{i}\neq k_{m}(x_{i})}w_{i}^{(m)}}{\sum _{i=1}^{N}w_{i}^{(m)}}}}$ ${\displaystyle \alpha _{m}={\frac {1}{2}}\ln \left({\frac {1-\epsilon _{m}}{\epsilon _{m}}}\right)}$ ${\displaystyle C_{m-1}}$ ${\displaystyle C_{m}=C_{(m-1)}+\alpha _{m}k_{m}}$

ブースティングの統計的理解

ブースティングは線形回帰の一種で、各サンプルの特徴は、ある弱い学習器を適用した出力です。 ${\displaystyle x_{i}}$ ${\displaystyle h}$ ${\displaystyle x_{i}}$

回帰は、一般性を損なうことなく可能な限り正確に近似しようと試み、通常は最小二乗誤差を使用します。一方、AdaBoostの誤差関数は最終結果の符号のみを使用するため、誤差を増加させることなく1よりはるかに大きな値にすることができます。しかし、サンプルの誤差が指数関数的に増加するため、外れ値に過剰な重みが割り当てられることになります。 ${\displaystyle F(x)}$ ${\displaystyle y(x)}$ ${\displaystyle E(f)=(y(x)-f(x))^{2}}$ ${\displaystyle E(f)=e^{-y(x)f(x)}}$ ${\displaystyle |F(x)|}$ ${\displaystyle x_{i}}$ ${\displaystyle -y(x_{i})f(x_{i})}$

指数誤差関数を選択することの特徴の1つは、最終的な加法モデルの誤差が各ステージの誤差の積、つまり となることです。したがって、AdaBoostアルゴリズムにおける重みの更新は、各ステージの後に の誤差を再計算することと同等であることがわかります。 ${\displaystyle e^{\sum _{i}-y_{i}f(x_{i})}=\prod _{i}e^{-y_{i}f(x_{i})}}$ ${\displaystyle F_{t}(x)}$

損失関数の選択には多くの柔軟性が認められる。損失関数が単調かつ連続微分可能である限り、分類器は常により純粋な解へと向かう。^[7] Zhang (2004)は、最小二乗法に基づく損失関数、すなわち修正Huber損失関数を提供している。 $${\displaystyle \phi (y,f(x))={\begin{cases}-4yf(x)&{\text{if }}yf(x)<-1,\\(yf(x)-1)^{2}&{\text{if }}-1\leq yf(x)\leq 1.\\0&{\text{if }}yf(x)>1\end{cases}}}$$

この関数は、1 または -1 に近い値に対して LogitBoost よりも適切に動作し、修正されていない最小二乗法とは異なり、「自信過剰な」予測 ( ) をペナルティの対象にせず、2 次または指数関数的ではなく線形的に、信頼度が 1 を超える誤分類サンプルのみをペナルティの対象とするため、外れ値の影響を受けにくくなります。 ${\displaystyle f(x)}$ ${\displaystyle yf(x)>1}$

勾配降下法としてのブースティング

ブースティングは、凸関数の集合に対する凸損失関数の最小化と見ることができる。^[8]具体的には、AdaBoostによって最小化される損失は指数損失であるのに対し、LogitBoostはロジスティック回帰を実行し、 $${\displaystyle \sum _{i}\phi (i,y,f)=\sum _{i}e^{-y_{i}f(x_{i})},}$$ $${\displaystyle \sum _{i}\phi (i,y,f)=\sum _{i}\ln \left(1+e^{-y_{i}f(x_{i})}\right).}$$

勾配降下法のアナロジーでは、各トレーニングポイントにおける分類器の出力はn次元空間内の点とみなされ、各軸はトレーニングサンプルに対応し、各弱学習器は固定の方向と長さのベクトルに対応します。そして、目標は最小ステップでターゲットポイント（または損失関数の値がそのポイントの値よりも小さい領域）に到達することです。したがって、AdaBoostアルゴリズムは、トレーニングエラーの最適化として、コーシー最適化（最も急な勾配を持つポイントを見つけ、テストエラーを最小化するように選択する）またはニュートン最適化（ターゲットポイントを選択し、そのポイントに最も近いポイントを見つける）のいずれかを実行します。 ${\displaystyle \left(F_{t}(x_{1}),\dots ,F_{t}(x_{n})\right)}$ ${\displaystyle h(x)}$ ${\displaystyle (y_{1},\dots ,y_{n})}$ ${\displaystyle E_{T}(x_{1},\dots ,x_{n})}$ ${\displaystyle h(x)}$ ${\displaystyle \alpha }$ ${\displaystyle \alpha h(x)}$ ${\displaystyle F_{t}}$

アルゴリズムの例（離散AdaBoost）

と：

• サンプル ${\displaystyle x_{1}\dots x_{n}}$
• 望ましい出力 ${\displaystyle y_{1}\dots y_{n},y\in \{-1,1\}}$
• 初期重みは ${\displaystyle w_{1,1}\dots w_{n,1}}$ ${\displaystyle {\frac {1}{n}}}$
• 誤差関数 ${\displaystyle E(f(x),y_{i})=e^{-y_{i}f(x_{i})}}$
• 弱い学習者 ${\displaystyle h\colon x\rightarrow \{-1,1\}}$

の場合： ${\displaystyle t}$ ${\displaystyle 1\dots T}$

• 選ぶ： ${\displaystyle h_{t}(x)}$
  • 誤分類された点の重み付き合計誤差を最小化する弱学習器を見つける ${\displaystyle h_{t}(x)}$ ${\displaystyle \epsilon _{t}}$ ${\displaystyle \epsilon _{t}=\sum _{\stackrel {i=1}{h_{t}(x_{i})\neq y_{i}}}^{n}w_{i,t}}$
  • 選ぶ ${\displaystyle \alpha _{t}={\frac {1}{2}}\ln \left({\frac {1-\epsilon _{t}}{\epsilon _{t}}}\right)}$
• アンサンブルに追加:
  • ${\displaystyle F_{t}(x)=F_{t-1}(x)+\alpha _{t}h_{t}(x)}$
• 重みを更新:
  • ${\displaystyle w_{i,t+1}=w_{i,t}e^{-y_{i}\alpha _{t}h_{t}(x_{i})}}$のために ${\displaystyle i}$ ${\displaystyle 1\dots n}$
  • 次のように正規化する ${\displaystyle w_{i,t+1}}$ ${\displaystyle \sum _{i}w_{i,t+1}=1}$
  • (注: すべてのステップで が示されるため、新しい重みの計算が簡素化されます。) ${\displaystyle {\frac {\sum _{h_{t}(x_{i})=y_{i}}w_{i,t+1}}{\sum _{h_{t}(x_{i})\neq y_{i}}w_{i,t+1}}}={\frac {\sum _{h_{t}(x_{i})=y_{i}}w_{i,t}}{\sum _{h_{t}(x_{i})\neq y_{i}}w_{i,t}}}}$

変種

リアルアダブースト

決定木の出力はクラス確率推定値であり、これは正のクラスに含まれる確率である。 ^[7] Friedman、Hastie、Tibshiraniは、ある固定値（通常は重み付き最小二乗誤差を使用して選択される）に対する解析的最小化子を導出する。 ${\displaystyle p(x)=P(y=1|x)}$ ${\displaystyle x}$ ${\displaystyle e^{-y\left(F_{t-1}(x)+f_{t}(p(x))\right)}}$ ${\displaystyle p(x)}$

${\displaystyle f_{t}(x)={\frac {1}{2}}\ln \left({\frac {x}{1-x}}\right)}$。

したがって、ツリー全体の出力を何らかの固定値で乗算するのではなく、各リーフ ノードは、前の値のロジット変換の半分を出力するように変更されます。

ロジットブースト

LogitBoostは、確立されたロジスティック回帰手法をAdaBoost法に適用したものです。yに関する誤差を最小化するのではなく、yに関する（重み付き最小二乗）誤差を最小化するように弱学習器が選択されます。ここで ${\displaystyle f_{t}(x)}$ $${\displaystyle z_{t}={\frac {y^{*}-p_{t}(x)}{2p_{t}(x)(1-p_{t}(x))}},}$$ $${\displaystyle p_{t}(x)={\frac {e^{F_{t-1}(x)}}{e^{F_{t-1}(x)}+e^{-F_{t-1}(x)}}},}$$ $${\displaystyle w_{t}=p_{t}(x)(1-p_{t}(x))}$$ $${\displaystyle y^{*}={\frac {y+1}{2}}.}$$

つまり、ステージ での対数尤度誤差の最小化のニュートン・ラプソン近似であり、弱学習器は重み付き最小二乗法によって最もよく近似する学習器として選択されます。 ${\displaystyle z_{t}}$ ${\displaystyle t}$ ${\displaystyle f_{t}}$ ${\displaystyle z_{t}}$

pが1または0に近づくと、の値は非常に小さくなり、誤分類サンプルでは大きくなるz項は、機械精度の丸め誤差により数値的に不安定になる可能性があります。これは、 zの絶対値とwの最小値 に何らかの制限を課すことで克服できます。 ${\displaystyle p_{t}(x_{i})(1-p_{t}(x_{i}))}$

ジェントルアダブースト

従来のブースティングアルゴリズムは貪欲に選択を行い、各ステップで全体的なテスト誤差を可能な限り最小化しますが、GentleBoostはステップサイズが制限されています。 は を最小化するように選択され、それ以上の係数は適用されません。したがって、弱学習器が完全な分類性能を示す場合、GentleBoostはと正確に等しいを選択し、最急降下法アルゴリズムは を設定しようとします。GentleBoostの優れた性能に関する経験的観察は、 の値が過度に大きくなると汎化性能が低下する可能性があるというSchapireとSingerの指摘を裏付けているようです。 ^{[9] [10]} ${\displaystyle f_{t}}$ ${\displaystyle f_{t}}$ ${\textstyle \sum _{i}w_{t,i}(y_{i}-f_{t}(x_{i}))^{2}}$ ${\displaystyle f_{t}(x)=\alpha _{t}h_{t}(x)}$ ${\displaystyle y}$ ${\displaystyle \alpha _{t}=\infty }$ ${\displaystyle \alpha }$

早期終了

ブースト分類器の処理を高速化する手法である早期終了とは、各潜在的オブジェクトを、ある信頼度閾値を満たすのに必要な数の最終分類器の層でのみテストすることを指します。これにより、オブジェクトのクラスが容易に判別できる場合の計算が高速化されます。このような手法の一つとして、ViolaとJonesによって導入されたオブジェクト検出フレームワークがあります。^[11]陽性サンプルよりも陰性サンプルがはるかに多いアプリケーションにおいて、個別のブースト分類器のカスケードがトレーニングされます。各ステージの出力は、陽性サンプルの許容範囲内でごくわずかな割合が陰性として誤ってラベル付けされるようにバイアスされ、各ステージ後に陰性としてマークされたサンプルはすべて破棄されます。各ステージで陰性サンプルの50%が除去されれば、分類器全体を通過するオブジェクトはごく少数になり、計算量が削減されます。この手法はその後一般化され、各ステージで最適な閾値を選択して、望ましい偽陽性率と偽陰性率を達成するための式が提供されています。^[12]

統計分野では、AdaBoostは中程度の次元の問題によく適用され、早期停止は過剰適合を減らす戦略として使用されます。^[13]検証サンプルセットをトレーニングセットから分離し、トレーニングに使用したサンプルに対する分類器のパフォーマンスを検証サンプルのパフォーマンスと比較し、トレーニングセットのパフォーマンスが向上続けているにもかかわらず検証サンプルのパフォーマンスが低下した場合はトレーニングを終了します。

完全に修正的なアルゴリズム

AdaBoostの最急降下法では、各層tにおいてテストエラーを最小化するように が選択されるが、次に追加される層は層tから最大限独立していると言われる。^{[14]学習器}tに類似した弱学習器t+1が選択される可能性は低い。しかし、 t+1 が以前の他の層と同様の情報を生成する可能性は残る。LPBoost などの完全補正アルゴリズムは、各ステップの後にすべての係数の値を最適化し、追加される新しい層が常に以前のすべての層から最大限独立になるようにする。これは、バックフィッティング、線形計画法、またはその他の方法によって実現できる。 ${\displaystyle \alpha _{t}}$

剪定

プルーニングとは、ブーストされた分類器のメモリと実行時間のコストを改善するために、パフォーマンスの低い弱分類器を削除するプロセスです。最も単純な手法は、重みトリミングまたはマージントリミングです。これは、ある弱分類器の係数、つまり総テストエラーへの寄与が特定の閾値を下回った場合、その分類器を削除します。Margineantu & Dietterich ^[15]は、トリミングの代替基準を提案しました。弱分類器は、アンサンブルの多様性が最大化されるように選択されるべきです。2つの弱学習器が非常に類似した出力を生成する場合、一方を削除し、残りの弱学習器の係数を増加させることで効率を向上させることができます。^[16]

参照

• ブートストラップ集約
• 共同ブースティング
• ブラウンブースト
• 勾配ブースティング
• 乗法重み更新法 § AdaBoostアルゴリズム

参考文献

1. Freund, Yoav; Schapire, Robert E. (1995),オンライン学習の決定論的一般化とブースティングへの応用, Lecture Notes in Computer Science, ベルリン, ハイデルベルク: Springer Berlin Heidelberg, pp.  23– 37, doi :10.1007/3-540-59119-2_166, ISBN 978-3-540-59119-1、 2022年6月24日取得
2. Hastie, Trevor; Rosset, Saharon; Zhu, Ji; Zou, Hui (2009). 「多クラスAdaBoost」.統計とそのインターフェース. 2 (3): 349– 360. doi : 10.4310/sii.2009.v2.n3.a8 . ISSN  1938-7989.
3. Wyner, Abraham J.; Olson, Matthew; Bleich, Justin; Mease, David (2017). 「補間分類器としてのAdaBoostとランダムフォレストの成功の説明」. Journal of Machine Learning Research . 18 (48): 1– 33. 2022年3月17日閲覧。
4. ケーグル、バラズ (2013 年 12 月 20 日)。 「AdaBoost.MH の復活: マルチクラス ハミング ツリー」。arXiv : 1312.6086 [cs.LG]。
5. Joglekar, Sachin (2016年3月6日). 「adaboost – Sachin Joglekarのブログ」codesachin.wordpress.com . 2016年8月3日閲覧。
6. Rojas, Raúl (2009). 「AdaBoostと分類器のスーパーボウル：適応ブースティング入門チュートリアル」（Tech. Rep.）ベルリン自由大学。
7. Friedman, Jerome; Hastie, Trevor; Tibshirani, Robert (1998). 「加法ロジスティック回帰：ブースティングの統計的観点」Annals of Statistics . 28 : 2000. CiteSeerX 10.1.1.51.9525 . 
8. Zhang, T. (2004). 「凸型リスク最小化に基づく分類手法の統計的挙動と一貫性」Annals of Statistics . 32 (1): 56– 85. doi : 10.1214/aos/1079120130 . JSTOR  3448494.
9. Schapire, Robert; Singer, Yoram (1999). 「信頼度評価予測を用いたブースティングアルゴリズムの改良」: 80–91 . CiteSeerX 10.1.1.33.4002 .  {{cite journal}}:ジャーナルを引用するには|journal=（ヘルプ）が必要です
10. Freund; Schapire (1999). 「ブースティング入門」(PDF) :
11. Viola, Paul; Jones, Robert (2001). 「ブーストされた単純な特徴のカスケードを用いた高速物体検出」CiteSeerX 10.1.1.10.6807 .  {{cite journal}}:ジャーナルを引用するには|journal=（ヘルプ）が必要です
12. McCane, Brendan; Novins, Kevin; Albert, Michael (2005). 「カスケード分類器の最適化」 {{cite journal}}:ジャーナルを引用するには|journal=（ヘルプ）が必要です
13. トレバー・ハスティー、ロバート・ティブシラニ、ジェローム・フリードマン (2009). 『統計学習の要素：データマイニング、推論、予測』（第2版）. ニューヨーク: シュプリンガー. ISBN 978-0-387-84858-7. 2015年3月13日時点のオリジナルよりアーカイブ。2014年3月13日閲覧。
14. Šochman, Jan; Matas, Jiří (2004).高速顔検出のための完全修正更新機能を備えたAdaboost . IEEE Computer Society. ISBN 978-0-7695-2122-0。
15. Margineantu, Dragos; Dietterich, Thomas (1997). 「Pruning Adaptive Boosting」. CiteSeerX 10.1.1.38.7017 .  {{cite journal}}:ジャーナルを引用するには|journal=（ヘルプ）が必要です
16. タモン・クリスティーノ、シアン・ジエ（2000年）。「ブースティング・プルーニング問題について」 {{cite journal}}:ジャーナルを引用するには|journal=（ヘルプ）が必要です

さらに読む

• Freund, Yoav; Schapire, Robert E (1997). 「オンライン学習の意思決定理論的一般化とブースティングへの応用」Journal of Computer and System Sciences . 55 : 119– 139. CiteSeerX  10.1.1.32.8918 . doi :10.1006/jcss.1997.1504:AdaBoost が初めて紹介された Yoav Freund と Robert E.Schapire のオリジナル論文。
• 周志華 (2008). 「ブースティングアルゴリズムのマージン説明について」(PDF) .第21回学習理論年次会議 (COLT'08) 論文集: 479–490 .ブースティングアルゴリズムのマージンの説明について。
• 周志華 (2013). 「ブースティングのマージン説明に関する疑問について」(PDF) .人工知能. 203 (2013): 1– 18. arXiv : 1009.3613 . Bibcode :2010arXiv1009.3613G. doi :10.1016/j.artint.2013.07.002. S2CID  2828847.ブースティングのマージン説明についての疑問について。

Retrieved from "https://en.wikipedia.org/w/index.php?title=AdaBoost&oldid=1315803923"