関連性ベクトルマシン

数学において、関連性ベクターマシン（RVM）は、ベイズ推論を用いて回帰分析と確率分類のための簡潔な解を得る機械学習技術である。^[1]その後、貪欲最適化手法と高速版が開発された。^[2]^[3] RVMはサポートベクターマシンと同一の機能形式を持つが、確率分類を提供する。

これは実際には共分散関数を持つガウス過程モデルと同等である。

k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})

ここで、はカーネル関数（通常はガウス関数）、は重みベクトルの事前分布の分散、はトレーニングセットの入力ベクトルである。^[4] $\varphi$ $\alpha _{j}$ $w\sim N(0,\alpha ^{-1}I)$ $\mathbf {x} _{1},\ldots ,\mathbf {x} _{N}$

サポートベクターマシン（SVM）と比較すると、RVMのベイズ定式化は、SVMの自由パラメータセット（通常はクロスバリデーションに基づく事後最適化を必要とする）を回避します。しかし、RVMは期待値最大化（EM）に似た学習手法を用いるため、局所的最小値に陥るリスクがあります。これは、 SVMで用いられる標準的な逐次最小値最適化（SMO）ベースのアルゴリズムとは異なります。SVMは（凸問題における）大域的最適解を確実に見つけます。

関連性ベクトルマシンは米国でマイクロソフトによって特許を取得しました（特許は2019年9月4日に失効しました）。^[5]

参照

カーネルトリック
プラットスケーリング：SVMを確率モデルに変換する

参考文献

^ Tipping, Michael E. (2001). 「スパースベイジアン学習と関連性ベクトルマシン」.機械学習研究ジャーナル. 1 : 211–244 .
^ Tipping, Michael; Faul, Anita ( 2003). 「スパースベイジアンモデルのための高速周辺尤度最大化」.第9回人工知能と統計に関する国際ワークショップ議事録: 276–283 . 2024年11月21日閲覧。
^ Faul, Anita; Tipping, Michael (2001). 「スパースベイジアン学習の分析」(PDF) .ニューラル情報処理システムの進歩. 2024年11月21日閲覧.
^ Candela, Joaquin Quiñonero (2004). 「スパース確率線形モデルとRVM」. 不確実性を伴う学習 - ガウス過程と関連性ベクトルマシン(PDF) (Ph.D.). デンマーク工科大学. 2016年4月22日閲覧。
^ US 6633857、Michael E. Tipping、「関連性ベクトルマシン」

[1] Tipping, Michael E. (2001). 「スパースベイジアン学習と関連性ベクトルマシン」.機械学習研究ジャーナル. 1 : 211–244 .

[2] ^ Tipping, Michael; Faul, Anita ( 2003). 「スパースベイジアンモデルのための高速周辺尤度最大化」.第9回人工知能と統計に関する国際ワークショップ議事録: 276–283 . 2024年11月21日閲覧。

[3] Faul, Anita; Tipping, Michael (2001). 「スパースベイジアン学習の分析」(PDF) .ニューラル情報処理システムの進歩. 2024年11月21日閲覧.

[4] Candela, Joaquin Quiñonero (2004). 「スパース確率線形モデルとRVM」. 不確実性を伴う学習 - ガウス過程と関連性ベクトルマシン(PDF) (Ph.D.). デンマーク工科大学. 2016年4月22日閲覧。

[5] US 6633857、Michael E. Tipping、「関連性ベクトルマシン」