ラジアル基底関数カーネル

Machine learning kernel function

機械学習において、ラジアル基底関数カーネル（RBFカーネル）は、様々なカーネル化学習アルゴリズムで用いられる一般的なカーネル関数です。特に、サポートベクターマシン分類において広く用いられています。^[1]

2つのサンプルのRBFカーネルは、入力空間の特徴ベクトルとして表現され、 ^[2]のように定義される。 ${\displaystyle \mathbf {x} ,\mathbf {x'} \in \mathbb {R} ^{k}}$

${\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp \left(-{\frac {\|\mathbf {x} -\mathbf {x'} \|^{2}}{2\sigma ^{2}}}\right)}$

${\displaystyle \textstyle \|\mathbf {x} -\mathbf {x'} \|^{2}}$は、2つの特徴ベクトル間のユークリッド距離の2乗として認識される。は自由パラメータである。同等の定義として、パラメータ が挙げられる。 ${\displaystyle \sigma }$ ${\displaystyle \textstyle \gamma ={\tfrac {1}{2\sigma ^{2}}}}$

${\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp(-\gamma \|\mathbf {x} -\mathbf {x'} \|^{2})}$

RBFカーネルの値は距離とともに減少し、ゼロ（無限距離の極限）から1（x = x'のとき）の範囲をとるため、類似度尺度として容易に解釈できる。^[2]カーネルの 特徴空間は無限次元を持つ。 の場合、多項式定理を用いた展開は次のようになる。^[3] ${\displaystyle \sigma =1}$

${\displaystyle {\begin{alignedat}{2}\exp \left(-{\frac {1}{2}}\|\mathbf {x} -\mathbf {x'} \|^{2}\right)&=\exp({\frac {2}{2}}\mathbf {x} ^{\top }\mathbf {x'} -{\frac {1}{2}}\|\mathbf {x} \|^{2}-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\[5pt]&=\exp(\mathbf {x} ^{\top }\mathbf {x'} )\exp(-{\frac {1}{2}}\|\mathbf {x} \|^{2})\exp(-{\frac {1}{2}}\|\mathbf {x'} \|^{2})\\[5pt]&=\sum _{j=0}^{\infty }{\frac {(\mathbf {x} ^{\top }\mathbf {x'} )^{j}}{j!}}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\sum _{j=0}^{\infty }\quad \sum _{n_{1}+n_{2}+\dots +n_{k}=j}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right){\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right){\frac {{x'}_{1}^{n_{1}}\cdots {x'}_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\\[5pt]&=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle \end{alignedat}}}$

${\displaystyle \varphi (\mathbf {x} )=\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\left(a_{\ell _{0}}^{(0)},a_{1}^{(1)},\dots ,a_{\ell _{1}}^{(1)},\dots ,a_{1}^{(j)},\dots ,a_{\ell _{j}}^{(j)},\dots \right)}$

どこ、 ${\displaystyle \ell _{j}={\tbinom {k+j-1}{j}}}$

${\displaystyle a_{\ell }^{(j)}={\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\quad |\quad n_{1}+n_{2}+\dots +n_{k}=j\wedge 1\leq \ell \leq \ell _{j}}$

近似値

サポートベクターマシンやカーネルトリックを採用した他のモデルは、多数のトレーニングサンプルや入力空間内の多数の特徴量にうまく対応できないため、RBFカーネル（および類似のカーネル）の近似がいくつか導入されてきた。^[4]通常、これらは関数zの形をとり、単一のベクトルを高次元のベクトルにマッピングしてカーネルを近似する。

${\displaystyle \langle z(\mathbf {x} ),z(\mathbf {x'} )\rangle \approx \langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle =K(\mathbf {x} ,\mathbf {x'} )}$

ここで、 は RBF カーネルに埋め込まれた暗黙的なマッピングです。 ${\displaystyle \textstyle \varphi }$

フーリエランダム特徴

このようなzを構築する1つの方法は、カーネルのフーリエ変換からランダムにサンプリングすることです^[5]。ここでは正規分布からの独立したサンプルです。 $${\displaystyle \varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\ldots ,\cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}}$$ ${\displaystyle w_{1},...,w_{D}}$ ${\displaystyle N(0,\sigma ^{-2}I)}$

定理： ${\displaystyle \operatorname {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{\|x-y\|^{2}/(2\sigma ^{2})}.}$

証明：の場合を証明すれば十分である。三角関数の恒等式とガウス分布の球対称性を用いて、積分を評価する。 ${\displaystyle D=1}$ ${\displaystyle \cos(a-b)=\cos(a)\cos(b)+\sin(a)\sin(b)}$

${\displaystyle \int _{-\infty }^{\infty }{\frac {\cos(kx)e^{-x^{2}/2}}{\sqrt {2\pi }}}dx=e^{-k^{2}/2}.}$

定理: . (付録A.2 ^[6] ). ${\displaystyle \operatorname {Var} [\langle \varphi (x),\varphi (y)\rangle ]=O(D^{-1})}$

ニストロム法

別のアプローチでは、ニストローム法を使用して、トレーニングセットのランダムサンプルのみを使用して、グラム行列Kの固有分解を近似します。 ^[7]

参照

• ガウス関数
• カーネル（統計）
• 多項式カーネル
• ラジアル基底関数
• ラジアル基底関数ネットワーク
• Obstカーネルネットワーク

参考文献

1. Chang, Yin-Wen; Hsieh, Cho-Jui; Chang, Kai-Wei; Ringgaard, Michael; Lin, Chih-Jen (2010). 「線形SVMによる低次多項式データマッピングのトレーニングとテスト」. Journal of Machine Learning Research . 11 : 1471–1490 .
2. ジャン＝フィリップ・ヴェール、津田幸治、ベルンハルト・シェルコップ (2004)。 「カーネルメソッドの入門書」。計算生物学におけるカーネルメソッド。
3. Shashua, Amnon (2009). 「機械学習入門：授業ノート67577」. arXiv : 0904.3664v1 [cs.LG].
4. Andreas Müller (2012). 効率的なSVM（およびその他の特徴抽出手法）のためのカーネル近似.
5. Rahimi, Ali; Recht, Benjamin (2007). 「大規模カーネルマシンのためのランダム特徴」.ニューラル情報処理システムの進歩. 20. Curran Associates, Inc.
6. 彭、ハオ;パパス、ニコラオス。ヨガタマ、ダニ。シュワルツ、ロイ。スミス、ノア A.コン、リンペン（2021-03-19）。 「ランダム機能アテンション」。arXiv : 2103.02143 [cs.CL]。
7. CKI Williams; M. Seeger (2001). 「Nyström法を用いたカーネルマシンの高速化」. Advances in Neural Information Processing Systems . 13 .

Retrieved from "https://en.wikipedia.org/w/index.php?title=Radial_basis_function_kernel&oldid=1304842681"