Generalization of a positive-definite matrix
数学の一分野である作用素論 において 、 正定値核は 正定値関数 または 正定値行列 の一般化である。これは 20世紀初頭、 ジェームズ・マーサーによって 積分作用素方程式を 解く文脈で初めて導入された 。それ以来、正定値関数とその様々な類似物や一般化は、数学の様々な分野で出現してきた。それらは、 フーリエ解析 、 確率論 、 作用素論 、 複素関数論 、 モーメント問題 、 積分方程式 、 偏微分方程式 の 境界値問題 、 機械学習 、 埋め込み問題 、 情報理論 、その他の分野で自然に出現する。
意味 を空でない集合とし、インデックス集合とも呼ばれる 。 対称 関数 は 、次の式を満たすとき、正定値（pd）核と呼ばれる 。 X {\displaystyle {\mathcal {X}}} K : X × X → R {\displaystyle K:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} } X {\displaystyle {\mathcal {X}}}
∑ i = 1 n ∑ j = 1 n c i c j K ( x i , x j ) ≥ 0 {\displaystyle \sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})\geq 0} 1.1
すべての に当てはまり ます 。 x 1 , … , x n ∈ X {\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}} n ∈ N , c 1 , … , c n ∈ R {\displaystyle n\in \mathbb {N} ,c_{1},\dots ,c_{n}\in \mathbb {R} }
確率論では、(1.1)の等式から が成り立つ正定値カーネル と、この条件を課さない半正定値（psd）カーネルを区別することがあります。これは、ペアワイズ評価によって構成されるすべての有限行列 が 、完全に正（pd）または非負（psd）の 固有値 を 持つという要件と同等であることに留意してください。 c i = 0 ( ∀ i ) {\displaystyle c_{i}=0\;(\forall i)} K i j = K ( x i , x j ) {\displaystyle \mathbf {K} _{ij}=K(x_{i},x_{j})}
数学の文献では、核は通常、複素数値関数である。つまり、複素数値関数は、 任意の有限点集合 と任意の複素数に対して、 が成り立つとき、かつ正定値で あるとき、 エルミート核 と呼ばれる 。 K : X × X → C {\displaystyle K:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {C} } K ( x , y ) = K ( y , x ) ¯ {\displaystyle K(x,y)={\overline {K(y,x)}}} x 1 , … , x n ∈ X {\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}} ξ 1 , … , ξ n ∈ C {\displaystyle \xi _{1},\dots ,\xi _{n}\in \mathbb {C} }
∑ i = 1 n ∑ j = 1 n ξ i ξ ¯ j K ( x i , x j ) ≥ 0 {\displaystyle \sum _{i=1}^{n}\sum _{j=1}^{n}\xi _{i}{\overline {\xi }}_{j}K(x_{i},x_{j})\geq 0} ここで は 複素共役 を表す 。 [1] 本稿では以降、PDカーネルの応用では一般的に用いられる実数値関数を仮定する。 ξ ¯ j {\displaystyle {\overline {\xi }}_{j}}
いくつかの一般的な特性 pdカーネルファミリーの場合 ( K i ) i ∈ N , K i : X × X → R {\displaystyle (K_{i})_{i\in \mathbb {N} },\ \ K_{i}:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} } 円錐和 はpdであり、 ∑ i = 1 n λ i K i {\displaystyle \sum _{i=1}^{n}\lambda _{i}K_{i}} λ 1 , … , λ n ≥ 0 {\displaystyle \lambda _{1},\dots ,\lambda _{n}\geq 0} 積 はpdであり、 K 1 a 1 … K n a n {\displaystyle K_{1}^{a_{1}}\dots K_{n}^{a_{n}}} a 1 , … , a n ∈ N {\displaystyle a_{1},\dots ,a_{n}\in \mathbb {N} } 制限が存在する場合、制限 は pd です。 K = lim n → ∞ K n {\displaystyle K=\lim _{n\to \infty }K_{n}} がセットのシーケンスであり、が pd カーネルのシーケンスである 場合、 と は両方 とも 上の pd カーネルです 。 ( X i ) i = 1 n {\displaystyle ({\mathcal {X}}_{i})_{i=1}^{n}} ( K i ) i = 1 n , K i : X i × X i → R {\displaystyle (K_{i})_{i=1}^{n},\ \ K_{i}:{\mathcal {X}}_{i}\times {\mathcal {X}}_{i}\to \mathbb {R} } K ( ( x 1 , … , x n ) , ( y 1 , … , y n ) ) = ∏ i = 1 n K i ( x i , y i ) {\displaystyle K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\prod _{i=1}^{n}K_{i}(x_{i},y_{i})} K ( ( x 1 , … , x n ) , ( y 1 , … , y n ) ) = ∑ i = 1 n K i ( x i , y i ) {\displaystyle K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\sum _{i=1}^{n}K_{i}(x_{i},y_{i})} X = X 1 × ⋯ × X n {\displaystyle {\mathcal {X}}={\mathcal {X}}_{1}\times \dots \times {\mathcal {X}}_{n}} とします。すると、 から へ の 制約 も pd カーネルになります。 X 0 ⊂ X {\displaystyle {\mathcal {X}}_{0}\subset {\mathcal {X}}} K 0 {\displaystyle K_{0}} K {\displaystyle K} X 0 × X 0 {\displaystyle {\mathcal {X}}_{0}\times {\mathcal {X}}_{0}}
pdカーネルの例 ユークリッド空間上で定義される pd カーネルの一般的な例は 次のとおりです。 R d {\displaystyle \mathbb {R} ^{d}} 線形カーネル: . K ( x , y ) = x T y , x , y ∈ R d {\displaystyle K(\mathbf {x} ,\mathbf {y} )=\mathbf {x} ^{T}\mathbf {y} ,\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d}} 多項式カーネル : . K ( x , y ) = ( x T y + r ) n , x , y ∈ R d , r ≥ 0 , n ≥ 1 {\displaystyle K(\mathbf {x} ,\mathbf {y} )=(\mathbf {x} ^{T}\mathbf {y} +r)^{n},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},r\geq 0,n\geq 1} ガウスカーネル （ RBFカーネル ） ：。 K ( x , y ) = e − ‖ x − y ‖ 2 2 σ 2 , x , y ∈ R d , σ > 0 {\displaystyle K(\mathbf {x} ,\mathbf {y} )=e^{-{\frac {\|\mathbf {x} -\mathbf {y} \|^{2}}{2\sigma ^{2}}}},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\sigma >0} ラプラシアンカーネル: . K ( x , y ) = e − α ‖ x − y ‖ , x , y ∈ R d , α > 0 {\displaystyle K(\mathbf {x} ,\mathbf {y} )=e^{-\alpha \|\mathbf {x} -\mathbf {y} \|},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\alpha >0} アベルカーネル: . K ( x , y ) = e − α | x − y | , x , y ∈ R , α > 0 {\displaystyle K(x,y)=e^{-\alpha |x-y|},\quad x,y\in \mathbb {R} ,\alpha >0} ソボレフ空間 を生成するカーネル : 、ここでは 第 3 種ベッセル関数 です 。 W 2 k ( R d ) {\displaystyle W_{2}^{k}(\mathbb {R} ^{d})} K ( x , y ) = ‖ x − y ‖ 2 k − d 2 B k − d 2 ( ‖ x − y ‖ 2 ) {\displaystyle K(x,y)=\|x-y\|_{2}^{k-{\frac {d}{2}}}B_{k-{\frac {d}{2}}}(\|x-y\|_{2})} B ν {\displaystyle B_{\nu }} カーネル生成ペイリー・ウィーナー空間: 。 K ( x , y ) = sinc ( α ( x − y ) ) , x , y ∈ R , α > 0 {\displaystyle K(x,y)=\operatorname {sinc} (\alpha (x-y)),\quad x,y\in \mathbb {R} ,\alpha >0} がヒルベルト空間 である 場合 、それに対応する内積 はpd核である。実際、 H {\displaystyle H} ( ⋅ , ⋅ ) H : H × H → R {\displaystyle (\cdot ,\cdot )_{H}:H\times H\to \mathbb {R} } ∑ i , j = 1 n c i c j ( x i , x j ) H = ( ∑ i = 1 n c i x i , ∑ j = 1 n c j x j ) H = ‖ ∑ i = 1 n c i x i ‖ H 2 ≥ 0 {\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}(x_{i},x_{j})_{H}=\left(\sum _{i=1}^{n}c_{i}x_{i},\sum _{j=1}^{n}c_{j}x_{j}\right)_{H}=\left\|\sum _{i=1}^{n}c_{i}x_{i}\right\|_{H}^{2}\geq 0} とヒストグラムで定義されるカーネル ：ヒストグラムは、実生活の問題の応用において頻繁に遭遇する。ほとんどの観測値は通常、非負のカウントベクトルの形で利用可能であり、これを正規化すると頻度のヒストグラムが得られる。 [2] によれば、以下の二乗メトリック族、すなわちジェンセン距離、 -平方、全変動、および ヘリンガー距離 の2つの変種が、 以下の式を用いてpdカーネルを定義するために使用できることが示されている 。 R + d {\displaystyle \mathbb {R} _{+}^{d}} χ {\displaystyle \chi } ψ J D = H ( θ + θ ′ 2 ) − H ( θ ) + H ( θ ′ ) 2 , {\displaystyle \psi _{JD}=H\left({\frac {\theta +\theta '}{2}}\right)-{\frac {H(\theta )+H(\theta ')}{2}},} ψ χ 2 = ∑ i ( θ i − θ i ′ ) 2 θ i + θ i ′ , ψ T V = ∑ i | θ i − θ i ′ | , {\displaystyle \psi _{\chi ^{2}}=\sum _{i}{\frac {(\theta _{i}-\theta _{i}')^{2}}{\theta _{i}+\theta _{i}'}},\quad \psi _{TV}=\sum _{i}\left|\theta _{i}-\theta _{i}'\right|,} ψ H 1 = ∑ i | θ i − θ i ′ | , ψ H 2 = ∑ i | θ i − θ i ′ | 2 , {\displaystyle \psi _{H_{1}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|,\psi _{H_{2}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|^{2},} K ( θ , θ ′ ) = e − α ψ ( θ , θ ′ ) , α > 0. {\displaystyle K(\theta ,\theta ')=e^{-\alpha \psi (\theta ,\theta ')},\alpha >0.}
他のカーネルの例 シグモイドカーネル、あるいは双曲正接カーネルは、実パラメータとして定義されます 。 このカーネルはPDカーネルではありませんが、カーネルアルゴリズムに用いられることがあります。 [3] K ( x , y ) = tanh ( γ x T y + r ) , x , y ∈ R d {\displaystyle K(\mathbf {x} ,\mathbf {y} )=\tanh(\gamma \mathbf {x} ^{T}\mathbf {y} +r),\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d}} γ , r {\displaystyle \gamma ,r}
歴史 （1.1）で定義された正定値核は、1909年にジェームズ・マーサーによる積分方程式に関する論文で初めて登場した。 [4] その後20年間にこの概念を利用した研究者は数人いたが、明示的に核 、iepd関数を用いた者はいなかった（実際、M.マティアスと S.ボクナーは pd核の研究を認識していなかったようだ）。マーサーの研究は、1904年のヒルベルトの第二種 フレドホルム積分方程式 に関する 論文 [5]から派生したものである。 K ( x , y ) = f ( x − y ) {\displaystyle K(x,y)=f(x-y)}
f ( s ) = φ ( s ) − λ ∫ a b K ( s , t ) φ ( t ) d t . {\displaystyle f(s)=\varphi (s)-\lambda \int _{a}^{b}K(s,t)\varphi (t)\ \mathrm {d} t.} 1.2
特にヒルベルトは、
∫ a b ∫ a b K ( s , t ) x ( s ) x ( t ) d s d t = ∑ 1 λ n [ ∫ a b ψ n ( s ) x ( s ) d s ] 2 , {\displaystyle \int _{a}^{b}\int _{a}^{b}K(s,t)x(s)x(t)\ \mathrm {d} s\,\mathrm {d} t=\sum {\frac {1}{\lambda _{n}}}\left[\int _{a}^{b}\psi _{n}(s)x(s)\,\mathrm {d} s\right]^{2},} 1.3
ここで 、 は連続実対称核、 は連続、は完全な 直交固有関数 系 、 は (1.2) の 対応する 固有値 である。ヒルベルトは、「定値」核をを除いて二重積分が
を満たす核と定義した 。マーサーの論文の元々の目的は、ヒルベルトの意味で定値である核を特徴付けることだが、マーサーはすぐに、そのような関数のクラスは行列式で特徴付けるにはあまりにも制限が厳しすぎることに気付いた。そこで彼は、 上の すべての実連続関数に対してが成り立つ とき、連続実対称核が正の型（すなわち、正定値）であると定義し 、(1.1) が核が正の型であるための必要十分条件であることを証明した。さらにマーサーは、任意の連続 pd 核に対して展開が 絶対的かつ一様に成立することを証明した。 K {\displaystyle K} x {\displaystyle x} { ψ n } {\displaystyle \{\psi _{n}\}} λ n {\displaystyle \lambda _{n}} J ( x ) = ∫ a b ∫ a b K ( s , t ) x ( s ) x ( t ) d s d t {\displaystyle J(x)=\int _{a}^{b}\int _{a}^{b}K(s,t)x(s)x(t)\ \mathrm {d} s\;\mathrm {d} t} J ( x ) > 0 {\displaystyle J(x)>0} x ( t ) = 0 {\displaystyle x(t)=0} K ( s , t ) {\displaystyle K(s,t)} J ( x ) ≥ 0 {\displaystyle J(x)\geq 0} x {\displaystyle x} [ a , b ] {\displaystyle [a,b]} K ( s , t ) = ∑ n ψ n ( s ) ψ n ( t ) λ n {\displaystyle K(s,t)=\sum _{n}{\frac {\psi _{n}(s)\psi _{n}(t)}{\lambda _{n}}}}
ほぼ同じ頃、WHヤング [6] は積分方程式の理論における別の疑問から、連続核に対して条件(1.1)が すべてのに対してと等しいことを示した 。 J ( x ) ≥ 0 {\displaystyle J(x)\geq 0} x ∈ L 1 [ a , b ] {\displaystyle x\in L^{1}[a,b]}
EH Moore [7] [8] は、 非常に一般的な種類の偏微分核の研究を始めた。 が 抽象集合である場合、 上で定義された関数が すべての に対して(1.1) を満たすとき、彼はその関数を「正エルミート行列」と呼ぶ。Moore は積分方程式の一般化に興味を持ち、 の各 に対して、 の各 に対して となるような関数の ヒルベルト空間が存在する ことを示した 。この性質は核の再生特性と呼ばれ、楕円偏微分方程式の境界値問題の解法において重要であることがわかった。 E {\displaystyle E} K ( x , y ) {\displaystyle K(x,y)} E × E {\displaystyle E\times E} x i ∈ E {\displaystyle x_{i}\in E} K {\displaystyle K} H {\displaystyle H} f ∈ H , f ( y ) = ( f , K ( ⋅ , y ) ) H {\displaystyle f\in H,f(y)=(f,K(\cdot ,y))_{H}}
pd核が大きな役割を果たしたもう一つの発展分野は、 1929年に E.カルタン によって始められ、 H.ワイル とS.伊藤によって継承された、同質空間上の調和関数理論である。同質空間におけるpd核の最も包括的な理論は M.クラインの理論 [9]であり、pd関数と局所コンパクト群の既約 ユニタリ表現 に関する研究を特別なケースとして含んでいる 。
確率論では、pdカーネルは確率過程の共分散カーネルとして現れる。 [10]
再生核ヒルベルト空間と特徴マップとの関連 正定値カーネルは、いくつかの基本的なヒルベルト空間構成を包含する枠組みを提供します。以下では、正定値カーネルと2つの数学的対象、すなわちヒルベルト空間の再現と特徴マップとの密接な関係を示します。
を集合とし、 関数 のヒルベルト空間を とし 、 対応する内積を X {\displaystyle X} H {\displaystyle H} f : X → R {\displaystyle f:X\to \mathbb {R} } ( ⋅ , ⋅ ) H : H × H → R {\displaystyle (\cdot ,\cdot )_{H}:H\times H\to \mathbb {R} } H {\displaystyle H} 。 任意のに対して、 評価関数は によって定義されます 。まず、再生核ヒルベルト空間（RKHS）を定義します。 x ∈ X {\displaystyle x\in X} e x : H → R {\displaystyle e_{x}:H\to \mathbb {R} } f ↦ e x ( f ) = f ( x ) {\displaystyle f\mapsto e_{x}(f)=f(x)}
定義 : 評価関数が連続する場合、空間は再生核ヒルベルト空間と呼ばれます。 H {\displaystyle H}
すべての RKHS には、再生カーネルと呼ばれる特別な機能が関連付けられています。
定義 : 再生核は次のような 関数である K : X × X → R {\displaystyle K:X\times X\to \mathbb {R} }
K x ( ⋅ ) ∈ H , ∀ x ∈ X {\displaystyle K_{x}(\cdot )\in H,\forall x\in X} 、 そして ( f , K x ) H = f ( x ) {\displaystyle (f,K_{x})_{H}=f(x)} 、すべて およびについて 。 f ∈ H {\displaystyle f\in H} x ∈ X {\displaystyle x\in X} 後者の特性は再生特性と呼ばれます。
次の結果は、RKHS と再生カーネルの同等性を示しています。
定理 - すべての再生カーネルは 一意の RKHS を誘導し、すべての RKHS は一意の再生カーネルを持ちます。 K {\displaystyle K}
正定値核とRKHSの関係は次の定理によって与えられる。
定理 — すべての再生カーネルは正定値であり、すべての正定値カーネルは一意の RKHS を定義し、その RKHS は一意の再生カーネルです。
したがって、正定値カーネルが与えられれば、 再生カーネルとして 関連付けられたRKHSを構築することが可能になる。 K {\displaystyle K} K {\displaystyle K}
前述のように、正定値カーネルは内積から構築できます。この事実は、pd カーネルを、機械学習アプリケーションで発生する別の興味深いオブジェクト、つまり特徴マップに関連付けるために使用できます。 を ヒルベルト空間とし、 対応する内積を とします。任意のマップ を特徴マップと呼びます。この場合、 を特徴空間と呼びます。 すべての特徴マップが によって一意の pd カーネルを定義することは 簡単にわかります [11] 。
確かに、 の正定値は、 内積の pd プロパティから生じます。一方、すべての pd カーネルとそれに対応する RKHS には、多くの関連付けられた特徴マップがあります。たとえば、 すべての に対して 、 と とします 。すると、再現プロパティにより となります。これは、適切なヒルベルト空間での内積としての pd カーネルの新しい見方を示唆しています。言い換えると、pd カーネルは 、値 によって2 つの点 と が どの程度類似しているかを効果的に定量化する類似度マップと見なすことができます 。さらに、pd カーネルとそれに対応する RKHS の同値性により、すべての特徴マップを使用して RKHS を構築できます。 F {\displaystyle F} ( ⋅ , ⋅ ) F {\displaystyle (\cdot ,\cdot )_{F}} Φ : X → F {\displaystyle \Phi :X\to F} F {\displaystyle F} K ( x , y ) = ( Φ ( x ) , Φ ( y ) ) F . {\displaystyle K(x,y)=(\Phi (x),\Phi (y))_{F}.} K {\displaystyle K} F = H {\displaystyle F=H} Φ ( x ) = K x {\displaystyle \Phi (x)=K_{x}} x ∈ X {\displaystyle x\in X} ( Φ ( x ) , Φ ( y ) ) F = ( K x , K y ) H = K ( x , y ) {\displaystyle (\Phi (x),\Phi (y))_{F}=(K_{x},K_{y})_{H}=K(x,y)} x {\displaystyle x} y {\displaystyle y} K ( x , y ) {\displaystyle K(x,y)}
カーネルと距離 カーネル法は、最近傍法 などの距離ベースの手法としばしば比較されます 。このセクションでは、それぞれの構成要素であるカーネル と距離の類似点について説明します 。 K {\displaystyle K} d {\displaystyle d}
ここで、ある集合の各要素間の距離関数とは、その集合 上で定義された 計量 、すなわち、次式を満たす 非負値の関数 を意味する。 X {\displaystyle X} d {\displaystyle d} X × X {\displaystyle {\mathcal {X}}\times {\mathcal {X}}}
d ( x , y ) ≥ 0 {\displaystyle d(x,y)\geq 0} で あり、 の場合にのみ 、 d ( x , y ) = 0 {\displaystyle d(x,y)=0} x = y {\displaystyle x=y} d ( x , y ) = d ( y , x ) , {\displaystyle d(x,y)=d(y,x),} d ( x , z ) ≤ d ( x , y ) + d ( y , z ) . {\displaystyle d(x,z)\leq d(x,y)+d(y,z).} 距離とpdカーネルの間の1つのリンクは、負定値カーネルと呼ばれる特定の種類のカーネルによって与えられ、次のように定義されます。
定義 ：対称関数は 、負定値（nd）核と呼ばれる 。 ψ : X × X → R {\displaystyle \psi :{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} } X {\displaystyle {\mathcal {X}}}
∑ i , j = 1 n c i c j ψ ( x i , x j ) ≤ 0 {\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}\psi (x_{i},x_{j})\leq 0} 1.4
と なる任意 の および に対して成立します 。 n ∈ N , x 1 , … , x n ∈ X , {\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in {\mathcal {X}},} c 1 , … , c n ∈ R {\displaystyle c_{1},\dots ,c_{n}\in \mathbb {R} } ∑ i = 1 n c i = 0 {\textstyle \sum _{i=1}^{n}c_{i}=0}
nd 核と距離の類似性は次の通りである。nd 核が集合 上で ゼロであり、かつこの集合 上でのみゼロであるとき、その平方根は についての距離となる 。 [12] 同時に、各距離は必ずしも nd 核に対応するわけではない。これはヒルベルト距離の場合にのみ成り立ち、距離が ヒルベルト距離であるのは、計量空間をあるヒルベルト空間に 等長的に 埋め込むことができる場合である。 { ( x , x ) : x ∈ X } {\displaystyle \{(x,x):x\in {\mathcal {X}}\}} X {\displaystyle {\mathcal {X}}} d {\displaystyle d} ( X , d ) {\displaystyle ({\mathcal {X}},d)}
一方、ndカーネルは、無限に分割可能なカーネルとして知られるpdカーネルのサブファミリーと同一視されます。非負値カーネルが無限に分割可能であるとは、任意のに対して、 と なる正定値カーネルが存在する ことを意味します 。 K {\displaystyle K} n ∈ N {\displaystyle n\in \mathbb {N} } K n {\displaystyle K_{n}} K = ( K n ) n {\displaystyle K=(K_{n})^{n}}
もう1つの関連性は、正定値カーネルが 擬距離関数 を誘導することです。この場合、距離関数の最初の制約が を許容するように緩和されます 。 正定値カーネル が与えられた場合 、距離関数 は次のように定義できます。 d ( x , y ) = 0 {\displaystyle d(x,y)=0} x ≠ y {\displaystyle x\neq y} K {\displaystyle K} d ( x , y ) = K ( x , x ) − 2 K ( x , y ) + K ( y , y ) {\displaystyle d(x,y)={\sqrt {K(x,x)-2K(x,y)+K(y,y)}}}
いくつかのアプリケーション
機械学習におけるカーネル 正定値カーネルは、再生カーネルヒルベルト空間（RKHS）との等価性を通じて、 統計学習理論 の分野において特に重要です。これは、RKHSにおけるすべての最小化関数は、訓練点において評価されたカーネル関数の線形結合として記述できるという有名な表現 定理 に基づくものです。これは、経験的リスク最小化問題を無限次元最適化問題から有限次元最適化問題へと効果的に単純化するため、実用上有用な結果です。
確率モデルにおけるカーネル 確率論においてカーネルが発生する方法はいくつかあります。
非決定論的回復問題: 観測または実験によって与えられた入力と応答のペアのサンプルがあるという前提で、 集合 の 新しいポイントでの 未知のモデル関数の 応答を見つけたいとします。 における 応答は の固定関数ではなく 、実数値ランダム変数 の実現値です。目標は、 決定論的設定で 置き換えられる 関数 に関する情報を取得することです。 2 つの要素について、 ランダム変数 および は 無相関にはなりません。これは 、 が によって記述されるランダム実験 に近すぎる場合 、および がしばしば同様の動作を示すためです。これは、共分散カーネル によって記述されます 。このようなカーネルは存在し、弱い追加の仮定の下では正定値です。これで、確率的背景を完全に無視して、共分散カーネルによるカーネル補間を使用することで、 の適切な推定値を 取得できます。 f ( x ) {\displaystyle f(x)} f {\displaystyle f} x {\displaystyle x} X {\displaystyle {\mathcal {X}}} ( x i , f i ) = ( x i , f ( x i ) ) {\displaystyle (x_{i},f_{i})=(x_{i},f(x_{i}))} f i {\displaystyle f_{i}} x i {\displaystyle x_{i}} x i {\displaystyle x_{i}} Z ( x i ) {\displaystyle Z(x_{i})} E [ Z ( x i ) ] {\displaystyle E[Z(x_{i})]} f {\displaystyle f} x , y ∈ X {\displaystyle x,y\in {\mathcal {X}}} Z ( x ) {\displaystyle Z(x)} Z ( y ) {\displaystyle Z(y)} x {\displaystyle x} y {\displaystyle y} Z ( x ) {\displaystyle Z(x)} Z ( y ) {\displaystyle Z(y)} K ( x , y ) = E [ Z ( x ) ⋅ Z ( y ) ] {\displaystyle K(x,y)=E[Z(x)\cdot Z(y)]} Z ( x ) {\displaystyle Z(x)} ここで、平均が 0 で分散が である ノイズ変数 が に追加され 、ノイズが に対して独立し 、そこで から独立していると仮定すると 、 に対する適切な推定値を見つける問題は 、 によって与えられる修正されたカーネルを使用すること以外は、上記の問題と同じです 。 ϵ ( x ) {\displaystyle \epsilon (x)} σ 2 {\displaystyle \sigma ^{2}} x {\displaystyle x} x {\displaystyle x} Z {\displaystyle Z} f {\displaystyle f} K ( x , y ) = E [ Z ( x ) ⋅ Z ( y ) ] + σ 2 δ x y {\displaystyle K(x,y)=E[Z(x)\cdot Z(y)]+\sigma ^{2}\delta _{xy}}
カーネルによる密度推定：問題は、繰り返しを含む 大規模な標本から、 領域 上の多変量分布の密度を復元することです 。標本点が密集している場合、真の密度関数は大きな値を取らなければなりません。グリッドの各セルの標本数を数え、その結果のヒストグラムをプロットすることで、単純な密度推定が可能です。これにより、区分的に一定の密度推定値が得られます。より良い推定値は 、全積分が1で、 滑らかな推定値として定義される非負の並進不変カーネル を用いることで得られます。 f {\displaystyle f} X {\displaystyle {\mathcal {X}}} x 1 , … , x n ∈ X {\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}} K {\displaystyle K} f ( x ) = 1 n ∑ i = 1 n K ( x − x i h ) {\displaystyle f(x)={\frac {1}{n}}\sum _{i=1}^{n}K\left({\frac {x-x_{i}}{h}}\right)}
偏微分方程式の数値解 いわゆる メッシュフリー法の最も大きな応用分野の一つは、 偏微分方程式 の数値解法である 。広く普及しているメッシュフリー法の中には、正定値カーネルと密接に関連しているものもある（メッシュレス局所ペトロフ・ガラーキン法（MLPG）、 再生カーネル粒子法（RKPM） 、 平滑化粒子流体力学（SPH）など ）。これらの法では、 共線性を求める ためにラジアル基底カーネルが用いられる。 [13]
スティーンスプリングの膨張定理
その他のアプリケーション コンピュータ実験[14] やその他の工学実験に関する文献では、PDカーネル、RBF、 クリギング に基づくモデルにますます多く遭遇するようになっています 。そのようなトピックの一つに 応答曲面法 があります。データフィッティングを核とする他の応用としては、 ラピッドプロトタイピング や コンピュータグラフィックス があります。これらの分野では、点群データを近似または補間するために、暗黙的な曲面モデルがよく用いられます。
PDカーネルは、多変数積分、多変数最適化、数値解析、科学計算など、様々な数学の分野で応用されており、高性能コンピューティング環境で理想的に実装された高速で正確かつ適応的なアルゴリズムを研究しています。 [15]
参照
参考文献 ^ Berezanskij, Jurij Makarovič (1968). 自己随伴作用素の固有関数における展開 . プロビデンス、ロードアイランド州: アメリカ数学協会 pp. 45– 47. ISBN 978-0-8218-1567-0 。 ^ Hein, M. および Bousquet, O. (2005). 「確率測度におけるヒルベルト計量と正定値カーネル」. Ghahramani, Z. および Cowell, R. 編著, Proceedings of AISTATS 2005. ^ Lin, Hsuan-Tien, Chih-Jen Lin. 「SVM用シグモイドカーネルとSMO型手法による非PSDカーネルのトレーニングに関する研究」 Neural Comput 3.1-32 (2003): 16. ^ マーサー、J. (1909). 「正負の関数と積分方程式理論との関連」ロンドン王立協会哲学論文集、シリーズA 209、415–446頁。 ^ ヒルベルト、D. (1904)。 「Grundzuge einer allgemeinen Theorie der lineen Integralgleichungen I」、Gott。ナクリテン、数学-物理学。 K1 (1904)、49 ～ 91 ページ。 ^ Young, WH (1909). 「対称関数のクラスと積分方程式理論に必要な定理に関するノート」, Philos. Trans. Roy.Soc. London, Ser. A, 209, pp. 415–446. ^ Moore, EH (1916). 「適切に正のエルミート行列について」, Bull. Amer. Math. Soc. 23, 59, pp. 66–67. ^ ムーア, EH (1935). 「一般分析 第1部」, Memoirs Amer. Philos. Soc. 1, フィラデルフィア. ^ Krein. M (1949/1950). 「同質空間上のエルミート正核 I および II」（ロシア語）, Ukrain. Mat. Z. 1(1949), pp. 64–98, and 2(1950), pp. 10–59. 英語訳: Amer. Math. Soc. Translations Ser. 2, 34 (1963), pp. 69–164. ^ Loève, M. (1960). 「確率論」第2版, Van Nostrand, Princeton, NJ ^ Rosasco, L. および Poggio, T. (2015). 「機械学習の正規化ツアー – MIT 9.520 講義ノート」原稿。 ^ Berg, C., Christensen, JPR, Ressel, P. (1984). 「半群の調和解析」. Springer Verlag 社発行の「Graduate Texts in Mathematics」第100号. ^ Schaback, R. および Wendland, H. (2006). 「カーネルテクニック：機械学習からメッシュレス法へ」, Cambridge University Press, Acta Numerica (2006), pp. 1–97. ^ Haaland, B. および Qian, PZG (2010). 「大規模コンピュータ実験のための高精度エミュレータ」, Ann. Stat. ^ Gumerov, NAおよびDuraiswami, R. (2007). 「前処理付きKrylov反復法による高速ラジアル基底関数補間」SIAM J. Scient. Computing 29/5, pp. 1876–1899. 
![{\displaystyle \int _{a}^{b}\int _{a}^{b}K(s,t)x(s)x(t)\ \mathrm {d} s\,\mathrm {d} t=\sum {\frac {1}{\lambda _{n}}}\left[\int _{a}^{b}\psi _{n}(s)x(s)\,\mathrm {d} s\right]^{2},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/af93fa576be39b7100aa50f9c30910da1f13099e)
![{\displaystyle [a,b]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9c4b788fc5c637e26ee98b45f89a5c08c85f7935)
![{\displaystyle x\in L^{1}[a,b]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f44851c00e21916a15d5154187b8c344e47c84ae)
![{\displaystyle E[Z(x_{i})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/22f2db6135181a0e1c58a477d3db36e92904b69d)
![{\displaystyle K(x,y)=E[Z(x)\cdot Z(y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1c0a3c96ebb227a2e9110f93c1e01d6fc998b334)
![{\displaystyle K(x,y)=E[Z(x)\cdot Z(y)]+\sigma ^{2}\delta _{xy}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/73d07bdfe784687f03aa2e4068c345e048c2cbd5)
