Class of nonparametric methods
機械学習 において 、 分布のカーネル埋め込み （ カーネル平均 または 平均マップとも呼ばれる）は、 確率分布が 再生カーネルヒルベルト空間 （RKHS） の要素として表現される ノンパラメトリック 法 の一種です。 [1]古典的な カーネル法 で行われる個々のデータポイントの特徴マッピングの一般化である 、分布の無限次元特徴空間への埋め込みは、任意の分布の統計的特徴をすべて保持しながら、内積、距離、射影、線形変換、スペクトル解析などのヒルベルト空間演算を使用して分布を比較および操作することができます 。 [ 2 ] この 学習 フレーム ワーク は 非常 に 汎用的で、 （の要素間の類似性を測定） 適切な カーネル関数 を定義できる任意の空間上の分布に適用できます 。例えば、 ベクトル 、離散 クラス/カテゴリ、文字 列 、 グラフ / ネットワーク 、画像、 時系列 、 多様体 、 動的システム 、その他の構造化オブジェクトなどのデータから学習するためのさまざまなカーネルが提案されています。 [3] [4] 分布のカーネル埋め込みの理論は、主にAlex Smola、Le Song 、Arthur Gretton、 Bernhard Schölkopfによって 開発 されました。分布のカーネル埋め込みに関する最近の研究のレビューはにあります。 [5] Ω {\displaystyle \Omega } Ω {\displaystyle \Omega } R d {\displaystyle \mathbb {R} ^{d}}
分布の解析は 機械学習 や 統計学 において基礎的であり、これらの分野の多くのアルゴリズムは エントロピー 、 相互情報量 、 カルバック・ライブラー情報量 などの情報理論的アプローチに依存している。しかし、これらの量を推定するには、まず密度推定を行うか、高次元データでは通常は実行不可能な高度な空間分割/バイアス補正戦略を採用する必要がある。 [6] 一般的に、複雑な分布をモデル化する手法は、根拠がなかったり計算が困難な可能性のあるパラメトリックな仮定（例： ガウス混合モデル ）に依存しており、 カーネル密度推定 （注：この文脈における平滑化カーネルは、ここで説明するカーネルとは異なる解釈をする）や 特性関数 表現（分布の フーリエ変換 による）などのノンパラメトリックな手法は、高次元設定では機能しない。 [2]
分布のカーネル埋め込みに基づく方法はこれらの問題を回避し、次のような利点も持つ。 [6]
データは、分布の形式や変数間の関係について制限的な仮定をせずにモデル化できる。 中間密度推定は必要ない 実践者は、問題に最も関連のある分布の特性を指定することができます（カーネルの選択を通じて事前の知識を組み込む） 特性 カーネルが使用される場合 、埋め込みは分布に関するすべての情報を一意に保存することができ、 カーネルトリックのおかげで、潜在的に無限次元のRKHS上の計算は実際には単純な グラム 行列 演算として実装することができる。 経験的カーネル平均（分布からのサンプルを使用して推定）から真の基礎分布のカーネル埋め込みへの次元に依存しない収束率が証明できます。 このフレームワークに基づく学習アルゴリズムは、優れた一般化能力と有限サンプル収束性を示し、情報理論的手法よりも単純で効果的であることが多い。 したがって、分布のカーネル埋め込みによる学習は、情報理論的アプローチの原理的な代替手段を提供し、機械学習と統計における多くの一般的な方法を特殊なケースとして組み込むだけでなく、まったく新しい学習アルゴリズムにつながるフレームワークでもあります。
定義 を定義域と分布 を 持つ確率変数 とする 。対称 正定値核 が与えられたとき、ムーア ・アロンザイン定理は、 （ 内積 とノルムを備えた 関数の ヒルベルト空間 ） 上に、 RKHS が唯一存在することを主張する。RKHS は再生核、すなわち要素が 再生特性を満たすもの
である。 X {\displaystyle X} Ω {\displaystyle \Omega } P {\displaystyle P} k : Ω × Ω → R {\displaystyle k:\Omega \times \Omega \rightarrow \mathbb {R} } H {\displaystyle {\mathcal {H}}} Ω {\displaystyle \Omega } f : Ω → R {\displaystyle f:\Omega \to \mathbb {R} } ⟨ ⋅ , ⋅ ⟩ H {\displaystyle \langle \cdot ,\cdot \rangle _{\mathcal {H}}} ‖ ⋅ ‖ H {\displaystyle \|\cdot \|_{\mathcal {H}}} k {\displaystyle k} k ( x , ⋅ ) {\displaystyle k(x,\cdot )}
⟨ f , k ( x , ⋅ ) ⟩ H = f ( x ) ∀ f ∈ H , ∀ x ∈ Ω . {\displaystyle \langle f,k(x,\cdot )\rangle _{\mathcal {H}}=f(x)\qquad \forall f\in {\mathcal {H}},\quad \forall x\in \Omega .} あるいは、 暗黙的な特徴マッピング （特徴空間とも呼ばれる）として考えることができます。これにより、 点間の類似性の尺度として見ることができます。 類似性の尺度 は特徴空間では線形ですが 、カーネルの選択に応じて元の空間では非常に非線形になる可能性があります。 x ↦ k ( x , ⋅ ) {\displaystyle x\mapsto k(x,\cdot )} φ : Ω → H {\displaystyle \varphi :\Omega \rightarrow {\mathcal {H}}} k ( x , x ′ ) = ⟨ φ ( x ) , φ ( x ′ ) ⟩ H {\displaystyle k(x,x')=\langle \varphi (x),\varphi (x')\rangle _{\mathcal {H}}} x , x ′ ∈ Ω . {\displaystyle x,x'\in \Omega .}
カーネル埋め込み 分布 のカーネル埋め込み （ カーネル平均 または 平均マップ とも呼ばれる）は次のように与えられる: [1] P {\displaystyle P} H {\displaystyle {\mathcal {H}}}
μ X := E [ k ( X , ⋅ ) ] = E [ φ ( X ) ] = ∫ Ω φ ( x ) d P ( x ) {\displaystyle \mu _{X}:=\mathbb {E} [k(X,\cdot )]=\mathbb {E} [\varphi (X)]=\int _{\Omega }\varphi (x)\ \mathrm {d} P(x)} が平方積分可能な密度を許す 場合 、 となる。 ここで は ヒルベルト・シュミット積分演算子 である。カーネルは 、平均埋め込みが単射である場合に 特性 カーネルとなる 。 [7] したがって、特性カーネルが使用される場合、各分布はRKHSで一意に表現され、分布のすべての統計的特徴はカーネル埋め込みによって保持される。 P {\displaystyle P} p {\displaystyle p} μ X = E k p {\displaystyle \mu _{X}={\mathcal {E}}_{k}p} E k {\displaystyle {\mathcal {E}}_{k}} μ : { family of distributions over Ω } → H {\displaystyle \mu :\{{\text{family of distributions over }}\Omega \}\to {\mathcal {H}}}
経験的カーネル埋め込み カーネル埋め込みから 独立して同一分布 （iid）で 抽出された 訓練例を 経験的に推定 すると、 n {\displaystyle n} { x 1 , … , x n } {\displaystyle \{x_{1},\ldots ,x_{n}\}} P , {\displaystyle P,} P {\displaystyle P}
μ ^ X = 1 n ∑ i = 1 n φ ( x i ) {\displaystyle {\widehat {\mu }}_{X}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})}
結合分布埋め込み が別の確率変数を表す場合 （簡単のため、 の共領域も を 満たす 同じカーネルを持つと仮定する ）、 結合分布は [2] を介して テンソル積 特徴空間 にマッピングできる。 Y {\displaystyle Y} Y {\displaystyle Y} Ω {\displaystyle \Omega } k {\displaystyle k} ⟨ φ ( x ) ⊗ φ ( y ) , φ ( x ′ ) ⊗ φ ( y ′ ) ⟩ = k ( x , x ′ ) k ( y , y ′ ) {\displaystyle \langle \varphi (x)\otimes \varphi (y),\varphi (x')\otimes \varphi (y')\rangle =k(x,x')k(y,y')} P ( x , y ) ) {\displaystyle P(x,y))} H ⊗ H {\displaystyle {\mathcal {H}}\otimes {\mathcal {H}}}
C X Y = E [ φ ( X ) ⊗ φ ( Y ) ] = ∫ Ω × Ω φ ( x ) ⊗ φ ( y ) d P ( x , y ) {\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\varphi (X)\otimes \varphi (Y)]=\int _{\Omega \times \Omega }\varphi (x)\otimes \varphi (y)\ \mathrm {d} P(x,y)} テンソル と 線形写像 の同値性により、この結合埋め込みは非中心 相互共分散 演算子 として解釈することができ、 関数の相互共分散は 次のように計算できる [8] C X Y : H → H {\displaystyle {\mathcal {C}}_{XY}:{\mathcal {H}}\to {\mathcal {H}}} f , g ∈ H {\displaystyle f,g\in {\mathcal {H}}}
Cov ( f ( X ) , g ( Y ) ) := E [ f ( X ) g ( Y ) ] − E [ f ( X ) ] E [ g ( Y ) ] = ⟨ f , C X Y g ⟩ H = ⟨ f ⊗ g , C X Y ⟩ H ⊗ H {\displaystyle \operatorname {Cov} (f(X),g(Y)):=\mathbb {E} [f(X)g(Y)]-\mathbb {E} [f(X)]\mathbb {E} [g(Y)]=\langle f,{\mathcal {C}}_{XY}g\rangle _{\mathcal {H}}=\langle f\otimes g,{\mathcal {C}}_{XY}\rangle _{{\mathcal {H}}\otimes {\mathcal {H}}}} から抽出された 訓練例のペア が与えられれば 、結合分布カーネル埋め込みを経験的に推定することもできる。 n {\displaystyle n} { ( x 1 , y 1 ) , … , ( x n , y n ) } {\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}} P {\displaystyle P}
C ^ X Y = 1 n ∑ i = 1 n φ ( x i ) ⊗ φ ( y i ) {\displaystyle {\widehat {\mathcal {C}}}_{XY}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})\otimes \varphi (y_{i})}
条件付き分布埋め込み 条件付き分布 が与えられた場合、 対応するRKHS埋め込みを次のように定義できる [2] P ( y ∣ x ) , {\displaystyle P(y\mid x),}
μ Y ∣ x = E [ φ ( Y ) ∣ X ] = ∫ Ω φ ( y ) d P ( y ∣ x ) {\displaystyle \mu _{Y\mid x}=\mathbb {E} [\varphi (Y)\mid X]=\int _{\Omega }\varphi (y)\ \mathrm {d} P(y\mid x)} の埋め込みは、 条件変数 が取る 値でインデックスされたRKHS内の点の族を定義することに注意されたい 。 を 特定の値に固定することで、 の単一の要素が得られる ので、演算子 を定義するのは自然である
。 P ( y ∣ x ) {\displaystyle P(y\mid x)} x {\displaystyle x} X {\displaystyle X} X {\displaystyle X} H {\displaystyle {\mathcal {H}}}
{ C Y ∣ X : H → H C Y ∣ X = C Y X C X X − 1 {\displaystyle {\begin{cases}{\mathcal {C}}_{Y\mid X}:{\mathcal {H}}\to {\mathcal {H}}\\{\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}}_{XX}^{-1}\end{cases}}} 特徴マッピングが与えられた場合、 与えられた 条件付き埋め込みの出力は 、すべての場合において [8] であることが示されると仮定する。 x {\displaystyle x} Y {\displaystyle Y} X = x . {\displaystyle X=x.} g ∈ H : E [ g ( Y ) ∣ X ] ∈ H , {\displaystyle g\in {\mathcal {H}}:\mathbb {E} [g(Y)\mid X]\in {\mathcal {H}},}
μ Y ∣ x = C Y ∣ X φ ( x ) {\displaystyle \mu _{Y\mid x}={\mathcal {C}}_{Y\mid X}\varphi (x)} この仮定は、特性カーネルを持つ有限領域では常に成り立ちますが、連続領域では必ずしも成り立たない可能性があります。 [2] ただし、仮定が成り立たない場合でも、 条件付きカーネル埋め込みを近似するために使用することができ 、実際には、反転演算子はそれ自体の正規化されたバージョンに置き換えられます （ここで、は 単位 行列を表します ）。 C Y ∣ X φ ( x ) {\displaystyle {\mathcal {C}}_{Y\mid X}\varphi (x)} μ Y ∣ x , {\displaystyle \mu _{Y\mid x},} ( C X X + λ I ) − 1 {\displaystyle ({\mathcal {C}}_{XX}+\lambda \mathbf {I} )^{-1}} I {\displaystyle \mathbf {I} }
訓練例が与えられた場合、 経験的カーネル条件付き埋め込み演算子は次のように推定できる [2] { ( x 1 , y 1 ) , … , ( x n , y n ) } , {\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\},}
C ^ Y ∣ X = Φ ( K + λ I ) − 1 Υ T {\displaystyle {\widehat {C}}_{Y\mid X}={\boldsymbol {\Phi }}(\mathbf {K} +\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}^{T}} ここで 、 は暗黙的に形成された特徴行列、 のサンプルのグラム行列 、 は 過剰適合を 回避するために必要な 正規化 パラメータです 。 Φ = ( φ ( y 1 ) , … , φ ( y n ) ) , Υ = ( φ ( x 1 ) , … , φ ( x n ) ) {\displaystyle {\boldsymbol {\Phi }}=\left(\varphi (y_{1}),\dots ,\varphi (y_{n})\right),{\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\dots ,\varphi (x_{n})\right)} K = Υ T Υ {\displaystyle \mathbf {K} ={\boldsymbol {\Upsilon }}^{T}{\boldsymbol {\Upsilon }}} X {\displaystyle X} λ {\displaystyle \lambda }
したがって、カーネル条件付き埋め込みの実験的推定値は、特徴空間内 のサンプルの加重和によって与えられます。 Y {\displaystyle Y}
μ ^ Y ∣ x = ∑ i = 1 n β i ( x ) φ ( y i ) = Φ β ( x ) {\displaystyle {\widehat {\mu }}_{Y\mid x}=\sum _{i=1}^{n}\beta _{i}(x)\varphi (y_{i})={\boldsymbol {\Phi }}{\boldsymbol {\beta }}(x)} どこで そして β ( x ) = ( K + λ I ) − 1 K x {\displaystyle {\boldsymbol {\beta }}(x)=(\mathbf {K} +\lambda \mathbf {I} )^{-1}\mathbf {K} _{x}} K x = ( k ( x 1 , x ) , … , k ( x n , x ) ) T {\displaystyle \mathbf {K} _{x}=\left(k(x_{1},x),\dots ,k(x_{n},x)\right)^{T}}
プロパティ RKHS 内の任意の関数の期待値は、 カーネル埋め込みとの内積として計算できます。 f {\displaystyle f} E [ f ( X ) ] = ⟨ f , μ X ⟩ H {\displaystyle \mathbb {E} [f(X)]=\langle f,\mu _{X}\rangle _{\mathcal {H}}} サンプルサイズが大きい場合、 グラム行列の操作は計算負荷が大きくなる可能性があります。 グラム行列の 低ランク近似（ 不完全コレスキー分解 など）を用いることで、カーネル埋め込みに基づく学習アルゴリズムの実行時間とメモリ要件を大幅に削減することができ、近似精度に大きな損失が生じることはありません。 [2] n × n {\displaystyle n\times n}
経験的カーネル平均の真の分布埋め込みへの収束 が定義され、 すべての 場合に が の値を取る場合 （広く使用されている ラジアル基底関数 カーネルの場合と同様 ）、確率は少なくとも となる ： [6] k {\displaystyle k} f {\displaystyle f} [ 0 , 1 ] {\displaystyle [0,1]} f ∈ H {\displaystyle f\in {\mathcal {H}}} ‖ f ‖ H ≤ 1 {\displaystyle \|f\|_{\mathcal {H}}\leq 1} 1 − δ {\displaystyle 1-\delta } ‖ μ X − μ ^ X ‖ H = sup f ∈ B ( 0 , 1 ) | E [ f ( X ) ] − 1 n ∑ i = 1 n f ( x i ) | ≤ 2 n E [ tr K ] + log ( 2 / δ ) 2 n {\displaystyle \|\mu _{X}-{\widehat {\mu }}_{X}\|_{\mathcal {H}}=\sup _{f\in {\mathcal {B}}(0,1)}\left|\mathbb {E} [f(X)]-{\frac {1}{n}}\sum _{i=1}^{n}f(x_{i})\right|\leq {\frac {2}{n}}\mathbb {E} \left[{\sqrt {\operatorname {tr} K}}\right]+{\sqrt {\frac {\log(2/\delta )}{2n}}}} ここで は 単位球を表し 、 はグラム行列であり、 B ( 0 , 1 ) {\displaystyle {\mathcal {B}}(0,1)} H {\displaystyle {\mathcal {H}}} K = ( k i j ) {\displaystyle \mathbf {K} =(k_{ij})} k i j = k ( x i , x j ) . {\displaystyle k_{ij}=k(x_{i},x_{j}).} 経験的カーネル埋め込みの分布への収束率（RKHS ノルム）は であり、 の次元には依存し ませ ん 。 O ( n − 1 / 2 ) {\displaystyle O(n^{-1/2})} X {\displaystyle X} したがって、カーネル埋め込みに基づく統計は 次元の呪いを 回避し、真の基礎分布は実際には不明であるにもかかわらず、 サイズ の有限サンプルに基づく真のカーネル埋め込みの近似値を (高い確率で) 取得できます 。 O ( n − 1 / 2 ) {\displaystyle O(n^{-1/2})} n {\displaystyle n} 条件付き分布の埋め込みにおいて、経験的推定値は特徴マッピングの 加重 平均とみなすことができます（重みは 条件変数の値に依存し、条件付けがカーネル埋め込みに与える影響を反映します）。この場合、 正則化パラメータ を減少させると、経験的推定値は条件付き分布RKHS埋め込みに収束速度とともに収束します。これは、 結合分布に追加の仮定を置くことで収束速度を速めることができるかのように見えます。 [2] β i ( x ) {\displaystyle \beta _{i}(x)} O ( n − 1 / 4 ) {\displaystyle O\left(n^{-1/4}\right)} λ {\displaystyle \lambda } O ( n − 1 / 2 ) , {\displaystyle O\left(n^{-1/2}\right),}
ユニバーサルカーネル をコンパクト 計量空間 とし、 連続関数 の集合を と する 。再生核が 普遍的で あるのは、の RKHSが に 稠密で ある場合 、すなわち、任意の に対して となる が 存在 する場合のみである 。 [9] コンパクト空間上で定義されるすべての普遍核は特性核であるが、その逆は必ずしも真ではない。 [10] X ⊆ R b {\displaystyle {\mathcal {X}}\subseteq \mathbb {R} ^{b}} C ( X ) {\displaystyle C({\mathcal {X}})} k : X × X → R {\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} } H {\displaystyle {\mathcal {H}}} k {\displaystyle k} C ( X ) {\displaystyle C({\mathcal {X}})} g ∈ C ( X ) {\displaystyle g\in C({\mathcal {X}})} ε > 0 {\displaystyle \varepsilon >0} f ∈ H {\displaystyle f\in {\mathcal {H}}} ‖ f − g ‖ ∞ ≤ ε {\displaystyle \|f-g\|_{\infty }\leq \varepsilon } を を満たす連続 並進不変 核 と する 。このとき、 ボクナー の定理は、 上の唯一の有限ボレル測度（ スペクトル測度 と呼ばれる） の存在を保証する。 k {\displaystyle k} k ( x , x ′ ) = h ( x − x ′ ) {\displaystyle k(x,x')=h(x-x')} x ∈ R b {\displaystyle x\in \mathbb {R} ^{b}} μ {\displaystyle \mu } R b {\displaystyle \mathbb {R} ^{b}} h ( t ) = ∫ R b e − i ⟨ t , ω ⟩ d μ ( ω ) , ∀ t ∈ R b . {\displaystyle h(t)=\int _{\mathbb {R} ^{b}}e^{-i\langle t,\omega \rangle }d\mu (\omega ),\quad \forall t\in \mathbb {R} ^{b}.} が普遍的であるためには、 その唯一の ルベーグ分解 における連続部分が ゼロでなければ十分である。さらに、 k {\displaystyle k} μ {\displaystyle \mu } μ = μ c + μ s {\displaystyle \mu =\mu _{c}+\mu _{s}} d μ c ( ω ) = s ( ω ) d ω , {\displaystyle d\mu _{c}(\omega )=s(\omega )d\omega ,} は における 周波数の スペクトル密度 であり 、 は の フーリエ変換 である 。 の サポート がの全体である場合 、 も特性核となる。 [11] [12] [13] s {\displaystyle s} ω {\displaystyle \omega } R b {\displaystyle \mathbb {R} ^{b}} h {\displaystyle h} s {\displaystyle s} μ {\displaystyle \mu } R b {\displaystyle \mathbb {R} ^{b}} k {\displaystyle k} が任意の異なる点の集合に対して厳密に正定値のカーネル行列を誘導する場合 、それは普遍カーネルである。 [6] 例えば、広く使用されているガウスRBFカーネル k {\displaystyle k} k ( x , x ′ ) = exp ( − 1 2 σ 2 ‖ x − x ′ ‖ 2 ) {\displaystyle k(x,x')=\exp \left(-{\frac {1}{2\sigma ^{2}}}\|x-x'\|^{2}\right)} のコンパクト部分集合上のは 普遍的である。 R b {\displaystyle \mathbb {R} ^{b}}
条件付き分布カーネル埋め込みのパラメータ選択 経験的カーネル条件付き分布埋め込み演算子は、 次の正規化最小二乗（関数値）回帰問題の解として捉えることもできる [14] C ^ Y | X {\displaystyle {\widehat {\mathcal {C}}}_{Y|X}} min C : H → H ∑ i = 1 n ‖ φ ( y i ) − C φ ( x i ) ‖ H 2 + λ ‖ C ‖ H S 2 {\displaystyle \min _{{\mathcal {C}}:{\mathcal {H}}\to {\mathcal {H}}}\sum _{i=1}^{n}\left\|\varphi (y_{i})-{\mathcal {C}}\varphi (x_{i})\right\|_{\mathcal {H}}^{2}+\lambda \|{\mathcal {C}}\|_{HS}^{2}} ここで 、 は ヒルベルト・シュミットノルム です。 ‖ ⋅ ‖ H S {\displaystyle \|\cdot \|_{HS}} したがって、回帰問題の二乗損失関数に基づいて クロス検証を 実行することで、 正規化パラメータを選択できます。 λ {\displaystyle \lambda }
RKHSにおける演算としての確率規則 このセクションでは、基本的な確率ルールをカーネル埋め込みフレームワークの（多重）線形代数演算として再定式化する方法を示しており、主にSongら[2] [8] の研究に基づいています。 次の表記法が採用されています。
P ( X , Y ) = {\displaystyle P(X,Y)=} 確率変数に対する結合分布 X , Y {\displaystyle X,Y} P ( X ) = ∫ Ω P ( X , d y ) = {\displaystyle P(X)=\int _{\Omega }P(X,\mathrm {d} y)=} 周辺分布 ; 周辺分布 X {\displaystyle X} P ( Y ) = {\displaystyle P(Y)=} Y {\displaystyle Y} P ( Y ∣ X ) = P ( X , Y ) P ( X ) = {\displaystyle P(Y\mid X)={\frac {P(X,Y)}{P(X)}}=} 対応する条件付き埋め込み演算子で 与えられた 条件付き分布 Y {\displaystyle Y} X {\displaystyle X} C Y ∣ X {\displaystyle {\mathcal {C}}_{Y\mid X}} π ( Y ) = {\displaystyle \pi (Y)=} 事前分布 Y {\displaystyle Y} Q {\displaystyle Q} 事前分布を組み込んだ分布と 事前分布に依存しない分布を区別するために使用される。 P {\displaystyle P} 実際には、すべての埋め込みはデータから経験的に推定され 、サンプルのセットを 使用して事前分布のカーネル埋め込みを推定できると想定されています 。 { ( x 1 , y 1 ) , … , ( x n , y n ) } {\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}} { y ~ 1 , … , y ~ n ~ } {\displaystyle \{{\widetilde {y}}_{1},\ldots ,{\widetilde {y}}_{\widetilde {n}}\}} π ( Y ) {\displaystyle \pi (Y)}
カーネル和則 確率論では、 の周辺分布は、 の結合密度（ の事前分布を含む ）
から 積分することによって計算できる。 X {\displaystyle X} Y {\displaystyle Y} Y {\displaystyle Y}
Q ( X ) = ∫ Ω P ( X ∣ Y ) d π ( Y ) {\displaystyle Q(X)=\int _{\Omega }P(X\mid Y)\,\mathrm {d} \pi (Y)} カーネル埋め込みフレームワークにおけるこの規則の類似は、 のRKHS埋め込みが 次のように計算できることを示している。 μ X π , {\displaystyle \mu _{X}^{\pi },} Q ( X ) {\displaystyle Q(X)}
μ X π = E [ C X ∣ Y φ ( Y ) ] = C X ∣ Y E [ φ ( Y ) ] = C X ∣ Y μ Y π {\displaystyle \mu _{X}^{\pi }=\mathbb {E} [{\mathcal {C}}_{X\mid Y}\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mathbb {E} [\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mu _{Y}^{\pi }} ここで 、カーネル埋め込みは、 実際の実装では、カーネル和則は次の形式をとる。 μ Y π {\displaystyle \mu _{Y}^{\pi }} π ( Y ) . {\displaystyle \pi (Y).}
μ ^ X π = C ^ X ∣ Y μ ^ Y π = Υ ( G + λ I ) − 1 G ~ α {\displaystyle {\widehat {\mu }}_{X}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mu }}_{Y}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}} どこ
μ Y π = ∑ i = 1 n ~ α i φ ( y ~ i ) {\displaystyle \mu _{Y}^{\pi }=\sum _{i=1}^{\widetilde {n}}\alpha _{i}\varphi ({\widetilde {y}}_{i})} は事前分布の経験的カーネル埋め込みであり 、、はそれぞれ 要素を持つグラム行列です 。 α = ( α 1 , … , α n ~ ) T , {\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{\widetilde {n}})^{T},} Υ = ( φ ( x 1 ) , … , φ ( x n ) ) {\displaystyle {\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\ldots ,\varphi (x_{n})\right)} G , G ~ {\displaystyle \mathbf {G} ,{\widetilde {\mathbf {G} }}} G i j = k ( y i , y j ) , G ~ i j = k ( y i , y ~ j ) {\displaystyle \mathbf {G} _{ij}=k(y_{i},y_{j}),{\widetilde {\mathbf {G} }}_{ij}=k(y_{i},{\widetilde {y}}_{j})}
カーネルチェーンルール 確率論では、結合分布は条件付き分布と周辺分布の積に因数分解できる。
Q ( X , Y ) = P ( X ∣ Y ) π ( Y ) {\displaystyle Q(X,Y)=P(X\mid Y)\pi (Y)} カーネル埋め込みフレームワークにおけるこの規則の類似は、 の結合埋め込みが、 条件付き埋め込み演算子とそれに関連付けられた自己共分散演算子の合成として因数分解できることを示している。 C X Y π , {\displaystyle {\mathcal {C}}_{XY}^{\pi },} Q ( X , Y ) , {\displaystyle Q(X,Y),} π ( Y ) {\displaystyle \pi (Y)}
C X Y π = C X ∣ Y C Y Y π {\displaystyle {\mathcal {C}}_{XY}^{\pi }={\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }} どこ
C X Y π = E [ φ ( X ) ⊗ φ ( Y ) ] , {\displaystyle {\mathcal {C}}_{XY}^{\pi }=\mathbb {E} [\varphi (X)\otimes \varphi (Y)],} C Y Y π = E [ φ ( Y ) ⊗ φ ( Y ) ] . {\displaystyle {\mathcal {C}}_{YY}^{\pi }=\mathbb {E} [\varphi (Y)\otimes \varphi (Y)].} 実際の実装では、カーネルチェーンルールは次の形式をとる。
C ^ X Y π = C ^ X ∣ Y C ^ Y Y π = Υ ( G + λ I ) − 1 G ~ diag ( α ) Φ ~ T {\displaystyle {\widehat {\mathcal {C}}}_{XY}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mathcal {C}}}_{YY}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}){\boldsymbol {\widetilde {\Phi }}}^{T}}
カーネルベイズの定理 確率論では、事後分布は事前分布と尤度関数を用いて次のように表される。
Q ( Y ∣ x ) = P ( x ∣ Y ) π ( Y ) Q ( x ) {\displaystyle Q(Y\mid x)={\frac {P(x\mid Y)\pi (Y)}{Q(x)}}} どこ Q ( x ) = ∫ Ω P ( x ∣ y ) d π ( y ) {\displaystyle Q(x)=\int _{\Omega }P(x\mid y)\,\mathrm {d} \pi (y)} カーネル埋め込みフレームワークにおけるこの規則の類似は、条件付き分布のカーネル埋め込みを、事前分布によって修正される条件付き埋め込み演算子で表現するものである。
μ Y ∣ x π = C Y ∣ X π φ ( x ) = C Y X π ( C X X π ) − 1 φ ( x ) {\displaystyle \mu _{Y\mid x}^{\pi }={\mathcal {C}}_{Y\mid X}^{\pi }\varphi (x)={\mathcal {C}}_{YX}^{\pi }\left({\mathcal {C}}_{XX}^{\pi }\right)^{-1}\varphi (x)} チェーンルールから:
C Y X π = ( C X ∣ Y C Y Y π ) T . {\displaystyle {\mathcal {C}}_{YX}^{\pi }=\left({\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }\right)^{T}.} 実際の実装では、カーネルベイズ則は次の形をとる。
μ ^ Y ∣ x π = C ^ Y X π ( ( C ^ X X ) 2 + λ ~ I ) − 1 C ^ X X π φ ( x ) = Φ ~ Λ T ( ( D K ) 2 + λ ~ I ) − 1 K D K x {\displaystyle {\widehat {\mu }}_{Y\mid x}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }\varphi (x)={\widetilde {\boldsymbol {\Phi }}}{\boldsymbol {\Lambda }}^{T}\left((\mathbf {D} \mathbf {K} )^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {K} \mathbf {D} \mathbf {K} _{x}} どこ
Λ = ( G + λ ~ I ) − 1 G ~ diag ( α ) , D = diag ( ( G + λ ~ I ) − 1 G ~ α ) . {\displaystyle {\boldsymbol {\Lambda }}=\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}),\qquad \mathbf {D} =\operatorname {diag} \left(\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}\right).} このフレームワークでは、2つの正規化パラメータが使用される。1つは、 最終的な条件付き埋め込み演算子の 推定用であり 、もう1つは、 λ {\displaystyle \lambda } C ^ Y X π , C ^ X X π = Υ D Υ T {\displaystyle {\widehat {\mathcal {C}}}_{YX}^{\pi },{\widehat {\mathcal {C}}}_{XX}^{\pi }={\boldsymbol {\Upsilon }}\mathbf {D} {\boldsymbol {\Upsilon }}^{T}} λ ~ {\displaystyle {\widetilde {\lambda }}}
C ^ Y ∣ X π = C ^ Y X π ( ( C ^ X X π ) 2 + λ ~ I ) − 1 C ^ X X π . {\displaystyle {\widehat {\mathcal {C}}}_{Y\mid X}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}^{\pi }\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }.} 後者の正規化は の平方に対して行われます。 は 正定値 ではない可能性がある からです 。 C ^ X X π {\displaystyle {\widehat {\mathcal {C}}}_{XX}^{\pi }} D {\displaystyle D}
アプリケーション
分布間の距離の測定 最大 平均乖離度（MMD） は分布間の距離尺度であり 、 RKHSにおける分布の埋め込み間の距離として定義される [6] P ( X ) {\displaystyle P(X)} Q ( Y ) {\displaystyle Q(Y)}
MMD ( P , Q ) = ‖ μ X − μ Y ‖ H . {\displaystyle {\text{MMD}}(P,Q)=\left\|\mu _{X}-\mu _{Y}\right\|_{\mathcal {H}}.} 広く用いられているカルバック・ライブラー距離 のような分布間の距離尺度のほとんどは 、密度推定（パラメトリックまたはノンパラメトリック）または空間分割/バイアス補正戦略を必要とするが、 [6] MMDはMMDの真の値を中心に集中する経験平均として容易に推定できる。この距離を 最大平均乖離度 と特徴付けるのは、MMDを計算することが、2つの確率分布間の期待値の差を最大化するRKHS関数を求めることと等価であるという事実に由来する。
MMD ( P , Q ) = sup ‖ f ‖ H ≤ 1 ( E [ f ( X ) ] − E [ f ( Y ) ] ) , {\displaystyle {\text{MMD}}(P,Q)=\sup _{\|f\|_{\mathcal {H}}\leq 1}\left(\mathbb {E} [f(X)]-\mathbb {E} [f(Y)]\right),} 積分確率計量 の一種 。
カーネル2標本検定 からのn個 の訓練例とから の m個の サンプル が与えられれば 、MMDの経験的推定に基づいて検定統計量を定式化することができる。 P ( X ) {\displaystyle P(X)} Q ( Y ) {\displaystyle Q(Y)}
MMD ^ ( P , Q ) = ‖ 1 n ∑ i = 1 n φ ( x i ) − 1 m ∑ i = 1 m φ ( y i ) ‖ H 2 = 1 n 2 ∑ i = 1 n ∑ j = 1 n k ( x i , x j ) + 1 m 2 ∑ i = 1 m ∑ j = 1 m k ( y i , y j ) − 2 n m ∑ i = 1 n ∑ j = 1 m k ( x i , y j ) {\displaystyle {\begin{aligned}{\widehat {\text{MMD}}}(P,Q)&=\left\|{\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})-{\frac {1}{m}}\sum _{i=1}^{m}\varphi (y_{i})\right\|_{\mathcal {H}}^{2}\\[5pt]&={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}k(x_{i},x_{j})+{\frac {1}{m^{2}}}\sum _{i=1}^{m}\sum _{j=1}^{m}k(y_{i},y_{j})-{\frac {2}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},y_{j})\end{aligned}}} 両標本が同じ分布（すなわち ）から派生しているという帰無仮説と、広い対立仮説との 2標本検定 [15] を得る 。 P = Q {\displaystyle P=Q} P ≠ Q {\displaystyle P\neq Q}
カーネル埋め込みによる密度推定 カーネル埋め込みフレームワークの学習アルゴリズムは中間的な密度推定の必要性を回避しますが、それでも経験的埋め込みを用いて、 基礎分布から抽出された n個の サンプルに基づいて密度推定を行うことができます。これは、次の最適化問題を解くことで行うことができます [6] [16] P X ∗ {\displaystyle P_{X}^{*}}
max P X H ( P X ) {\displaystyle \max _{P_{X}}H(P_{X})} 対象となる ‖ μ ^ X − μ X [ P X ] ‖ H ≤ ε {\displaystyle \|{\widehat {\mu }}_{X}-\mu _{X}[P_{X}]\|_{\mathcal {H}}\leq \varepsilon } ここで、最大化は 上の分布の空間全体にわたって行われます。ここ で、 は提案された密度のカーネル埋め込みであり 、 はエントロピーのような量です（例： エントロピー 、 KL 情報量 、 ブレグマン情報量 ）。この最適化を解決する分布は、サンプルの経験的カーネル平均を適切にフィッティングしながらも、確率質量のかなりの部分を確率空間のすべての領域（その多くはトレーニング例には表されていない可能性があります）に割り当てることの間の妥協点として解釈できます。実際には、候補密度の空間を正規化された混合比率を持つ M個の候補分布の混合に制限することで、困難な最適化の良好な近似解が見つかる場合があります。カーネルに関連付けられた特徴マッピングを一般化された（おそらく無限次元の） 指数族における十分な統計量と見なすと、 ガウス過程 と 条件付きランダムフィールド の基礎となるアイデアとの間の接続を 、この方法による条件付き確率分布の推定に結び付けることができます 。 [6] Ω . {\displaystyle \Omega .} μ X [ P X ] {\displaystyle \mu _{X}[P_{X}]} P X {\displaystyle P_{X}} H {\displaystyle H}
確率変数の依存性の測定 ランダム変数と（適切なカーネルを定義できる任意の領域からの） 統計的依存性の尺度は、ヒルベルト・シュミット独立性基準 [17] に基づいて定式化できる。 X {\displaystyle X} Y {\displaystyle Y}
HSIC ( X , Y ) = ‖ C X Y − μ X ⊗ μ Y ‖ H ⊗ H 2 {\displaystyle {\text{HSIC}}(X,Y)=\left\|{\mathcal {C}}_{XY}-\mu _{X}\otimes \mu _{Y}\right\|_{{\mathcal {H}}\otimes {\mathcal {H}}}^{2}} は、学習アルゴリズムで使用される相互情報量 、 ピアソン相関 、またはその他の依存関係の尺度の 原則的な代替として使用できます。最も注目すべきは、HSIC は任意の依存関係を検出できること (特性カーネルが埋め込みで使用されている場合、変数が 独立して いる場合にのみ HSIC がゼロになる)、および異なるタイプのデータ (例: 画像とテキストキャプション) 間の依存関係を測定するために使用できることです。各ランダム変数の n 個の iid サンプルが与えられると、真の値の周りの 集中 を示す HSIC の単純なパラメーターフリーの 不偏推定 値を時間 で計算できます [6] 。ここで、2 つのデータ セットのグラム行列は を使用して近似されます 。HSIC の望ましい特性により、この依存関係の尺度をさまざまな一般的な機械学習タスク( 特徴選択 (BAHSIC [18] )、 クラスタリング (CLUHSIC [19] )、 次元削減 (MUHSIC [20] )) に利用する多数のアルゴリズムが策定されました。 O ( n ( d f 2 + d g 2 ) ) {\displaystyle O(n(d_{f}^{2}+d_{g}^{2}))} A A T , B B T {\displaystyle \mathbf {A} \mathbf {A} ^{T},\mathbf {B} \mathbf {B} ^{T}} A ∈ R n × d f , B ∈ R n × d g {\displaystyle \mathbf {A} \in \mathbb {R} ^{n\times d_{f}},\mathbf {B} \in \mathbb {R} ^{n\times d_{g}}}
HSICは複数の確率変数の従属関係を測定するために拡張することができる。この場合、HSICが独立性を捉えるかどうかという問題は最近研究されている。 [21] 2つ以上の変数の場合
オン ：個々のカーネルの特性プロパティは同等の条件のままです。 R d {\displaystyle \mathbb {R} ^{d}} 一般領域では、カーネル成分の特性プロパティは必要ですが、 十分ではありません 。
カーネル確率伝播 信念伝播法 は、条件付き期待値の評価に対応するメッセージをノード間で繰り返し送受信する グラフィカルモデル における推論のための基本的なアルゴリズムである。カーネル埋め込みフレームワークでは、メッセージはRKHS関数として表現され、条件付き分布埋め込みを適用することでメッセージの更新を効率的に計算することができる。 マルコフ確率場におけるノードによって表現される n 個の確率変数のサンプルが与えられた場合、ノード u からノード t への受信メッセージは 次のように表される
。
m u t ( ⋅ ) = ∑ i = 1 n β u t i φ ( x t i ) {\displaystyle m_{ut}(\cdot )=\sum _{i=1}^{n}\beta _{ut}^{i}\varphi (x_{t}^{i})} RKHS内にあると仮定した場合、 t からノード sへの カーネル確率伝播更新 メッセージは [2] で与えられる。
m ^ t s = ( ⊙ u ∈ N ( t ) ∖ s K t β u t ) T ( K s + λ I ) − 1 Υ s T φ ( x s ) {\displaystyle {\widehat {m}}_{ts}=\left(\odot _{u\in N(t)\backslash s}\mathbf {K} _{t}{\boldsymbol {\beta }}_{ut}\right)^{T}(\mathbf {K} _{s}+\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}_{s}^{T}\varphi (x_{s})} ここで、 は要素ごとのベクトル積、は ノード s を除く t に接続されたノードの集合 、 、 はそれぞれ変数 からのサンプルのグラム行列 、 は からのサンプルの特徴行列です 。 ⊙ {\displaystyle \odot } N ( t ) ∖ s {\displaystyle N(t)\backslash s} β u t = ( β u t 1 , … , β u t n ) {\displaystyle {\boldsymbol {\beta }}_{ut}=\left(\beta _{ut}^{1},\dots ,\beta _{ut}^{n}\right)} K t , K s {\displaystyle \mathbf {K} _{t},\mathbf {K} _{s}} X t , X s {\displaystyle X_{t},X_{s}} Υ s = ( φ ( x s 1 ) , … , φ ( x s n ) ) {\displaystyle {\boldsymbol {\Upsilon }}_{s}=\left(\varphi (x_{s}^{1}),\dots ,\varphi (x_{s}^{n})\right)} X s {\displaystyle X_{s}}
したがって、ノードt への受信メッセージ が からの特徴マッピングサンプルの線形結合である場合 、このノードからの出力メッセージも からの特徴マッピングサンプルの線形結合となります 。したがって、このメッセージパッシング更新のRKHS関数表現は、効率的なビリーフプロパゲーションアルゴリズムを生成します。このアルゴリズムでは、 ポテンシャルは データから推論されるノンパラメトリック関数であり、任意の統計的関係をモデル化することができます。 [2] X t {\displaystyle X_{t}} X s {\displaystyle X_{s}}
隠れマルコフモデルにおけるノンパラメトリックフィルタリング 隠れマルコフモデル （HMM）において 、重要な2つの量は、隠れ状態間の遷移確率 と観測値の放出確率です 。カーネル条件付き分布埋め込みフレームワークを用いることで、これらの量はHMMのサンプルを用いて表現できます。この分野における埋め込み手法の重大な制約は、隠れ状態を含む学習サンプルが必要であることです。そうでなければ、HMMにおける任意の分布を用いた推論は不可能です。 P ( S t ∣ S t − 1 ) {\displaystyle P(S^{t}\mid S^{t-1})} P ( O t ∣ S t ) {\displaystyle P(O^{t}\mid S^{t})}
HMMの一般的な用途の一つは フィルタリング であり、その目的は、 システムからの 過去の観測履歴を与えられた場合に、 時刻 tにおける隠れ状態の事後分布を推定することである。フィルタリングでは、 信念状態 は予測ステップ（ 以前の隠れ状態を周辺化して更新を計算する）と条件付けステップ（ 新しい観測を条件としてベイズの定理を適用して更新を計算する）を経て再帰的に維持される。 [2]時刻 t+1 における信念状態のRKHS埋め込みは、 再帰的に次のように表現できる。 s t {\displaystyle s^{t}} h t = ( o 1 , … , o t ) {\displaystyle h^{t}=(o^{1},\dots ,o^{t})} P ( S t + 1 ∣ h t + 1 ) {\displaystyle P(S^{t+1}\mid h^{t+1})} P ( S t + 1 ∣ h t ) = E [ P ( S t + 1 ∣ S t ) ∣ h t ] {\displaystyle P(S^{t+1}\mid h^{t})=\mathbb {E} [P(S^{t+1}\mid S^{t})\mid h^{t}]} P ( S t + 1 ∣ h t , o t + 1 ) ∝ P ( o t + 1 ∣ S t + 1 ) P ( S t + 1 ∣ h t ) {\displaystyle P(S^{t+1}\mid h^{t},o^{t+1})\propto P(o^{t+1}\mid S^{t+1})P(S^{t+1}\mid h^{t})}
μ S t + 1 ∣ h t + 1 = C S t + 1 O t + 1 π ( C O t + 1 O t + 1 π ) − 1 φ ( o t + 1 ) {\displaystyle \mu _{S^{t+1}\mid h^{t+1}}={\mathcal {C}}_{S^{t+1}O^{t+1}}^{\pi }\left({\mathcal {C}}_{O^{t+1}O^{t+1}}^{\pi }\right)^{-1}\varphi (o^{t+1})} カーネル和則を用いて予測ステップの埋め込みを計算し、カーネルベイズ則を用いて条件付けステップの埋め込みを計算する。訓練サンプルが 与えられていると仮定すると、実際には推定できる。 ( s ~ 1 , … , s ~ T , o ~ 1 , … , o ~ T ) {\displaystyle ({\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T},{\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T})}
μ ^ S t + 1 ∣ h t + 1 = ∑ i = 1 T α i t φ ( s ~ t ) {\displaystyle {\widehat {\mu }}_{S^{t+1}\mid h^{t+1}}=\sum _{i=1}^{T}\alpha _{i}^{t}\varphi ({\widetilde {s}}^{t})} カーネル埋め込みによるフィルタリングは、重みに対する以下の更新を使用して再帰的に実装される [2] α = ( α 1 , … , α T ) {\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\dots ,\alpha _{T})}
D t + 1 = diag ( ( G + λ I ) − 1 G ~ α t ) {\displaystyle \mathbf {D} ^{t+1}=\operatorname {diag} \left((G+\lambda \mathbf {I} )^{-1}{\widetilde {G}}{\boldsymbol {\alpha }}^{t}\right)} α t + 1 = D t + 1 K ( ( D t + 1 K ) 2 + λ ~ I ) − 1 D t + 1 K o t + 1 {\displaystyle {\boldsymbol {\alpha }}^{t+1}=\mathbf {D} ^{t+1}\mathbf {K} \left((\mathbf {D} ^{t+1}K)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {D} ^{t+1}\mathbf {K} _{o^{t+1}}} ここで、 それぞれと グラム行列を表し 、 は次の ように定義される転送グラム行列である。 G , K {\displaystyle \mathbf {G} ,\mathbf {K} } s ~ 1 , … , s ~ T {\displaystyle {\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T}} o ~ 1 , … , o ~ T {\displaystyle {\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T}} G ~ {\displaystyle {\widetilde {\mathbf {G} }}} G ~ i j = k ( s ~ i , s ~ j + 1 ) , {\displaystyle {\widetilde {\mathbf {G} }}_{ij}=k({\widetilde {s}}_{i},{\widetilde {s}}_{j+1}),} K o t + 1 = ( k ( o ~ 1 , o t + 1 ) , … , k ( o ~ T , o t + 1 ) ) T . {\displaystyle \mathbf {K} _{o^{t+1}}=(k({\widetilde {o}}^{1},o^{t+1}),\dots ,k({\widetilde {o}}^{T},o^{t+1}))^{T}.}
サポート測定機 サポート メジャーマシン（SMM）は、 サポートベクターマシン （SVM）の一般化であり、 訓練例はラベルとペアになった確率分布です 。 [22] SMMは、次の 期待カーネル を使用して標準的なSVMの 双対最適化問題を解きます。 { P i , y i } i = 1 n , y i ∈ { + 1 , − 1 } {\displaystyle \{P_{i},y_{i}\}_{i=1}^{n},\ y_{i}\in \{+1,-1\}}
K ( P ( X ) , Q ( Z ) ) = ⟨ μ X , μ Z ⟩ H = E [ k ( x , z ) ] {\displaystyle K\left(P(X),Q(Z)\right)=\langle \mu _{X},\mu _{Z}\rangle _{\mathcal {H}}=\mathbb {E} [k(x,z)]} これは、 ガウス分布のような多くの一般的な特定の分布と一般的な埋め込みカーネル （例えば、ガウスカーネルや多項式カーネル）との組み合わせに対して閉じた形で計算可能であり、またはiidサンプルから経験的に正確に推定することができる 。 P i {\displaystyle P_{i}} k {\displaystyle k} { x i } i = 1 n ∼ P ( X ) , { z j } j = 1 m ∼ Q ( Z ) {\displaystyle \{x_{i}\}_{i=1}^{n}\sim P(X),\{z_{j}\}_{j=1}^{m}\sim Q(Z)}
K ^ ( X , Z ) = 1 n m ∑ i = 1 n ∑ j = 1 m k ( x i , z j ) {\displaystyle {\widehat {K}}(X,Z)={\frac {1}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},z_{j})} 埋め込みカーネルの特定の選択の下では 、トレーニング例に適用されるSMMは サンプルでトレーニングされたSVMと同等であり 、したがってSMMは、 異なるデータ依存カーネル（分布の想定形式によって指定される）を各トレーニングポイントに配置できる 柔軟な SVMと見なすことができます。 [22] k {\displaystyle k} { P i , y i } i = 1 n {\displaystyle \{P_{i},y_{i}\}_{i=1}^{n}} { x i , y i } i = 1 n {\displaystyle \{x_{i},y_{i}\}_{i=1}^{n}} P i {\displaystyle P_{i}}
共変量、ターゲット、条件シフトによるドメイン適応 ドメイン適応 の目標は 、訓練データとテストデータの分布が異なる場合でも、適切に一般化できる学習アルゴリズムを定式化することです。訓練データ とテストデータ（ ただし、分布 が未知）が与えられた場合、訓練データの分布 とテストデータの分布の間には、一般的に3種類の差異があると想定されます 。 [23] [24] { ( x i tr , y i tr ) } i = 1 n {\displaystyle \{(x_{i}^{\text{tr}},y_{i}^{\text{tr}})\}_{i=1}^{n}} { ( x j te , y j te ) } j = 1 m {\displaystyle \{(x_{j}^{\text{te}},y_{j}^{\text{te}})\}_{j=1}^{m}} y j te {\displaystyle y_{j}^{\text{te}}} P tr ( X , Y ) {\displaystyle P^{\text{tr}}(X,Y)} P te ( X , Y ) {\displaystyle P^{\text{te}}(X,Y)}
共変量の周辺分布がドメイン間で変化する 共変量シフト: P tr ( X ) ≠ P te ( X ) {\displaystyle P^{\text{tr}}(X)\neq P^{\text{te}}(X)} 出力の周辺分布がドメイン間で変化する ターゲットシフト: P tr ( Y ) ≠ P te ( Y ) {\displaystyle P^{\text{tr}}(Y)\neq P^{\text{te}}(Y)} における 条件付きシフトは 領域間で同じままであるが、条件付き分布は異なる： 。一般に、条件付きシフトの存在は 不適切設定 問題につながり、問題を扱いやすくするために、 は における 位置 - スケール （LS）変換の 下でのみ変化するという追加の仮定 が一般的に課される。 P ( Y ) {\displaystyle P(Y)} P tr ( X ∣ Y ) ≠ P te ( X ∣ Y ) {\displaystyle P^{\text{tr}}(X\mid Y)\neq P^{\text{te}}(X\mid Y)} P ( X ∣ Y ) {\displaystyle P(X\mid Y)} X {\displaystyle X} 周辺分布と条件付き分布のカーネル埋め込みを利用することで、訓練領域とテスト領域間のこのような差異に対処するための実用的なアプローチを策定することができる。共変量シフトは、各領域における 周辺分布のカーネル埋め込みから直接得られる比率の推定値を用いて、例の重み付けを変更することで考慮することができる。この場合 、分布の明示的な推定は必要ない。 [24] ターゲットシフトは、テスト領域にはサンプルが存在しないため同様には対処できないが 、訓練例にベクトルを用いて重み付けすることで考慮される。このベクトルは、 以下の最適化問題を解く（実際には経験的近似値を用いる必要がある） [23]。 P te ( X ) / P tr ( X ) {\displaystyle P^{\text{te}}(X)/P^{\text{tr}}(X)} X {\displaystyle X} Y {\displaystyle Y} β ∗ ( y tr ) {\displaystyle {\boldsymbol {\beta }}^{*}(\mathbf {y} ^{\text{tr}})}
min β ( y ) ‖ C ( X ∣ Y ) tr E [ β ( y ) φ ( y tr ) ] − μ X te ‖ H 2 {\displaystyle \min _{{\boldsymbol {\beta }}(y)}\left\|{\mathcal {C}}_{{(X\mid Y)}^{\text{tr}}}\mathbb {E} [{\boldsymbol {\beta }}(y)\varphi (y^{\text{tr}})]-\mu _{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}} 対象となる β ( y ) ≥ 0 , E [ β ( y tr ) ] = 1 {\displaystyle {\boldsymbol {\beta }}(y)\geq 0,\mathbb {E} [{\boldsymbol {\beta }}(y^{\text{tr}})]=1} 位置スケール条件付きシフトに対処するために、訓練点のLS変換を行い、新たな変換された訓練データ （ここで、は 要素ごとのベクトル積を表す）を得ることができる。新たな変換された訓練サンプルとテストデータ間の分布が類似していることを保証するために、 以下の経験的カーネル埋め込み距離を最小化することで推定する [23] 。 X new = X tr ⊙ W + B {\displaystyle \mathbf {X} ^{\text{new}}=\mathbf {X} ^{\text{tr}}\odot \mathbf {W} +\mathbf {B} } ⊙ {\displaystyle \odot } W , B {\displaystyle \mathbf {W} ,\mathbf {B} }
‖ μ ^ X new − μ ^ X te ‖ H 2 = ‖ C ^ ( X ∣ Y ) new μ ^ Y tr − μ ^ X te ‖ H 2 {\displaystyle \left\|{\widehat {\mu }}_{X^{\text{new}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}=\left\|{\widehat {\mathcal {C}}}_{(X\mid Y)^{\text{new}}}{\widehat {\mu }}_{Y^{\text{tr}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}} 一般的に、LS条件シフトとターゲットシフトを扱うカーネル埋め込み法は、テスト分布を模倣するトレーニングデータの再重み付け変換を見つけるために組み合わせることができ、これらの方法は、位置スケールの変化以外の条件シフトが存在する場合でも良好なパフォーマンスを発揮する可能性があります。 [23]
不変特徴表現によるドメイン一般化 分布 から iid でサンプリングされたN セットのトレーニング例が 与えられた場合、 ドメイン一般化 の目標は 、トレーニング時にテスト領域のデータが利用できない、 これまでに見たことのないドメインからサンプリングされたテスト例に対して優れたパフォーマンスを発揮する学習アルゴリズムを策定することです。条件付き分布 がすべてのドメインで比較的類似していると仮定すると、ドメイン一般化が可能な学習器は、周辺分布 の変化に対してロバストな変数間の機能関係を推定する必要があります 。これらの分布のカーネル埋め込みに基づいて、ドメイン不変成分分析 (DICA) は、すべてのトレーニング領域で共有される共通の条件付き分布を維持しながら、周辺分布間の差を最小化するトレーニングデータの変換を決定する手法です。 [25] このように、DICA はドメイン間で転送される 不変量、つまり特徴を抽出し、 カーネル主成分分析 、転送成分分析、共分散演算子逆回帰などの多くの一般的な次元削減手法の一般化と見なすことができます 。 [25] P ( 1 ) ( X , Y ) , P ( 2 ) ( X , Y ) , … , P ( N ) ( X , Y ) {\displaystyle P^{(1)}(X,Y),P^{(2)}(X,Y),\ldots ,P^{(N)}(X,Y)} P ∗ ( X , Y ) {\displaystyle P^{*}(X,Y)} P ( Y ∣ X ) {\displaystyle P(Y\mid X)} P ( X ) {\displaystyle P(X)}
RKHS上の 確率分布を定義する と、 P {\displaystyle {\mathcal {P}}} H {\displaystyle {\mathcal {H}}}
P ( μ X ( i ) Y ( i ) ) = 1 N for i = 1 , … , N , {\displaystyle {\mathcal {P}}\left(\mu _{X^{(i)}Y^{(i)}}\right)={\frac {1}{N}}\qquad {\text{ for }}i=1,\dots ,N,} DICAは、次のように計算される 分布分散 を介してドメイン間の相違を測定します。
V H ( P ) = 1 N tr ( G ) − 1 N 2 ∑ i , j = 1 N G i j {\displaystyle V_{\mathcal {H}}({\mathcal {P}})={\frac {1}{N}}\operatorname {tr} (\mathbf {G} )-{\frac {1}{N^{2}}}\sum _{i,j=1}^{N}\mathbf {G} _{ij}} どこ
G i j = ⟨ μ X ( i ) , μ X ( j ) ⟩ H {\displaystyle \mathbf {G} _{ij}=\left\langle \mu _{X^{(i)}},\mu _{X^{(j)}}\right\rangle _{\mathcal {H}}} は 、訓練データがサンプリングされる分布上のグラム行列 である。DICA は、分布分散を最小化する 低次元 部分空間 B （特徴空間内）への 直交変換を求めると同時に、 Bが中心部分空間Cの 基底と一致することを保証する。中心部分空間Cの基底 は、 すべて の 領域にわたって 与えられた もの から独立になる 。目標値が存在しない場合は 、DICAの教師なしバージョンを定式化することができる。これは、分布分散を最小化すると同時に、 すべての領域にわたって（特徴空間内）の分散を最大化する低次元部分空間を求める（中心部分空間を維持するのではなく）。 [25] G {\displaystyle \mathbf {G} } N × N {\displaystyle N\times N} Y {\displaystyle Y} X {\displaystyle X} C T X {\displaystyle C^{T}X} Y {\displaystyle Y} X {\displaystyle X}
分布回帰 分布回帰の目的は、確率分布から実数（またはベクトル）への回帰です。 この枠組みには、 マルチ インスタンス学習 や、解析解のない 点推定問題（ ハイパーパラメータ推定 や エントロピー推定 など）など、多くの重要な機械学習および統計タスクが当てはまります。実際には、サンプリングされた分布からのサンプルのみが観測可能であり、推定値は 点集合 間で計算された類似度に依存します 。分布回帰は、例えば、教師ありエントロピー学習や、マルチスペクトル衛星画像を用いたエアロゾル予測などに効果的に応用されています。 [26]
訓練データ が与えられ、 バッグには確率分布からのサンプルが含まれており 、 出力ラベルは であるとする と、分布の埋め込みを取り、その埋め込みから出力への回帰変数を学習することで、分布回帰問題に取り組むことができます。言い換えれば、次のようなカーネル リッジ回帰 問題を考えることができます。 ( { X i , n } n = 1 N i , y i ) i = 1 ℓ {\displaystyle {\left(\{X_{i,n}\}_{n=1}^{N_{i}},y_{i}\right)}_{i=1}^{\ell }} X i ^ := { X i , n } n = 1 N i {\displaystyle {\hat {X_{i}}}:=\{X_{i,n}\}_{n=1}^{N_{i}}} X i {\displaystyle X_{i}} i th {\displaystyle i^{\text{th}}} y i ∈ R {\displaystyle y_{i}\in \mathbb {R} } ( λ > 0 ) {\displaystyle (\lambda >0)}
J ( f ) = 1 ℓ ∑ i = 1 ℓ [ f ( μ X i ^ ) − y i ] 2 + λ ‖ f ‖ H ( K ) 2 → min f ∈ H ( K ) , {\displaystyle J(f)={\frac {1}{\ell }}\sum _{i=1}^{\ell }\left[f\left(\mu _{\hat {X_{i}}}\right)-y_{i}\right]^{2}+\lambda \|f\|_{{\mathcal {H}}(K)}^{2}\to \min _{f\in {\mathcal {H}}(K)},} どこ
μ X ^ i = ∫ Ω k ( ⋅ , u ) d X ^ i ( u ) = 1 N i ∑ n = 1 N i k ( ⋅ , X i , n ) {\displaystyle \mu _{{\hat {X}}_{i}}=\int _{\Omega }k(\cdot ,u)\,\mathrm {d} {\hat {X}}_{i}(u)={\frac {1}{N_{i}}}\sum _{n=1}^{N_{i}}k(\cdot ,X_{i,n})} -s のドメイン上のカーネル 、 は 埋め込み分布上のカーネル、は によって決定される RKHS です 。 の例としては、 線形カーネル 、ガウスカーネル 、指数カーネル 、コーシーカーネル 、一般化 t-スチューデントカーネル 、逆多重二次関数カーネルなどが挙げられます 。 k {\displaystyle k} X i {\displaystyle X_{i}} ( k : Ω × Ω → R ) {\displaystyle (k:\Omega \times \Omega \to \mathbb {R} )} K {\displaystyle K} H ( K ) {\displaystyle {\mathcal {H}}(K)} K {\displaystyle K} K {\displaystyle K} [ K ( μ P , μ Q ) = ⟨ μ P , μ Q ⟩ H ( k ) ] {\displaystyle \left[K(\mu _{P},\mu _{Q})=\langle \mu _{P},\mu _{Q}\rangle _{{\mathcal {H}}(k)}\right]} [ K ( μ P , μ Q ) = e − ‖ μ P − μ Q ‖ H ( k ) 2 / ( 2 σ 2 ) ] {\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/(2\sigma ^{2})}\right]} [ K ( μ P , μ Q ) = e − ‖ μ P − μ Q ‖ H ( k ) / ( 2 σ 2 ) ] {\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}/(2\sigma ^{2})}\right]} [ K ( μ P , μ Q ) = ( 1 + ‖ μ P − μ Q ‖ H ( k ) 2 / σ 2 ) − 1 ] {\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/\sigma ^{2}\right)^{-1}\right]} [ K ( μ P , μ Q ) = ( 1 + ‖ μ P − μ Q ‖ H ( k ) σ ) − 1 , ( σ ≤ 2 ) ] {\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{\sigma }\right)^{-1},(\sigma \leq 2)\right]} [ K ( μ P , μ Q ) = ( ‖ μ P − μ Q ‖ H ( k ) 2 + σ 2 ) − 1 2 ] {\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}+\sigma ^{2}\right)^{-{\frac {1}{2}}}\right]}
新しい分布の予測は、 単純で解析的な形をとる。 ( X ^ ) {\displaystyle ({\hat {X}})}
y ^ ( X ^ ) = k [ G + λ ℓ ] − 1 y , {\displaystyle {\hat {y}}{\big (}{\hat {X}}{\big )}=\mathbf {k} [\mathbf {G} +\lambda \ell ]^{-1}\mathbf {y} ,} ここで 、、、、 。軽度の正則性条件下では 、 この推定量は矛盾がなく、1段階サンプリング（真の -sにアクセスできたかのように） のミニマックス最適 レートを達成できることが示されます。 [26] 目的関数 では、-sは実数です。結果は 、-sが次元ベクトル、またはより一般的には 演算子値カーネルを使用した 可分 ヒルベルト空間 の要素 の場合にも拡張できます 。 k = [ K ( μ X ^ i , μ X ^ ) ] ∈ R 1 × ℓ {\displaystyle \mathbf {k} ={\big [}K{\big (}\mu _{{\hat {X}}_{i}},\mu _{\hat {X}}{\big )}{\big ]}\in \mathbb {R} ^{1\times \ell }} G = [ G i j ] ∈ R ℓ × ℓ {\displaystyle \mathbf {G} =[G_{ij}]\in \mathbb {R} ^{\ell \times \ell }} G i j = K ( μ X ^ i , μ X ^ j ) ∈ R {\displaystyle G_{ij}=K{\big (}\mu _{{\hat {X}}_{i}},\mu _{{\hat {X}}_{j}}{\big )}\in \mathbb {R} } y = [ y 1 ; … ; y ℓ ] ∈ R ℓ {\displaystyle \mathbf {y} =[y_{1};\ldots ;y_{\ell }]\in \mathbb {R} ^{\ell }} X i {\displaystyle X_{i}} J {\displaystyle J} y i {\displaystyle y_{i}} y i {\displaystyle y_{i}} d {\displaystyle d} K {\displaystyle K}
例 Song et al. [2] から引用したこの単純な例では、 は 集合 の値をとる 離散確率変数 であると仮定し 、カーネルは クロネッカーのデルタ 関数として選択されるため、 となる 。このカーネルに対応する特徴マップは 標準基底 ベクトルとなる 。したがって、このような分布のカーネル埋め込みは周辺確率のベクトルであり、一方、この設定における結合分布の埋め込みは結合 確率表を指定する行列であり、これらの埋め込みの明示的な形式は以下の通りである。 X , Y {\displaystyle X,Y} { 1 , … , K } {\displaystyle \{1,\ldots ,K\}} k ( x , x ′ ) = δ ( x , x ′ ) {\displaystyle k(x,x')=\delta (x,x')} φ ( x ) = e x {\displaystyle \varphi (x)=\mathbf {e} _{x}} K × K {\displaystyle K\times K}
μ X = E [ e X ] = ( P ( X = 1 ) ⋮ P ( X = K ) ) {\displaystyle \mu _{X}=\mathbb {E} [\mathbf {e} _{X}]={\begin{pmatrix}P(X=1)\\\vdots \\P(X=K)\\\end{pmatrix}}} C X Y = E [ e X ⊗ e Y ] = ( P ( X = s , Y = t ) ) s , t ∈ { 1 , … , K } {\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\mathbf {e} _{X}\otimes \mathbf {e} _{Y}]=(P(X=s,Y=t))_{s,t\in \{1,\ldots ,K\}}} のとき 、すべての に対して 、条件付き分布埋め込み演算子、 P ( X = s ) > 0 {\displaystyle P(X=s)>0} s ∈ { 1 , … , K } {\displaystyle s\in \{1,\ldots ,K\}}
C Y ∣ X = C Y X C X X − 1 , {\displaystyle {\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}}_{XX}^{-1},} この設定では条件付き確率表である
C Y ∣ X = ( P ( Y = s ∣ X = t ) ) s , t ∈ { 1 , … , K } {\displaystyle {\mathcal {C}}_{Y\mid X}=(P(Y=s\mid X=t))_{s,t\in \{1,\dots ,K\}}} そして
C X X = ( P ( X = 1 ) … 0 ⋮ ⋱ ⋮ 0 … P ( X = K ) ) {\displaystyle {\mathcal {C}}_{XX}={\begin{pmatrix}P(X=1)&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &P(X=K)\\\end{pmatrix}}} したがって、固定値の下での条件付き分布の埋め込みは 次のように計算できる。 X {\displaystyle X}
μ Y ∣ x = C Y ∣ X φ ( x ) = ( P ( Y = 1 ∣ X = x ) ⋮ P ( Y = K ∣ X = x ) ) {\displaystyle \mu _{Y\mid x}={\mathcal {C}}_{Y\mid X}\varphi (x)={\begin{pmatrix}P(Y=1\mid X=x)\\\vdots \\P(Y=K\mid X=x)\\\end{pmatrix}}} クロネッカーデルタカーネルを用いたこの離散値設定では、カーネル和則は次のようになる。
( P ( X = 1 ) ⋮ P ( X = N ) ) ⏟ μ X π = ( P ( X = s ∣ Y = t ) ) ⏟ C X ∣ Y ( π ( Y = 1 ) ⋮ π ( Y = N ) ) ⏟ μ Y π {\displaystyle \underbrace {\begin{pmatrix}P(X=1)\\\vdots \\P(X=N)\\\end{pmatrix}} _{\mu _{X}^{\pi }}=\underbrace {\begin{pmatrix}\\P(X=s\mid Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{X\mid Y}}\underbrace {\begin{pmatrix}\pi (Y=1)\\\vdots \\\pi (Y=N)\\\end{pmatrix}} _{\mu _{Y}^{\pi }}} この場合のカーネル連鎖則は次のように与えられる。
( P ( X = s , Y = t ) ) ⏟ C X Y π = ( P ( X = s ∣ Y = t ) ) ⏟ C X ∣ Y ( π ( Y = 1 ) … 0 ⋮ ⋱ ⋮ 0 … π ( Y = K ) ) ⏟ C Y Y π {\displaystyle \underbrace {\begin{pmatrix}\\P(X=s,Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{XY}^{\pi }}=\underbrace {\begin{pmatrix}\\P(X=s\mid Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{X\mid Y}}\underbrace {\begin{pmatrix}\pi (Y=1)&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &\pi (Y=K)\\\end{pmatrix}} _{{\mathcal {C}}_{YY}^{\pi }}}
参考文献 ^ ab A. Smola, A. Gretton, L. Song, B. Schölkopf. (2007). 分布のためのヒルベルト空間埋め込み Archived 2013-12-15 at the Wayback Machine . Algorithmic Learning Theory: 18th International Conference . Springer: 13–31. ^ abcdefghijklmn L. Song, K. Fukumizu, F. Dinuzzo, A. Gretton (2013). 条件付き分布のカーネル埋め込み：グラフィカルモデルにおけるノンパラメトリック推論のための統一カーネルフレームワーク. IEEE Signal Processing Magazine 30 : 98–111. ^ J. Shawe-Taylor, N. Christianini. (2004). パターン分析のためのカーネル法 . Cambridge University Press, Cambridge, UK. ^ T. Hofmann, B. Schölkopf, A. Smola. (2008). 機械学習におけるカーネル法. The Annals of Statistics 36 (3):1171–1220. ^ Muandet, Krikamol; Fukumizu, Kenji; Sriperumbudur, Bharath; Schölkopf, Bernhard (2017-06-28). 「分布のカーネル平均埋め込み：レビューと今後の展望」. 機械学習の基礎とトレンド . 10 ( 1–2 ): 1– 141. arXiv : 1605.09522 . doi :10.1561/2200000060. ISSN 1935-8237. ^ abcdefghi L. Song. (2008) 分布のヒルベルト空間埋め込みによる学習. シドニー大学博士論文. ^ K. Fukumizu, A. Gretton, X. Sun, B. Schölkopf (2008). 条件付き独立性のカーネル測度. Advances in Neural Information Processing Systems 20 , MIT Press, Cambridge, MA. ^ abc L. Song, J. Huang, AJ Smola, K. Fukumizu. (2009). 条件付き分布のヒルベルト空間埋め込み. Proc. Int. Conf. Machine Learning . モントリオール、カナダ: 961–968. ^ * スタインワート、インゴ;クリストマン、アンドレアス (2008)。 サポートベクターマシン 。ニューヨーク：スプリンガー。 ISBN 978-0-387-77241-7 。 ^ Sriperumbudur, BK; Fukumizu, K.; Lanckriet, GRG (2011). 「普遍性、特性カーネル、およびRKHSによる測度の埋め込み」. Journal of Machine Learning Research . 12 (70). ^ Liang, Percy (2016)、CS229T/STAT231: 統計学習理論 (PDF) 、スタンフォード大学の講義ノート ^ Sriperumbudur, BK; Fukumizu, K.; Lanckriet, GRG (2010). 普遍性、特性カーネル、および測度のRKHS埋め込みの関係について. 第13回国際人工知能統計会議議事録. イタリア. ^ Micchelli, CA; Xu, Y.; Zhang, H. (2006). 「ユニバーサルカーネル」. 機械学習研究ジャーナル . 7 (95): 2651– 2667. ^ S. Grunewalder, G. Lever, L. Baldassarre, S. Patterson, A. Gretton, M. Pontil. (2012). 条件付き平均埋め込みを用いた回帰変数の推定. Proc. Int. Conf. Machine Learning : 1823–1830. ^ A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf, A. Smola. (2012). カーネル2標本検定. Journal of Machine Learning Research , 13 : 723–773. ^ M. Dudík, SJ Phillips, RE Schapire. (2007). 一般化正則化による最大エントロピー分布推定と種分布モデリングへの応用. 機械学習研究ジャーナル , 8 : 1217–1260. ^ A. Gretton, O. Bousquet, A. Smola, B. Schölkopf. (2005). ヒルベルト・シュミットノルムを用いた統計的依存性の測定. アルゴリズム学習理論国際会議論文集 : 63–78. ^ L. Song, A. Smola, A. Gretton, K. Borgwardt, J. Bedo. (2007). 教師あり特徴選択による依存性推定. Proc. Intl. Conf. Machine Learning , Omnipress: 823–830. ^ L. Song, A. Smola, A. Gretton, K. Borgwardt. (2007). クラスタリングにおける依存性最大化の視点. Proc. Intl. Conf. Machine Learning . Omnipress: 815–822. ^ L. Song, A. Smola, K. Borgwardt, A. Gretton. (2007). 色付き最大分散展開. 神経情報処理システム . ^ Zoltán Szabó, Bharath K. Sriperumbudur. 特性テンソル積カーネルとユニバーサルテンソル積カーネル. Journal of Machine Learning Research , 19:1–29, 2018. ^ ab K. Muandet, K. Fukumizu, F. Dinuzzo, B. Schölkopf. (2012). サポート測定マシンによる分布からの学習. ニューラル情報処理システムの進歩 : 10–18. ^ abcd K. Zhang, B. Schölkopf, K. Muandet, Z. Wang. (2013). ターゲットシフトと条件シフト下におけるドメイン適応. 機械学習研究ジャーナル, 28 (3): 819–827. ^ ab A. Gretton, A. Smola, J. Huang, M. Schmittfull, K. Borgwardt, B. Schölkopf. (2008). 共変量シフトと分布マッチングによる局所学習．J . Quinonero-Candela, M. Sugiyama, A. Schwaighofer, N. Lawrence (編). 機械学習におけるデータセットシフト ．MIT Press, Cambridge, MA: 131–160. ^ abc K. Muandet、D. Balduzzi、B. Schölkopf。(2013)不変特徴表現によるドメイン一般化。 第30回国際機械学習会議 。 ^ ab Z. Szabó, B. Sriperumbudur, B. Póczos, A. Gretton. 分布回帰の学習理論. 機械学習研究ジャーナル , 17(152):1–40, 2016.
外部リンク 情報理論的推定ツールボックス (分布回帰のデモンストレーション)。 
![{\displaystyle \mu _{X}:=\mathbb {E} [k(X,\cdot )]=\mathbb {E} [\varphi (X)]=\int _{\Omega }\varphi (x)\ \mathrm {d} P(x)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f862d6986fd2f8fcea5ddb48489ef835a972f817)
![{\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\varphi (X)\otimes \varphi (Y)]=\int _{\Omega \times \Omega }\varphi (x)\otimes \varphi (y)\ \mathrm {d} P(x,y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6fe80c305396f4fbd17eb41b43d9d504af250211)
![{\displaystyle \operatorname {Cov} (f(X),g(Y)):=\mathbb {E} [f(X)g(Y)]-\mathbb {E} [f(X)]\mathbb {E} [g(Y)]=\langle f,{\mathcal {C}}_{XY}g\rangle _{\mathcal {H}}=\langle f\otimes g,{\mathcal {C}}_{XY}\rangle _{{\mathcal {H}}\otimes {\mathcal {H}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3d05786215aaf75e79826544e049058ebdb27728)
![{\displaystyle \mu _{Y\mid x}=\mathbb {E} [\varphi (Y)\mid X]=\int _{\Omega }\varphi (y)\ \mathrm {d} P(y\mid x)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/74368d151ac85df1f1195e129893309282add667)
![{\displaystyle g\in {\mathcal {H}}:\mathbb {E} [g(Y)\mid X]\in {\mathcal {H}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/05570d8320a6c7f7514f18289834796e7ee81864)
![{\displaystyle \mathbb {E} [f(X)]=\langle f,\mu _{X}\rangle _{\mathcal {H}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/308b871f33b57cbb59b80f7a754ecfacec6aaafa)
![{\displaystyle [0,1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/738f7d23bb2d9642bab520020873cccbef49768d)
![{\displaystyle \|\mu _{X}-{\widehat {\mu }}_{X}\|_{\mathcal {H}}=\sup _{f\in {\mathcal {B}}(0,1)}\left|\mathbb {E} [f(X)]-{\frac {1}{n}}\sum _{i=1}^{n}f(x_{i})\right|\leq {\frac {2}{n}}\mathbb {E} \left[{\sqrt {\operatorname {tr} K}}\right]+{\sqrt {\frac {\log(2/\delta )}{2n}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1345c55427797498d758c5bdef2bcb0b542cde3b)
![{\displaystyle \mu _{X}^{\pi }=\mathbb {E} [{\mathcal {C}}_{X\mid Y}\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mathbb {E} [\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mu _{Y}^{\pi }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/304ebef9f47f404410529a1d570478374138626b)
![{\displaystyle {\mathcal {C}}_{XY}^{\pi }=\mathbb {E} [\varphi (X)\otimes \varphi (Y)],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/973ab0f3a4484e4049c355822145adb5b8222735)
![{\displaystyle {\mathcal {C}}_{YY}^{\pi }=\mathbb {E} [\varphi (Y)\otimes \varphi (Y)].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/322ce140000f7582b47a3a3679f24bffc9d42c97)
![{\displaystyle {\text{MMD}}(P,Q)=\sup _{\|f\|_{\mathcal {H}}\leq 1}\left(\mathbb {E} [f(X)]-\mathbb {E} [f(Y)]\right),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4cfb3272a3525278930c0e0a0a9c9666e06dcee0)
![{\displaystyle {\begin{aligned}{\widehat {\text{MMD}}}(P,Q)&=\left\|{\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})-{\frac {1}{m}}\sum _{i=1}^{m}\varphi (y_{i})\right\|_{\mathcal {H}}^{2}\\[5pt]&={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}k(x_{i},x_{j})+{\frac {1}{m^{2}}}\sum _{i=1}^{m}\sum _{j=1}^{m}k(y_{i},y_{j})-{\frac {2}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},y_{j})\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3ea882089dd8c094015f533408f7b4bac1105e6f)
![{\displaystyle \|{\widehat {\mu }}_{X}-\mu _{X}[P_{X}]\|_{\mathcal {H}}\leq \varepsilon }](https://wikimedia.org/api/rest_v1/media/math/render/svg/e43ddd88bd1c059293a828452ce9ed6a0eeb14e3)
![{\displaystyle \mu_{X}[P_{X}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/642b3d5fc182c7c5ebdc998f11586bd1a10e4e2d)
![{\displaystyle P(S^{t+1}\mid h^{t})=\mathbb {E} [P(S^{t+1}\mid S^{t})\mid h^{t}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bffdb60a91ec2f022f41311945bfe03e4fc56a0c)
![{\displaystyle K\left(P(X),Q(Z)\right)=\langle \mu _{X},\mu _{Z}\rangle _{\mathcal {H}}=\mathbb {E} [k(x,z)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1a6a129234a929a502edbd41889f7d78f12a2197)
![{\displaystyle \min _{{\boldsymbol {\beta }}(y)}\left\|{\mathcal {C}}_{{(X\mid Y)}^{\text{tr}}}\mathbb {E} [{\boldsymbol {\beta }}(y)\varphi (y^{\text{tr}})]-\mu _{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1fa5b2961590a433429df83a63d8bf2fd35b3ea9)
![{\displaystyle {\boldsymbol {\beta }}(y)\geq 0,\mathbb {E} [{\boldsymbol {\beta }}(y^{\text{tr}})]=1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7872a5170e672a9ef4de4db59c7e28c6fa18278f)
![{\displaystyle J(f)={\frac {1}{\ell }}\sum _{i=1}^{\ell }\left[f\left(\mu _{\hat {X_{i}}}\right)-y_{i}\right]^{2}+\lambda \|f\|_{{\mathcal {H}}(K)}^{2}\to \min _{f\in {\mathcal {H}}(K)},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c13caaad93e5a4b8f6dd7fc5f9a4233a0ec5940e)
![{\displaystyle \left[K(\mu _{P},\mu _{Q})=\langle \mu _{P},\mu _{Q}\rangle _{{\mathcal {H}}(k)}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ce8a7724f0fc08912bf1f5b9938cdfdcc63da078)
![{\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/(2\sigma ^{2})}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/14458e19a72337cb03dc264397beee0f2fa0a1b4)
![{\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}/(2\sigma ^{2})}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e09b569c7773691aeeb4c18a5f104d6c048c7274)
![{\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/\sigma ^{2}\right)^{-1}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5800056635aa51898004374f396416d6d0e43381)
![{\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{\sigma }\right)^{-1},(\sigma \leq 2)\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/da2b039ab71c928947ffcaf2ee8e9ff1e2f81a40)
![{\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}+\sigma ^{2}\right)^{-{\frac {1}{2}}}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6f81114d3eb6a921b2128c62ac1580cda50286fc)
![{\displaystyle {\hat {y}}{\big (}{\hat {X}}{\big )}=\mathbf {k} [\mathbf {G} +\lambda \ell ]^{-1}\mathbf {y} ,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/900596bf1f602b1e2f599ac7407616c2f4a0e229)
![{\displaystyle \mathbf {k} ={\big [}K{\big (}\mu _{{\hat {X}}_{i}},\mu _{\hat {X}}{\big )}{\big ]}\in \mathbb {R} ^{1\times \ell }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/98085050c4818125da0c01b6922360f3461a672c)
![{\displaystyle \mathbf {G} =[G_{ij}]\in \mathbb {R} ^{\ell \times \ell}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/047ea5528f4bb62d7febe5e4ab5169d7efc993a4)
![{\displaystyle \mathbf {y} =[y_{1};\ldots ;y_{\ell }]\in \mathbb {R} ^{\ell }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e30c616511ff98a32956d30bb40cb81016935035)
![{\displaystyle \mu_{X}=\mathbb{E} [\mathbf{e}_{X}]={\begin{pmatrix}P(X=1)\\\vdots \\P(X=K)\\\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ef56377f34c6fa7c166192ad86e9dca2d108b989)
![{\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\mathbf {e} _{X}\otimes \mathbf {e} _{Y}]=(P(X=s,Y=t))_{s,t\in \{1,\ldots ,K\}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b242a61921250f939a8874baa27b43a713a9ba3c)
