統計学 において 、 カーネル・フィッシャー判別分析（KFD） [1] は、 一般化判別分析 [2] や カーネル判別分析 [3] とも呼ばれ 、 線形判別分析 （LDA）のカーネル化版です。 ロナルド・フィッシャー にちなんで名付けられました 。
線形判別分析 直感的に言えば、LDAの考え方は、クラス分離が最大化される射影を求めることです。 ラベル付きデータ 2組、、 が与えられた場合 、各クラスの平均値、 および を次のように計算できます。 C 1 {\displaystyle \mathbf {C} _{1}} C 2 {\displaystyle \mathbf {C} _{2}} m 1 {\displaystyle \mathbf {m} _{1}} m 2 {\displaystyle \mathbf {m} _{2}}
m i = 1 l i ∑ n = 1 l i x n i , {\displaystyle \mathbf {m} _{i}={\frac {1}{l_{i}}}\sum _{n=1}^{l_{i}}\mathbf {x} _{n}^{i},} ここで はクラス の例の数です 。線形判別分析の目的は、クラス内分散を小さく保ちながら、クラス平均を大きく分離することです。 [4] これは、 に関して 、次の比を最大化するように定式化されます。 l i {\displaystyle l_{i}} C i {\displaystyle \mathbf {C} _{i}} w {\displaystyle \mathbf {w} }
J ( w ) = w T S B w w T S W w , {\displaystyle J(\mathbf {w} )={\frac {\mathbf {w} ^{\text{T}}\mathbf {S} _{B}\mathbf {w} }{\mathbf {w} ^{\text{T}}\mathbf {S} _{W}\mathbf {w} }},} ここで 、はクラス間 共分散行列 であり、 はクラス内共分散行列の合計です。 S B {\displaystyle \mathbf {S} _{B}} S W {\displaystyle \mathbf {S} _{W}}
S B = ( m 2 − m 1 ) ( m 2 − m 1 ) T S W = ∑ i = 1 , 2 ∑ n = 1 l i ( x n i − m i ) ( x n i − m i ) T . {\displaystyle {\begin{aligned}\mathbf {S} _{B}&=(\mathbf {m} _{2}-\mathbf {m} _{1})(\mathbf {m} _{2}-\mathbf {m} _{1})^{\text{T}}\\\mathbf {S} _{W}&=\sum _{i=1,2}\sum _{n=1}^{l_{i}}(\mathbf {x} _{n}^{i}-\mathbf {m} _{i})(\mathbf {x} _{n}^{i}-\mathbf {m} _{i})^{\text{T}}.\end{aligned}}} 上記の比率の最大値は、
w ∝ S W − 1 ( m 2 − m 1 ) . {\displaystyle \mathbf {w} \propto \mathbf {S} _{W}^{-1}(\mathbf {m} _{2}-\mathbf {m} _{1}).} ラグランジュ乗数 法（証明の概要） で示すと次のようになります。
最大化は 最大化と同じである J ( w ) = w T S B w w T S W w {\displaystyle J(\mathbf {w} )={\frac {\mathbf {w} ^{\text{T}}\mathbf {S} _{B}\mathbf {w} }{\mathbf {w} ^{\text{T}}\mathbf {S} _{W}\mathbf {w} }}}
w T S B w {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{B}\mathbf {w} } 対象となる
w T S W w = 1. {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{W}\mathbf {w} =1.} これは、 （ラグランジュ乗数）を 最大化することと同じです。 I ( w , λ ) = w T S B w − λ ( w T S W w − 1 ) {\displaystyle I(\mathbf {w} ,\lambda )=\mathbf {w} ^{\text{T}}\mathbf {S} _{B}\mathbf {w} -\lambda (\mathbf {w} ^{\text{T}}\mathbf {S} _{W}\mathbf {w} -1)} λ {\displaystyle \lambda }
最大限では、 と に関するの 微分
は ゼロでなければならない。 I ( w , λ ) {\displaystyle I(\mathbf {w} ,\lambda )} w {\displaystyle \mathbf {w} } λ {\displaystyle \lambda } d I d w = 0 {\displaystyle {\frac {dI}{d\mathbf {w} }}=\mathbf {0} }
S B w − λ S W w = 0 , {\displaystyle \mathbf {S} _{B}\mathbf {w} -\lambda \mathbf {S} _{W}\mathbf {w} =\mathbf {0} ,} これは自明に満たされ 、 w = c S W − 1 ( m 2 − m 1 ) {\displaystyle \mathbf {w} =c\mathbf {S} _{W}^{-1}(\mathbf {m} _{2}-\mathbf {m} _{1})} λ = ( m 2 − m 1 ) T S W − 1 ( m 2 − m 1 ) . {\displaystyle \lambda =(\mathbf {m} _{2}-\mathbf {m} _{1})^{\text{T}}\mathbf {S} _{W}^{-1}(\mathbf {m} _{2}-\mathbf {m} _{1}).}
LDAの拡張 LDAを非線形マッピングに拡張するには、 点として与えられたデータを 何らかの関数を介して 新しい特徴空間にマッピングすることができる。 この新しい特徴空間では、最大化する必要がある関数は [1]である。 ℓ {\displaystyle \ell } x i , {\displaystyle \mathbf {x} _{i},} F , {\displaystyle F,} ϕ . {\displaystyle \phi .}
J ( w ) = w T S B ϕ w w T S W ϕ w , {\displaystyle J(\mathbf {w} )={\frac {\mathbf {w} ^{\text{T}}\mathbf {S} _{B}^{\phi }\mathbf {w} }{\mathbf {w} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {w} }},} どこ
S B ϕ = ( m 2 ϕ − m 1 ϕ ) ( m 2 ϕ − m 1 ϕ ) T S W ϕ = ∑ i = 1 , 2 ∑ n = 1 l i ( ϕ ( x n i ) − m i ϕ ) ( ϕ ( x n i ) − m i ϕ ) T , {\displaystyle {\begin{aligned}\mathbf {S} _{B}^{\phi }&=\left(\mathbf {m} _{2}^{\phi }-\mathbf {m} _{1}^{\phi }\right)\left(\mathbf {m} _{2}^{\phi }-\mathbf {m} _{1}^{\phi }\right)^{\text{T}}\\\mathbf {S} _{W}^{\phi }&=\sum _{i=1,2}\sum _{n=1}^{l_{i}}\left(\phi (\mathbf {x} _{n}^{i})-\mathbf {m} _{i}^{\phi }\right)\left(\phi (\mathbf {x} _{n}^{i})-\mathbf {m} _{i}^{\phi }\right)^{\text{T}},\end{aligned}}} そして
m i ϕ = 1 l i ∑ j = 1 l i ϕ ( x j i ) . {\displaystyle \mathbf {m} _{i}^{\phi }={\frac {1}{l_{i}}}\sum _{j=1}^{l_{i}}\phi (\mathbf {x} _{j}^{i}).} さらに、 に注意してください 。 マッピングを明示的に計算して からLDAを実行すると、計算コストが高くなり、多くの場合、処理が困難になります。例えば、 は無限次元である可能性があります。したがって、データを に明示的にマッピングするのではなく 、アルゴリズムを ドット積 で書き換え、カーネル関数を使用することで、データを暗黙的に埋め込むことができます。このカーネル関数では、新しい特徴空間におけるドット積がカーネル関数 に置き換えられます 。 w ∈ F {\displaystyle \mathbf {w} \in F} ϕ ( x i ) {\displaystyle \phi (\mathbf {x} _{i})} F {\displaystyle F} F {\displaystyle F} k ( x , y ) = ϕ ( x ) ⋅ ϕ ( y ) {\displaystyle k(\mathbf {x} ,\mathbf {y} )=\phi (\mathbf {x} )\cdot \phi (\mathbf {y} )}
LDAはドット積の観点から再定式化することができ、まずは [5] の形式展開を持つことに注意する必要がある。 w {\displaystyle \mathbf {w} }
w = ∑ i = 1 l α i ϕ ( x i ) . {\displaystyle \mathbf {w} =\sum _{i=1}^{l}\alpha _{i}\phi (\mathbf {x} _{i}).} 次に、
w T m i ϕ = 1 l i ∑ j = 1 l ∑ k = 1 l i α j k ( x j , x k i ) = α T M i , {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {m} _{i}^{\phi }={\frac {1}{l_{i}}}\sum _{j=1}^{l}\sum _{k=1}^{l_{i}}\alpha _{j}k\left(\mathbf {x} _{j},\mathbf {x} _{k}^{i}\right)=\mathbf {\alpha } ^{\text{T}}\mathbf {M} _{i},} どこ
( M i ) j = 1 l i ∑ k = 1 l i k ( x j , x k i ) . {\displaystyle (\mathbf {M} _{i})_{j}={\frac {1}{l_{i}}}\sum _{k=1}^{l_{i}}k(\mathbf {x} _{j},\mathbf {x} _{k}^{i}).} の分子は 次のように書くことができます。 J ( w ) {\displaystyle J(\mathbf {w} )}
w T S B ϕ w = w T ( m 2 ϕ − m 1 ϕ ) ( m 2 ϕ − m 1 ϕ ) T w = α T M α , where M = ( M 2 − M 1 ) ( M 2 − M 1 ) T . {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{B}^{\phi }\mathbf {w} =\mathbf {w} ^{\text{T}}\left(\mathbf {m} _{2}^{\phi }-\mathbf {m} _{1}^{\phi }\right)\left(\mathbf {m} _{2}^{\phi }-\mathbf {m} _{1}^{\phi }\right)^{\text{T}}\mathbf {w} =\mathbf {\alpha } ^{\text{T}}\mathbf {M} \mathbf {\alpha } ,\qquad {\text{where}}\qquad \mathbf {M} =(\mathbf {M} _{2}-\mathbf {M} _{1})(\mathbf {M} _{2}-\mathbf {M} _{1})^{\text{T}}.} 同様に分母は次のように書ける。
w T S W ϕ w = α T N α , where N = ∑ j = 1 , 2 K j ( I − 1 l j ) K j T , {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {w} =\mathbf {\alpha } ^{\text{T}}\mathbf {N} \mathbf {\alpha } ,\qquad {\text{where}}\qquad \mathbf {N} =\sum _{j=1,2}\mathbf {K} _{j}(\mathbf {I} -\mathbf {1} _{l_{j}})\mathbf {K} _{j}^{\text{T}},} の成分が と 定義される行列は 単位行列 であり 、 すべての要素が と等しい行列は単位行列である。この単位行列は、 の式から始めて の展開と の定義および と の 定義 を用いる ことで導出できる。 n th , m th {\displaystyle n^{\text{th}},m^{\text{th}}} K j {\displaystyle \mathbf {K} _{j}} k ( x n , x m j ) , I {\displaystyle k(\mathbf {x} _{n},\mathbf {x} _{m}^{j}),\mathbf {I} } 1 l j {\displaystyle \mathbf {1} _{l_{j}}} 1 / l j {\displaystyle 1/l_{j}} w T S W ϕ w {\displaystyle \mathbf {w} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {w} } w {\displaystyle \mathbf {w} } S W ϕ {\displaystyle \mathbf {S} _{W}^{\phi }} m i ϕ {\displaystyle \mathbf {m} _{i}^{\phi }}
w T S W ϕ w = ( ∑ i = 1 l α i ϕ T ( x i ) ) ( ∑ j = 1 , 2 ∑ n = 1 l j ( ϕ ( x n j ) − m j ϕ ) ( ϕ ( x n j ) − m j ϕ ) T ) ( ∑ k = 1 l α k ϕ ( x k ) ) = ∑ j = 1 , 2 ∑ i = 1 l ∑ n = 1 l j ∑ k = 1 l ( α i ϕ T ( x i ) ( ϕ ( x n j ) − m j ϕ ) ( ϕ ( x n j ) − m j ϕ ) T α k ϕ ( x k ) ) = ∑ j = 1 , 2 ∑ i = 1 l ∑ n = 1 l j ∑ k = 1 l ( α i k ( x i , x n j ) − 1 l j ∑ p = 1 l j α i k ( x i , x p j ) ) ( α k k ( x k , x n j ) − 1 l j ∑ q = 1 l j α k k ( x k , x q j ) ) = ∑ j = 1 , 2 ( ∑ i = 1 l ∑ n = 1 l j ∑ k = 1 l ( α i α k k ( x i , x n j ) k ( x k , x n j ) − 2 α i α k l j ∑ p = 1 l j k ( x i , x n j ) k ( x k , x p j ) + α i α k l j 2 ∑ p = 1 l j ∑ q = 1 l j k ( x i , x p j ) k ( x k , x q j ) ) ) = ∑ j = 1 , 2 ( ∑ i = 1 l ∑ n = 1 l j ∑ k = 1 l ( α i α k k ( x i , x n j ) k ( x k , x n j ) − α i α k l j ∑ p = 1 l j k ( x i , x n j ) k ( x k , x p j ) ) ) = ∑ j = 1 , 2 α T K j K j T α − α T K j 1 l j K j T α = α T N α . {\displaystyle {\begin{aligned}\mathbf {w} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {w} &=\left(\sum _{i=1}^{l}\alpha _{i}\phi ^{\text{T}}(\mathbf {x} _{i})\right)\left(\sum _{j=1,2}\sum _{n=1}^{l_{j}}\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)^{\text{T}}\right)\left(\sum _{k=1}^{l}\alpha _{k}\phi (\mathbf {x} _{k})\right)\\&=\sum _{j=1,2}\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}\phi ^{\text{T}}(\mathbf {x} _{i})\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)^{\text{T}}\alpha _{k}\phi (\mathbf {x} _{k})\right)\\&=\sum _{j=1,2}\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})-{\frac {1}{l_{j}}}\sum _{p=1}^{l_{j}}\alpha _{i}k(\mathbf {x} _{i},\mathbf {x} _{p}^{j})\right)\left(\alpha _{k}k(\mathbf {x} _{k},\mathbf {x} _{n}^{j})-{\frac {1}{l_{j}}}\sum _{q=1}^{l_{j}}\alpha _{k}k(\mathbf {x} _{k},\mathbf {x} _{q}^{j})\right)\\&=\sum _{j=1,2}\left(\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}\alpha _{k}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{n}^{j})-{\frac {2\alpha _{i}\alpha _{k}}{l_{j}}}\sum _{p=1}^{l_{j}}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{p}^{j})+{\frac {\alpha _{i}\alpha _{k}}{l_{j}^{2}}}\sum _{p=1}^{l_{j}}\sum _{q=1}^{l_{j}}k(\mathbf {x} _{i},\mathbf {x} _{p}^{j})k(\mathbf {x} _{k},\mathbf {x} _{q}^{j})\right)\right)\\&=\sum _{j=1,2}\left(\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}\alpha _{k}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{n}^{j})-{\frac {\alpha _{i}\alpha _{k}}{l_{j}}}\sum _{p=1}^{l_{j}}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{p}^{j})\right)\right)\\[6pt]&=\sum _{j=1,2}\mathbf {\alpha } ^{\text{T}}\mathbf {K} _{j}\mathbf {K} _{j}^{\text{T}}\mathbf {\alpha } -\mathbf {\alpha } ^{\text{T}}\mathbf {K} _{j}\mathbf {1} _{l_{j}}\mathbf {K} _{j}^{\text{T}}\mathbf {\alpha } \\[4pt]&=\mathbf {\alpha } ^{\text{T}}\mathbf {N} \mathbf {\alpha } .\end{aligned}}} の分子と分母に関するこれらの方程式を用いると 、 の方程式は 次のように書き直すことができる。 J ( w ) {\displaystyle J(\mathbf {w} )} J {\displaystyle J}
J ( α ) = α T M α α T N α . {\displaystyle J(\mathbf {\alpha } )={\frac {\mathbf {\alpha } ^{\text{T}}\mathbf {M} \mathbf {\alpha } }{\mathbf {\alpha } ^{\text{T}}\mathbf {N} \mathbf {\alpha } }}.} 次に微分してゼロにすると
( α T M α ) N α = ( α T N α ) M α . {\displaystyle (\mathbf {\alpha } ^{\text{T}}\mathbf {M} \mathbf {\alpha } )\mathbf {N} \mathbf {\alpha } =(\mathbf {\alpha } ^{\text{T}}\mathbf {N} \mathbf {\alpha } )\mathbf {M} \mathbf {\alpha } .} の方向 、つまり の方向だけが問題となるため、上記の式は 次のよう に解くことができる。 w {\displaystyle \mathbf {w} } α , {\displaystyle \mathbf {\alpha } ,} α {\displaystyle \mathbf {\alpha } }
α = N − 1 ( M 2 − M 1 ) . {\displaystyle \mathbf {\alpha } =\mathbf {N} ^{-1}(\mathbf {M} _{2}-\mathbf {M} _{1}).} 実際には、 は普通は単数形なので、それに単位元の倍数が加算されることに注意してください [1] N {\displaystyle \mathbf {N} }
N ϵ = N + ϵ I . {\displaystyle \mathbf {N} _{\epsilon }=\mathbf {N} +\epsilon \mathbf {I} .} の解が与えられた場合 、新しいデータポイントの投影は [1]で与えられる。 α {\displaystyle \mathbf {\alpha } }
y ( x ) = ( w ⋅ ϕ ( x ) ) = ∑ i = 1 l α i k ( x i , x ) . {\displaystyle y(\mathbf {x} )=(\mathbf {w} \cdot \phi (\mathbf {x} ))=\sum _{i=1}^{l}\alpha _{i}k(\mathbf {x} _{i},\mathbf {x} ).}
マルチクラスKFD 2つ以上のクラスがある場合への拡張は比較的簡単です。 [2] [6] [7] をクラスの数とし ます。すると、多クラスKFDは 判別関数
を用い てデータを次元空間 に投影します。 c {\displaystyle c} ( c − 1 ) {\displaystyle (c-1)} ( c − 1 ) {\displaystyle (c-1)}
y i = w i T ϕ ( x ) i = 1 , … , c − 1. {\displaystyle y_{i}=\mathbf {w} _{i}^{\text{T}}\phi (\mathbf {x} )\qquad i=1,\ldots ,c-1.} これは行列表記で書くことができる
y = W T ϕ ( x ) , {\displaystyle \mathbf {y} =\mathbf {W} ^{\text{T}}\phi (\mathbf {x} ),} ここで、 はの列である 。 [6] さらに、クラス間共分散行列は w i {\displaystyle \mathbf {w} _{i}} W {\displaystyle \mathbf {W} }
S B ϕ = ∑ i = 1 c l i ( m i ϕ − m ϕ ) ( m i ϕ − m ϕ ) T , {\displaystyle \mathbf {S} _{B}^{\phi }=\sum _{i=1}^{c}l_{i}(\mathbf {m} _{i}^{\phi }-\mathbf {m} ^{\phi })(\mathbf {m} _{i}^{\phi }-\mathbf {m} ^{\phi })^{\text{T}},} ここで 、新しい特徴空間における全データの平均である。クラス内共分散行列は m ϕ {\displaystyle \mathbf {m} ^{\phi }}
S W ϕ = ∑ i = 1 c ∑ n = 1 l i ( ϕ ( x n i ) − m i ϕ ) ( ϕ ( x n i ) − m i ϕ ) T , {\displaystyle \mathbf {S} _{W}^{\phi }=\sum _{i=1}^{c}\sum _{n=1}^{l_{i}}(\phi (\mathbf {x} _{n}^{i})-\mathbf {m} _{i}^{\phi })(\phi (\mathbf {x} _{n}^{i})-\mathbf {m} _{i}^{\phi })^{\text{T}},} 解は最大化することで得られる。
J ( W ) = | W T S B ϕ W | | W T S W ϕ W | . {\displaystyle J(\mathbf {W} )={\frac {\left|\mathbf {W} ^{\text{T}}\mathbf {S} _{B}^{\phi }\mathbf {W} \right|}{\left|\mathbf {W} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {W} \right|}}.} カーネルトリックを再び使用して、マルチクラスKFDの目標は次のようになります [7]
A ∗ = argmax A = | A T M A | | A T N A | , {\displaystyle \mathbf {A} ^{*}={\underset {\mathbf {A} }{\operatorname {argmax} }}={\frac {\left|\mathbf {A} ^{\text{T}}\mathbf {M} \mathbf {A} \right|}{\left|\mathbf {A} ^{\text{T}}\mathbf {N} \mathbf {A} \right|}},} どこで そして A = [ α 1 , … , α c − 1 ] {\displaystyle A=[\mathbf {\alpha } _{1},\ldots ,\mathbf {\alpha } _{c-1}]}
M = ∑ j = 1 c l j ( M j − M ∗ ) ( M j − M ∗ ) T N = ∑ j = 1 c K j ( I − 1 l j ) K j T . {\displaystyle {\begin{aligned}M&=\sum _{j=1}^{c}l_{j}(\mathbf {M} _{j}-\mathbf {M} _{*})(\mathbf {M} _{j}-\mathbf {M} _{*})^{\text{T}}\\N&=\sum _{j=1}^{c}\mathbf {K} _{j}(\mathbf {I} -\mathbf {1} _{l_{j}})\mathbf {K} _{j}^{\text{T}}.\end{aligned}}} は 上記のセクションで定義されており、 は次のように定義されています。 M i {\displaystyle \mathbf {M} _{i}} M ∗ {\displaystyle \mathbf {M} _{*}}
( M ∗ ) j = 1 l ∑ k = 1 l k ( x j , x k ) . {\displaystyle (\mathbf {M} _{*})_{j}={\frac {1}{l}}\sum _{k=1}^{l}k(\mathbf {x} _{j},\mathbf {x} _{k}).} A ∗ {\displaystyle \mathbf {A} ^{*}} は、の主固有ベクトルを 求めることによって計算できる 。 [7] さらに、新しい入力の射影は、 [7] で与えられる。 ( c − 1 ) {\displaystyle (c-1)} N − 1 M {\displaystyle \mathbf {N} ^{-1}\mathbf {M} } x t {\displaystyle \mathbf {x} _{t}}
y ( x t ) = ( A ∗ ) T K t , {\displaystyle \mathbf {y} (\mathbf {x} _{t})=\left(\mathbf {A} ^{*}\right)^{\text{T}}\mathbf {K} _{t},} ここで の成分 は で与えられます 。 i t h {\displaystyle i^{th}} K t {\displaystyle \mathbf {K} _{t}} k ( x i , x t ) {\displaystyle k(\mathbf {x} _{i},\mathbf {x} _{t})}
KFDを用いた分類 2クラスKFDと多クラスKFDの両方において、新しい入力のクラスラベルは次のように割り当てられる [7]
f ( x ) = a r g min j D ( y ( x ) , y ¯ j ) , {\displaystyle f(\mathbf {x} )=arg\min _{j}D(\mathbf {y} (\mathbf {x} ),{\bar {\mathbf {y} }}_{j}),} ここで 、 はクラスの投影平均であり 、 は距離関数です。 y ¯ j {\displaystyle {\bar {\mathbf {y} }}_{j}} j {\displaystyle j} D ( ⋅ , ⋅ ) {\displaystyle D(\cdot ,\cdot )}
アプリケーション カーネル判別分析は、様々なアプリケーションで利用されています。例えば、以下のようなものが挙げられます。
顔認識 [3] [8] [9] と検出 [10] [11] 手書き数字認識 [1] [12] 掌紋認識 [13] 悪性および良性のクラスター微小石灰化の分類 [14] 種子の分類 [2] CERNにおける ヒッグス粒子の探索 [15]
参照
参考文献 ^ abcde Mika, S; Rätsch, G.; Weston, J.; Schölkopf, B.; Müller, KR (1999). 「Fisher判別分析とカーネル法」. Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop (Cat. No.98TH8468) . Vol. IX. pp. 41– 48. CiteSeerX 10.1.1.35.9904 . doi :10.1109/NNSP.1999.788121. ISBN 978-0-7803-5673-3 . S2CID 8473401。 ^ abc Baudat, G.; Anouar, F. (2000). 「カーネルアプローチを用いた一般化判別分析」. Neural Computation . 12 (10): 2385– 2404. CiteSeerX 10.1.1.412.760 . doi :10.1162/089976600300014980. PMID 11032039. S2CID 7036341. ^ ab Li, Y.; Gong, S.; Liddell, H. (2003). 「カーネル判別分析を用いた顔の軌跡の認識」. Image and Vision Computing . 21 ( 13–14 ): 1077–1086 . CiteSeerX 10.1.1.2.6315 . doi :10.1016/j.imavis.2003.08.010. ^ Bishop, CM (2006). パターン認識と機械学習 . ニューヨーク: Springer. ^ Scholkopf, B; Herbrich, R.; Smola, A. (2001). 「一般化表現定理」. 計算学習理論 . コンピュータサイエンス講義ノート. 第2111巻. pp. 416– 426. CiteSeerX 10.1.1.42.8617 . doi :10.1007/3-540-44581-1_27. ISBN 978-3-540-42343-0 。 ^ ab Duda, R.; Hart, P.; Stork, D. (2001). パターン分類 . ニューヨーク: Wiley. ^ abcde Zhang, J.; Ma, KK (2004). 「テクスチャ分類のためのカーネルフィッシャー判別式」 ^ Liu, Q.; Lu, H.; Ma, S. (2004). 「顔認識のためのカーネルフィッシャー判別分析の改良」. IEEE Transactions on Circuits and Systems for Video Technology . 14 (1): 42– 49. doi :10.1109/tcsvt.2003.818352. S2CID 39657721. ^ Liu, Q.; Huang, R.; Lu, H.; Ma, S. (2002). 「カーネルベース・フィッシャー判別分析を用いた顔認識」 IEEE国際自動顔・ジェスチャー認識会議 . ^ 栗田 剛志; 田口 剛志 (2002). 「顔検出のためのカーネルベース・フィッシャー判別分析の改良」. 第5回IEEE国際顔ジェスチャー認識会議論文集 . pp. 300– 305. CiteSeerX 10.1.1.100.3568 . doi :10.1109/AFGR.2002.1004170. ISBN 978-0-7695-1602-8 . S2CID 7581426。 ^ Feng, Y.; Shi, P. (2004). 「カーネルフィッシャー判別分析に基づく顔検出」 IEEE国際自動顔・ジェスチャー認識会議 . ^ Yang, J.; Frangi, AF; Yang, JY; Zang, D., Jin, Z. (2005). 「KPCA plus LDA: 特徴抽出と認識のための完全なカーネルフィッシャー判別フレームワーク」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 27 (2): 230– 244. CiteSeerX 10.1.1.330.1179 . doi :10.1109/tpami.2005.33. PMID 15688560. S2CID 9771368. {{cite journal }}: CS1 maint: multiple names: authors list (link )^ Wang, Y.; Ruan, Q. (2006). 「掌紋認識のためのカーネルフィッシャー判別分析」. 国際パターン認識会議 . ^ Wei, L.; Yang, Y.; Nishikawa, RM; Jiang, Y. (2005). 「悪性および良性のクラスター状微小石灰化の分類のための複数の機械学習手法に関する研究」 IEEE Transactions on Medical Imaging . 24 (3): 371– 380. doi :10.1109/tmi.2004.842457. PMID 15754987. S2CID 36691320. ^ Malmgren, T. (1997). 「反復非線形判別分析プログラム：IDA 1.0」. Computer Physics Communications . 106 (3): 230– 236. Bibcode :1997CoPhC.106..230M. doi :10.1016/S0010-4655(97)00100-8.
外部リンク C# でのカーネル判別分析 - KFD を実行する C# コード。 次元削減のための Matlab ツールボックス ( Wayback Machine で 2012-12-18 にアーカイブ) - KFD を実行するためのメソッドが含まれています。 カーネル判別分析を使用した手書き認識 - KFD を使用して手書きの数字認識を示す C# コード。 
![{\displaystyle {\begin{aligned}\mathbf {w} ^{\text{T}}\mathbf {S} _{W}^{\phi }\mathbf {w} &=\left(\sum _{i=1}^{l}\alpha _{i}\phi ^{\text{T}}(\mathbf {x} _{i})\right)\left(\sum _{j=1,2}\sum _{n=1}^{l_{j}}\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)^{\text{T}}\right)\left(\sum _{k=1}^{l}\alpha _{k}\phi (\mathbf {x} _{k})\right)\\&=\sum _{j=1,2}\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}\phi ^{\text{T}}(\mathbf {x} _{i})\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)\left(\phi (\mathbf {x} _{n}^{j})-\mathbf {m} _{j}^{\phi }\right)^{\text{T}}\alpha _{k}\phi (\mathbf {x} _{k})\right)\\&=\sum _{j=1,2}\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})-{\frac {1}{l_{j}}}\sum _{p=1}^{l_{j}}\alpha _{i}k(\mathbf {x} _{i},\mathbf {x} _{p}^{j})\right)\left(\alpha _{k}k(\mathbf) {x} _{k},\mathbf {x} _{n}^{j})-{\frac {1}{l_{j}}}\sum _{q=1}^{l_{j}}\alpha _{k}k(\mathbf {x} _{k},\mathbf {x} _{q}^{j})\right)\\&=\sum _{j=1,2}\left(\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}\alpha _{k}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{n}^{j})-{\frac {2\alpha _{i}\alpha _{k}}{l_{j}}}\sum _{p=1}^{l_{j}}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{p}^{j})+{\frac {\alpha _{i}\alpha _{k}}{l_{j}^{2}}}\sum _{p=1}^{l_{j}}\sum _{q=1}^{l_{j}}k(\mathbf {x} _{i},\mathbf {x} _{p}^{j})k(\mathbf {x} _{k},\mathbf {x} _{q}^{j})\right)\right)\\&=\sum _{j=1,2}\left(\sum _{i=1}^{l}\sum _{n=1}^{l_{j}}\sum _{k=1}^{l}\left(\alpha _{i}\alpha _{k}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{n}^{j})-{\frac {\alpha _{i}\alpha _{k}}{l_{j}}}\sum _{p=1}^{l_{j}}k(\mathbf {x} _{i},\mathbf {x} _{n}^{j})k(\mathbf {x} _{k},\mathbf {x} _{p}^{j})\right)\right)\\[6pt]&=\sum _{j=1,2}\mathbf {\alpha } ^{\text{T}}\mathbf {K} _{j}\mathbf {K} _{j}^{\text{T}}\mathbf {\alpha } -\mathbf {\alpha } ^{\text{T}}\mathbf {K} _{j}\mathbf {1} _{l_{j}}\mathbf {K} _{j}^{\text{T}}\mathbf {\alpha } \\[4pt]&=\mathbf {\alpha } ^{\text{T}}\mathbf {N} \mathbf {\alpha } .\end{整列}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/45ff8395147305e90a7f29a1f711d8ebe9e98b23)
![{\displaystyle A=[\mathbf {\alpha } _{1},\ldots ,\mathbf {\alpha } _{c-1}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6dfd8257347cec63dd2ecebc4e883dfc06d10b09)
