カーネルスムージング

カーネルスムージングは、実数値関数を近傍の観測データの加重平均として推定する統計手法です。重みはカーネルによって定義され、より近い点にはより高い重みが与えられます。推定された関数は滑らかで、滑らかさのレベルは単一のパラメータによって設定されます。カーネルスムージングは、加重移動平均の一種です。 $f:\mathbb {R} ^{p}\to \mathbb {R}$

定義

を次のように定義される核とする。 $K_{h_{\lambda }}(X_{0},X)$

K_{h_{\lambda }}(X_{0},X)=D\left({\frac {\left\|X-X_{0}\right\|}{h_{\lambda }(X_{0})}}\right)

どこ：

$X,X_{0}\in \mathbb {R} ^{p}$
$\left\|\cdot \right\|$ ユークリッドノルム
$h_{\lambda }(X_{0})$ パラメータ（カーネル半径）
D ( t ) は通常、正の実数値関数であり、その値はXとX ₀間の距離が増加するにつれて減少します（または増加しません）。

スムージングに使用される一般的なカーネルには、放物線型 (エパネチニコフ型)、トライキューブ型、ガウス型カーネルなどがあります。

をXの連続関数とする。各に対して、ナダラヤ・ワトソンカーネル加重平均（滑らかなY ( X )推定）は次のように定義される。 $Y(X):\mathbb {R} ^{p}\to \mathbb {R}$ $X_{0}\in \mathbb {R} ^{p}$

{\hat {Y}}(X_{0})={\frac {\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})Y(X_{i})}}{\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})}}}

どこ：

Nは観測点の数である
Y ( X _i ) はX _i点での観測値です。

次のセクションでは、カーネルスムージングのいくつかの特定のケースについて説明します。

ガウスカーネルスムージング

ガウスカーネルは最も広く使用されているカーネルの 1 つであり、次の式で表されます。

K(x^{*},x_{i})=\exp \left(-{\frac {(x^{*}-x_{i})^{2}}{2b^{2}}}\right)

ここで、b は入力空間の長さのスケールです。

最近傍スムージング

k近傍アルゴリズムは、 k近傍平滑化器を以下のように定義するために使用できます。各点X ₀について、m個の近傍点を取り、これらの近傍点の値を平均することでY ( X ₀ )の値を推定します。

正式には、、ここではX _0近傍のm番目に近い点であり、 $h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|$ $X_{[m]}$

D(t)={\begin{cases}1/m&{\text{if }}|t|\leq 1\\0&{\text{otherwise}}\end{cases}}

この例では、Xは1次元です。各X ₀について、X ₀に最も近い16個の点（赤で表示）の平均値です。 ${\hat {Y}}(X_{0})$

カーネル平均スムージング

カーネル平均スムージングの考え方は次のとおりです。各データポイントX ₀に対して、一定の距離サイズλ（カーネル半径、またはp = 1次元の場合はウィンドウ幅）を選択し、 X ₀よりも近いすべてのデータポイントの加重平均を計算します（X ₀に近いポイントほど重みが高くなります）。 $\lambda$

正式には、D ( t )は人気のあるカーネルの1つです。 $h_{\lambda }(X_{0})=\lambda ={\text{constant}},$

各X ₀についてウィンドウ幅は一定であり、ウィンドウ内の各点の重みはグラフ中の黄色の数字で模式的に示されています。推定は滑らかですが、境界点には偏りがあることがわかります。これは、X ₀が境界に十分近い場合、ウィンドウ内の点数（ X ₀の右からと左から）が不均等になるためです。

局所回帰

局所線形回帰

前の2つのセクションでは、基礎となるY(X)関数が局所的に一定であると仮定したため、推定には加重平均を使用できました。局所線形回帰の考え方は、定数（水平線）ではなく、局所的に直線（または高次元の場合は超平面）を近似することです。直線を近似した後、推定値は X ₀点におけるこの直線の値によって得られます。この手順を各X ₀に対して繰り返すことで、推定関数を得ることができます。前のセクションと同様に、ウィンドウ幅は一定です。正式には、局所線形回帰は加重最小二乗問題を解くことで計算されます。 ${\hat {Y}}(X_{0})$ ${\hat {Y}}(X)$ $h_{\lambda }(X_{0})=\lambda ={\text{constant}}.$

1次元（p = 1）の場合：

${\begin{aligned}&\min _{\alpha (X_{0}),\beta (X_{0})}\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\beta (X_{0})X_{i}\right)^{2}}\\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\Downarrow \\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\hat {Y}}(X_{0})=\alpha (X_{0})+\beta (X_{0})X_{0}\\\end{aligned}}$

閉じた形式の解は次のように与えられます。

{\hat {Y}}(X_{0})=\left(1,X_{0}\right)\left(B^{T}W(X_{0})B\right)^{-1}B^{T}W(X_{0})y

どこ：

$y=\left(Y(X_{1}),\dots ,Y(X_{N})\right)^{T}$
$W(X_{0})=\operatorname {diag} \left(K_{h_{\lambda }}(X_{0},X_{i})\right)_{N\times N}$
$B^{T}=\left({\begin{matrix}1&1&\dots &1\\X_{1}&X_{2}&\dots &X_{N}\\\end{matrix}}\right)$

結果として得られる関数は滑らかになり、偏った境界点の問題が軽減されます。

局所線形回帰は任意の次元空間に適用できますが、局所近傍とは何かという問題はより複雑になります。局所線形回帰のフィッティングには、テストポイントに最も近いk個のトレーニングポイントを使用するのが一般的です。これは、フィッティングされた関数の分散が高くなる可能性があります。分散を制限するには、トレーニングポイントの集合がテストポイントを凸包内に含む必要があります（Gupta et al. の参考文献を参照）。

局所多項式回帰

局所線形関数を当てはめる代わりに、多項式関数を当てはめることができます。p=1の場合、以下を最小化する必要があります。

{\underset {\alpha (X_{0}),\beta _{j}(X_{0}),j=1,...,d}{\mathop {\min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{i}^{j}}\right)^{2}}

と ${\hat {Y}}(X_{0})=\alpha (X_{0})+\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{0}^{j}}$

一般的なケース（p>1）では、以下を最小化する必要があります。

{\begin{aligned}&{\hat {\beta }}(X_{0})={\underset {\beta (X_{0})}{\mathop {\arg \min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-b(X_{i})^{T}\beta (X_{0})\right)}^{2}\\&b(X)=\left({\begin{matrix}1,&X_{1},&X_{2},...&X_{1}^{2},&X_{2}^{2},...&X_{1}X_{2}\,\,\,...\\\end{matrix}}\right)\\&{\hat {Y}}(X_{0})=b(X_{0})^{T}{\hat {\beta }}(X_{0})\\\end{aligned}}

参照

参考文献

Li, Q.、J.S. Racine著『ノンパラメトリック計量経済学：理論と実践』プリンストン大学出版局、2007年、ISBN 0-691-12161-3。
T. Hastie、R. Tibshirani、J. Friedman著『統計学習の要素』第6章、Springer、2001年。ISBN 0-387-95284-5（関連書籍サイト）。
M. Gupta、E. Garcia、E. Chin、「プリンタの色管理への応用を伴う適応型ローカル線形回帰」、IEEE Trans. Image Processing 2008。