カーネル回帰

統計学において、カーネル回帰は、確率変数の条件付き期待値を推定するノンパラメトリックな手法です。その目的は、確率変数XとYのペア間の非線形関係を見つけることです。

あらゆるノンパラメトリック回帰では、変数に対する変数の条件付き期待値は次のように記述できます。 $Y$ $X$

\operatorname {E} (Y\mid X)=m(X)

ここで、は未知の関数です。 $m$

Nadaraya-Watson カーネル回帰

ナダラヤとワトソンは1964年に、カーネルを重み関数として用いて局所的に加重平均として推定することを提案した。 ^[1]^[2]^[3]ナダラヤ・ワトソン推定量は以下の通りである。 $m$

{\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}

ここで、は、の順序が少なくとも 1 である帯域幅を持つカーネルです。 $K_{h}(t)={\frac {1}{h}}K\left({\frac {t}{h}}\right)$ $h$ $K(\cdot )$ $\int _{-\infty }^{\infty }uK(u)\,du=0$

導出

条件付き期待値の定義から始めると、

\operatorname {E} (Y\mid X=x)=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy

カーネルKを用いたカーネル密度推定法を用いて結合分布f ( x , y )とf ( x )を推定する。

{\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),

{\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i}),

結果は次のようになります:

{\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int y{\frac {{\hat {f}}(x,y)}{{\hat {f}}(x)}}\,dy,\\[6pt]&=\int y{\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}

これはNadaraya–Watson推定量です。

プリーストリー・チャオカーネル推定量

{\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}

ここで、帯域幅（または平滑化パラメータ）です。 $h$

ガッサー・ミュラー核推定量

{\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}

ここで^[4] $s_{i}={\frac {x_{i-1}+x_{i}}{2}}.$

例

この例は、1971年カナダ国勢調査公用テープから抽出された、一般教育（13年生）を受けた男性を対象とした無作為標本からなるカナダの横断的賃金データに基づいています。観測値は合計205件です。^[要出典]

右の図は、漸近変動境界とともに 2 次ガウスカーネルを使用して推定された回帰関数を示しています。

スクリプトの例

Rプログラミング言語の以下のコマンドは、関数を使用してnpreg()最適な平滑化を実現し、上記の図を作成します。これらのコマンドは、コマンドプロンプトでカットアンドペーストして入力できます。

install.packages ( "np" ) library ( np ) # 非パラメトリックライブラリdata ( cps71 ) attach ( cps71 ) m <- npreg (対数賃金~年齢)  プロット( m , plot.errors.method = "asymptotic" , plot.errors.style = "band" , ylim = c ( 11 , 15.2 ))    ポイント（年齢、対数賃金、cex = . 25 ）デタッチ（cps71 ）

デビッド・サルズバーグによると、カーネル回帰で使用されるアルゴリズムは独立して開発され、ファジーシステムで使用されていた。「ほぼ同じコンピュータアルゴリズムを考案したファジーシステムとカーネル密度ベースの回帰は、互いに完全に独立して開発されたようです。」^[5]

統計的実装

GNU Octave数学プログラムパッケージ
Julia : KernelEstimator.jl
MATLAB :カーネル回帰、カーネル密度推定、ハザード関数のカーネル推定などの実装を備えた無料のMATLABツールボックスがこのページで入手できます（このツールボックスは書籍^[6]の一部です）。
Python :サブパッケージKernelReg内の混合データ型のクラス（他のカーネル密度関連クラスを含む）、 scikit-learnstatsmodels.nonparametricの拡張としてのパッケージ kernel_regression （メモリ効率が悪く、小さなデータセットにのみ有効）
R : npnpregパッケージの関数はカーネル回帰を実行できます。^[7]^[8]
Stata : npregress、kernreg2

参照

参考文献

^ Nadaraya, EA (1964). 「回帰の推定について」.確率論とその応用. 9 (1): 141–2 . doi :10.1137/1109020.
^ Watson, GS (1964). 「滑らかな回帰分析」. Sankhyā: The Indian Journal of Statistics, Series A. 26 ( 4): 359– 372. JSTOR 25049340.
^ Bierens, Herman J. (1994). 「Nadaraya–Watsonカーネル回帰関数推定量」. Topics in Advanced Econometrics. ニューヨーク: Cambridge University Press. pp. 212–247. ISBN 0-521-41900-X。
^ Gasser, Theo; Müller, Hans-Georg (1979). 「回帰関数のカーネル推定」.曲線推定のための平滑化手法 (Proc. Workshop, Heidelberg, 1979) . Lecture Notes in Math. Vol. 757. Springer, Berlin. pp. 23– 68. ISBN 3-540-09706-6. MR 0564251。
^ Salsburg, D. (2002). 『紅茶を味わう女性：統計学は20世紀の科学にいかに革命をもたらしたか』WH Freeman. pp. 290– 91. ISBN 0-8050-7134-2。
^ ホロヴァ、I.;コラチェク、J.ゼリンカ、J. (2012)。 MATLAB におけるカーネルスムージング: カーネルスムージングの理論と実践。シンガポール: World Scientific Publishing。ISBN 978-981-4405-48-5。
^ np: 混合データ型に対するノンパラメトリックカーネル平滑化法
^ クローク、ジョン、マッキーン、ジョセフ・W. (2014). Rを用いたノンパラメトリック統計手法. CRC Press. pp. 98– 106. ISBN 978-1-4398-7343-4。

さらに読む

ヘンダーソン, ダニエル・J.; パーメーター, クリストファー・F. (2015). 応用ノンパラメトリック計量経済学. ケンブリッジ大学出版局. ISBN 978-1-107-01025-3。
Li, Qi; Racine, Jeffrey S. (2007). ノンパラメトリック計量経済学：理論と実践. プリンストン大学出版局. ISBN 978-0-691-12161-1。
パガン, A.; ウラー, A. (1999).ノンパラメトリック計量経済学. ケンブリッジ大学出版局. ISBN 0-521-35564-8。
ラシーン、ジェフリー・S. (2019). 『ノンパラメトリック計量経済学の高度な理論と実践入門：Rを用いた再現可能なアプローチ』ケンブリッジ大学出版局. ISBN 9781108483407。
サイモンオフ、ジェフリー・S. (1996). 統計におけるスムージング法. シュプリンガー. ISBN 0-387-94716-7。

外部リンク

スケール適応型カーネル回帰（Matlab ソフトウェアを使用）。
スプレッドシート ( Microsoft Excelを使用) を使用したカーネル回帰のチュートリアル。
オンラインカーネル回帰デモンストレーション .NET 3.0 以降が必要です。
自動帯域幅選択によるカーネル回帰（Python を使用）

[1] Nadaraya, EA (1964). 「回帰の推定について」.確率論とその応用. 9 (1): 141–2 . doi :10.1137/1109020.

[2] Watson, GS (1964). 「滑らかな回帰分析」. Sankhyā: The Indian Journal of Statistics, Series A. 26 ( 4): 359– 372. JSTOR 25049340.

[3] Bierens, Herman J. (1994). 「Nadaraya–Watsonカーネル回帰関数推定量」. Topics in Advanced Econometrics. ニューヨーク: Cambridge University Press. pp. 212–247. ISBN 0-521-41900-X。

[4] Gasser, Theo; Müller, Hans-Georg (1979). 「回帰関数のカーネル推定」.曲線推定のための平滑化手法 (Proc. Workshop, Heidelberg, 1979) . Lecture Notes in Math. Vol. 757. Springer, Berlin. pp. 23– 68. ISBN 3-540-09706-6. MR 0564251。

[5] Salsburg, D. (2002). 『紅茶を味わう女性：統計学は20世紀の科学にいかに革命をもたらしたか』WH Freeman. pp. 290– 91. ISBN 0-8050-7134-2。

[HorKolZel-6] ホロヴァ、I.;コラチェク、J.ゼリンカ、J. (2012)。 MATLAB におけるカーネルスムージング: カーネルスムージングの理論と実践。シンガポール: World Scientific Publishing。ISBN 978-981-4405-48-5。

[7] : 混合データ型に対するノンパラメトリックカーネル平滑化法

[8] クローク、ジョン、マッキーン、ジョセフ・W. (2014). Rを用いたノンパラメトリック統計手法. CRC Press. pp. 98– 106. ISBN 978-1-4398-7343-4。