セミパラメトリック回帰

Regression models that combine parametric and nonparametric models

統計学において、セミパラメトリック回帰は、パラメトリックモデル とノンパラメトリックモデルを組み合わせた回帰モデルを含みます。セミパラメトリック回帰は、完全なノンパラメトリックモデルでは性能が期待できない場合や、研究者がパラメトリックモデルを使用したいものの、回帰変数のサブセットに関する関数形や誤差密度が不明な場合によく使用されます。セミパラメトリック回帰モデルはセミパラメトリックモデリングの一種であり、パラメトリック要素を含むため、パラメトリックな仮定に依存し、完全なパラメトリックモデルと同様に、誤った指定や矛盾が生じる可能性があります。

方法

様々なセミパラメトリック回帰法が提案・開発されています。最も人気のある手法は、部分線形モデル、インデックスモデル、および可変係数モデルです。

部分線形モデル

部分線形モデルは次のように与えられる。

${\displaystyle Y_{i}=X'_{i}\beta +g\left(Z_{i}\right)+u_{i},\,\quad i=1,\ldots ,n,\,}$

ここで、 は従属変数、は説明変数のベクトル、は未知のパラメータのベクトル、です。部分線形モデルのパラメトリック部分はパラメータベクトルで与えられ、ノンパラメトリック部分は未知の関数 です。データは iid であると仮定され、モデルは未知の形式の条件付き異分散誤差過程を許容します。このタイプのモデルはRobinson (1988) によって提案され、Racine and Li (2007) によってカテゴリカルな共変量を扱えるように拡張されました。 ${\displaystyle Y_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle p\times 1}$ ${\displaystyle \beta }$ ${\displaystyle p\times 1}$ ${\displaystyle Z_{i}\in \operatorname {R} ^{q}}$ ${\displaystyle \beta }$ ${\displaystyle g\left(Z_{i}\right)}$ ${\displaystyle E\left(u_{i}|X_{i},Z_{i}\right)=0}$ ${\displaystyle E\left(u_{i}^{2}|x,z\right)=\sigma ^{2}\left(x,z\right)}$

この方法は、の一貫した推定値を取得し、適切な非パラメトリック回帰法を使用しての非パラメトリック回帰からの推定値を導出することによって実装されます。^[1] ${\displaystyle {\sqrt {n}}}$ ${\displaystyle \beta }$ ${\displaystyle g\left(Z_{i}\right)}$ ${\displaystyle Y_{i}-X'_{i}{\hat {\beta }}}$ ${\displaystyle z}$

インデックスモデル

単一インデックスモデルは次の形式をとる。

${\displaystyle Y=g\left(X'\beta _{0}\right)+u,\,}$

ここで、、、は前述のように定義されており、誤差項はを満たします。単一インデックスモデルは、モデルのパラメトリック部分がスカラー単一インデックスであることからその名前が付けられています。非パラメトリック部分は未知の関数です。 ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle \beta _{0}}$ ${\displaystyle u}$ ${\displaystyle E\left(u|X\right)=0}$ ${\displaystyle x'\beta }$ ${\displaystyle g\left(\cdot \right)}$

市村メソッド

市村（1993）によって開発された単一指標モデル法は以下の通りである。が連続である状況を考える。関数 の既知の形が与えられれば、非線形最小二乗法を用いて関数 を最小化するように推定できる。 ${\displaystyle y}$ ${\displaystyle g\left(\cdot \right)}$ ${\displaystyle \beta _{0}}$

${\displaystyle \sum _{i=1}\left(Y_{i}-g\left(X'_{i}\beta \right)\right)^{2}.}$

の関数形は不明なので、推定する必要がある。与えられた値に対して関数の 推定値は ${\displaystyle g\left(\cdot \right)}$ ${\displaystyle \beta }$

${\displaystyle G\left(X'_{i}\beta \right)=E\left(Y_{i}|X'_{i}\beta \right)=E\left[g\left(X'_{i}\beta _{o}\right)|X'_{i}\beta \right]}$

カーネル法を用いる。市村（1993）は、 ${\displaystyle g\left(X'_{i}\beta \right)}$

${\displaystyle {\hat {G}}_{-i}\left(X'_{i}\beta \right),\,}$

のleave-one-outノン パラメトリックカーネル推定値。 ${\displaystyle G\left(X'_{i}\beta \right)}$

クラインとスパディの推定量

従属変数が2値で、かつ独立であると仮定した場合、KleinとSpady（1993）は最尤法を用いて推定する手法を提案している。対数尤度関数は次のように与えられる。 ${\displaystyle y}$ ${\displaystyle X_{i}}$ ${\displaystyle u_{i}}$ ${\displaystyle \beta }$

${\displaystyle L\left(\beta \right)=\sum _{i}\left(1-Y_{i}\right)\ln \left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)\right)+\sum _{i}Y_{i}\ln \left({\hat {g}}_{-i}\left(X'_{i}\beta \right)\right),}$

ここで、leave-one-out推定値です。 ${\displaystyle {\hat {g}}_{-i}\left(X'_{i}\beta \right)}$

平滑係数/変動係数モデル

ハスティーとティブシラニ（1993）は、次式で表される滑らかな係数モデルを提案している。

${\displaystyle Y_{i}=\alpha \left(Z_{i}\right)+X'_{i}\beta \left(Z_{i}\right)+u_{i}=\left(1+X'_{i}\right)\left({\begin{array}{c}\alpha \left(Z_{i}\right)\\\beta \left(Z_{i}\right)\end{array}}\right)+u_{i}=W'_{i}\gamma \left(Z_{i}\right)+u_{i},}$

ここで、 はベクトルであり、は の指定されていない滑らかな関数のベクトルです。 ${\displaystyle X_{i}}$ ${\displaystyle k\times 1}$ ${\displaystyle \beta \left(z\right)}$ ${\displaystyle z}$

${\displaystyle \gamma \left(\cdot \right)}$次のように表現される。

${\displaystyle \gamma \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}|Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}|Z_{i}\right].}$

参照

• ノンパラメトリック回帰
• 有効自由度

注記

1. ノンパラメトリック回帰法の詳細については、Li and Racine (2007) を参照してください。

参考文献

• Robinson, PM (1988). 「ルートn整合セミパラメトリック回帰」. Econometrica . 56 (4). 計量経済学会誌: 931–954 . doi :10.2307/1912705. JSTOR  1912705.
• Li, Qi; Racine, Jeffrey S. (2007). 『ノンパラメトリック計量経済学：理論と実践』 プリンストン大学出版局. ISBN 978-0-691-12161-1。
• Racine, JS; Qui, L. (2007). 「カテゴリカルデータのための部分線形カーネル推定量」未発表原稿、マクマスター大学。
• 市村 浩 (1993). 「単一指標モデルのセミパラメトリック最小二乗法（SLS）と加重SLS推定」. Journal of Econometrics . 58 ( 1–2 ): 71–120 . doi :10.1016/0304-4076(93)90114-K.
• Klein, RW; RH Spady (1993). 「二値応答モデルのための効率的なセミパラメトリック推定量」. Econometrica . 61 (2). 計量経済学会誌: 387–421 . CiteSeerX  10.1.1.318.4925 . doi :10.2307/2951556. JSTOR  2951556.
• ハスティー, T.; R. ティブシラニ (1993). 「変動係数モデル」.英国王立統計学会誌, シリーズB. 55 : 757–796 .

Retrieved from "https://en.wikipedia.org/w/index.php?title=Semiparametric_regression&oldid=1086588362"