Statistics concept
シミュレートされたデータセットへの3次多項式回帰の当てはめ。 信頼区間は、 シェッフェ 法 を用いて構築された95%同時信頼区間である 統計学 において 、 多項式回帰は 回帰分析 の一種であり、 独立変数 x と 従属変数 y の関係を x の 多項式 としてモデル化します。多項式回帰は、 x の値 と対応する y の 条件付き平均 （E( y | x )と表記）との間の非線形関係を当てはめます。多項式回帰はデータに非線形モデルを当てはめますが、 統計的推定 問題としては線形であり、回帰関数 E( y | x ) は データ から推定される 未知の パラメータにおいて線形です。したがって、多項式回帰は 線形回帰 の特殊なケースです 。
「ベースライン」変数の多項式展開から得られる説明変数（独立変数）は、高次項として知られています。このような変数は分類 設定でも使用されます 。 [1]
歴史 多項式回帰モデルは通常、最小二乗 法を用いて近似されます 。最小二乗法は、 ガウス・マルコフ定理 の条件下で、係数の 不偏 推定値 の 分散を 最小化します。最小二乗法は、1805年に ルジャンドル 、1809年に ガウス によって発表されました。多項式回帰の 最初の 実験 計画は、1815年の ジェルゴンヌ の論文に登場しました 。 [2] [3] 20世紀には、多項式回帰は 回帰分析の発展において重要な役割を果たし、 計画 と 推論 の問題に重点が置かれました 。 [4] 近年では、多項式モデルの使用は他の手法によって補完されており、非多項式モデルはいくつかの種類の問題に対して利点を持っています。 [ 要出典 ]
定義と例 回帰分析の目的は、従属変数 yの期待値を独立変数（または独立変数のベクトル） x の値でモデル化することです 。単回帰では、モデルは
y = β 0 + β 1 x + ε , {\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon ,\,} が使用されます。ここで、εは スカラー 変数 xを条件とする、平均がゼロの観測されないランダム誤差です。このモデルでは、 x の値が1単位増加するごとに 、 y の条件付き期待値は β1 単位増加します 。
多くの設定では、このような線形関係は成立しない場合があります。例えば、化学合成の収率を合成が行われる温度でモデル化する場合、温度が1単位上昇するごとに収率が向上することがわかるかもしれません。この場合、次の形式の2次モデルを提案するかもしれません
y = β 0 + β 1 x + β 2 x 2 + ε . {\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon .\,} このモデルでは、温度が xから x + 1単位に上昇すると 、期待収量は変化します（これは 、この式の xを x + 1に置き換え、 x の式を x + 1の式から引くことで確認できます ） 。xの 微小な 変化に対して、 y への影響は x に関する 全微分 で与えられます 。 収量の変化が x に依存するという事実は、モデルが推定対象のパラメータに対して線形であるにもかかわらず、 x と y の関係を非線形にするものです。 β 1 + β 2 ( 2 x + 1 ) . {\displaystyle \beta _{1}+\beta _{2}(2x+1).} β 1 + 2 β 2 x . {\displaystyle \beta _{1}+2\beta _{2}x.}
一般に、 yの期待値を n 次多項式としてモデル化し 、一般的な多項式回帰モデルを得る
ことができます
y = β 0 + β 1 x + β 2 x 2 + β 3 x 3 + ⋯ + β n x n + ε . {\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon .\,} 便利なことに、これらのモデルはすべて推定 の観点から線形です。これは、回帰関数が未知のパラメータ β 0 、 β 1 、…に関して線形であるためです。 したがって、 最小二乗分析では、多項式回帰の計算および推論の問題は、 重回帰 の手法を用いて完全に解決できます 。これは、 x 、 x 2 、…を重回帰モデルにおける異なる独立変数として扱うことによって行われます。
多項式回帰モデル
y i = β 0 + β 1 x i + β 2 x i 2 + ⋯ + β m x i m + ε i ( i = 1 , 2 , … , n ) {\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)} は、計画行列、応答ベクトル 、パラメータベクトル 、および ランダム誤差ベクトル を用いて行列形式で表すことができます。i 番目の行とに は、 i 番目のデータサンプルの x と yの 値が含まれます 。したがって、モデルは 線形方程式 の連立方程式 として表すことができます。 X {\displaystyle \mathbf {X} } y → {\displaystyle {\vec {y}}} β → {\displaystyle {\vec {\beta }}} ε → {\displaystyle {\vec {\varepsilon }}} X {\displaystyle \mathbf {X} } y → {\displaystyle {\vec {y}}}
[ y 1 y 2 y 3 ⋮ y n ] = [ 1 x 1 x 1 2 … x 1 m 1 x 2 x 2 2 … x 2 m 1 x 3 x 3 2 … x 3 m ⋮ ⋮ ⋮ ⋱ ⋮ 1 x n x n 2 … x n m ] [ β 0 β 1 β 2 ⋮ β m ] + [ ε 1 ε 2 ε 3 ⋮ ε n ] , {\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},} 純粋な行列表記を使用する場合、次のように表されます
y → = X β → + ε → . {\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,} 推定された多項式回帰係数のベクトル（ 通常の最小二乗 推定 を使用）は
β → ^ = ( X T X ) − 1 X T y → , {\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,} 行列が逆行列であるために必要な m < n と仮定すると、は ヴァンデルモンド行列 なので 、すべての値が異なっていれば逆行列条件が成り立つことが保証されます 。これが唯一の最小二乗解です。 X {\displaystyle \mathbf {X} } x i {\displaystyle x_{i}}
上記の行列方程式は、多項式回帰の挙動をよく説明しています。しかし、xy点のペアの集合に対して多項式回帰を物理的に実装するには、より詳細な説明が役立ちます。以下の多項式係数の行列方程式は、回帰理論から導出なしで展開され、簡単に実装できます。 [5] [6] [7]
[ ∑ i = 1 n x i 0 ∑ i = 1 n x i 1 ∑ i = 1 n x i 2 ⋯ ∑ i = 1 n x i m ∑ i = 1 n x i 1 ∑ i = 1 n x i 2 ∑ i = 1 n x i 3 ⋯ ∑ i = 1 n x i m + 1 ∑ i = 1 n x i 2 ∑ i = 1 n x i 3 ∑ i = 1 n x i 4 ⋯ ∑ i = 1 n x i m + 2 ⋮ ⋮ ⋮ ⋱ ⋮ ∑ i = 1 n x i m ∑ i = 1 n x i m + 1 ∑ i = 1 n x i m + 2 … ∑ i = 1 n x i 2 m ] [ β 0 β 1 β 2 ⋯ β m ] = [ ∑ i = 1 n y i x i 0 ∑ i = 1 n y i x i 1 ∑ i = 1 n y i x i 2 ⋯ ∑ i = 1 n y i x i m ] {\displaystyle {\begin{bmatrix}\sum _{i=1}^{n}x_{i}^{0}&\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\cdots &\sum _{i=1}^{n}x_{i}^{m}\\\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\cdots &\sum _{i=1}^{n}x_{i}^{m+1}\\\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\sum _{i=1}^{n}x_{i}^{4}&\cdots &\sum _{i=1}^{n}x_{i}^{m+2}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{i}^{m}&\sum _{i=1}^{n}x_{i}^{m+1}&\sum _{i=1}^{n}x_{i}^{m+2}&\dots &\sum _{i=1}^{n}x_{i}^{2m}\\\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\cdots \\\beta _{m}\\\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}y_{i}x_{i}^{0}\\\sum _{i=1}^{n}y_{i}x_{i}^{1}\\\sum _{i=1}^{n}y_{i}x_{i}^{2}\\\cdots \\\sum _{i=1}^{n}y_{i}x_{i}^{m}\\\end{bmatrix}}}
上記の 連立一次方程式 を解いた後、回帰多項式は次のように構築できます。 β 0 through β m {\displaystyle \beta _{0}{\text{ through }}\beta _{m}}
y ^ = β 0 x 0 + β 1 x 1 + β 2 x 2 + ⋯ + β m x m Where: n = number of x i y i variable pairs in the data m = order of the polynomial to be used for regression β ( 0 − m ) = polynomial coefficient for each corresponding x ( 0 − m ) y ^ = estimated y variable based on the polynomial regression calculations. {\displaystyle {\begin{aligned}&\qquad {\widehat {y}}=\beta _{0}x^{0}+\beta _{1}x^{1}+\beta _{2}x^{2}+\cdots +\beta _{m}x^{m}\\&\qquad \\&\qquad {\text{Where:}}\\&\qquad n={\text{number of }}x_{i}y_{i}{\text{ variable pairs in the data}}\\&\qquad m={\text{order of the polynomial to be used for regression}}\\&\qquad \beta _{(0-m)}={\text{polynomial coefficient for each corresponding }}x^{(0-m)}\\&\qquad {\widehat {y}}={\text{estimated y variable based on the polynomial regression calculations.}}\end{aligned}}}
解釈 多項式回帰は技術的には重回帰の特殊なケースですが、近似された多項式回帰モデルの解釈には多少異なる視点が必要です。多項式回帰の近似における個々の係数の解釈は、基礎となる単項式が高度に相関している可能性があるため、しばしば困難です。例えば、 xが区間(0, 1)に 均一に分布している場合、 x と x ≒ 2 は約0.97の相関があります。 直交多項式 を使用することで相関を低減できますが 、一般的には近似された回帰関数全体を考慮する方が有益です。点ごとまたは同時 信頼帯を 使用して、回帰関数の推定値の不確実性を把握することができます。
代替アプローチ 多項式回帰は、基底関数 を用いて2つの数量間の関数関係をモデル化する 回帰分析の一例です。より具体的には、 線型回帰の を多項式基底 に置き換えます （例： ）。多項式基底の欠点は、基底関数が「非局所的」であることです。つまり、与えられた 値 x = x 0における yの近似値は、 xが x 0 から遠い データ値に大きく依存します 。 [8] 現代の統計学では、多項式基底関数は、 スプライン 、 ラジアル基底関数 、 ウェーブレット などの新しい 基底関数 とともに使用されます。これらの基底関数群は、多くの種類のデータに対してより簡潔な近似を提供します。 x ∈ R d x {\displaystyle x\in \mathbb {R} ^{d_{x}}} φ ( x ) ∈ R d φ {\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}} [ 1 , x ] → φ [ 1 , x , x 2 , … , x d ] {\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}
多項式回帰の目的は、独立変数と従属変数（厳密には、独立変数と従属変数の条件付き平均）間の非線形関係をモデル化することです。これは、 非線形回帰関係を捉えることを目的とするノン パラメトリック回帰の目的と似ています。したがって、 平滑化 などのノンパラメトリック回帰アプローチは、多項式回帰の有用な代替手段となり得ます。これらの手法の中には、古典的な多項式回帰の局所的な形式を利用するものもあります。 [9] 従来の多項式回帰の利点は、重回帰の推論フレームワークを使用できることです（これは、スプラインなどの他の基底関数ファミリーを使用する場合にも当てはまります）。
最後の代替手段は、 多項式カーネル を使用した サポートベクター回帰 などの カーネル化 モデルを使用することです。
残差が 不等分散 である 場合 、 それを考慮するには 重み付き最小二乗推定値を使用することができます。 [10]
関連項目
注記 Microsoft Excelは、XY散布図上のデータポイントにトレンドラインを当てはめる際に、多項式回帰を使用します。 [11]
参考文献 ^ Yin-Wen Chang; Cho-Jui Hsieh; Kai-Wei Chang; Michael Ringgaard; Chih-Jen Lin (2010) . "Training and testing low-degree polynomial data mappings via linear SVM". Journal of Machine Learning Research . 11 : 1471–1490 ^ Gergonne, JD (1974年11月) [1815]. 「最小二乗法の数列の補間への応用」. Historia Mathematica . 1 (4) ( 1815年フランス語版から Ralph St. Johnと S.M. Stiglerによる翻訳): 439– 447. doi :10.1016/0315-0860(74)90034-2. ^ Stigler, Stephen M. (1974年11月). 「Gergonneの1815年の論文：多項式回帰実験の設計と分析」. Historia Mathematica . 1 (4): 431– 439. doi :10.1016/0315-0860(74)90033-0 ^ Smith, Kirstine (1918). 「観測された多項式関数とその定数の調整値および補間値の標準偏差と、それらが観測値の分布の適切な選択に向けて与える指針について」 Biometrika . 12 (1/2): 1– 85. doi :10.2307/2331929. JSTOR 2331929. ^ Muthukrishnan, Gowri (2018年6月17日). 「多項式回帰の背後にある数学、Muthukrishnan」. 多項式回帰の背後にある数学 . 2024年 1月30日 閲覧. ^ 「多項式回帰の数学」. 多項式回帰, PHP回帰 クラス ^ Devore, Jay L. (1995). 工学と科学のための確率と統計（第4版）. 米国：Brooks/Cole Publishing Company. pp. 539– 542. ISBN 0-534-24264-2 . ^ このような「非局所的」な振る舞いは、（どこでも）一定ではない解析関数 の特性です 。このような「非局所的」な振る舞いは、統計学において広く議論されてきました。 Magee, Lonnie (1998). 「多項式回帰における非局所的振る舞い」. The American Statistician . 52 (1): 20– 22. doi :10.2307/2685560. JSTOR 2685560 ^ Fan, Jianqing (1996). 局所多項式モデリングとその応用：線形回帰から非線形回帰へ . 統計と応用確率に関するモノグラフ. Chapman & Hall/CRC. ISBN 978-0-412-98321-4 . ^ Conte, SD; De Boor, C. (2018). 初等数値解析：アルゴリズム的アプローチ．応用数学の古典．工業応用数学協会 (SIAM, 3600 Market Street, Floor 6, Philadelphia, PA 19104). p. 259. ISBN 978-1-61197-520-8 2020年8月28 日 閲覧 ^ スティーブンソン、クリストファー。「チュートリアル：Excelでの多項式回帰」、 facultystaff.richmond.edu 。 2017年 1月22日 閲覧 。
外部リンク 曲線近似、 PhET インタラクティブシミュレーション、コロラド大学ボルダー校 
