線形モデル

統計モデルの種類

統計学において、 「線形モデル」という用語は、システムにおいて線形性を仮定するあらゆるモデルを指します。最も一般的に使用されるのは回帰モデルとの関連であり、この用語はしばしば線形回帰モデルと同義語として扱われます。しかし、時系列分析においても、この用語は異なる意味で使用されます。いずれの場合も、「線形」という呼称は、関連する統計理論の複雑さを大幅に削減できるモデルのサブクラスを識別するために使用されます。

線形回帰モデル

回帰分析の場合、統計モデルは以下の通りである。（ランダムな）標本が与えられた場合、観測値と独立変数の関係は次のように定式化される。 ${\displaystyle (Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n}$ ${\displaystyle Y_{i}}$ ${\displaystyle X_{ij}}$

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots ,n}$

ここで、は非線形関数である可能性がある。上記において、量は関係における誤差を表す確率変数である。「線形」という部分は、回帰係数が上記の関係において線形に現れることと関係している。あるいは、上記のモデルに対応する予測値、すなわち ${\displaystyle \phi _{1},\ldots ,\phi _{p}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{j}}$

${\displaystyle {\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),}$

は の線形関数です。 ${\displaystyle \beta _{j}}$

推定は最小二乗法に基づいて行われるため、未知のパラメータの推定値は二乗和関数を最小化することによって決定される。 ${\displaystyle \beta _{j}}$

${\displaystyle S=\sum _{i=1}^{n}\varepsilon _{i}^{2}=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.}$

このことから、モデルの「線形」側面が次のことを意味することが容易にわかります。

• 最小化される関数は の二次関数であり、その最小化は比較的簡単な問題である。 ${\displaystyle \beta _{j}}$
• 関数の導関数は線形関数なので、最小値を見つけるのが簡単になります。 ${\displaystyle \beta _{j}}$
• 最小値は観測値の線形関数である。 ${\displaystyle \beta _{j}}$ ${\displaystyle Y_{i}}$
• 最小化する値はランダム誤差の線形関数であるため、推定値の統計特性を比較的簡単に決定できます。 ${\displaystyle \beta _{j}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{j}}$

時系列モデル

線形時系列モデルの例としては、自己回帰移動平均モデルが挙げられます。ここで、時系列内の値{}のモデルは、次のように記述できます。 ${\displaystyle X_{t}}$

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

ここでも、量は、ある時点で現れる新しいランダム効果であるイノベーションを表すランダム変数であり、後の時点での値にも影響を与えます。この場合、「線形モデル」という用語は、同じ時系列の過去の値とイノベーションの現在および過去の値の線形関数として表す上記の関係の構造を指します。^[1]構造のこの特定の側面は、時系列の平均と共分散の特性の関係を導き出すのが比較的簡単であることを意味します。ここで、「線形モデル」という用語の「線形」の部分は、構造的に似ている回帰モデルの場合のように係数とを指しているわけではないことに注意してください。 ${\displaystyle \varepsilon _{i}}$ ${\displaystyle X}$ ${\displaystyle X_{t}}$ ${\displaystyle \phi _{i}}$ ${\displaystyle \theta _{i}}$

統計におけるその他の用途

「線形モデル」という用語は通常は使用されないものの、「非線形モデル」が線形構造モデルと対比して使用される例がいくつかあります。その一例が、非線形次元削減です。

参照

• 一般線形モデル
• 一般化線形モデル
• 線形予測関数
• 線形システム
• 線形回帰
• 統計モデル

参考文献

1. Priestley, MB (1988)非線形および非定常時系列分析、Academic Press、 ISBN 0-12-564911-8

「https://en.wikipedia.org/w/index.php?title=Linear_model&oldid=1258061356」より取得