分散関数

統計学において分散関数はランダム量分散をその平均の関数として表す滑らかな関数である。分散関数は不均一分散の尺度であり、統計モデリングの多くの設定で大きな役割を果たす。これは一般化線型モデルの枠組みの主要な構成要素であり、ノンパラメトリック回帰[1]セミパラメトリック回帰[1] 、および機能データ解析[2 ]で使用されるツールである。パラメトリックモデリングでは、分散関数はパラメトリックな形式をとり、ランダム量の分散と平均の関係を明示的に記述する。ノンパラメトリック設定では、分散関数は滑らかな関数であると仮定される

直感

回帰モデルの設定における目標は、応答変数と一連の予測変数の間に関係性が存在するかどうかを明らかにすることです。さらに、関係性が存在する場合、その関係性を可能な限り適切に記述することが目標となります。線形回帰における主な仮定は、定数分散(等分散性)です。これは、異なる応答変数の誤差の分散が、すべての予測変数レベルにおいて同じであることを意味します。この仮定は、応答変数と予測変数が共に正規分布である場合に有効です。後述するように、正規分布設定における分散関数は定数です。ただし、正規分布が共に正規分布でない場合、異分散性(非定数分散)を定量化する方法を見つける必要があります。

応答が指数分布族に属する分布に従う可能性が高い場合、一般化線型モデルの使用がより適切である可能性があります。さらに、データにパラメトリックモデルを強制的に適用したくない場合は、ノンパラメトリック回帰アプローチが有用です。分散を平均値の関数としてモデル化できることの重要性は、(パラメトリック設定における)推論の改善、そしてあらゆる設定における回帰関数の一般的な推定にあります。

分散関数は、パラメータ推定と推論において非常に重要な役割を果たします。一般に、最尤推定では尤度関数を定義する必要があります。この要件は、まず観測される応答変数の分布を指定しなければならないことを意味します。しかし、準尤度を定義するには、観測値の平均と分散の関係を指定するだけでよく、その後は準尤度関数を用いて推定を行うことができます。[3] 準尤度推定は、過分散がある場合に特に有用です。過分散は、データの想定分布から予想されるよりも大きなばらつきがデータに存在する場合に発生します。

要約すると、回帰パラメータと回帰関数の効率的な推論を確実にするためには、不均一分散を考慮する必要があります。分散関数は、観測データの分散と平均の関係を定量化するものであり、回帰推定と推論において重要な役割を果たします。

種類

分散関数とその応用は、統計分析の多くの分野で用いられます。この関数の特に重要な用途は、一般化線形モデルノンパラメトリック回帰の枠組みです

一般化線形モデル

指数族の要素が指定されていれば、分散関数は容易に導出できる。[4] : 29 分散関数の一般形は指数族の文脈で示され、正規分布、ベルヌーイ分布、ポアソン分布、ガンマ分布の具体的な形も示されている。さらに、最尤推定と準尤度推定における分散関数の応用と使用法についても説明する。

導出

一般化線型モデル(GLM)は、通常の回帰分析を一般化し、指数関数族の任意の要素に拡張したものです。応答変数がカテゴリ型、2値型、または制約条件(例えば、正の応答のみが意味を持つなど)に従う場合に特に有用です。このページではGLMの構成要素の概要を簡単に説明していますが、より詳細な情報については、一般化線型モデルのページを参照してください。

GLM次の 3 つの主な要素で構成されます。

1. ランダム成分:指数分布族からのyの分布、
2. 線形予測子:
3. リンク機能:

まず、指数族のいくつかの重要な特性を導出することが重要です。

指数族に属する任意の確率変数は、次のような形の確率密度関数を持つ。

対数尤度で、

ここで、は標準パラメータであり、 は注目するパラメータであり、は分散に影響を与える厄介なパラメータである。バートレットの恒等式を用いて、分散関数の一般式を導出する。バートレットの第一および第二の結果は、適切な条件下(ライプニッツの積分則を参照)、 に依存する密度関数に対して

これらの恒等式により、指数族内の任意の確率変数の期待値と分散を簡単に計算できるようになります

Yの期待値上で述べた指数族の形式で密度の対数を1次微分すると、

そして期待値をゼロに設定すると、

Yの分散:分散を計算するには、2番目のBartlett恒等式を使用します。

との間には次のような関係があります。

分散の関係を考慮に入れると、

なので、は逆関数であることに注意してください。いくつかの一般的な分布の分散関数を導出します。

例 – 通常

正規分布は、分散関数が定数となる特殊なケースです。yの密度関数を、前述の指数分布族の形に当てはめてみましょう。

どこ

分散関数を計算するには、まずを の関数として表します。次にを の関数に変換します。

したがって、分散関数は一定です。

例 – ベルヌーイ

とすると、ベルヌーイ分布の密度を指数族形式で表すと、

logit (p) はexpit を与える。
そして
エクスピット

これにより、

例 – ポアソン

とすると、ポアソン分布の密度を指数族形式で表すと、

それは私たちに
そして

これにより、

ここで、分散が平均に等しいというポアソンデータの中心的な特性を確認します。

例 – ガンマ

ガンマ分布と密度関数は、様々なパラメータ化で表現できます。ここでは、パラメータ付きガンマ分布の形を使用します。

指数族形式では

そして私たちは

応用 – 加重最小二乗法

分散関数の非常に重要な応用は、応答変数が必要な指数族形式である場合だけでなく、そうでない場合(これについては「準尤度」で説明します)にもパラメータ推定と推論に使用することです。重み付き最小二乗法(WLS)は、一般化最小二乗法の特殊なケースです。WLS基準の各項には、各観測値が最終的なパラメータ推定値に与える影響を決定する重みが含まれています。通常の最小二乗法と同様に、回帰関数の未知のパラメータを推定するために、観測された応答とモデルの機能部分との間の偏差の二乗和を最小化するパラメータ推定値を見つけることが目的です。

WLSは観測値の独立性を仮定しますが、等分散性を仮定しないため、不均一分散が存在する場合のパラメータ推定の解法となります。ガウス・マルコフ定理エイトケンは、最良線形不偏推定量(BLUE)、すなわち分散が最小となる不偏推定量では、各重みが観測値の分散の逆数に等しいことを示しています。

GLMフレームワークでは、パラメータを推定することが目標です。ここで、重み行列Wを次のように 定義すると、パラメータを最小化できます。

前のセクションで定義したように、パラメータの反復重み付け最小二乗法(IRLS)による推定が可能になります。より詳しい導出と情報については、反復重み付け最小二乗法のセクションを参照してください。

また、ここで説明した形式の重み行列の場合、式を最小化するとピアソン距離も最小化されるという点も重要です。詳しくは距離相関をご覧ください。

行列Wは推定式から外れてしまう。各パラメータに対する最尤推定には、

、ここでは対数尤度です。

私たちが得た一つの観察結果を見ると、

これにより

、そして、
私たちはそれを持っています

ヘッセ行列も同様の方法で決定され、次のように示される。

フィッシャー情報(FI)に注目すると、

は、漸近近似を可能にする。
、したがって推論を実行できます。

アプリケーション – 準尤度

GLMの特徴のほとんどは分布全体ではなく、分布の最初の2つのモーメントのみに依存するため、リンク関数と分散関数を指定するだけで擬似尤度を求めることができます。つまり、

  • リンク機能、
  • 分散関数、ここで

分散関数とリンク関数を指定することにより、対数尤度関数スコア関数フィッシャー情報量の代替として、準尤度準スコア準情報量を開発することができます。これにより、 の完全な推論が可能になります

準尤度(QL)

準尤度と呼ばれていますが、これは実際には準対数尤度です。1つの観測値に対するQLは

したがって、すべてのn個の観測値に対するQL

QLから準スコアが得られる

準スコア(QS)

対数尤度を持つデータのスコア関数U思い出してください。

同様の方法で準スコアを得る。

一つの観察結果では、スコアは

最初の2つのバートレット方程式は準スコアに対して満たされる。すなわち

そして

さらに、準スコアはyに関して線形です。

最終的な目標は、関心のあるパラメータに関する情報を見つけることです。QSとQLはどちらも実際には の関数です。 、、 を思い出してください。したがって、

準情報(QI)

情報量はフィッシャー情報量に似ている

QL、QS、QIの関数として

QL、QS、QI はすべて、関心のあるパラメータについての推論の構成要素となるため、QL、QS、QI をすべて の関数として表現することが重要です

をもう一度思い出して、 の下でパラメータ化された QL、QS、QI の式を導出します

の準尤度

したがってQSは関数として

どこ、

の準情報行列は、

スコア関数との情報を取得すると、「アプリケーション - 加重最小二乗法」で説明したのと同様の方法でパラメータの推定と推論が可能になります。

ノンパラメトリック回帰分析

メジャーリーグでの在籍年数と年俸(1000ドル)の関係を示す散布図。線は平均の傾向を示している。この図は、分散が一定ではないことを示している。
平滑化された条件付き平均に対する平滑化された条件付き分散。二次曲線の形状はガンマ分布を示す。ガンマ分布の分散関数はV( ) =

分散関数のノンパラメトリック推定とその重要性は、文献[5] [6] [7]で広く議論されてきました。ノンパラメトリック回帰分析 では、応答変数 ( y ) の期待値を予測変数 ( X )の関数として表すことが目標です。つまり、パラメトリック形式を想定せずに平均関数を推定します。関数の推定に役立つノンパラメトリック平滑化法には多くの形式があります。興味深いアプローチは、ノンパラメトリック分散関数も調べることです。ノンパラメトリック分散関数を使用すると、平均関数を分散関数と関連付けて調べ、データ内のパターンに気付くことができます。

右の図に例の詳細を示します。プロジェクトの目標は、(特に) 予測変数であるメジャーリーグ(野球) での在籍年数が応答変数である選手の年俸に影響を与えたかどうかを判断することでした。データの最初の散布図では、予測変数の各レベルで分散が一定でないため、データに異分散があることがわかります。一定でない分散は視覚的に検出できるため、 をプロットし、その形状が既知の分布を示しているかどうかを確認することが有用です。一般的な平滑化法を使用してとを推定できます。ノンパラメトリックな平滑化分散関数のプロットにより、研究者は分散と平均の関係について理解することができます。右の図は、平均と分散の 2 次関係を示しています。上で見たように、ガンマ分散関数は平均の 2 次式です。

注記

  1. ^ ab Muller and Zhao (1995). 「セミパラメトリック分散関数モデルと異分散性検定について」. The Annals of Statistics . 23 (3): 946– 967. doi : 10.1214/aos/1176324630 . JSTOR  2242430.
  2. ^ Muller, Stadtmuller, Yao (2006). 「機能的分散プロセス」.アメリカ統計学会誌. 101 (475): 1007– 1018. doi :10.1198/016214506000000186. JSTOR  27590778. S2CID  13712496.
  3. ^ Wedderburn, RWM (1974). 「準尤度関数、一般化線形モデル、そしてガウス・ニュートン法」. Biometrika . 61 (3): 439– 447. doi :10.1093/biomet/61.3.439. JSTOR  2334725.
  4. ^ McCullagh, Peter; Nelder, John (1989).一般化線形モデル(第2版). ロンドン: Chapman and Hall. ISBN 0-412-31760-5{{cite book}}: CS1 maint: publisher location (link)
  5. ^ MullerとStadtMuller (1987). 「回帰分析における不均一分散性の推定」. The Annals of Statistics . 15 (2): 610– 625. doi : 10.1214/aos/1176350364 . JSTOR  2241329.
  6. ^ Cai and Wang, T.; Wang, Lie (2008). 「不均一分散ノンパラメトリック回帰における適応型分散関数推定」. The Annals of Statistics . 36 (5): 2025– 2054. arXiv : 0810.4780 . Bibcode :2008arXiv0810.4780C. doi :10.1214/07-AOS509. JSTOR  2546470. S2CID  9184727.
  7. ^ Rice and Silverman (1991). 「データが曲線である場合の非パラメトリックな平均と共分散構造の推定」.英国王立統計学会誌. 53 (1): 233– 243. JSTOR  2345738.

参考文献

  • ウィキメディア・コモンズの分散関数に関連するメディア
Retrieved from "https://en.wikipedia.org/w/index.php?title=Variance_function&oldid=1175406517"