多変量正規分布

Generalization of the one-dimensional normal distribution to higher dimensions

多変量正規分布
確率密度関数 およびの多変量正規分布からの多数のサンプル ポイントが、3 シグマ楕円、2 つの周辺分布、および 2 つの 1 次元ヒストグラムとともに表示されます。 ${\displaystyle {\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]}$ ${\displaystyle {\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]}$
表記	${\displaystyle {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$
パラメータ	μ ∈ R k —位置 Σ ∈ R k  ×  k —共分散(正の半定値行列)
サポート	x ∈ μ + スパン( Σ ) ⊆ R k
PDF	${\displaystyle (2\pi )^{-k/2}\det({\boldsymbol {\Sigma }})^{-1/2}\,\exp \left(-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})\right),}$ Σが正定値の場合にのみ存在する
平均	μ
モード	μ
分散	Σ
エントロピ	${\displaystyle {\frac {k}{2}}\log {\mathord {\left(2\pi \mathrm {e} \right)}}+{\frac {1}{2}}\log \det {\mathord {\left({\boldsymbol {\Sigma }}\right)}}}$
MGF	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}^{\mathrm {T} }\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
CF	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}^{\mathrm {T} }\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
カルバック・ライブラー距離	§ カルバック・ライブラー距離を参照

確率論と統計学において、多変量正規分布、多変量ガウス分布、または結合正規分布は、1次元（単変量）正規分布を高次元に一般化したものです。ある定義では、ランダムベクトルのk個の成分のすべての線形結合が単変量正規分布に従う場合、そのランダムベクトルはk変量正規分布であるといいます。その重要性は、主に多変量中心極限定理に由来します。多変量正規分布は、多くの場合、平均値の周りに集まる（相関している可能性のある）実数値ランダム変数の集合を、少なくとも近似的に記述するために用いられます。

定義

表記法とパラメータ化

k次元ランダムベクトルの多変量正規分布は、次の表記法で表すことができます。 ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

あるいはk次元であることを明示的に知らせるために、 ${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

k次元平均ベクトル

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\mathrm {T} },}$

共分散行列 ${\displaystyle k\times k}$

${\displaystyle \Sigma _{i,j}=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]}$

かつ となる。共分散行列の逆行列は精度行列と呼ばれ、 と表記される。 ${\displaystyle 1\leq i\leq k}$ ${\displaystyle 1\leq j\leq k}$ ${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$

標準正規乱数ベクトル

実数ランダムベクトルは 、そのすべての要素が独立しており、それぞれが平均ゼロ、分散1の正規分布するランダム変数である場合、つまりすべてのに対してである場合、標準正規ランダムベクトルと呼ばれます。^{[1] ：p.454} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{i}\sim \ {\mathcal {N}}(0,1)}$ ${\displaystyle i=1\ldots k}$

中心正規乱数ベクトル

実数ランダムベクトルは、と同じ分布を持つ行列が存在するとき、中心正規ランダムベクトルと呼ばれます。ここで、は成分を持つ標準正規ランダムベクトルです。 ^{[1] ：p.454} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ ${\displaystyle k\times \ell }$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Z} }$ ${\displaystyle \ell }$

正規乱数ベクトル

実数ランダムベクトルは、ランダム -ベクトル（標準正規ランダムベクトル）、-ベクトル、および行列が存在し、となるとき、正規ランダムベクトルと呼ばれます。^{[2] : p. 454  [1] : p. 455} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ ${\displaystyle \ell }$ ${\displaystyle \mathbf {Z} }$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle k\times \ell }$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +{\boldsymbol {\mu }}}$

正式には：

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff {\text{there exist }}{\boldsymbol {\mu }}\in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ such that }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +{\boldsymbol {\mu }}{\text{ and }}\forall n=1,\ldots ,\ell :Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}}$

ここで共分散行列は です。 ${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$

共分散行列が特異な退化の場合、対応する分布は密度を持ちません。詳細は以下のセクションを参照してください。このケースは統計学において頻繁に発生します。例えば、通常の最小二乗回帰における残差ベクトルの分布などです。は一般に独立ではなく、独立したガウス変数の集合に行列を適用した結果と見ることができます。 ${\displaystyle X_{i}}$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle \mathbf {Z} }$

同等の定義

以下の定義は上記の定義と同等です。ランダムベクトルが多変量正規分布に従うとは、以下の同等の条件のいずれかを満たすことを意味します。 ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

• その成分の線形結合はすべて正規分布する。つまり、任意の定数ベクトルに対して、確率変数は単変量正規分布に従う。ここで、分散がゼロの単変量正規分布は、その平均上の点質点となる。 ${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$ ${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$ ${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$
• kベクトルと対称な半正定値行列が存在し、その特性関数は ${\displaystyle \mathbf {\mu } }$ ${\displaystyle k\times k}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \mathbf {X} }$ $${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$$

球面正規分布は、任意の直交座標系において成分が独立している唯一の分布として特徴付けられる。^{[3] [4]}

密度関数

二変量正規結合密度

非退化の場合

多変量正規分布は、対称共分散行列が 正定値であるとき「非退化」であると言われる。この場合、分布の密度は^{[5]である。} ${\displaystyle {\boldsymbol {\Sigma }}}$

${\displaystyle f_{\mathbf {X} }(x_{1},\ldots ,x_{k})={\frac {\exp \left(-{\frac {1}{2}}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}}$

ここで、は実数k次元列ベクトルであり、は の行列式（一般化分散とも呼ばれる）である。 が行列（すなわち、単一の実数）の場合、上記の式は一変量正規分布の式に簡約される。 ${\displaystyle {\mathbf {x} }}$ ${\displaystyle |{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle 1\times 1}$

複素正規分布の円対称バージョンは、若干異なる形式になります。

各等密度軌跡（ k次元空間内の点の軌跡で、それぞれが同じ特定の密度値を与えるもの）は楕円またはその高次元の一般化です。したがって、多変量正規分布は楕円分布の特殊なケースです。

この量はマハラノビス距離として知られており、これは検定点から平均値までの距離を表します。マハラノビス距離の2乗 はk項の和に分解され、各項は3つの意味のある成分の積となります。^[6]の場合、分布は単変量正規分布に縮小され、マハラノビス距離は標準得点の絶対値に縮小されることに注意してください。以下の区間も参照してください。 ${\displaystyle {\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}}$ ${\displaystyle {\mathbf {x} }}$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle ({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}$ ${\displaystyle k=1}$

二変量の場合

2次元非特異ケース（）では、ベクトルの確率密度関数は次のようになります。ここで はとの相関関係、は との相関関係です。この場合、 ${\displaystyle k=\operatorname {rank} \left(\Sigma \right)=2}$ ${\displaystyle {\text{[XY]}}\prime }$ $${\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2\left[1-\rho ^{2}\right]}}\left[\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right]\right)}$$ ${\displaystyle \rho }$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \sigma _{X}>0}$ ${\displaystyle \sigma _{Y}>0}$

${\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.}$

二変量の場合、正規性の多変量再構成の最初の同等の条件は、ベクトルが二変量正規であると結論付けるためには、 とが異なる線形結合の可算無限集合が正規であることを確認するだけで十分であるため、それほど制限を緩めることができます。^[7] ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\text{[XY]}}\prime }$

平面にプロットされた二変量等密度軌跡は 楕円であり、その主軸は共分散行列の固有ベクトルによって定義されます（楕円の長半径と短半径は、順序付けられた固有値の平方根に等しくなります）。 ${\displaystyle x,y}$ ${\displaystyle {\boldsymbol {\Sigma }}}$

を中心とし、おおよその方向の標準偏差が 3 、直交方向の標準偏差が 1 の二変量正規分布。 ${\displaystyle (1,3)}$ ${\displaystyle (0.878,0.478)}$

相関パラメータの絶対値が 増加すると、これらの軌跡は次の線に向かって圧縮されます。 ${\displaystyle \rho }$

${\displaystyle y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.}$

これは、（sgnは符号関数）を に置き換えたこの式が、の値が与えられた場合の の最良の線形不偏予測となるためである。^[8] ${\displaystyle \operatorname {sgn}(\rho )}$ ${\displaystyle \rho }$ ${\displaystyle Y}$ ${\displaystyle X}$

退化したケース

共分散行列がフルランクでない場合、多変量正規分布は退化しており、密度を持たない。より正確には、k次元ルベーグ測度（微積分レベルの確率論の講義で通常想定される測度）に関して密度を持たない。分布が測度に関して絶対連続である乱数ベクトルのみが、（その測度に関して）密度を持つと言われる。密度について論じつつ測度論的な複雑さを避けるには、共分散行列が正定値となるような座標のサブセットに着目する方が簡単である。そうすれば、他の座標は、これらの選択された座標のアフィン関数として考えることができる。^[9] ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$ ${\displaystyle \mathbf {x} }$

特異ケースにおける密度について有意義に議論するためには、異なる基底測度を選択する必要があります。崩壊定理を用いて、ガウス分布が支持される次元アフィン部分空間へのルベーグ測度の制限、すなわち を定義することができます。この測度に関して、分布は次のモチーフの密度を持ちます。 ${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$ ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle \left\{{\boldsymbol {\mu }}+{\boldsymbol {\Sigma ^{1/2}}}\mathbf {v} :\mathbf {v} \in \mathbb {R} ^{k}\right\}}$

${\displaystyle f(\mathbf {x} )={\frac {\exp \left(-{\frac {1}{2}}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{+}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)\right)}{\sqrt {\det \nolimits ^{*}(2\pi {\boldsymbol {\Sigma }})}}}}$

ここでは一般逆行列であり、は擬似行列式である。^[10] ${\displaystyle {\boldsymbol {\Sigma }}^{+}}$ ${\displaystyle \det \nolimits ^{*}}$

累積分布関数

次元 1 の累積分布関数(cdf)の概念は、長方形領域と楕円体領域に基づいて、2 つの方法で多次元の場合に拡張できます。

最初の方法は、ランダムベクトルのcdfを、ベクトルのすべての要素が対応する値以下になる確率として定義することです。^[11] ${\displaystyle F(\mathbf {x} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {x} }$

${\displaystyle F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).}$

の閉じた形式は存在しないが、それを数値的に推定するアルゴリズムは数多く存在する。^{[11] [12]} ${\displaystyle F(\mathbf {x} )}$

もう一つの方法は、標準偏差を直接一般化したガウス分布からのマハラノビス距離によって決まる楕円体内にサンプルが存在する確率としてCDFを定義することである。 ^[13]この関数の値を計算するために、次のような閉じた解析式が存在する。 ^[13] ${\displaystyle F(r)}$ ${\displaystyle r}$

間隔

多変量正規分布の区間は、次式を満たす ベクトルxからなる領域となる。

${\displaystyle ({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\leq \chi _{k}^{2}(p).}$

ここでは次元ベクトル、は既知の次元平均ベクトル、は既知の共分散行列、は自由度を持つカイ二乗分布の確率の分位関数です 。 ^[14]式が楕円の内部を定義し、カイ二乗分布が平均が2（率が半分）の指数分布に簡略化される 場合。 ${\displaystyle {\mathbf {x} }}$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \chi _{k}^{2}(p)}$ ${\displaystyle p}$ ${\displaystyle k}$ ${\displaystyle k=2,}$

補完累積分布関数（裾分布）

補完 累積分布関数（ccdf）または裾分布 は と定義される。 のとき、ccdfは従属ガウス変数の最大値の確率として表される。^[15] ${\displaystyle {\overline {F}}(\mathbf {x} )=1-\mathbb {P} \left(\mathbf {X} \leq \mathbf {x} \right)}$ ${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$

${\displaystyle {\overline {F}}(\mathbf {x} )=\mathbb {P} \left(\bigcup _{i}\{X_{i}\geq x_{i}\}\right)=\mathbb {P} \left(\max _{i}Y_{i}\geq 0\right),\quad {\text{where }}\mathbf {Y} \sim {\mathcal {N}}\left({\boldsymbol {\mu }}-\mathbf {x} ,\,{\boldsymbol {\Sigma }}\right).}$

CCDFを計算するための単純な閉式は存在しないが、従属ガウス変数の最大値はモンテカルロ法によって正確に推定することができる。^{[15] [16]}

プロパティ

さまざまな領域における確率

上：領域（青い領域）における2変数正規分布の確率。中：トーラス領域における3変数正規分布の確率。下：4次元正多面体領域における4変数正規分布の確率の収束モンテカルロ積分。これらはすべてレイトレーシング法という数値計算法によって計算される。^[17] ${\displaystyle x\sin y-y\cos x>1}$ ${\displaystyle \sum _{i=1}^{4}\vert x_{i}\vert <1}$

（ここでは行列、はベクトル、はスカラー）で定義される二次領域における多変量正規分布の確率内容は、ガウス判別分析を用いたベイズ分類/決定理論に関連し、一般化カイ二乗分布で与えられる。^[17]（ここでは一般関数）で定義される任意の一般領域内の確率内容は、光線追跡法^[17]（Matlabコード）を用いて計算することができる。 ${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}>0}$ ${\displaystyle \mathbf {Q_{2}} }$ ${\displaystyle {\boldsymbol {q_{1}}}}$ ${\displaystyle q_{0}}$ ${\displaystyle f({\boldsymbol {x}})>0}$ ${\displaystyle f({\boldsymbol {x}})}$

より高い瞬間

xのk次モーメントは次のように与えられる。

${\displaystyle \mu _{1,\ldots ,N}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \operatorname {E} \left[\prod _{j=1}^{N}X_{j}^{r_{j}}\right]}$

ここでr ₁ + r ₂ + ⋯ + r _N = k です。

k次中心モーメントは次の通りである。

1. kが奇数の場合、μ _{1, ..., N} ( x − μ ) = 0。
2. kが偶数でk = 2 λの場合、^{[あいまい]} $${\displaystyle \mu _{1,\dots ,2\lambda }(\mathbf {x} -{\boldsymbol {\mu }})=\sum \left(\sigma _{ij}\sigma _{k\ell }\cdots \sigma _{XZ}\right)}$$

ここで、和は集合のλ （順序なし）ペアへのすべての割り当てについて取られる。つまり、k番目（= 2λ = 6）の中心積率に対して、 λ = 3個の共分散の積を合計する（簡略化のため、期待値μは0とする）。 ${\displaystyle \left\{1,\ldots ,2\lambda \right\}}$

${\displaystyle {\begin{aligned}&\operatorname {E} [X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\[8pt]={}&\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{4}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{4}].\end{aligned}}}$

これにより、合計（上記の例では15）の項が生成され、それぞれはλ（この場合は3）個の共分散の積となります。4次モーメント（4変数）の場合、項は3つです。6次モーメントの場合、項は3 × 5 = 15、8次モーメントの場合、項は3 × 5 × 7 = 105です。 ${\displaystyle {\tfrac {(2\lambda -1)!}{2^{\lambda -1}(\lambda -1)!}}}$

次に、リストの項を、r ₁個の 1、r ₂個の 2 などで構成されるリストの対応する項に置き換えることによって、共分散が決定されます。これを説明するために、次の 4 次中心モーメントのケースを調べます。 ${\displaystyle [1,\ldots ,2\lambda ]}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[X_{i}^{4}\right]&=3\sigma _{ii}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{3}X_{j}\right]&=3\sigma _{ii}\sigma _{ij}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}^{2}\right]&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}X_{k}\right]&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\[4pt]\operatorname {E} \left[X_{i}X_{j}X_{k}X_{n}\right]&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.\end{aligned}}}$

ここで、 はX _iとX _jの共分散です。上記の方法では、まずk 個の異なるX変数を持つk次モーメントの一般的なケース を求め、それに応じてこれを簡略化します。例えば、 の場合、X _i = X _jとし、 という事実を利用します。 ${\displaystyle \sigma _{ij}}$ ${\displaystyle E\left[X_{i}X_{j}X_{k}X_{n}\right]}$ ${\displaystyle \operatorname {E} [X_{i}^{2}X_{k}X_{n}]}$ ${\displaystyle \sigma _{ii}=\sigma _{i}^{2}}$

法線ベクトルの機能

a: 1つの正規変数（平均、共分散 ）の関数の確率密度。b :正規ベクトル（平均、共分散 ）の関数の確率密度。c : 2つの正規ベクトル（平均、共分散 ）の関数の結合確率密度のヒートマップ。d : 4つの標準正規変数（iid）の関数の確率密度。これらは数値レイトレーシング法によって計算される。^[17] ${\displaystyle \cos x^{2}}$ ${\displaystyle x}$ ${\displaystyle \mu =-2}$ ${\displaystyle \sigma =3}$ ${\displaystyle x^{y}}$ ${\displaystyle (x,y)}$ ${\displaystyle {\boldsymbol {\mu }}=(1,2)}$ ${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}.01&.016\\.016&.04\end{bmatrix}}}$ ${\displaystyle (x,y)}$ ${\displaystyle {\boldsymbol {\mu }}=(-2,5)}$ ${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}10&-7\\-7&10\end{bmatrix}}}$ ${\displaystyle \sum _{i=1}^{4}\vert x_{i}\vert }$

正規ベクトルの二次形式（ここでは行列、はベクトル、はスカラー）は、一般化カイ二乗変数である。^[17]正規ベクトルの方向は、投影された正規分布に従う。^[18] ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}}$ ${\displaystyle \mathbf {Q_{2}} }$ ${\displaystyle {\boldsymbol {q_{1}}}}$ ${\displaystyle q_{0}}$

が法線ベクトルの一般的なスカラー値関数である場合、その確率密度関数、累積分布関数、逆累積分布関数は、光線追跡法（Matlabコード）の数値法によって計算することができる。^[17] ${\displaystyle f({\boldsymbol {x}})}$

尤度関数

平均と共分散行列が分かっている場合、観測ベクトルの対数尤度は単純に確率密度関数の対数になります。 ${\displaystyle {\boldsymbol {x}}}$

${\displaystyle \ln L({\boldsymbol {x}})=-{\frac {1}{2}}\left[\ln(|{\boldsymbol {\Sigma }}|\,)+({\boldsymbol {x}}-{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {x}}-{\boldsymbol {\mu }})+k\ln(2\pi )\right]}$、

非中心複素数の場合の円対称バージョン（複素数ベクトル）は、 ${\displaystyle {\boldsymbol {z}}}$

${\displaystyle \ln L({\boldsymbol {z}})=-\ln(|{\boldsymbol {\Sigma }}|\,)-({\boldsymbol {z}}-{\boldsymbol {\mu }})^{\dagger }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {z}}-{\boldsymbol {\mu }})-k\ln(\pi )}$

つまり、共役転置（ で示される）が正規転置（ で示される）に置き換えられます。これは実際の場合とは若干異なります。これは、複素正規分布の円対称バージョンが正規化定数に対して若干異なる形をとるためです。 ${\displaystyle \dagger }$ ${\displaystyle '}$

同様の表記法が多重線形回帰にも用いられる。^[19]

正規ベクトルの対数尤度は正規ベクトルの二次形式であるため、一般化カイ二乗変数として分布する。^[17]

微分エントロピー

多変量正規分布の微分エントロピーは[ 20 ^]

$${\displaystyle {\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} \\[1ex]&={\frac {1}{2}}\ln \left|2\pi e{\boldsymbol {\Sigma }}\right|={\frac {k}{2}}\left(1+\ln 2\pi \right)+{\frac {1}{2}}\ln \left|{\boldsymbol {\Sigma }}\right|,\end{aligned}}}$$

ここで、バーは行列の行列式、kはベクトル空間の次元、結果はnatsの単位を持ちます。

カルバック・ライブラー距離

からへのカルバック・ライブラー距離は、非特異行列 Σ ₁と Σ ₀に対して、次の式で表される: ^[21] ${\displaystyle {\mathcal {N}}_{1}({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{1})}$ ${\displaystyle {\mathcal {N}}_{0}({\boldsymbol {\mu }}_{0},{\boldsymbol {\Sigma }}_{0})}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\},}$

ここで、は行列の行列式、はトレース、は自然対数、はベクトル空間の次元です。 ${\displaystyle |\cdot |}$ ${\displaystyle tr(\cdot )}$ ${\displaystyle \ln(\cdot )}$ ${\displaystyle k}$

対数はeを底とする必要があります。対数の後の2つの項は、密度関数の因数であるか、あるいは自然に生じる式のeを底とする対数であるためです。したがって、この式はnats単位で測定された結果を与えます。上記の式全体をlog _e 2で割ると、ビット単位 の発散が得られます。

いつ、 ${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\}.}$

相互情報

2つの多変量正規分布の相互情報量は、カルバック・ライブラー情報量の特殊なケースであり、は全次元多変量分布、は次元周辺分布と次元周辺分布の積であり、となる。と間の相互情報量は次のように与えられる: ^[22] ${\displaystyle P}$ ${\displaystyle k}$ ${\displaystyle Q}$ ${\displaystyle k_{1}}$ ${\displaystyle k_{2}}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle k_{1}+k_{2}=k}$ ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle I({\boldsymbol {X}},{\boldsymbol {Y}})={\frac {1}{2}}\ln \left({\frac {\det(\Sigma _{X})\det(\Sigma _{Y})}{\det(\Sigma )}}\right),}$

どこ

${\displaystyle \Sigma ={\begin{bmatrix}\Sigma _{X}&\Sigma _{XY}\\\Sigma _{XY}&\Sigma _{Y}\end{bmatrix}}.}$

が1次元正規分布の積である場合、本稿のカルバック・ライブラー情報量のセクションの表記法では、は、、およびを対角要素とする対角行列となります。結果として得られる相互情報量の式は以下のとおりです。 ${\displaystyle Q}$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {\Sigma }}_{1}}$ ${\displaystyle {\boldsymbol {\Sigma }}_{0}}$ ${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle I({\boldsymbol {X}})=-{1 \over 2}\ln |{\boldsymbol {\rho }}_{0}|,}$

ここで相関行列はから構築される。^[23] ${\displaystyle {\boldsymbol {\rho }}_{0}}$ ${\displaystyle {\boldsymbol {\Sigma }}_{0}}$

二変数の場合、相互情報量の表現は次のようになります。

${\displaystyle I(x;y)=-{1 \over 2}\ln(1-\rho ^{2}).}$

関節の正常性

正規分布と独立性

とが正規分布し、かつ が独立である場合、これらは「共分散正規分布」であることを意味します。つまり、このペアは多変量正規分布に従う必要があります。しかし、共分散正規分布に従う変数のペアは、必ずしも独立である必要はありません（相関がない場合、 の場合のみ独立です）。 ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle (X,Y)}$ ${\displaystyle \rho =0}$

2つの正規分布する確率変数は、必ずしも2変量正規分布である必要はない。

2つの確率変数とが両方とも正規分布に従うという事実は、そのペアが結合正規分布に従うことを意味しません。簡単な例として、Xが期待値0、分散1の正規分布に従う場合、およびの場合、が成り立ちます。2つ以上の確率変数についても同様の反例があります。一般に、それらは混合モデルとなります。^[要出典] ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle (X,Y)}$ ${\displaystyle Y=X}$ ${\displaystyle |X|>c}$ ${\displaystyle Y=-X}$ ${\displaystyle |X|<c}$ ${\displaystyle c>0}$

相関関係と独立性

一般に、確率変数は無相関であっても統計的に独立である場合があります。しかし、確率ベクトルが多変量正規分布に従う場合、その無相関の成分のうち2つ以上は独立です。これは、その成分のうち2つ以上が互いに独立であることを意味します。しかし、先ほど指摘したように、（個別に、周辺的に）正規分布し、かつ無相関である2つの確率変数が独立であるというのは正しくありません。

条件付き分布

N次元xを次のように分割すると

${\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

したがって、μとΣは次のように分割される 。

${\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{1}\\{\boldsymbol {\mu }}_{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

${\displaystyle {\boldsymbol {\Sigma }}={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}}$

すると、 x ₂ = aを条件とするx ₁の分布は多変量正規分布となる^[24] ( x ₁  |  x ₂ = a ) ~ N ( μ , Σ )ここで

${\displaystyle {\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$

共分散行列

${\displaystyle {\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.}$^[25]

これはの一般逆行列です。行列はΣにおけるΣ ₂₂のシュアー補行列です。つまり、上の式は、全体の共分散行列を反転し、条件付けされている変数に対応する行と列を削除し、再び反転して条件付き共分散行列を得ることと等価です。 ${\displaystyle {\boldsymbol {\Sigma }}_{22}^{-1}}$ ${\displaystyle {\boldsymbol {\Sigma }}_{22}}$ ${\displaystyle {\overline {\boldsymbol {\Sigma }}}}$

x ₂ = aとわかると分散が変わりますが、新しい分散はaの特定の値に依存しないことに注意してください。おそらくもっと驚くべきことに、平均は だけシフトします。これを、 aの値がわからない状況と比較してみてください。その場合、x _{1 は}の分布 になります。 ${\displaystyle {\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$ ${\displaystyle {\mathcal {N}}_{q}\left({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{11}\right)}$

この結果を証明するために導き出された興味深い事実は、ランダムベクトルとが独立しているということです。 ${\displaystyle \mathbf {x} _{2}}$ ${\displaystyle \mathbf {y} _{1}=\mathbf {x} _{1}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\mathbf {x} _{2}}$

行列Σ12Σ22−1_は^回帰係数行列として知られてい_ます。

二変量の場合

xが と に分割される二変量の場合、与えられたの条件付き分布は^[26]である。 ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$

${\displaystyle X_{1}\mid X_{2}=a\ \sim \ {\mathcal {N}}\left(\mu _{1}+{\frac {\sigma _{1}}{\sigma _{2}}}\rho (a-\mu _{2}),\,(1-\rho ^{2})\sigma _{1}^{2}\right)}$

ここで、 と の間の相関係数です。 ${\displaystyle \rho ={\frac {\sigma _{12}}{\sigma _{1}\sigma _{2}}}}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$

二変量条件付き期待値

一般的なケースでは

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},{\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\right)}$

X _{2が与えられた場合の X 1}の条件付き期待値は次のようになります。

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\mu _{1}+\rho {\frac {\sigma _{1}}{\sigma _{2}}}(x_{2}-\mu _{2})}$

証明: 上記の条件付き分布の期待値を取ることで結果が得られます。 ${\displaystyle X_{1}\mid X_{2}}$

分散が1である中心化の場合

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)}$

X _1がX ₂を与えられたときの条件付き期待値は

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

そして条件付き分散は

${\displaystyle \operatorname {var} (X_{1}\mid X_{2}=x_{2})=1-\rho ^{2};}$

したがって条件付き分散はx ₂に依存しません。

X _2がzより小さい/大きいという条件付きX ₁の期待値は次の通りである: ^{[27] : 367}

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=-\rho {\varphi (z) \over \Phi (z)},}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}>z)=\rho {\varphi (z) \over (1-\Phi (z))},}$

ここでの最終的な比率は逆ミルズ比と呼ばれます。

証明：最後の2つの結果は結果を使って得られるので、 ${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=\rho E(X_{2}\mid X_{2}<z)}$そして、切断正規分布の期待値の特性を使用します。

周辺分布

多変量正規確率変数の部分集合における周辺分布を得るには、平均ベクトルと共分散行列から無関係な変数（周辺化したい変数）を除外するだけでよい。この証明は、多変量正規分布と線型代数の定義から導かれる。^[28]

例

X = [ X ₁ , X ₂ , X ₃ ]を、平均ベクトルμ = [ μ ₁ , μ ₂ , μ ₃ ]、共分散行列Σ （多変量正規分布の標準的なパラメータ化）を持つ多変量正規分布とします。すると、 X ′ = [ X ₁ , X ₃ ]の結合分布は、平均ベクトルμ ′ = [ μ ₁ , μ ₃ ]、共分散行列 Σ を持つ多変量正規分布となります。 ${\displaystyle {\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}}$

アフィン変換

Y = c + BXがcを定数ベクトル、Bを定数行列とするアフィン変換であるとすると、Y は期待値c + Bμ、分散BΣB ^T、すなわち の多変量正規分布に従う。特に、X _iの任意の部分集合は、同様に多変量正規分布に従う周辺分布に従う。これを確認するには、次の例を考えてみよう。部分集合 ( X ₁ , X ₂ , X ₄ ) ^Tを抽出するには、次のようにする 。 ${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}),}$ ${\displaystyle M\times 1}$ ${\displaystyle M\times N}$ ${\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}$

必要な要素を直接抽出します。

もう一つの系は、 Z = b · Xの分布（ただし、bはXと同じ要素数の定数ベクトル、ドットはドット積を表す）は、 を満たす一変量ガウス分布である、ということである。この結果は、 ${\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.}$

Σの正定値はドット積の分散が正でなければならないことを意味することに注意してください。

2 XのようなXのアフィン変換は、Xの2 つの独立した実現の合計と同じではありません。

幾何学的解釈

非特異多変量正規分布の等密度線は、平均を中心とする楕円体（すなわち、超球面のアフィン変換）である。 ^{[29]したがって、多変量正規分布は}楕円分布のクラスの例である。楕円体の主軸の方向は、共分散行列の固有ベクトルによって与えられる。主軸の相対的な長さの2乗は、対応する固有値によって与えられる。 ${\displaystyle {\boldsymbol {\Sigma }}}$

Σ = UΛU ^T = UΛ ^1/2 ( UΛ ^1/2 ) ^Tが固有分解であり、 Uの列が単位固有ベクトル、Λが固有値の対角行列である場合、

${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\boldsymbol {\Lambda }}^{1/2}{\mathcal {N}}(0,\mathbf {I} )\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\mathcal {N}}(0,{\boldsymbol {\Lambda }}).}$

さらに、U を回転行列として選択することもできます。軸を反転してもN (0, Λ ) には影響しませんが、列を反転するとU の行列式の符号が変わります。分布N ( μ , Σ ) は、実質的にN (0, I ) をΛ ^1/2でスケーリングし、Uで回転させ、 μで平行移動させたものになります。

逆に、 μ、フルランク行列U、および正の対角要素Λ _iの任意の選択は、特異でない多変量正規分布を与えます。任意のΛ _iがゼロでUが正方行列である場合、結果として得られる共分散行列UΛU ^Tは特異です。幾何学的には、これはすべての等高線楕円体が無限に薄く、n次元空間において体積がゼロであることを意味します。これは、主軸の少なくとも1つの長さがゼロであるためです。これは退化したケースです。

「二変量正規確率変数の真の平均の周りの半径は、極座標（半径と角度）で書き直すと、ホイト分布に従う。」^[30]

1次元では、区間内で正規分布のサンプルが見つかる確率は約68.27%ですが、高次元では標準偏差楕円の領域内でサンプルが見つかる確率は低くなります。^[31] ${\displaystyle \mu \pm \sigma }$

次元性	確率
1	0.6827
2	0.3935
3	0.1987
4	0.0902
5	0.0374
6	0.0144
7	0.0052
8	0.0018
9	0.0006
10	0.0002

統計的推論

パラメータ推定

多変量正規分布の共分散行列の最大尤度 推定値の導出は簡単です。

つまり、多変量正規分布の確率密度関数（pdf）は

${\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}$

n個の観測値から得られる共分散行列のML推定値は^{[32]である。}

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{\mathrm {T} }}$

これは単純に標本共分散行列である。これはバイアスのある推定値であり、その期待値は

${\displaystyle E\left[{\widehat {\boldsymbol {\Sigma }}}\right]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}.}$

不偏標本共分散は

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={\frac {1}{n-1}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}={\frac {1}{n-1}}\left[X'\left(I-{\frac {1}{n}}\cdot J\right)X\right]}$ （行列形式；は単位行列、Jは1の行列；括弧内の項は中心化行列である） ${\displaystyle I}$ ${\displaystyle K\times K}$ ${\displaystyle K\times K}$ ${\displaystyle K\times K}$

多変量正規分布のパラメータ推定のためのフィッシャー情報行列は、閉形式の表現を持ちます。これは、例えば、この設定におけるパラメータ推定のクラマー・ラオ境界を計算するために使用できます。詳細については 、フィッシャー情報を参照してください。

ベイズ推論

ベイズ統計学では、平均ベクトルの共役事前分布は別の多変量正規分布であり、共分散行列の共役事前分布は逆ウィシャート分布 である。ここで、n個の観測が行われた とする。 ${\displaystyle {\mathcal {W}}^{-1}}$

${\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{n}\}\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

そして共役事前分布が割り当てられている。ここで

${\displaystyle p({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})=p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\ p({\boldsymbol {\Sigma }}),}$

どこ

${\displaystyle p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\sim {\mathcal {N}}({\boldsymbol {\mu }}_{0},m^{-1}{\boldsymbol {\Sigma }}),}$

そして

${\displaystyle p({\boldsymbol {\Sigma }})\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }},n_{0}).}$

その後^[32]

${\displaystyle {\begin{array}{rcl}p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }},\mathbf {X} )&\sim &{\mathcal {N}}\left({\frac {n{\bar {\mathbf {x} }}+m{\boldsymbol {\mu }}_{0}}{n+m}},{\frac {1}{n+m}}{\boldsymbol {\Sigma }}\right),\\p({\boldsymbol {\Sigma }}\mid \mathbf {X} )&\sim &{\mathcal {W}}^{-1}\left({\boldsymbol {\Psi }}+n\mathbf {S} +{\frac {nm}{n+m}}({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})',n+n_{0}\right),\end{array}}}$

どこ

${\displaystyle {\begin{aligned}{\bar {\mathbf {x} }}&={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {x} _{i},\\\mathbf {S} &={\frac {1}{n}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})(\mathbf {x} _{i}-{\bar {\mathbf {x} }})'.\end{aligned}}}$

多変量正規性検定

多変量正規性検定は、与えられたデータセットが多変量正規分布と類似しているかどうかを検証する。帰無仮説は、データセットが正規分布と類似しているというものであり、したがってp値が十分に小さい場合、データは非正規性を示す。多変量正規性検定には、Cox–Small検定^[33]や、ラリー・ラフスキーとジェローム・フリードマンによって考案されたフリードマン–ラフスキー検定^{[35]をスミスとジェインが改良した検定[34]}などがある。

マルディアのテスト

マルディア検定^[36]は、歪度と尖度尺度の多変量拡張に基づいている。k次元ベクトルの標本{ x ₁ , ..., x _{n }に対して、}

${\displaystyle {\begin{aligned}&{\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{j=1}^{n}\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)^{\mathrm {T} }\\&A={1 \over 6n}\sum _{i=1}^{n}\sum _{j=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{j}-{\bar {\mathbf {x} }})\right]^{3}\\&B={\sqrt {\frac {n}{8k(k+2)}}}\left\{{1 \over n}\sum _{i=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})\right]^{2}-k(k+2)\right\}\end{aligned}}}$

多変量正規分布の帰無仮説の下では、統計量Aは近似的にカイ二乗分布に従う。1/6⁠ ⋅ k ( k + 1)( k + 2)の自由度があり、 Bはほぼ標準正規分布 N (0,1)になります

マルディアの尖度統計量は歪んでおり、極限正規分布への収束が非常に遅い。中規模の標本数の場合、尖度統計量の漸近分布のパラメータは修正される^[37] 。小規模標本検定（）では、経験的臨界値が用いられる。両統計量の臨界値の表は、レンチャー^{[38]によって}k  = 2、3、4について与えられている。 ${\displaystyle (50\leq n<400)}$ ${\displaystyle n<50}$

マルディア検定はアフィン不変だが、一貫性がない。例えば、多変量歪度検定は対称的な非正規代替検定に対して一貫性がない。^[39]

BHEP検査

BHEP検定^{[40]は、正規分布の経験的}特性関数と理論的な特性関数の差のノルムを計算する。ノルムの計算は、ガウス重み関数に関する二乗積分可能関数のL ² ( μ )空間で行われる。検定統計量は ${\displaystyle \mu _{\beta }(\mathbf {t} )=(2\pi \beta ^{2})^{-k/2}e^{-|\mathbf {t} |^{2}/(2\beta ^{2})}}$

${\displaystyle {\begin{aligned}T_{\beta }&=\int _{\mathbb {R} ^{k}}\left|{1 \over n}\sum _{j=1}^{n}e^{i\mathbf {t} ^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1/2}(\mathbf {x} _{j}-{\bar {\mathbf {x} )}}}-e^{-|\mathbf {t} |^{2}/2}\right|^{2}\;{\boldsymbol {\mu }}_{\beta }(\mathbf {t} )\,d\mathbf {t} \\&={1 \over n^{2}}\sum _{i,j=1}^{n}e^{-{\beta ^{2} \over 2}(\mathbf {x} _{i}-\mathbf {x} _{j})^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-\mathbf {x} _{j})}-{\frac {2}{n(1+\beta ^{2})^{k/2}}}\sum _{i=1}^{n}e^{-{\frac {\beta ^{2}}{2(1+\beta ^{2})}}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})}+{\frac {1}{(1+2\beta ^{2})^{k/2}}}\end{aligned}}}$

この検定統計量の限界分布はカイ二乗確率変数の加重和である。^[40]

これらおよびその他の試験手順の詳細な調査が利用可能です。^[41]

多変量正規分布への分類

左：7つの多変量正規分布の分類。色付きの楕円は1 sd誤差楕円。黒は分類領域間の境界を示す。は分類誤差全体の確率。右：誤差行列。は正規分布からサンプルを と分類する確率。これらはレイトレーシング法^[17]（Matlabコード）の数値計算によって計算される。 ${\displaystyle p_{e}}$ ${\displaystyle p_{ij}}$ ${\displaystyle i}$ ${\displaystyle j}$

ガウス判別分析

観測値（ベクトル）が、平均値と共分散が既知の複数の多変量正規分布のいずれかから派生していると仮定する。この場合、任意の観測値は、それが最も高い確率でその分布から発生する分布に割り当てられる。この分類手順はガウス判別分析と呼ばれる。分類性能、すなわち異なる分類結果の確率と全体的な分類誤差は、レイトレーシング法^[17]（Matlabコード）という数値手法によって計算できる。

計算方法

分布から値を抽出する

平均ベクトルμと共分散行列Σを持つN次元多変量正規分布からランダムベクトルxを抽出（サンプリング）する広く使われている方法は、次のように機能します。^[42]

1. AA ^T = Σを満たす任意の実数行列A を求めよ。Σ が正定値行列の場合、広く利用可能で計算効率が高く、よく知られているコレスキー分解が典型的に用いられる。LAPACK の dpstrf() のようなランク表示（ピボット）コレスキー分解が利用可能な場合は、一般的な半正定値行列の場合にも用いることができる。より低速な一般的な代替手法として、Σのスペクトル分解Σ = UΛU ⁻¹から得られる行列A = UΛ ^1/2を用いる方法がある。
2. z = ( z ₁ , ..., z _N ) ^{T を}、 N個の 独立した 標準正規変量（たとえば、ボックス・ミュラー変換を使用して生成できます）の要素を持つベクトルとします。
3. x をμ + Azとします。これはアフィン変換の性質により、望ましい分布を持ちます。

参照

• カイ分布、多変量正規分布ベクトル（無相関かつゼロ中心）の2 ノルム（ユークリッド ノルムまたはベクトル長）のpdf 。
  • レイリー分布、二変量正規分布ベクトル（無相関かつゼロ中心）のベクトル長の確率密度関数
  • ライス分布、二変量正規分布ベクトル（無相関かつ非中心）のベクトル長のpdf
  • ホイト分布、二変量正規分布ベクトル（相関あり中心化）のベクトル長の確率密度関数
• 複素正規分布、二変量正規分布の応用
• Copula、ガウスまたは正規コピュラ モデルの定義用。
• 多変量 t 分布。これは、広く使用されているもう 1 つの球対称多変量分布です。
• 多変量安定分布は、指数（特性関数の指数）が 0 から 2 までの場合の多変量正規分布の拡張です。
• マハラノビス距離
• ウィシャート分布
• 行列正規分布

参考文献

1. ラピドス、エイモス (2009).デジタルコミュニケーションの基礎. ケンブリッジ大学出版局. ISBN 978-0-521-19395-5。
2. Gut, Allan (2009).確率論中級コース. Springer. ISBN 978-1-441-90161-3。
3. Kac, M. (1939). 「正規分布の特徴づけについて」. American Journal of Mathematics . 61 (3): 726– 728. doi :10.2307/2371328. JSTOR  2371328.
4. Sinz, Fabian; Gerwinn, Sebastian; Bethge, Matthias (2009). 「p-一般化正規分布の特性評価」. Journal of Multivariate Analysis . 100 (5): 817– 820. doi : 10.1016/j.jmva.2008.07.006 .
5. Simon JD Prince（2012年6月）. 『コンピュータービジョン：モデル、学習、推論』Wayback Machineで2020年10月28日にアーカイブ. Cambridge University Press. 3.7：「多変量正規分布」
6. Kim, M. G. (2000). 「多変量外れ値とマハラノビス距離の分解」. Communications in Statistics – Theory and Methods . 29 (7): 1511– 1526. doi :10.1080/03610920008832559.
7. Hamedani, GG; Tata, MN (1975). 「変数の線形結合分布からの二変量正規分布の決定について」アメリカ数学月刊誌. 82 (9): 913– 915. doi :10.2307/2318494. JSTOR  2318494.
8. Wyatt, John (2008年11月26日). 「線形最小平均二乗誤差推定」(PDF) .応用確率論講義ノート. 2015年10月10日時点のオリジナル(PDF)からアーカイブ。 2012年1月23日閲覧。
9. 「線形代数 - アフィン座標関数間のマッピング」Mathematics Stack Exchange . 2022年6月24日閲覧。
10. ラオ, CR (1973).線形統計推論とその応用. ニューヨーク: ワイリー. pp.  527– 528. ISBN 0-471-70823-2。
11. Botev, ZI (2016). 「線形制約下における正規則：ミニマックス傾斜法によるシミュレーションと推定」. Journal of the Royal Statistical Society, Series B. 79 : 125–148 . arXiv : 1603.04166 . Bibcode : 2016arXiv160304166B. doi :10.1111/rssb.12162. S2CID  88515228.
12. Genz, Alan (2009). 多変量正規分布とt分布の確率計算. Springer. ISBN 978-3-642-01689-9。
13. Bensimhoun Michael, N次元累積関数、およびガウス分布と正規密度に関するその他の有用な事実 (2006)
14. 塩谷実 (1964). 「多変量正規分布の許容範囲」(PDF) .統計数理学会誌. 16 (1): 135– 153. doi :10.1007/BF02868568. S2CID  123269490.
15. Botev, ZI; Mandjes, M.; Ridder, A. (2015年12月6日～9日). 「相関ガウス分布の最大値の裾分布」. 2015年冬季シミュレーション会議 (WSC) . ハンティントンビーチ, カリフォルニア州, 米国: IEEE. pp.  633– 642. doi :10.1109/WSC.2015.7408202. hdl : 10419/130486 . ISBN 978-1-4673-9743-8。
16. Adler, RJ; Blanchet, J.; Liu, J. (2008年12月7日～10日). 「ガウス分布の裾確率の効率的なシミュレーション」. 2008年冬季シミュレーション会議 (WSC) . マイアミ, フロリダ州, 米国: IEEE. pp.  328– 336. doi :10.1109/WSC.2008.4736085. ISBN 978-1-4244-2707-9。
17. Das, Abhranil; Wilson S Geisler (2020). 「多重正規分布を統合し、分類尺度を計算する方法」arXiv : 2012.14331 [stat.ML].
18. Hernandez-Stumpfhauser, Daniel; Breidt, F. Jay; van der Woerd, Mark J. (2017). 「任意次元の一般投影正規分布：モデリングとベイズ推論」.ベイズ分析. 12 (1): 113– 133. doi : 10.1214/15-BA989 .
19. Tong, T. (2010) 多重線形回帰：MLEとその分布結果 アーカイブ 2013-06-16 WebCite、講義ノート
20. Gokhale, DV; Ahmed, NA; Res, BC; Piscataway, NJ (1989年5月). 「多変量分布のエントロピー表現とその推定量」. IEEE Transactions on Information Theory . 35 (3): 688– 692. doi :10.1109/18.30996.
21. Duchi, J. 線形代数と最適化の導出(PDF) (論文). p. 13. 2020年7月25日時点のオリジナル(PDF)からのアーカイブ。 2020年8月12日閲覧。
22. 証明: 多変量正規分布の相互情報量
23. MacKay, David JC (2003-10-06).情報理論、推論、学習アルゴリズム（イラスト版）. ケンブリッジ: ケンブリッジ大学出版局. ISBN 978-0-521-64298-9。
24. Holt, W.; Nguyen, D. (2023). ベイズデータ代入の本質的側面（論文）. SSRN  4494314.
25. イートン、モリス L. (1983).多変量統計：ベクトル空間アプローチ. ジョン・ワイリー・アンド・サンズ. pp.  116– 117. ISBN 978-0-471-02776-8。
26. Jensen, J (2000).石油技術者および地質学者のための統計. アムステルダム: エルゼビア. p. 207. ISBN 0-444-50552-0。
27. Maddala, GS (1983).計量経済学における限定従属変数と質的変数. ケンブリッジ大学出版局. ISBN 0-521-33825-5。
28. 周辺分布の代数的計算は、http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html （Wayback Machineに2010年1月17日アーカイブ）で示されています。より簡潔な証明は、https://math.stackexchange.com/a/3832137 で概説されています。
29. Nikolaus Hansen (2016). 「CMA進化戦略：チュートリアル」(PDF) . arXiv : 1604.00772 . Bibcode :2016arXiv160400772H. 2010年3月31日時点のオリジナル(PDF)からアーカイブ。 2012年1月7日閲覧。
30. Daniel Wollschlaeger. 「Hoyt分布（Rパッケージ「shotGroups」バージョン0.6.2のドキュメント）」^{[永久リンク切れ]}
31. Wang, Bin; Shi, Wenzhong; Miao, Zelang (2015-03-13). Rocchini, Duccio (編). 「標準偏差楕円の信頼度分析と高次元ユークリッド空間へのその拡張」. PLOS ONE . 10 (3) e0118537. Bibcode :2015PLoSO..1018537W. doi : 10.1371/journal.pone.0118537 . ISSN  1932-6203. PMC 4358977. PMID  25769048 . 
32. Holt, W.; Nguyen, D. (2023). ベイズデータ代入入門（論文）. SSRN  4494314.
33. Cox, DR; Small, NJH (1978). 「多変量正規性の検定」Biometrika . 65 (2): 263. doi :10.1093/biomet/65.2.263.
34. Smith, SP; Jain, AK (1988). 「データセットの多変量正規性を決定するための検定」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 10 (5): 757. doi :10.1109/34.6789.
35. Friedman, JH; Rafsky, LC (1979). 「Wald–Wolfowitz検定とSmirnov検定の多変量一般化」. 『統計年報』 . 7 (4): 697. doi : 10.1214/aos/1176344722 .
36. Mardia, KV (1970). 「多変量歪度と尖度の測定とその応用」. Biometrika . 57 (3): 519– 530. doi :10.1093/biomet/57.3.519.
37. レンチャー（1995年）、112～113ページ。
38. レンチャー（1995年）、493-495ページ。
39. Baringhaus, L.; Henze, N. (1991). 「投影に基づく多変量歪度と尖度の測定のための極限分布」. Journal of Multivariate Analysis . 38 : 51–69 . doi : 10.1016/0047-259X(91)90031-V .
40. Baringhaus, L.; Henze, N. (1988). 「経験的特性関数に基づく多変量正規性の一貫した検定」Metrika . 35 (1): 339– 348. doi :10.1007/BF02613322. S2CID  122362448.
41. Henze, Norbert (2002). 「多変量正規性の不変検定：批判的レビュー」.統計論文. 43 (4): 467– 506. doi :10.1007/s00362-002-0119-6. S2CID  122934510.
42. Gentle, JE (2009). 計算統計. Statistics and Computing. ニューヨーク: Springer. pp.  315– 316. doi :10.1007/978-0-387-98144-4. ISBN 978-0-387-98143-7。

文学

• レンチャー, AC (1995).多変量解析法. ニューヨーク: ワイリー.
• Tong, YL (1990).多変量正規分布. Springer Series in Statistics. ニューヨーク: Springer-Verlag. doi :10.1007/978-1-4613-9655-0. ISBN 978-1-4613-9657-4. S2CID  120348131。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Multivariate_normal_distribution&oldid=1313797415"