Measure of covariance of components of a random vector
（0, 0）を中心とする二変量ガウス確率密度関数。共分散行列は次のように与え られる 。 [ 1 0.5 0.5 1 ] {\displaystyle {\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}} 左下から右上方向への標準偏差が3、直交方向の標準偏差が1である二 変量ガウス分布 から点を抽出します。x 成分 と y 成分は共変するため、 と の分散だけで は 分布を完全には記述できません。 共分散行列が必要です。矢印の方向はこの共分散行列の 固有ベクトルに対応し、その長さは 固有値 の平方根に対応します 。 x {\displaystyle x} y {\displaystyle y} 2 × 2 {\displaystyle 2\times 2} 確率論 および 統計学 において 、 共分散行列 （ 自己共分散行列 、 分散行列 、 分散行列 、または 分散共分散行列 とも呼ばれる）は、与えられた ランダムベクトル の各要素のペア間の 共分散を 与える正方 行列 です。
直感的に言えば、共分散行列は分散の概念を多次元に一般化します。例えば、2次元空間におけるランダムな点の集合における変動は、単一の数値で完全に特徴付けることはできませんし、方向 と 方向の分散だけでは必要な情報をすべて網羅することはできません。2 次元の変動を完全に特徴付けるには、行列が必要になります。 x {\displaystyle x} y {\displaystyle y} 2 × 2 {\displaystyle 2\times 2}
任意の 共分散 行列は 対称 かつ半正定値 であり 、その主対角線には 分散 （つまり、各要素とそれ自身の共分散）が含まれます。
ランダムベクトルの共分散行列 は通常 、 、 、 またはで表されます 。 X {\displaystyle \mathbf {X} } K X X {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }} Σ {\displaystyle \Sigma } S {\displaystyle S}
意味 この記事全体を通じて、太字の下付き文字なしの と は ランダム ベクトルを示すために使用され、ローマ字の下付き文字付き と は スカラー ランダム変数を示すために使用されます。 X {\displaystyle \mathbf {X} } Y {\displaystyle \mathbf {Y} } X i {\displaystyle X_{i}} Y i {\displaystyle Y_{i}}
列ベクトル のエントリが それぞれ有限 分散 と 期待値を持つ ランダム変数 で
ある場合 、共分散行列はエントリが 共 分散 である行列です [1] ：177 ここで、演算子は 引数の期待値（平均）を表します。 X = ( X 1 , X 2 , … , X n ) T {\displaystyle \mathbf {X} =(X_{1},X_{2},\dots ,X_{n})^{\mathsf {T}}} K X X {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }} ( i , j ) {\displaystyle (i,j)} K X i X j = cov [ X i , X j ] = E [ ( X i − E [ X i ] ) ( X j − E [ X j ] ) ] {\displaystyle \operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]} E {\displaystyle \operatorname {E} }
矛盾する命名法と表記 命名法は様々である。統計学者の中には、確率論者 ウィリアム・フェラー の著書 『確率論とその応用入門』 [2] に倣い、 この行列を ランダムベクトルの 分散 と 呼ぶ者もいる。これは1次元分散の高次元への自然な一般化だからである。一方、 ベクトルのスカラー成分間の共分散行列であるため、 共分散行列 と呼ぶ者もいる。 K X X {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }} X {\displaystyle \mathbf {X} } X {\displaystyle \mathbf {X} } var ( X ) = cov ( X , X ) = E [ ( X − E [ X ] ) ( X − E [ X ] ) T ] . {\displaystyle \operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right].}
どちらの形式も非常に標準的であり、両者の間に曖昧さはありません。 対角項が実際には分散であるため、
この行列は 分散共分散行列 と呼ばれることもあります。 K X X {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}
比較すると、 2つのベクトル 間の 共分散行列 の表記は次のようになる。 cov ( X , Y ) = K X Y = E [ ( X − E [ X ] ) ( Y − E [ Y ] ) T ] . {\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\mathsf {T}}\right].}
プロパティ
自己相関行列との関係 自己共分散行列は、 自己相関行列 と次のように関連しています。ここ で、 自己相関行列は次のように定義されます 。 K X X {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }} R X X {\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }} K X X = E [ ( X − E [ X ] ) ( X − E [ X ] ) T ] = R X X − E [ X ] E [ X ] T {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\mathsf {T}}} R X X = E [ X X T ] {\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\mathsf {T}}]}
相関行列との関係 共分散行列に密接に関連する実体は、 ランダムベクトル 内の各ランダム変数間の ピアソン積率相関係数 の行列であり、 と表記されます。 ここで 、 は の対角要素の行列です （つまり、 に対する の分散の 対角行列です ）。 X {\displaystyle \mathbf {X} } corr ( X ) = ( diag ( K X X ) ) − 1 2 K X X ( diag ( K X X ) ) − 1 2 , {\displaystyle \operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},} diag ( K X X ) {\displaystyle \operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })} K X X {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }} X i {\displaystyle X_{i}} i = 1 , … , n {\displaystyle i=1,\dots ,n}
同様に、相関行列は、 の 標準 化されたランダム変数 の共分散行列として見ることができます。 X i / σ ( X i ) {\displaystyle X_{i}/\sigma (X_{i})} i = 1 , … , n {\displaystyle i=1,\dots ,n} corr ( X ) = [ 1 E [ ( X 1 − μ 1 ) ( X 2 − μ 2 ) ] σ ( X 1 ) σ ( X 2 ) ⋯ E [ ( X 1 − μ 1 ) ( X n − μ n ) ] σ ( X 1 ) σ ( X n ) E [ ( X 2 − μ 2 ) ( X 1 − μ 1 ) ] σ ( X 2 ) σ ( X 1 ) 1 ⋯ E [ ( X 2 − μ 2 ) ( X n − μ n ) ] σ ( X 2 ) σ ( X n ) ⋮ ⋮ ⋱ ⋮ E [ ( X n − μ n ) ( X 1 − μ 1 ) ] σ ( X n ) σ ( X 1 ) E [ ( X n − μ n ) ( X 2 − μ 2 ) ] σ ( X n ) σ ( X 2 ) ⋯ 1 ] . {\displaystyle \operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.}
相関行列の主対角線上の各要素は、ランダム変数とその要素自体との相関であり、常に 1 になります。 対角線外の各要素 は、-1 から +1 までの範囲になります。
共分散行列の逆行列 この行列の逆行列 が存在する場合 、 それは逆共分散行列（または逆濃度行列 [ 疑わしい - 議論が 必要] ）であり、 精度行列 （または 濃度行列 ）とも呼ばれます 。 [3] K X X − 1 {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}}
共分散行列は、相関行列を周辺分散で再スケーリングしたものとして表すことができます。 cov ( X ) = [ σ x 1 0 σ x 2 ⋱ 0 σ x n ] [ 1 ρ x 1 , x 2 ⋯ ρ x 1 , x n ρ x 2 , x 1 1 ⋯ ρ x 2 , x n ⋮ ⋮ ⋱ ⋮ ρ x n , x 1 ρ x n , x 2 ⋯ 1 ] [ σ x 1 0 σ x 2 ⋱ 0 σ x n ] {\displaystyle \operatorname {cov} (\mathbf {X} )={\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}{\begin{bmatrix}1&\rho _{x_{1},x_{2}}&\cdots &\rho _{x_{1},x_{n}}\\\rho _{x_{2},x_{1}}&1&\cdots &\rho _{x_{2},x_{n}}\\\vdots &\vdots &\ddots &\vdots \\\rho _{x_{n},x_{1}}&\rho _{x_{n},x_{2}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}\\&&\ddots \\0&&&\sigma _{x_{n}}\end{bmatrix}}}
したがって、偏相関 と偏分散 の考え方を使用すると、逆共分散行列は同様に表現できます。 この二重性により、ガウス確率変数の周辺化と条件付けの間には、他の多くの二重性が生まれます。 cov ( X ) − 1 = [ 1 σ x 1 | x 2 . . . 0 1 σ x 2 | x 1 , x 3 . . . ⋱ 0 1 σ x n | x 1 . . . x n − 1 ] [ 1 − ρ x 1 , x 2 ∣ x 3 . . . ⋯ − ρ x 1 , x n ∣ x 2 . . . x n − 1 − ρ x 2 , x 1 ∣ x 3 . . . 1 ⋯ − ρ x 2 , x n ∣ x 1 , x 3 . . . x n − 1 ⋮ ⋮ ⋱ ⋮ − ρ x n , x 1 ∣ x 2 . . . x n − 1 − ρ x n , x 2 ∣ x 1 , x 3 . . . x n − 1 ⋯ 1 ] [ 1 σ x 1 | x 2 . . . 0 1 σ x 2 | x 1 , x 3 . . . ⋱ 0 1 σ x n | x 1 . . . x n − 1 ] {\displaystyle \operatorname {cov} (\mathbf {X} )^{-1}={\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}{\begin{bmatrix}1&-\rho _{x_{1},x_{2}\mid x_{3}...}&\cdots &-\rho _{x_{1},x_{n}\mid x_{2}...x_{n-1}}\\-\rho _{x_{2},x_{1}\mid x_{3}...}&1&\cdots &-\rho _{x_{2},x_{n}\mid x_{1},x_{3}...x_{n-1}}\\\vdots &\vdots &\ddots &\vdots \\-\rho _{x_{n},x_{1}\mid x_{2}...x_{n-1}}&-\rho _{x_{n},x_{2}\mid x_{1},x_{3}...x_{n-1}}&\cdots &1\\\end{bmatrix}}{\begin{bmatrix}{\frac {1}{\sigma _{x_{1}|x_{2}...}}}&&&0\\&{\frac {1}{\sigma _{x_{2}|x_{1},x_{3}...}}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}|x_{1}...x_{n-1}}}}\end{bmatrix}}}
基本的なプロパティ および （次元確率変数） に対して 、 以下の基本特性が適用される： [4] K X X = var ( X ) = E [ ( X − E [ X ] ) ( X − E [ X ] ) T ] {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\mathsf {T}}\right]} μ X = E [ X ] {\displaystyle {\boldsymbol {\mu }}_{\mathbf {X} }=\operatorname {E} [{\textbf {X}}]} X = ( X 1 , … , X n ) T {\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathsf {T}}} n {\displaystyle n}
K X X = E ( X X T ) − μ X μ X T {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\mathsf {T}}} )-{\boldsymbol {\mu }}_{\mathbf {X} }{\boldsymbol {\mu }}_{\mathbf {X} }^{\mathsf {T}}} K X X {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,} は半正定値で ある 、すなわち a T K X X a ≥ 0 for all a ∈ R n {\displaystyle \mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}} 証拠
実際、性質4から、共 変行列を持つ確率変数を 線形演算子 saで線形変換すると 、共変行列は次のように変換される
ことがわかる。 X {\displaystyle \mathbf {X} } Σ X = c o v ( X ) {\displaystyle \mathbf {\Sigma _{X}} =\mathrm {cov} (\mathbf {X} )} A {\displaystyle \mathbf {A} } Y = A X {\displaystyle \mathbf {Y} =\mathbf {A} \mathbf {X} }
Σ Y = c o v ( Y ) = A Σ X A ⊤ {\displaystyle \mathbf {\Sigma _{Y}} =\mathrm {cov} \left(\mathbf {Y} \right)=\mathbf {A\,\Sigma _{X}\,A} ^{\top }} 。 性質3によれば行列は対称なので 、線形直交変換によって対角化することができる。つまり、次のような直交行列が存在する （一方 、 Σ X {\displaystyle \mathbf {\Sigma _{X}} } A {\displaystyle \mathbf {A} } A ⊤ = A − 1 {\displaystyle \mathbf {A} ^{\top }=\mathbf {A} ^{-1}}
A Σ X A ⊤ = A Σ X A − 1 = diag ( σ 1 , … , σ n ) , {\displaystyle \mathbf {A\,\Sigma _{X}\,A} ^{\top }=\mathbf {A\,\Sigma _{X}\,A} ^{-1}={\mbox{diag}}(\sigma _{1},\ldots ,\sigma _{n}),} と は の固有値です 。しかし、これはこの行列が確率変数 の共変行列で あり、 の主対角線はベクトル の要素の分散から構成されていることを意味します 。分散は常に非負なので、 任意の に対してが成り立ちます 。しかし、これはこの行列 が半正定値行列であることを意味します。 σ 1 , … , σ n {\displaystyle \sigma _{1},\ldots ,\sigma _{n}} Σ X {\displaystyle \mathbf {\Sigma _{X}} } Y = A X {\displaystyle \mathbf {Y} =\mathbf {A} \mathbf {X} } Σ Y = c o v ( Y ) {\displaystyle \mathbf {\Sigma _{Y}} =\mathrm {cov} \left(\mathbf {Y} \right)} Y {\displaystyle \mathbf {Y} } σ i ≥ 0 {\displaystyle \sigma _{i}\geq 0} i {\displaystyle i} Σ X {\displaystyle \mathbf {\Sigma _{X}} } K X X {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,} 対称的 である 、すなわち K X X T = K X X {\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{\mathsf {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }} 任意の定数（つまり非ランダム） 行列 と定数 ベクトルに対して 、 m × n {\displaystyle m\times n} A {\displaystyle \mathbf {A} } m × 1 {\displaystyle m\times 1} a {\displaystyle \mathbf {a} } var ( A X + a ) = A var ( X ) A T {\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\mathsf {T}}} が と同じ次元を持つ別のランダムベクトルである 場合 、 は および の 相互 共分散 行列です 。 Y {\displaystyle \mathbf {Y} } X {\displaystyle \mathbf {X} } var ( X + Y ) = var ( X ) + cov ( X , Y ) + cov ( Y , X ) + var ( Y ) {\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )} cov ( X , Y ) {\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )} X {\displaystyle \mathbf {X} } Y {\displaystyle \mathbf {Y} }
ブロック行列 と の 結合平均 と 結合共分散行列は 、 、 の ブロック 形式で表すことができます 。 μ {\displaystyle {\boldsymbol {\mu }}} Σ {\displaystyle {\boldsymbol {\Sigma }}} X {\displaystyle \mathbf {X} } Y {\displaystyle \mathbf {Y} } μ = [ μ X μ Y ] , Σ = [ K X X K X Y K Y X K Y Y ] {\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}},\qquad {\boldsymbol {\Sigma }}={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}} K X X = var ( X ) {\displaystyle \operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )} K Y Y = var ( Y ) {\displaystyle \operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )} K X Y = K Y X T = cov ( X , Y ) {\displaystyle \operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\mathsf {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}
K X X {\displaystyle \operatorname {K} _{\mathbf {XX} }} および は、 それぞれ およびの 周辺分布 の分散行列として識別できます 。 K Y Y {\displaystyle \operatorname {K} _{\mathbf {YY} }} X {\displaystyle \mathbf {X} } Y {\displaystyle \mathbf {Y} }
とが 正規分布 に従う 場合 、 与えられた に対する条件 付き 分布は [5] で与えられ、 条件付き平均 と 条件付き分散 によって定義される。 X {\displaystyle \mathbf {X} } Y {\displaystyle \mathbf {Y} } X , Y ∼ N ( μ , Σ ) , {\displaystyle \mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\operatorname {\boldsymbol {\Sigma }} ),} Y {\displaystyle \mathbf {Y} } X {\displaystyle \mathbf {X} } Y ∣ X ∼ N ( μ Y | X , K Y | X ) , {\displaystyle \mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}({\boldsymbol {\mu }}_{\mathbf {Y|X} },\operatorname {K} _{\mathbf {Y|X} }),} μ Y | X = μ Y + K Y X K X X − 1 ( X − μ X ) {\displaystyle {\boldsymbol {\mu }}_{\mathbf {Y} |\mathbf {X} }={\boldsymbol {\mu }}_{\mathbf {Y} }+\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -{\boldsymbol {\mu }}_{\mathbf {X} }\right)} K Y | X = K Y Y − K Y X K X X − 1 K X Y . {\displaystyle \operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.}
行列は 回帰 係数行列として知られており 、線形代数では は の シュアー補行列 です 。 K Y X K X X − 1 {\displaystyle \operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}} K Y | X {\displaystyle \operatorname {K} _{\mathbf {Y|X} }} K X X {\displaystyle \operatorname {K} _{\mathbf {XX} }} Σ {\displaystyle {\boldsymbol {\Sigma }}}
回帰係数行列は、転置形式 で与えられることが多く、これは 説明変数の行ベクトルを列 ベクトル を前置乗算するのではなく、後置乗算するのに適しています。この形式では、回帰係数は 最小二乗法 （OLS）の 正規方程式 の行列を逆行列化することによって得られる係数に対応します 。 K X X − 1 K X Y {\displaystyle \operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }} X T {\displaystyle \mathbf {X} ^{\mathsf {T}}} X {\displaystyle \mathbf {X} }
偏共分散行列 すべての要素がゼロでない共分散行列は、すべての個々の確率変数が相互に関連していることを示しています。これは、変数が直接相関しているだけでなく、他の変数を介して間接的に相関していることを意味します。このような間接的な 共通 モードの相関は、多くの場合、自明で興味深くありません。これらの相関は、相関の興味深い部分のみを示す部分共分散行列を計算することで抑制できます。
2つのランダム変数ベクトル とが 別のベクトルを介して相関している場合 、後者の相関は行列 [6] で抑制されます
。部分共分散行列は 、無関係なランダム変数が一定に保持されているかのように、 実質的に単純な共分散行列です 。 X {\displaystyle \mathbf {X} } Y {\displaystyle \mathbf {Y} } I {\displaystyle \mathbf {I} } K X Y ∣ I = pcov ( X , Y ∣ I ) = cov ( X , Y ) − cov ( X , I ) cov ( I , I ) − 1 cov ( I , Y ) . {\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).} K X Y ∣ I {\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }} K X Y {\displaystyle \operatorname {K} _{\mathbf {XY} }} I {\displaystyle \mathbf {I} }
標準偏差行列 標準偏差行列は 、標準偏差を多次元に拡張したものである。これは 共分散行列の対称 平方根 である。 [7] S {\displaystyle \mathbf {S} } Σ {\displaystyle \mathbf {\Sigma } }
分布のパラメータとしての共分散行列 相関関係にある可能性のある確率変数 の 列ベクトルが 正規分布 に従う場合、またはより一般的には 楕円分布 に従う場合、その 確率密度関数は 共分散行列を用いて次のように 表すことができます [6]。 ここで 、およびは の 行列式 、いわゆる 一般化分散 です 。 X {\displaystyle \mathbf {X} } n {\displaystyle n} f ( X ) {\displaystyle \operatorname {f} (\mathbf {X} )} Σ {\displaystyle {\boldsymbol {\Sigma }}} f ( X ) = ( 2 π ) − n / 2 | Σ | − 1 / 2 exp ( − 1 2 ( X − μ ) T Σ − 1 ( X − μ ) ) , {\displaystyle \operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|{\boldsymbol {\Sigma }}|^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\mathsf {T}}\Sigma ^{-1}(X-\mu )} \right),} μ = E [ X ] {\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]} | Σ | {\displaystyle |{\boldsymbol {\Sigma }}|} Σ {\displaystyle {\boldsymbol {\Sigma }}}
線形演算子としての共分散行列 共分散行列を1つのベクトルに適用すると、確率変数 X の線形結合 cを、 それらの変数との共分散のベクトルに写像します： 。 双線形形式 として扱うと 、2つの線形結合間の共分散が得られます： 。線形結合の分散は であり 、これは線形結合自身との共分散です。 c T Σ = cov ( c T X , X ) {\displaystyle \mathbf {c} ^{\mathsf {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\mathsf {T}}\mathbf {X} ,\mathbf {X} )} d T Σ c = cov ( d T X , c T X ) {\displaystyle \mathbf {d} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\mathsf {T}}\mathbf {X} ,\mathbf {c} ^{\mathsf {T}}\mathbf {X} )} c T Σ c {\displaystyle \mathbf {c} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c} }
同様に、（擬似）逆共分散行列は内積を提供し 、これは c の「可能性の低さ」の尺度である マハラノビス距離を 誘導する。 [ 引用が必要 ] ⟨ c − μ | Σ + | c − μ ⟩ {\displaystyle \langle c-\mu |\Sigma ^{+}|c-\mu \rangle }
許容性 上記の基本特性 4 から、 を 実数値ベクトル とすると、 は 実数値ランダム変数の 分散 であるため、常に非負でなければなりません。したがって、共分散行列は常に 半正定値行列 です。 b {\displaystyle \mathbf {b} } ( p × 1 ) {\displaystyle (p\times 1)} var ( b T X ) = b T var ( X ) b , {\displaystyle \operatorname {var} (\mathbf {b} ^{\mathsf {T}}\mathbf {X} )=\mathbf {b} ^{\mathsf {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,}
上記の議論は次のように拡張できます。最後の不等式は、 が スカラーである という観測から導き出されます。 w T E [ ( X − E [ X ] ) ( X − E [ X ] ) T ] w = E [ w T ( X − E [ X ] ) ( X − E [ X ] ) T w ] = E [ ( w T ( X − E [ X ] ) ) 2 ] ≥ 0 , {\displaystyle {\begin{aligned}&w^{\mathsf {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right]w=\operatorname {E} \left[w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}w\right]\\&=\operatorname {E} {\big [}{\big (}w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0,\end{aligned}}} w T ( X − E [ X ] ) {\displaystyle w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])}
逆に、すべての対称半正定値行列は共分散行列である。これを理解するために、対称半正定値行列 を仮定する。 スペクトル定理 の有限次元の場合から、 非負対称 平方根 を持つことがわかる。これは M 1/2 と表記される 。 を、 共分散行列が単位行列である任意の列ベクトル値確率変数 とする 。すると、 M {\displaystyle M} p × p {\displaystyle p\times p} M {\displaystyle M} X {\displaystyle \mathbf {X} } p × 1 {\displaystyle p\times 1} p × p {\displaystyle p\times p} var ( M 1 / 2 X ) = M 1 / 2 var ( X ) M 1 / 2 = M . {\displaystyle \operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .}
複素ランダムベクトル 期待値を持つ複素 スカラー値 ランダム変数 の 分散 は 、通常、 複素共役 を使用して定義されます。 ここで、複素数の複素共役 は と表されます 。したがって、複素ランダム変数の分散は実数です。 μ {\displaystyle \mu } var ( Z ) = E [ ( Z − μ Z ) ( Z − μ Z ) ¯ ] , {\displaystyle \operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],} z {\displaystyle z} z ¯ {\displaystyle {\overline {z}}}
が複素数値確率変数の列ベクトルである 場合、 共役転置は転置と共役の 両方 によって形成される 。次の式において、ベクトルとその共役転置の積は、 共分散行列 と呼ばれる正方行列を生成する。その期待値は [8] ：293 である。このようにして得られる行列は、エルミート 正半定値行列 [9] であり、 主対角成分は実数、非対角成分は複素数と なる。 Z = ( Z 1 , … , Z n ) T {\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathsf {T}}} Z H {\displaystyle \mathbf {Z} ^{\mathsf {H}}} K Z Z = cov [ Z , Z ] = E [ ( Z − μ Z ) ( Z − μ Z ) H ] , {\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {H}}\right],}
プロパティ 共分散行列は エルミート行列 、すなわち [1] ：179で ある。 K Z Z H = K Z Z {\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathsf {H}}=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }} 共分散行列の対角要素は実数である。 [1] : 179
擬似共分散行列 複素ランダムベクトルの場合、別の種類の第 2 中心モーメントである 擬似共分散行列 ( 関係行列 とも呼ばれる) は次のように定義されます。 J Z Z = cov [ Z , Z ¯ ] = E [ ( Z − μ Z ) ( Z − μ Z ) T ] {\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {T}}\right]}
上記で定義した共分散行列とは対照的に、定義ではエルミート転置が転置に置き換えられます。対角要素は複素数値となる場合があり、 複素対称行列 となります。
推定 と がそれぞれ次元 との 中心 データ行列 、 すなわち、 p行 と q 行の変数の観測値の n 列を持ち、そこから行平均が差し引かれている場合、行平均がデータから推定されたとすると、標本共分散行列と を 次のように定義できる 。あるいは、行平均が事前に分かっているとすると、 M X {\displaystyle \mathbf {M} _{\mathbf {X} }} M Y {\displaystyle \mathbf {M} _{\mathbf {Y} }} p × n {\displaystyle p\times n} q × n {\displaystyle q\times n} Q X X {\displaystyle \mathbf {Q} _{\mathbf {XX} }} Q X Y {\displaystyle \mathbf {Q} _{\mathbf {XY} }} Q X X = 1 n − 1 M X M X T , Q X Y = 1 n − 1 M X M Y T {\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}} Q X X = 1 n M X M X T , Q X Y = 1 n M X M Y T . {\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}.}
これらの経験的サンプル共分散行列は、共分散行列の推定値として最も単純かつ最も頻繁に使用されますが、正規化推定値や収縮推定値など、より優れた特性を持つ可能性のある他の推定値も存在します。
アプリケーション 共分散行列は、様々な分野で有用なツールです。この行列から、 ホワイトニング変換と呼ばれる 変換行列 を導くことができます。ホワイトニング変換は 、データの相関関係を完全に除去することを可能にします [10] 。あるいは、別の観点から言えば、データを簡潔に表現するための最適な基底を見つけることも可能です [ 要出典 ] （共分散行列の正式な証明と追加の性質については、 レイリー商を参照してください）。これは 主成分分析 （PCA）や カルーネン・レーヴ変換 （KL変換） と呼ばれます。
共分散行列は金融経済学 、特に ポートフォリオ理論 とその 投資信託分離定理 、そして 資本資産価格モデル において重要な役割を果たします。様々な資産の収益率の共分散行列は、一定の仮定の下で、投資家が 分散投資 という文脈において保有すべき（ 規範的分析 ）あるいは保有すると予測される（ 実証的分析 ）様々な資産の相対的な量を決定するために使用されます 。
最適化での使用 ランダム化探索ヒューリスティックスの一種である進化戦略は、そのメカニズムにおいて基本的に共分散行列に依存している。特性突然変異演算子は、進化する共分散行列を用いて多変量正規分布から更新ステップを導出する。進化戦略の共分散行列が、スカラー係数と小さなランダム変動を除けば、探索ランドスケープのヘッセ行列の逆行列に適応するという正式な証明がある （ 単一 親 戦略 と 静的 モデル について、集団サイズが増加するにつれて二次近似に依存することが証明されている）。 [11] 直感的には、この結果は、最適な共分散分布が、ランドスケープのレベルセットと一致する等密度確率等高線を持つ突然変異ステップを提供できるという理論的根拠によって裏付けられており、それによって進捗率が最大化される。
共分散マッピング 共分散写像 では、行列 または行列 の値が 2次元マップとしてプロットされます。ベクトル とが 離散 確率関数 である場合、マップは確率関数の異なる領域間の統計的関係を示します。関数の統計的に独立した領域はマップ上でゼロレベルの平坦部として表示され、正の相関または負の相関はそれぞれ丘または谷として表示されます。 cov ( X , Y ) {\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )} pcov ( X , Y ∣ I ) {\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )} X {\displaystyle \mathbf {X} } Y {\displaystyle \mathbf {Y} }
実際には、列ベクトル 、は サンプル の行として実験的に取得されます。たとえば、 は ランダム関数のサンプル jにおける i 番目の離散値 です 。共分散式に必要な期待値は、 サンプル平均 を使用して推定されます。たとえば、
共分散行列は サンプル共分散 行列 によって推定されます。ここで、山括弧は、 バイアスを回避するために ベッセル補正を 行う必要がある ことを除いて、前述と同様にサンプル平均化を示します 。この推定値を使用して、部分共分散行列を次のように計算できます。 ここで、バックスラッシュは 左行列 除算演算子を示します。これは、行列の逆行列を求める必要がなく、 Matlab などの一部の計算パッケージで利用できます。 [12] X , Y {\displaystyle \mathbf {X} ,\mathbf {Y} } I {\displaystyle \mathbf {I} } n {\displaystyle n} [ X 1 , X 2 , … , X n ] = [ X 1 ( t 1 ) X 2 ( t 1 ) ⋯ X n ( t 1 ) X 1 ( t 2 ) X 2 ( t 2 ) ⋯ X n ( t 2 ) ⋮ ⋮ ⋱ ⋮ X 1 ( t m ) X 2 ( t m ) ⋯ X n ( t m ) ] , {\displaystyle \left[\mathbf {X} _{1},\mathbf {X} _{2},\dots ,\mathbf {X} _{n}\right]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},} X j ( t i ) {\displaystyle X_{j}(t_{i})} X ( t ) {\displaystyle X(t)} ⟨ X ⟩ = 1 n ∑ j = 1 n X j {\displaystyle \langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}} cov ( X , Y ) ≈ ⟨ X Y T ⟩ − ⟨ X ⟩ ⟨ Y T ⟩ , {\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\mathsf {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle ,} pcov ( X , Y ∣ I ) = cov ( X , Y ) − cov ( X , I ) ( cov ( I , I ) ∖ cov ( I , Y ) ) , {\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),}
図1：自由電子レーザーによって誘起されたクーロン爆発を起こしているN 2 分子の部分共分散マップの構築。 [13] パネル a と bは、パネル c に示されている共分散行列の2つの項をマップします 。パネル dは、 レーザーの強度変動による共通モード相関をマップします。パネル eは 、強度変動を補正した部分共分散行列をマップします。パネル f は、10％の過剰補正によってマップが改善され、イオン間相関が明確に見えるようになったことを示しています。運動量保存則により、これらの相関は自己相関線（および検出器のリンギングによって引き起こされる周期的な変調）にほぼ垂直な線として現れます。 図 1 は、ハンブルクの FLASH 自由電子レーザー で行われた実験の例に基づいて、部分共分散マップがどのように作成されるかを示しています。 [13] ランダム関数は、レーザーパルスによって多重イオン化された窒素分子の クーロン爆発 からのイオンの 飛行時間 スペクトルです 。各レーザーパルスでイオン化される分子は数百個だけなので、シングルショットスペクトルは大きく変動します。しかし、 このようなスペクトルを典型的に収集し 、それらを平均すると 、図 1 の下部に赤で示されている 滑らかなスペクトルが生成されます。平均スペクトルでは、 運動エネルギーによって広がったピークの形でいくつかの窒素イオンが明らかになりますが、イオン化段階とイオン運動量の相関関係を見つけるには、共分散マップを計算する必要があります。 X ( t ) {\displaystyle X(t)} m = 10 4 {\displaystyle m=10^{4}} X j ( t ) {\displaystyle \mathbf {X} _{j}(t)} j {\displaystyle j} ⟨ X ( t ) ⟩ {\displaystyle \langle \mathbf {X} (t)\rangle } ⟨ X ⟩ {\displaystyle \langle \mathbf {X} \rangle }
図 1 の例では、スペクトル とは 同じですが、飛行時間の範囲が 異なります。パネル a は 、パネル b は 、パネル c はそれらの差、つまり を示します (カラー スケールの変化に注意)。残念ながら、このマップは、ショットごとに変動するレーザー強度によって引き起こされる、興味深くない共通モードの相関で埋もれてしまいます。このような相関を抑制するために、レーザー強度は ショットごとに記録され、 に入れられ 、パネル d と e に示すように計算されます 。ただし、興味深くない相関の抑制は不完全です。レーザー強度以外にも共通モード変動の原因があり、原則としてこれらすべての原因をベクトル で監視する必要があるためです。しかし、実際には、パネル f に示すように、部分共分散補正を過剰補正するだけで十分な場合が多く 、ここではイオン運動量の興味深い相関が、原子窒素のイオン化段階を中心とした直線としてはっきりと見えます。 X j ( t ) {\displaystyle \mathbf {X} _{j}(t)} Y j ( t ) {\displaystyle \mathbf {Y} _{j}(t)} t {\displaystyle t} ⟨ X Y T ⟩ {\displaystyle \langle \mathbf {XY^{\mathsf {T}}} \rangle } ⟨ X ⟩ ⟨ Y T ⟩ {\displaystyle \langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle } cov ( X , Y ) {\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )} I j {\displaystyle I_{j}} I {\displaystyle \mathbf {I} } pcov ( X , Y ∣ I ) {\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )} I {\displaystyle \mathbf {I} }
二次元赤外分光法 二次元赤外分光法では、 相関分析を用いて 凝縮相 の二次元スペクトルを得る。この分析には 同期型 と 非同期型 の2つのバージョンがある 。数学的には、前者は標本共分散行列で表され、この手法は共分散マッピングと同等である。 [14]
参照
参考文献 ^ abc Park, Kun Il (2018). 確率過程の基礎と通信への応用 . Springer. ISBN 978-3-319-68074-3 。 ^ ウィリアム・フェラー (1971). 確率論とその応用入門. Wiley. ISBN 978-0-471-25709-7 . 2012年 8月10日 閲覧 。 ^ ワッサーマン、ラリー（2004年）『統計のすべて：統計推論の簡潔なコース』シュプリンガー、 ISBN 0-387-40272-1 。 ^ タボガ、マルコ（2010年）「確率論と数理統計の講義」 ^ イートン、モリス L. (1983). 多変量統計：ベクトル空間アプローチ . ジョン・ワイリー・アンド・サンズ. pp. 116– 117. ISBN 0-471-02776-6 。 ^ ab WJ Krzanowski「Principles of Multivariate Analysis」（Oxford University Press、ニューヨーク、1988年）、第14.4章、KV Mardia、JT Kent、JM Bibby「Multivariate Analysis」（Academic Press、ロンドン、1997年）、第6.5.3章、TW Anderson「An Introduction to Multivariate Statistical Analysis」（Wiley、ニューヨーク、2003年）、第3版、第2.5.1章および第4.3.1章。 ^ Das, Abhranil; Wilson S Geisler (2020). 「多重正規分布を統合し、分類尺度を計算する方法」 arXiv : 2012.14331 [stat.ML]. ^ ラピドス、アモス (2009). 『デジタルコミュニケーションの基礎』 ケンブリッジ大学出版局. ISBN 978-0-521-19395-5 。 ^ ブルックス、マイク. 「マトリックス リファレンス マニュアル」. ^ Kessy, Agnan; Strimmer, Korbinian; Lewin, Alex (2018). 「最適ホワイトニングとデコレレーション」. The American Statistician . 72 (4). Taylor & Francis: 309– 314. arXiv : 1512.00809 . doi :10.1080/00031305.2016.1277159. ^ Shir, OM; A. Yehudayoff (2020). 「進化戦略における共分散-ヘッセ行列関係について」. 理論計算機科学 . 801. Elsevier: 157–174 . arXiv : 1806.03674 . doi : 10.1016/j.tcs.2019.09.002 . ^ LJ Frasinski「共分散マッピング技術」 J. Phys. B: At. Mol. Opt. Phys. 49 152004 (2016), doi :10.1088/0953-4075/49/15/152004 ^ ab O Kornilov, M Eckstein, M Rosenblatt, CP Schulz, K Motomura, A Rouzée, J Klei, L Foucar, M Siano, A Lübcke, F. Schapper, P Johnsson, DMP Holland, T Schlatholter, T Marchenko, S Düsterer, K Ueda, MJJ Vrakking, LJ Frasinski「部分共分散法による高強度XUV場における二原子分子のクーロン爆発」 J. Phys. B: At. Mol. Opt. Phys. 46 164028 (2013), doi :10.1088/0953-4075/46/16/164028 ^ Noda, I. (1993). 「赤外線、ラマン分光、その他の分光法に適用可能な一般化2次元相関法」. Appl. Spectrosc . 47 (9): 1329–36 . Bibcode :1993ApSpe..47.1329N. doi :10.1366/0003702934067694.
さらに読む
![{\displaystyle \operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/83bec85f5e2cab5d3406677dd806e554a442331f)
![{\displaystyle \operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b82e5154b73760426abe591f9bbc2329d3e0ed95)
![{\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\mathsf {T}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/28570bb5cfd00f8ad9bf4c1efa23448f4562e016)
![{\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\mathsf {T}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/842025962cba1c4ae9f6fc439593a2a2d0fa0f43)
![{\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\mathsf {T}}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/14f4338a3b04aadc754ede1a6f2b38b190584022)
![{\displaystyle \operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/df091a047aa8a9d829b25f68a5bbe6d56938b146)
![{\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\mathsf {T}}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a9b6c515aa8e41237f7cc932b7f19822809c81ca)
![{\displaystyle {\boldsymbol {\mu}}_{\mathbf {X} }=\operatorname {E} [{\textbf {X}}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/255b37ede48f45c71391d0db31a298fe7894b518)
![{\displaystyle {\boldsymbol {\mu }}=\演算子名 {E} [\mathbf {X} ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e1dd0939838410c3edd67238ec0cb1bbc37a1515)
![{\displaystyle {\begin{aligned}&w^{\mathsf {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right]w=\operatorname {E} \left[w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}w\right]\\&=\operatorname {E} {\big [}{\big (}w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0,\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/740e6e46b6049e8e4f3ef1f87bf942fe1efc21eb)
![{\displaystyle w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5b84bfa03d923b2ce9129a6aa1ae06defbb89173)
![{\displaystyle \operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b3a3d7abfa56fdb689ebd3c01388715ad4773d4a)
![{\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {H}}\right],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/dd318464ced7eff095becbc3946d91b9b616d4d2)
![{\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {T}}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/64c36be608568ae163648f81267452490a2e9d2d)
![{\displaystyle \left[\mathbf {X} _{1},\mathbf {X} _{2},\dots ,\mathbf {X} _{n}\right]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ef711d4f9c3662d3f2f2cc06c3772f10f9852834)
