行列正規分布

Probability distribution

行列の正規分布
表記	${\displaystyle {\mathcal {MN}}_{n,p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$
パラメータ	${\displaystyle \mathbf {M} }$ 位置（実数 行列）スケール（正定値実数行列） ${\displaystyle n\times p}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle n\times n}$ ${\displaystyle \mathbf {V} }$ スケール（正定値 実数 行列） ${\displaystyle p\times p}$
サポート	${\displaystyle \mathbf {X} \in \mathbb {R} ^{n\times p}}$
PDF	${\displaystyle {\frac {\exp \left(-{\frac {1}{2}}\,\mathrm {tr} \left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\right)}{(2\pi )^{np/2}|\mathbf {V} |^{n/2}|\mathbf {U} |^{p/2}}}}$
平均	${\displaystyle \mathbf {M} }$
分散	${\displaystyle \mathbf {U} }$(行間) と(列間) ${\displaystyle \mathbf {V} }$

統計学において、行列正規分布または行列ガウス分布は、多変量正規分布を行列値のランダム変数に一般化した確率分布です。

意味

行列正規分布に従うランダム行列X（n  ×  p ）の確率密度関数は次の形式になります。 ${\displaystyle {\mathcal {MN}}_{n,p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$

${\displaystyle p(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\frac {\exp \left(-{\frac {1}{2}}\,\mathrm {tr} \left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\right)}{(2\pi )^{np/2}|\mathbf {V} |^{n/2}|\mathbf {U} |^{p/2}}}}$

ここで、はトレースを表し、Mはn  ×  p、Uはn  ×  n、Vはp  ×  pであり、密度は における標準ルベーグ測度に関する確率密度関数、つまり に関する積分に対応する測度として理解されます。 ${\displaystyle \mathrm {tr} }$ ${\displaystyle \mathbb {R} ^{n\times p}}$ ${\displaystyle dx_{11}dx_{21}\dots dx_{n1}dx_{12}\dots dx_{n2}\dots dx_{np}}$

行列正規分布は、次のように多変量正規分布と関係があります。

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} ),}$

もし、そして、もし、

${\displaystyle \mathrm {vec} (\mathbf {X} )\sim {\mathcal {N}}_{np}(\mathrm {vec} (\mathbf {M} ),\mathbf {V} \otimes \mathbf {U} )}$

ここで、 はクロネッカー積を表し、は のベクトル化を表します。 ${\displaystyle \otimes }$ ${\displaystyle \mathrm {vec} (\mathbf {M} )}$ ${\displaystyle \mathbf {M} }$

証拠

上記の行列正規分布と多変数正規分布の密度関数の等価性は、以下のように、トレースとクロネッカー積のいくつかの性質を用いて示せます。まず、行列正規分布のPDFの指数の引数から始めます。

${\displaystyle {\begin{aligned}&\;\;\;\;-{\frac {1}{2}}{\text{tr}}\left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}{\text{vec}}\left(\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\mathbf {V} ^{-1}\right)\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}\left(\mathbf {V} ^{-1}\otimes \mathbf {U} ^{-1}\right){\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)\\&=-{\frac {1}{2}}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]^{T}\left(\mathbf {V} \otimes \mathbf {U} \right)^{-1}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]\end{aligned}}}$

これは、ルベーグ測度に関する多変数正規分布の確率密度関数の指数の引数である。証明は行列式の性質を用いることで完了する。 ${\displaystyle \mathbb {R} ^{np}}$ ${\displaystyle |\mathbf {V} \otimes \mathbf {U} |=|\mathbf {V} |^{n}|\mathbf {U} |^{p}.}$

プロパティ

ならば、次のような性質がある: ^{[1] [2]} ${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$

期待値

平均、つまり期待値は次のとおりです。

${\displaystyle E[\mathbf {X} ]=\mathbf {M} }$

そして、次のような二次的な期待が成り立ちます。

${\displaystyle E[(\mathbf {X} -\mathbf {M} )(\mathbf {X} -\mathbf {M} )^{T}]=\mathbf {U} \operatorname {tr} (\mathbf {V} )}$

${\displaystyle E[(\mathbf {X} -\mathbf {M} )^{T}(\mathbf {X} -\mathbf {M} )]=\mathbf {V} \operatorname {tr} (\mathbf {U} )}$

ここで はトレースを表します。 ${\displaystyle \operatorname {tr} }$

より一般的には、適切な次元の行列A、B、Cに対して：

${\displaystyle {\begin{aligned}E[\mathbf {X} \mathbf {A} \mathbf {X} ^{T}]&=\mathbf {U} \operatorname {tr} (\mathbf {A} ^{T}\mathbf {V} )+\mathbf {MAM} ^{T}\\E[\mathbf {X} ^{T}\mathbf {B} \mathbf {X} ]&=\mathbf {V} \operatorname {tr} (\mathbf {U} \mathbf {B} ^{T})+\mathbf {M} ^{T}\mathbf {BM} \\E[\mathbf {X} \mathbf {C} \mathbf {X} ]&=\mathbf {V} \mathbf {C} ^{T}\mathbf {U} +\mathbf {MCM} \end{aligned}}}$

変換

転置変換:

${\displaystyle \mathbf {X} ^{T}\sim {\mathcal {MN}}_{p\times n}(\mathbf {M} ^{T},\mathbf {V} ,\mathbf {U} )}$

線形変換: D ( r行n列) をフルランク r ≤ nとし、C ( p行s列) をフルランクs ≤ pとすると、次のようになります。

${\displaystyle \mathbf {DXC} \sim {\mathcal {MN}}_{r\times s}(\mathbf {DMC} ,\mathbf {DUD} ^{T},\mathbf {C} ^{T}\mathbf {VC} )}$

構成

2つの行列正規密度の積

${\displaystyle {\mathcal {MN}}(\mathbf {M_{1}} ,\mathbf {U_{1}} ,\mathbf {V_{1}} )\cdot {\mathcal {MN}}(\mathbf {M_{2}} ,\mathbf {U_{2}} ,\mathbf {V_{2}} )\propto {\mathcal {N}}(\mu _{c},\Sigma _{c})}$

は、パラメータを持つ正規密度に比例します。

${\displaystyle \Sigma _{c}=(V_{1}^{-1}\otimes U_{1}^{-1}+V_{2}^{-1}\otimes U_{2}^{-1})^{-1},}$

${\displaystyle \mu _{c}=\Sigma _{c}{\big (}(V_{1}^{-1}\otimes U_{1}^{-1})\operatorname {vec} (M_{1})+(V_{2}^{-1}\otimes U_{2}^{-1})\operatorname {vec} (M_{2}){\big )}.}$

注意: これは、一般的には正規ではない正規変数の積とは異なります。

例

多変量正規分布に従って同一に分布するn 個の独立したp次元ランダム変数のサンプルを想像してみましょう。

${\displaystyle \mathbf {Y} _{i}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}){\text{ with }}i\in \{1,\ldots ,n\}}$。

i番目の行が であるn  ×  p行列を定義すると、次の式が得られます。 ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} _{i}}$

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$

ここで、 の各行は に等しく、つまり はn  ×  n単位行列であり、つまり の行は独立しており、 です。 ${\displaystyle \mathbf {M} }$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle \mathbf {M} =\mathbf {1} _{n}\times {\boldsymbol {\mu }}^{T}}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} ={\boldsymbol {\Sigma }}}$

最大尤度パラメータ推定

行列正規分布からiidサンプリングされたと仮定し、サイズがn  ×  pであるk個の 行列が与えられた場合、パラメータの最大尤度推定値は次の式を最大化することで得られます。 ${\displaystyle \mathbf {X} _{1},\mathbf {X} _{2},\ldots ,\mathbf {X} _{k}}$

${\displaystyle \prod _{i=1}^{k}{\mathcal {MN}}_{n\times p}(\mathbf {X} _{i}\mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} ).}$

平均の解は閉じた形を持ち、すなわち

${\displaystyle \mathbf {M} ={\frac {1}{k}}\sum _{i=1}^{k}\mathbf {X} _{i}}$

しかし、共分散パラメータはそうではありません。しかし、これらのパラメータは、以下の点で勾配をゼロにすることで反復的に最大化できます。

${\displaystyle \mathbf {U} ={\frac {1}{kp}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )\mathbf {V} ^{-1}(\mathbf {X} _{i}-\mathbf {M} )^{T}}$

そして

${\displaystyle \mathbf {V} ={\frac {1}{kn}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} _{i}-\mathbf {M} ),}$

例えば^{[3]とその中の参考文献を参照のこと。共分散パラメータは、任意のスケール係数}s >0に対して、以下の式が成り立つという意味で識別不可能である。

${\displaystyle {\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,s\mathbf {U} ,{\tfrac {1}{s}}\mathbf {V} ).}$

分布から値を抽出する

行列正規分布からのサンプリングは、多変量正規分布のサンプリング手順の特殊なケースです。n行p列の行列をnp個の独立な標準正規分布からのサンプルとし、 ${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {0} ,\mathbf {I} ,\mathbf {I} ).}$

それでは

${\displaystyle \mathbf {Y} =\mathbf {M} +\mathbf {A} \mathbf {X} \mathbf {B} ,}$

となることによって

${\displaystyle \mathbf {Y} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {AA} ^{T},\mathbf {B} ^{T}\mathbf {B} ),}$

ここで、AとB は、コレスキー分解または同様の行列の平方根演算によって選択できます。

他の分布との関係

Dawid (1981)は、行列値正規分布とウィシャート分布、逆ウィシャート分布、行列t分布などの他の分布との関係について説明していますが、ここで使用されている表記法とは異なる表記法を使用しています。

参照

• 多変量正規分布

参考文献

1. AK Gupta; DK Nagar (1999年10月22日). 「第2章 行列変量正規分布」. 行列変量分布. CRC Press. ISBN 978-1-58488-046-2. 2014年5月23日閲覧。
2. Ding, Shanshan; R. Dennis Cook (2014). 「行列値予測変数のための次元折り畳みPCAとPFC」.中央統計局. 24 (1): 463– 492. JSTOR  26432553.
3. Glanz, Hunter; Carvalho, Luis (2013). 「行列正規分布に対する期待値最大化アルゴリズム」. arXiv : 1309.6609 [stat.ME].

• Dawid, AP (1981). 「行列変量分布理論：表記上の考察とベイズ理論への応用」. Biometrika . 68 (1): 265– 274. doi :10.1093/biomet/68.1.265. JSTOR  2335827. MR  0614963.
• Dutilleul, P (1999). 「行列正規分布のためのMLEアルゴリズム」. Journal of Statistical Computation and Simulation . 64 (2): 105– 123. doi :10.1080/00949659908811970.
• アーノルド、SF（1981）、線形モデルと多変量解析の理論、ニューヨーク：ジョン・ワイリー・アンド・サンズ、ISBN 0471050652

Retrieved from "https://en.wikipedia.org/w/index.php?title=Matrix_normal_distribution&oldid=1302406808"