確率分布
確率 統計 学 において 、 ディリクレ分布 ( ピーター・グスタフ・ルジューン・ディリクレ にちなんで名付けられ、しばしば と表記される)は、 正の 実数 のベクトル α をパラメータとする連続 多変量 確率分布 の族である 。これは ベータ分布 の多変量一般化であるため 、 [1] 、 多変量ベータ分布 ( MBD )とも呼ばれる。 [2]ディリクレ分布は ベイズ統計学 において 事前分布 としてよく用いられ 、実際、ディリクレ分布は カテゴリ分布 と 多項式分布 の 共役事前分布 である。 ディレクター ( α ) {\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}
ディリクレ分布の無限次元一般化は ディリクレ過程 である。
定義
確率密度関数 すべての個々の が互いに等しいまま、 ベクトルを から に変更すると 、 密度 関数の対数がどのように変化するかを示します。 K = 3 {\displaystyle K=3} α {\displaystyle {\boldsymbol {\alpha }}} α = ( 0.3 、 0.3 、 0.3 ) {\displaystyle {\boldsymbol {\alpha }}=(0.3,0.3,0.3)} ( 2.0 、 2.0 、 2.0 ) {\displaystyle (2.0,2.0,2.0)} α 私 {\displaystyle \alpha _{i}} パラメータ付き 順序のディリクレ分布の 確率密度関数 は 次式で表される。 K ≥ 2 {\displaystyle K\geq 2} α 1 、 … 、 α K > 0 {\displaystyle \alpha _{1},\ldots ,\alpha _{K}>0}
f ( × 1 、 … 、 × K ; α 1 、 … 、 α K ) = 1 B ( α ) ∏ 私 = 1 K × 私 α 私 − 1 {\displaystyle f\left(x_{1},\ldots ,x_{K};\alpha _{1},\ldots ,\alpha _{K}\right)={\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}} ここで、確率密度関数は 、 次元 ユークリッド空間 に埋め込まれた 標準 単体 上で定義されます。 × 私 ∈ [ 0 、 1 ] すべての人のために 私 ∈ { 1 、 … 、 K } そして ∑ 私 = 1 K × 私 = 1 。 {\displaystyle x_{i}\in \left[0,1\right]{\mbox{ 、すべての }}i\in \{1,\dots ,K\}{\mbox{ および }}\sum _{i=1}^{K}x_{i}=1\,.} K − 1 {\displaystyle K-1} K {\displaystyle K} R K {\displaystyle \mathbb {R} ^{K}}
正規 化定数 は多変数 ベータ関数であり、 ガンマ関数 で表すことができます 。
B ( α ) = ∏ 私 = 1 K Γ ( α 私 ) Γ ( ∑ 私 = 1 K α 私 ) 、 α = ( α 1 、 … 、 α K ) 。 {\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod \limits _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}},\qquad {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K}).}
サポート ディリクレ分布の台は 、 K 次元ベクトル x の集合であり、 その要素は区間 [0,1] 内の実数で 、 、すなわち座標の和が 1 に等しい。これらは、 K 通りの カテゴリカルイベントの確率として考えることができる。これを別の方法で表現すると、ディリクレ分布の定義域自体が 確率分布 の集合、具体的には K 次元 離散分布 の集合である 。K 次元ディリクレ分布の台の点の集合の専門用語は、 オープン スタンダード の ( K − 1) 単体 [3] であり 、これは 三角形 を一般化し 、次の高次元に埋め込んだものである。たとえば、 K = 3 の場合、サポートは3 次元空間に下向きの角度で埋め込まれた 正三角形 であり、頂点は (1,0,0)、(0,1,0)、(0,0,1) になります。つまり、各座標軸は原点から 1 単位離れた点で接します。 ‖ × ‖ 1 = 1 {\displaystyle \|{\boldsymbol {x}}\|_{1}=1}
特殊なケース 一般的な特殊ケースとして、 対称ディリクレ分布 があります。この分布では、パラメータベクトル α を構成するすべての要素が同じ値を持ちます。対称ケースは、例えば、成分に対するディリクレ事前分布が求められるものの、ある成分が他の成分よりも優れているという事前知識がない場合に有用です。パラメータベクトルのすべての要素が同じ値を持つため、対称ディリクレ分布は、集中 パラメータ と呼ばれる単一のスカラー値 αによってパラメータ化できます 。α に関して 、密度関数は次のようになります
。
f ( × 1 、 … 、 × K ; α ) = Γ ( α K ) Γ ( α ) K ∏ 私 = 1 K × 私 α − 1 。 {\displaystyle f(x_{1},\dots ,x_{K};\alpha )={\frac {\Gamma (\alpha K)}{\Gamma (\alpha )^{K}}}\prod _{i=1}^{K}x_{i}^{\alpha -1}.}
α = 1 の場合 、 [1] 対称ディリクレ分布は、開いた 標準の ( K −1) 単体上の均一分布と同等です。つまり、 サポート 内のすべての点で均一です 。この特定の分布は、 平坦ディリクレ分布 として知られています。集中パラメータの値が 1 を超えると、 変量 は密で均一に分布する分布を好みます。つまり、単一のサンプル内のすべての値は互いに類似しています。集中パラメータの値が 1 未満の場合は、疎な分布を好みます。つまり、単一のサンプル内のほとんどの値は 0 に近くなり、質量の大部分はいくつかの値に集中します。
α = 1/2 のとき、分布は ( K −1) 次元 単位超球面 の表面から一様ランダムに点を選び 、各座標を二乗することによって得られる分布と同じである。α = 1/2分布は 、 ディリクレ分布の ジェフリーズ事前 分布である。
より一般的には、パラメータベクトルは、 ( スカラー ) 集中パラメータ α と( ベクトル )基本測度の 積として表されることがあります。 ここで、 nは ( K − 1) 単体内にあります (つまり、座標の和が1になります)。この場合の集中パラメータは、前述の対称ディリクレ分布の集中パラメータよりも K 倍大きくなります。この構成は、 ディリクレ過程を 議論する際の基本測度の概念と関連しており 、トピックモデリングの文献でよく用いられます。 α n {\displaystyle \alpha {\boldsymbol {n}}} n = ( n 1 、 … 、 n K ) {\displaystyle {\boldsymbol {n}}=(n_{1},\dots ,n_{K})} n 私 {\displaystyle n_{i}}
^ 集中パラメータを各次元のディリクレパラメータの和として定義すると、 分布の次元 である集中パラメータKを持つディリクレ分布は、 ( K − 1) 単体上の一様分布になります。
プロパティ
瞬間 させて 。 X = ( X 1 、 … 、 X K ) 〜 ディレクター ( α ) {\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}
させて
α 0 = ∑ 私 = 1 K α 私 。 {\displaystyle \alpha_{0}=\sum_{i=1}^{K}\alpha_{i}.}
その後 [4] [5]
E [ X 私 ] = α 私 α 0 、 {\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},} ヴァール [ X 私 ] = α 私 ( α 0 − α 私 ) α 0 2 ( α 0 + 1 ) 。 {\displaystyle \operatorname {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}
さらに、もし 私 ≠ j {\displaystyle i\neq j}
カバー [ X 私 、 X j ] = − α 私 α j α 0 2 ( α 0 + 1 ) 。 {\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}
共分散行列は 特異 です。
より一般的には、ディリクレ分布に従う確率変数のモーメントは次のように表される。 について 、 を その i 次の アダマール冪 で表す。すると、 [6] t = ( t 1 、 … 、 t K ) ∈ R K {\displaystyle {\boldsymbol {t}}=(t_{1},\dotsc,t_{K})\in \mathbb {R}^{K}} t ∘ 私 = ( t 1 私 、 … 、 t K 私 ) {\displaystyle {\boldsymbol {t}}^{\circ i}=(t_{1}^{i},\dotsc ,t_{K}^{i})}
E [ ( t ⋅ X ) n ] = n ! Γ ( α 0 ) Γ ( α 0 + n ) ∑ t 1 け 1 ⋯ t K け K け 1 ! ⋯ け K ! ∏ 私 = 1 K Γ ( α 私 + け 私 ) Γ ( α 私 ) = n ! Γ ( α 0 ) Γ ( α 0 + n ) Z n ( t ∘ 1 ⋅ α 、 ⋯ 、 t ∘ n ⋅ α ) 、 {\displaystyle \operatorname {E} \left[({\boldsymbol {t}}\cdot {\boldsymbol {X}})^{n}\right]={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}\sum {\frac {{t_{1}}^{k_{1}}\cdots {t_{K}}^{k_{K}}}{k_{1}!\cdots k_{K}!}}\prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+k_{i})}{\Gamma (\alpha _{i})}}={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}Z_{n}({\boldsymbol {t}}^{\circ 1}\cdot {\boldsymbol {\alpha }},\cdots ,{\boldsymbol {t}}^{\circ n}\cdot {\boldsymbol {\alpha }}),}
ここで、和は の非負整数 にわたっており 、 は次数 n の 対称群 の 循環指数多項式 です 。 け 1 、 … 、 け K {\displaystyle k_{1},\ldots ,k_{K}} n = け 1 + ⋯ + け K {\displaystyle n=k_{1}+\cdots +k_{K}} Z n {\displaystyle Z_{n}}
特別なケースがあります E [ t ⋅ X ] = t ⋅ α α 0 。 {\displaystyle \operatorname {E} \left[{\boldsymbol {t}}\cdot {\boldsymbol {X}}\right]={\frac {{\boldsymbol {t}}\cdot {\boldsymbol {\alpha }}}{\alpha _{0}}}.}
ベクトルの 多変数類似物は、 ポリア列挙定理 の意味で 指数のカラーパターンの観点から 表現することができます [7] 。 E [ ( t 1 ⋅ X ) n 1 ⋯ ( t q ⋅ X ) n q ] {\textstyle \operatorname {E} \left[({\boldsymbol {t}}_{1}\cdot {\boldsymbol {X}})^{n_{1}}\cdots ({\boldsymbol {t}}_{q}\cdot {\boldsymbol {X}})^{n_{q}}\right]} t 1 、 … 、 t q ∈ R K {\displaystyle {\boldsymbol {t}}_{1},\dotsc ,{\boldsymbol {t}}_{q}\in \mathbb {R} ^{K}} n 1 、 … 、 n q {\displaystyle n_{1},\dotsc,n_{q}}
具体的な例としては、単純な計算 [8]が挙げられる。
E [ ∏ 私 = 1 K X 私 β 私 ] = B ( α + β ) B ( α ) = Γ ( ∑ 私 = 1 K α 私 ) Γ [ ∑ 私 = 1 K ( α 私 + β 私 ) ] × ∏ 私 = 1 K Γ ( α 私 + β 私 ) Γ ( α 私 ) 。 {\displaystyle \operatorname {E} \left[\prod _{i=1}^{K}X_{i}^{\beta _{i}}\right]={\frac {B\left({\boldsymbol {\alpha }}+{\boldsymbol {\beta }}\right)}{B\left({\boldsymbol {\alpha }}\right)}}={\frac {\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left[\sum \limits _{i=1}^{K}(\alpha _{i}+\beta _{i})\right]}}\times \prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+\beta _{i})}{\Gamma (\alpha _{私})}}。}
モード 分布のモードは [ 9] ベクトル ( x 1 , ..., x K ) で 、
× 私 = α 私 − 1 α 0 − K 、 α 私 > 1. {\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\qquad \alpha _{i}>1.}
周辺分布 周辺 分布は ベータ分布 である : [10]
X 私 〜 ベータ ( α 私 、 α 0 − α 私 ) 。 {\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).}
下記の § 関連ディストリビューションも参照してください。
カテゴリカルまたは多項式と共役 ディリクレ分布は、 カテゴリ分布 (与えられた数の可能な結果を持つ 一般的な 離散確率分布)と 多項分布 (カテゴリ分布の観測値のセットにおける各可能なカテゴリの観測カウントの分布)の 共役事前 分布です。つまり、データ ポイントがカテゴリ分布または多項分布のいずれかを持ち、分布のパラメーターの 事前分布 (データ ポイントを生成する確率のベクトル)がディリクレとして分布している場合、パラメーターの 事後分布 もディリクレになります。直感的には、このような場合、データ ポイントを観測する前のパラメーターの知識から始めて、データ ポイントに基づいて知識を更新し、古い分布と同じ形式の新しい分布を得ることができます。これは、数学的な困難に陥ることなく、一度に 1 つずつ新しい観測を組み込むことで、パラメーターの知識を連続的に更新できることを意味します。
正式には、これは次のように表現できる。モデル
α = ( α 1 、 … 、 α K ) = 濃度ハイパーパラメータ p ∣ α = ( p 1 、 … 、 p K ) 〜 ディレクター ( K 、 α ) X ∣ p = ( × 1 、 … 、 × K ) 〜 猫 ( K 、 p ) {\displaystyle {\begin{array}{rcccl}{\boldsymbol {\alpha }}&=&\left(\alpha _{1},\ldots ,\alpha _{K}\right)&=&{\text{濃度ハイパーパラメータ}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&\left(p_{1},\ldots ,p_{K}\right)&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{K}\right)&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}
次のことが成り立ちます。
c = ( c 1 、 … 、 c K ) = カテゴリの出現回数 私 p ∣ X 、 α 〜 ディレクター ( K 、 c + α ) = ディレクター ( K 、 c 1 + α 1 、 … 、 c K + α K ) {\displaystyle {\begin{array}{rcccl}\mathbf {c} &=&\left(c_{1},\ldots ,c_{K}\right)&=&{\text{カテゴリiの出現回数}i\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} \left(K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K}\right)\end{array}}}
この関係は ベイズ統計において、 N 個の標本集合が与えられた場合に、 カテゴリ分布 の 基礎パラメータ pを 推定するために使用されます。直感的には、超事前 分布ベクトル α を擬似 カウント 、つまり各カテゴリにおける既に観測された観測値の数を表すものとして捉えることができます。そして、 事後分布を導くには、
すべての新しい観測値のカウント(ベクトル c )を単純に加算します。
ベイズ 混合モデル や混合要素を含むその他の 階層的ベイズモデルでは、モデルに現れる カテゴリ変数 の事前分布として、ディリクレ分布が一般的に用いられます 。詳細については、以下の応用に関するセクションを参照してください。
ディリクレ多項分布との関係 ディリクレ事前分布をカテゴリ値の 観測値の集合に適用したモデルにおいて 、 観測値の 周辺 結合分布(すなわち、事前パラメータを 周辺化除去した 観測値の結合分布)は ディリクレ多項分布となる。この分布は 階層的ベイズモデル において重要な役割を果たしている。なぜなら、 ギブスサンプリング や 変分ベイズ などの手法を用いて階層的ベイズモデルを 推論 する際に 、ディリクレ事前分布は周辺化除去されることが多いからである。 詳細については、 この分布に関する記事を参照のこと。
エントロピ X が確率変数である 場合 、 X の 微分エントロピー (単位: 自然単位 )は [11] ディレクター ( α ) {\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}
h ( X ) = E [ − ln f ( X ) ] = ln B ( α ) + ( α 0 − K ) ψ ( α 0 ) − ∑ j = 1 K ( α j − 1 ) ψ ( α j ) {\displaystyle h({\boldsymbol {X}})=\operatorname {E} [-\ln f({\boldsymbol {X}})]=\ln \operatorname {B} ({\boldsymbol {\alpha }})+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}
ここで、 は ディガンマ関数 です。 ψ {\displaystyle \psi}
上の微分エントロピー は、以下の式 を用いて導出できる 。これらの関数は ディリクレ分布の十分統計量であるため、 指数関数族の微分恒等式を用いて、( [12] の式(2.62)を参照) の期待値 とそれに関連する共分散行列の解析的表現を得ることができる。 E [ ln ( X 私 ) ] {\displaystyle \operatorname {E} [\ln(X_{i})]} ln ( X 私 ) {\displaystyle \ln(X_{i})} ln ( X 私 ) {\displaystyle \ln(X_{i})}
E [ ln ( X 私 ) ] = ψ ( α 私 ) − ψ ( α 0 ) {\displaystyle \operatorname {E} [\ln(X_{i})]=\psi (\alpha _{i})-\psi (\alpha _{0})}
そして
カバー [ ln ( X 私 ) 、 ln ( X j ) ] = ψ ′ ( α 私 ) δ 私 j − ψ ′ ( α 0 ) {\displaystyle \operatorname {Cov} [\ln(X_{i}),\ln(X_{j})]=\psi '(\alpha _{i})\delta _{ij}-\psi '(\alpha _{0})}
ここで 、 は ディガンマ関数 、 は トリガンマ関数 、は クロネッカーのデルタ です 。 ψ {\displaystyle \psi} ψ ′ {\displaystyle \psi '} δ 私 j {\displaystyle \delta_{ij}}
以外の値に対する レーニ情報量 のスペクトルは [13] で与えられる。 λ = 1 {\displaystyle \lambda =1}
F R ( λ ) = ( 1 − λ ) − 1 ( − λ ログ B ( α ) + ∑ 私 = 1 K ログ Γ ( λ ( α 私 − 1 ) + 1 ) − ログ Γ ( λ ( α 0 − K ) + K ) ) {\displaystyle F_{R}(\lambda )=(1-\lambda )^{-1}\left(-\lambda \log \mathrm {B} ({\boldsymbol {\alpha }})+\sum _{i=1}^{K}\log \Gamma (\lambda (\alpha _{i}-1)+1)-\log \Gamma (\lambda (\alpha _{0}-K)+K)\right)}
情報エントロピーは 1 に近づくほど極限になります。 λ {\displaystyle \lambda}
もう一つの関連する興味深い尺度は、確率質量分布 X 、すなわち を持つ離散カテゴリカル(K個の1つだけの2値)ベクトル Z のエントロピーである。X が与えられた場合 の Z の条件付き 情報エントロピー は 、 P ( Z 私 = 1 、 Z j ≠ 私 = 0 | X ) = X 私 {\displaystyle P(Z_{i}=1,Z_{j\neq i}=0|{\boldsymbol {X}})=X_{i}}
S ( X ) = H ( Z | X ) = E Z [ − ログ P ( Z | X ) ] = ∑ 私 = 1 K − X 私 ログ X 私 {\displaystyle S({\boldsymbol {X}})=H({\boldsymbol {Z}}|{\boldsymbol {X}})=\operatorname {E} _{\boldsymbol {Z}}[-\log P({\boldsymbol {Z}}|{\boldsymbol {X}})]=\sum _{i=1}^{K}-X_{i}\log X_{i}}
この X の関数はスカラー確率変数である。X が すべての を満たす対称ディリクレ分布に従う場合 、エントロピーの期待値( 単位はnat )は [14]である。 α 私 = α {\displaystyle \alpha _{i}=\alpha }
E [ S ( X ) ] = ∑ 私 = 1 K E [ − X 私 ln X 私 ] = ψ ( K α + 1 ) − ψ ( α + 1 ) {\displaystyle \operatorname {E} [S({\boldsymbol {X}})]=\sum _{i=1}^{K}\operatorname {E} [-X_{i}\ln X_{i}]=\psi (K\alpha +1)-\psi (\alpha +1)}
カルバック・ライブラー距離 同じ単体上の 2つのディリクレ分布 と間の カルバック ・ライブラー(KL)ダイバージェンスは次式で表される: [15] ディレクター ( α ) {\displaystyle {\text{Dir}}({\boldsymbol {\alpha }})} ディレクター ( β ) {\displaystyle {\text{Dir}}({\boldsymbol {\beta }})}
D K L ( D 私 r ( α ) ‖ D 私 r ( β ) ) = ログ Γ ( ∑ 私 = 1 K α 私 ) Γ ( ∑ 私 = 1 K β 私 ) + ∑ 私 = 1 K [ ログ Γ ( β 私 ) Γ ( α 私 ) + ( α 私 − β 私 ) ( ψ ( α 私 ) − ψ ( ∑ j = 1 K α j ) ) ] {\displaystyle {\begin{aligned}D_{\mathrm {KL} }{\big (}\mathrm {Dir} ({\boldsymbol {\alpha }})\,\|\,\mathrm {Dir} ({\boldsymbol {\beta }}){\big )}&=\log {\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}\beta _{i}\right)}}+\sum _{i=1}^{K}\left[\log {\frac {\Gamma (\beta _{i})}{\Gamma (\alpha _{i})}}+(\alpha _{i}-\beta _{i})\left(\psi (\alpha _{i})-\psi \left(\sum _{j=1}^{K}\alpha _{j}\right)\right)\right]\end{aligned}}}
集約 もし
X = ( X 1 、 … 、 X K ) 〜 ディレクター ( α 1 、 … 、 α K ) {\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}
次に、添え字i と j を持つ確率変数を ベクトルから削除し、それらの和に置き換えると、
X ′ = ( X 1 、 … 、 X 私 + X j 、 … 、 X K ) 〜 ディレクター ( α 1 、 … 、 α 私 + α j 、 … 、 α K ) 。 {\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K}).}
この集約プロパティは、上記の 周辺分布を導き出すために使用できます。 X 私 {\displaystyle X_{i}}
中立 ならば ベクトル Xは 中立的 であると言われ [16]、 X K が[3] から独立している という意味で中立的 である
と言われる。 X = ( X 1 、 … 、 X K ) 〜 ディレクター ( α ) {\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})} X ( − K ) {\displaystyle X^{(-K)}}
X ( − K ) = ( X 1 1 − X K 、 X 2 1 − X K 、 … 、 X K − 1 1 − X K ) 、 {\displaystyle X^{(-K)}=\left({\frac {X_{1}}{1-X_{K}}},{\frac {X_{2}}{1-X_{K}}},\ldots ,{\frac {X_{K-1}}{1-X_{K}}}\right),}
のいずれかを取り除いた場合も同様である。X の 任意の順列も中立である( 一般化ディリクレ分布 から抽出されたサンプルには存在しない性質 )ことに注意されたい。 [17] X 2 、 … 、 X K − 1 {\displaystyle X_{2},\ldots,X_{K-1}}
これを集約の性質と組み合わせると、 X j + ... + X K は とは独立であることがわかり ます。さらに、ディリクレ分布においては、 に対して 、 のペア 、および2つのベクトル と を 正規化されたランダムベクトルの3つ組として見ると、 は 互いに独立です。同様の結果は、インデックス {1, 2, ..., K } を任意の非シングルトン部分集合 のペアに分割する場合にも当てはまります。 ( X 1 X 1 + ⋯ + X j − 1 、 X 2 X 1 + ⋯ + X j − 1 、 … 、 X j − 1 X 1 + ⋯ + X j − 1 ) {\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)} 3 ≤ j ≤ K − 1 {\displaystyle 3\leq j\leq K-1} ( X 1 + ⋯ + X j − 1 、 X j + ⋯ + X K ) {\displaystyle \left(X_{1}+\cdots +X_{j-1},X_{j}+\cdots +X_{K}\right)} ( X 1 X 1 + ⋯ + X j − 1 、 X 2 X 1 + ⋯ + X j − 1 、 … 、 X j − 1 X 1 + ⋯ + X j − 1 ) {\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)} ( X j X j + ⋯ + X K 、 X j + 1 X j + ⋯ + X K 、 … 、 X K X j + ⋯ + X K ) {\displaystyle \left({\frac {X_{j}}{X_{j}+\cdots +X_{K}}},{\frac {X_{j+1}}{X_{j}+\cdots +X_{K}}},\ldots ,{\frac {X_{K}}{X_{j}+\cdots +X_{K}}}\right)}
特性関数 ディリクレ分布の特性関数は、 ローリセラ超幾何級数 の 合流 形である。これは フィリップス によって次のように与えられる [18]。
C F ( s 1 、 … 、 s K − 1 ) = E ( e 私 ( s 1 X 1 + ⋯ + s K − 1 X K − 1 ) ) = Ψ [ K − 1 ] ( α 1 、 … 、 α K − 1 ; α 0 ; 私 s 1 、 … 、 私 s K − 1 ) {\displaystyle CF\left(s_{1},\ldots ,s_{K-1}\right)=\operatorname {E} \left(e^{i\left(s_{1}X_{1}+\cdots +s_{K-1}X_{K-1}\right)}\right)=\Psi ^{\left[K-1\right]}(\alpha _{1},\ldots ,\alpha _{K-1};\alpha _{0};is_{1},\ldots ,is_{K-1})}
どこ
Ψ [ メートル ] ( 1つの 1 、 … 、 1つの メートル ; c ; z 1 、 … z メートル ) = ∑ ( 1つの 1 ) け 1 ⋯ ( 1つの メートル ) け メートル z 1 け 1 ⋯ z メートル け メートル ( c ) け け 1 ! ⋯ け メートル ! 。 {\displaystyle \Psi^{[m]}(a_{1},\ldots ,a_{m};c;z_{1},\ldots z_{m})=\sum {\frac {(a_{1})_{k_{1}}\cdots (a_{m})_{k_{m}}\,z_{1}^{k_{1}}\cdots z_{m}^{k_{m}}}{(c)_{k}\,k_{1}!\cdots k_{m}!}}.}}
和は非負整数 およびについてである 。フィリップスは、この形式は「数値計算には不便」であると述べ、 複素経路積分 という代替案を提示している。 け 1 、 … 、 け メートル {\displaystyle k_{1},\ldots,k_{m}} け = け 1 + ⋯ + け メートル {\displaystyle k=k_{1}+\cdots +k_{m}}
Ψ [ メートル ] = Γ ( c ) 2 π 私 ∫ L e t t 1つの 1 + ⋯ + 1つの メートル − c ∏ j = 1 メートル ( t − z j ) − 1つの j d t {\displaystyle \Psi^{[m]}={\frac {\Gamma (c)}{2\pi i}}\int _{L}e^{t}\,t^{a_{1}+\cdots +a_{m}-c}\,\prod _{j=1}^{m}(t-z_{j})^{-a_{j}}\,dt}
ここで、 L は を起点として の複素平面上の任意の経路を表し 、積分関数のすべての特異点を正の方向に囲んで に戻ります 。 − ∞ {\displaystyle -\infty} − ∞ {\displaystyle -\infty}
不平等 確率密度関数は、 ディリクレ分布の様々な境界を示唆する多関数不等式において重要な役割を果たします。 [19] f ( × 1 、 … 、 × K − 1 ; α 1 、 … 、 α K ) {\displaystyle f\left(x_{1},\ldots,x_{K-1};\alpha _{1},\ldots,\alpha _{K}\right)}
もう一つの不等式は、ディリクレ分布のモーメント生成関数とスケール逆カルバック・ライブラー分布の凸共役を関連付けるものである: [20]
ログ E ( 経験 ∑ 私 = 1 K s 私 X 私 ) ≤ すする p ∑ 私 = 1 K ( p 私 s 私 − α 私 ログ ( α 私 α 0 p 私 ) ) 、 {\displaystyle \log \operatorname {E} \left(\exp {\sum _{i=1}^{K}s_{i}X_{i}}\right)\leq \sup _{p}\sum _{i=1}^{K}\left(p_{i}s_{i}-\alpha _{i}\log \left({\frac {\alpha _{i}}{\alpha _{0}p_{i}}}\right)\right),} ここで、上限は ( K − 1) 単体を張る p 上で取られます。
のとき 、各成分の周辺分布は ベータ 分布 となる 。特に、 K = 2 のとき、 は と等価である 。 X = ( X 1 、 … 、 X K ) 〜 ディレクター ( α 1 、 … 、 α K ) {\displaystyle {\boldsymbol {X}}=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} \left(\alpha _{1},\ldots ,\alpha _{K}\right)} X 私 〜 ベータ ( α 私 、 α 0 − α 私 ) {\displaystyle X_{i}\sim \operatorname {ベータ} (\alpha _{i},\alpha _{0}-\alpha _{i})} X 1 〜 ベータ ( α 1 、 α 2 ) {\displaystyle X_{1}\sim \operatorname {ベータ} (\alpha _{1},\alpha _{2})} X = ( X 1 、 1 − X 1 ) 〜 ディレクター ( α 1 、 α 2 ) {\displaystyle {\boldsymbol {X}}=(X_{1},1-X_{1})\sim \operatorname {Dir} \left(\alpha _{1},\alpha _{2}\right)}
K個 の独立に分布する ガンマ分布 の場合 :
はい 1 〜 ガンマ ( α 1 、 θ ) 、 … 、 はい K 〜 ガンマ ( α K 、 θ ) {\displaystyle Y_{1}\sim \operatorname {Gamma} (\alpha _{1},\theta ),\ldots ,Y_{K}\sim \operatorname {Gamma} (\alpha _{K},\theta )}
我々は次のものを持っている: [21] : 402
V = ∑ 私 = 1 K はい 私 〜 ガンマ ( α 0 、 θ ) 、 {\displaystyle V=\sum _{i=1}^{K}Y_{i}\sim \operatorname {Gamma} \left(\alpha _{0},\theta \right),} X = ( X 1 、 … 、 X K ) = ( はい 1 V 、 … 、 はい K V ) 〜 ディレクター ( α 1 、 … 、 α K ) 。 {\displaystyle X=(X_{1},\ldots ,X_{K})=\left({\frac {Y_{1}}{V}},\ldots ,{\frac {Y_{K}}{V}}\right)\sim \operatorname {Dir} \left(\alpha _{1},\ldots ,\alpha _{K}\right).}
X i は互いに独立ではない が、 K個 の独立した ガンマ 確率変数の集合から生成されることがわかる。 [21] : 594 残念ながら、 Xを 形成する際に和 V が失われるため(実際、 Vは X から確率的に独立である ことが示される )、これらの値のみから元のガンマ確率変数を復元することは不可能である。しかしながら、独立確率変数は扱いが単純であるため、この再パラメータ化はディリクレ分布の性質に関する証明には依然として有用である。
ディリクレ分布の共役事前分布 ディリクレ分布は 指数分布族 であるため、共役事前分布を持つ。共役事前分布は以下の形をとる: [22]
CD ( α ∣ v 、 η ) ∝ ( 1 B ( α ) ) η 経験 ( − ∑ け v け α け ) 。 {\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )\propto \left({\frac {1}{\operatorname {B} ({\boldsymbol {\alpha }})}}\right)^{\eta }\exp \left(-\sum _{k}v_{k}\alpha _{k}\right).}
ここで は K 次元の実数ベクトル であり、 はスカラーパラメータである。 の定義域は、 上記の非正規化密度関数を正規化できるパラメータの集合に限定される。(必要かつ十分な)条件は以下である: [23] v {\displaystyle {\boldsymbol {v}}} η {\displaystyle \eta} ( v 、 η ) {\displaystyle ({\boldsymbol {v}},\eta )}
た け v け > 0 そして η > − 1 そして ( η ≤ 0 または ∑ け 経験 − v け η < 1 ) {\displaystyle \forall k\;\;v_{k}>0\;\;\;\;{\text{ かつ }}\;\;\;\;\eta >-1\;\;\;\;{\text{ かつ }}\;\;\;\;(\eta \leq 0\;\;\;\;{\text{ または }}\;\;\;\;\sum _{k}\exp -{\frac {v_{k}}{\eta }1)}
共役性は次のように表される。
[ 事前確率 : ]かつ[ 観測確率 : ]ならば[ 事後確率 : ]。 α 〜 CD ( ⋅ ∣ v 、 η ) {\displaystyle {\boldsymbol {\alpha}}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}},\eta )} × ∣ α 〜 ディリクレ ( ⋅ ∣ α ) {\displaystyle {\boldsymbol {x}}\mid {\boldsymbol {\alpha }}\sim \operatorname {ディリクレ} (\cdot \mid {\boldsymbol {\alpha }})} α ∣ × 〜 CD ( ⋅ ∣ v − ログ × 、 η + 1 ) {\displaystyle {\boldsymbol {\alpha}}\mid {\boldsymbol {x}}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}}-\log {\boldsymbol {x}},\eta +1)} 公開されている文献には、 からサンプルを効率的に生成する実用的なアルゴリズムは存在しません 。 CD ( α ∣ v 、 η ) {\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )}
対数確率のスケーリングと変換による一般化 上で述べたように、ディリクレ変量は独立ガンマ 変量を正規化することによって生成できる 。代わりに 一般化ガンマ 変量を正規化すると、単体一般ベータ分布(SGB)からの変量が得られる。 [24] 一方、SGB 変量は、 ディリクレ変量のスケールされ変換された対数に ソフトマックス関数 を適用することによっても得られる。具体的には、 およびとし 、ここで対数を要素ごとに適用すると次のように
なる。 または
、 および で 、すべての の 場合は となる。SGB 密度関数は、 から 自体への一対一 変換 である 変換 が、 の 微分体積変化係数 [25] を誘導することに注目することで導出できる。
ここで 、 は上記のように の関数として回復される ことが理解される。 これにより、SGB 密度をディリクレ密度で次のように記述することが容易になります。 変数の変更 によるディリクレ密度のこの一般化は、 正規化フロー と密接に関連しています が、微分体積変化は、 正規化フロー § シンプレックスフロー でより詳しく説明されているように、 の ヤコビ行列式 がゼロである のヤコビ行列式によって 与えられることに注意する必要があります 。 × = ( × 1 、 … 、 × K ) 〜 ディレクター ( α ) {\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})} y = ( y 1 、 … 、 y K ) {\displaystyle \mathbf {y} =(y_{1},\ldots ,y_{K})} y = ソフトマックス ( 1つの − 1 ログ × + ログ b ) ⟺ × = ソフトマックス ( 1つの ログ y − 1つの ログ b ) {\displaystyle \mathbf {y} =\演算子名 {softmax} (a^{-1}\log \mathbf {x} +\log \mathbf {b} )\;\iff \;\mathbf {x} =\演算子 {softmax} (a\log \mathbf {y} -a\log \mathbf {b} )} y け = b け × け 1 / 1つの ∑ 私 = 1 K b 私 × 私 1 / 1つの ⟺ × け = ( y け / b け ) 1つの ∑ 私 = 1 K ( y 私 / b 私 ) 1つの {\displaystyle y_{k}={\frac {b_{k}x_{k}^{1/a}}{\sum _{i=1}^{K}b_{i}x_{i}^{1/a}}}\;\iff \;x_{k}={\frac {(y_{k}/b_{k})^{a}}{\sum _{i=1}^{K}(y_{i}/b_{i})^{a}}}} 1つの > 0 {\displaystyle a>0} b = ( b 1 、 … 、 b K ) {\displaystyle \mathbf {b} =(b_{1},\ldots,b_{K})} b け > 0 {\displaystyle b_{k}>0} y 〜 SGB ( 1つの 、 b 、 α ) {\displaystyle \mathbf {y} \sim \operatorname {SGB} (a,\mathbf {b} ,{\boldsymbol {\alpha }})} × ↦ y {\displaystyle \mathbf {x} \mapsto \mathbf {y} } R ( y 、 1つの 、 b ) = 1つの 1 − K ∏ け = 1 K y け × け {\displaystyle R(\mathbf {y} ,a,\mathbf {b} )=a^{1-K}\prod _{k=1}^{K}{\frac {y_{k}}{x_{k}}}} × {\displaystyle \mathbf {x} } y {\displaystyle \mathbf {y} } f SGB ( y ∣ 1つの 、 b 、 α ) = f ディレクター ( × ∣ α ) R ( y 、 1つの 、 b ) {\displaystyle f_{\text{SGB}}(\mathbf {y} \mid a,\mathbf {b} ,{\boldsymbol {\alpha }})={\frac {f_{\text{Dir}}(\mathbf {x} \mid {\boldsymbol {\alpha }})}{R(\mathbf {y} ,a,\mathbf {b} )}}} × ↦ y : R K → R K {\displaystyle \mathbf {x} \mapsto \mathbf {y} :\mathbb {R} ^{K}\to \mathbb {R} ^{K}} ( × 1 、 … 、 × K − 1 ) ↦ ( y 1 、 … 、 y K − 1 ) {\displaystyle (x_{1},\ldots,x_{K-1})\mapsto \mathbf {(} y_{1},\ldots,y_{K-1})}
ディリクレ形状パラメータ と変換パラメータの相互作用をさらに深く理解するには、 ロジスティックベータ分布 に従う 対数周辺分布を考慮することが役立つかもしれません 。特に、 裾野の挙動 と、 位置パラメータと尺度パラメータによる一般化 に関するセクションを参照してください 。 α {\displaystyle {\boldsymbol {\alpha }}} 1つの 、 b {\displaystyle a,\mathbf {b} } ログ × け 1 − × け {\displaystyle \log {\frac {x_{k}}{1-x_{k}}}} B σ ( α け 、 ∑ 私 ≠ け α 私 ) {\displaystyle B_{\sigma }(\alpha _{k},\sum _{i\neq k}\alpha _{i})}
応用 のとき 、変換は へと簡略化されます 。これは 機械学習 において 温度スケーリング として知られており、多クラス確率分類器のキャリブレーション変換として用いられます。 [26] 従来、温度パラメータ(ここでは)は、クラスラベルが既知の教師ありキャリブレーションデータセットにおいて、 多クラス クロスエントロピーを最小化することによって 識別的に 学習されます。しかし、上記のPDF変換メカニズムは、温度スケーリング要素を含む 生成的に訓練された キャリブレーションモデルの設計を容易にするためにも使用できます 。 b 1 = b 2 = ⋯ = b K {\displaystyle b_{1}=b_{2}=\cdots =b_{K}} × ↦ ソフトマックス ( 1つの − 1 ログ × ) {\displaystyle \mathbf {x} \mapsto \operatorname {softmax} (a^{-1}\log \mathbf {x} )} 1つの {\displaystyle a}
発生と応用
ベイズモデル ディリクレ分布は、 ベイズ 混合モデル やその他の 階層的ベイズモデルにおける カテゴリ変数 または 多項式変数 の 事前分布として最も一般的に使用されます。( 自然言語処理 などの多くの分野では、カテゴリ変数はしばしば不正確に「多項式変数」と呼ばれます。 ベルヌーイ分布 と 二項分布 がよく混同される場合と同様に、このような用法は混乱を招く可能性は低いです 。)
階層的ベイズモデルの推論は、多くの場合ギブスサンプリング を用いて行われます 。そのような場合、ディリクレ分布のインスタンスは通常、ディリクレ 確率変数 を積分することによってモデルから 周辺化され ます。これにより、同じディリクレ確率変数から抽出されたさまざまなカテゴリ変数が相関し、それらの結合分布は 、ディリクレ分布のハイパーパラメータ( 集中パラメータ)を条件とする ディリクレ多項分布 を仮定します。これを行う理由の1つは、 ディリクレ多項分布 のギブスサンプリングが非常に簡単であるためです。詳細については、その記事を参照してください。
パラメータの直感的な解釈
濃度パラメータ ディリクレ分布は、ベイズ推論 において 事前分布 として非常に頻繁に用いられます 。最も単純で、おそらく最も一般的なタイプのディリクレ事前分布は、すべてのパラメータが等しい対称ディリクレ分布です。これは、ある成分を他の成分よりも優先させる事前情報がない場合に相当します。前述のように、 すべてのパラメータが設定される単一の値 αは、 集中パラメータ と呼ばれます。ディリクレ分布の標本空間を離散 確率分布 として解釈する場合、直感的に集中パラメータは、ディリクレ分布の確率質量がその中心にどの程度「集中」しているかを決定するものと考えることができます。その結果、すべての成分間で質量がほぼ均等に分散した標本が得られます。つまり、値が1よりはるかに小さい場合、質量は少数の成分に大きく集中し、残りの成分にはほとんど質量がなくなり、値が1よりはるかに大きい場合、質量はすべての成分間でほぼ均等に分散されます。 詳細については、 集中パラメータに関する記事を参照してください。
弦の切断 ディリクレ分布の一例として、初期長さ1.0の弦をK 本の異なる長さの断片 に切断する場合が挙げられます。各断片の平均長さは指定されていますが、断片の相対的な大きさには多少のばらつきが許容されます。 値 は、分布によって切断された弦の平均長さを指定します。この平均値の周りの分散は、に反比例して変化します 。 α 0 = ∑ 私 = 1 K α 私 。 {\displaystyle \alpha_{0}=\sum_{i=1}^{K}\alpha_{i}.} α 私 / α 0 {\displaystyle \alpha _{i}/\alpha _{0}} α 0 {\displaystyle \alpha _{0}}
ディリクレ分布(1/2,1/3,1/6)の例 K 色の異なるボールが入った壺を考えてみましょう 。最初は、壺には 色1のボールがα1個、 色 2のボールが α2 個 、といった具合に入っています。次に 、壺からボールを N回取り出します 。 取り出したボールは、同じ色のボールを1個加えて壺に戻します。Nが無限大に近づくにつれて、壺内の異なる色のボールの割合は Dir( α1 , ..., αK ) のように分布します 。 [27 ]
正式な証明として、異なる色のボールの比率は有界 [0,1] K 値 マルチンゲール を形成することに留意してください。したがって、 マルチンゲール収束定理 により、これらの比率は ほぼ確実に 、そして平均 的に 極限ランダムベクトルに収束します。この極限ベクトルが上記のディリクレ分布に従うことを確認するには、すべての混合 モーメントが 一致することを確認してください。
壺からボールを引くたびに、将来壺からいずれかの色のボールを引く確率が変化します。この変化は、壺に新しいボールを追加することによる相対的な影響が、壺にボールが蓄積されるにつれて減少するため、引く回数が増えるにつれて減少します。
ランダム変数生成
ガンマ分布から ガンマ分布に従うランダム変数のソースがあれば、 パラメータを持つ K 次元ディリクレ分布からランダムベクトルを簡単にサンプリングすることができます 。まず、 密度がそれぞれである ガンマ分布 から K 個の独立したランダムサンプルを抽出します。 × = ( × 1 、 … 、 × K ) {\displaystyle x=(x_{1},\ldots,x_{K})} ( α 1 、 … 、 α K ) {\displaystyle (\alpha _{1},\ldots ,\alpha _{K})} y 1 、 … 、 y K {\displaystyle y_{1},\ldots ,y_{K}}
ガンマ ( α 私 、 1 ) = y 私 α 私 − 1 e − y 私 Γ ( α 私 ) 、 {\displaystyle \operatorname {ガンマ} (\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\ガンマ (\alpha _{i})}},\!}
そして設定する
× 私 = y 私 ∑ j = 1 K y j 。 {\displaystyle x_{i}={\frac {y_{i}}{\sum _{j=1}^{K}y_{j}}}.}}
[証拠]
独立にサンプリングされたガンマ変量の結合分布は 、次の積で与えられます。 { y 私 } {\displaystyle \{y_{i}\}}
e − ∑ 私 y 私 ∏ 私 = 1 K y 私 α 私 − 1 Γ ( α 私 ) {\displaystyle e^{-\sum _{i}y_{i}}\prod _{i=1}^{K}{\frac {y_{i}^{\alpha _{i}-1}}{\Gamma (\alpha _{i})}}}
次に、変数変換を用いて、 とを用いて となる ように 変数変換を行います 。 と のそれぞれの変数 は となります 。次に、 の変数変換公式を使用する必要があります。 ここで は 変換ヤコビアンです。 y を x の関数として明示的に書き直すと、 となります。 ヤコビアンは次のようになります。 { y 私 } {\displaystyle \{y_{i}\}} y 1 、 y 2 、 … 、 y K − 1 {\displaystyle y_{1},y_{2},\ldots ,y_{K-1}} ∑ 私 = 1 K y 私 {\displaystyle \sum _{i=1}^{K}y_{i}} y → × {\displaystyle y\to x} × ¯ = ∑ 私 = 1 K y 私 、 × 1 = y 1 × ¯ 、 × 2 = y 2 × ¯ 、 … 、 × K − 1 = y K − 1 × ¯ {\displaystyle {\bar {x}}=\textstyle \sum _{i=1}^{K}y_{i},x_{1}={\frac {y_{1}}{\bar {x}}},x_{2}={\frac {y_{2}}{\bar {x}}},\ldots ,x_{K-1}={\frac {y_{K-1}}{\bar {x}}}} 0 ≤ × 1 、 × 2 、 … 、 × け − 1 ≤ 1 {\displaystyle 0\leq x_{1},x_{2},\ldots ,x_{k-1}\leq 1} 0 ≤ ∑ 私 = 1 K − 1 × 私 ≤ 1 {\displaystyle 0\leq \textstyle \sum _{i=1}^{K-1}x_{i}\leq 1} P ( × ) = P ( y ( × ) ) | ∂ y ∂ × | {\displaystyle P(x)=P(y(x)){\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}} | ∂ y ∂ × | {\displaystyle {\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}} y 1 = × ¯ × 1 、 y 2 = × ¯ × 2 … y K − 1 = × ¯ × K − 1 、 y K = × ¯ ( 1 − ∑ 私 = 1 K − 1 × 私 ) {\displaystyle y_{1}={\bar {x}}x_{1},y_{2}={\bar {x}}x_{2}\ldots y_{K-1}={\bar {x}}x_{K-1},y_{K}={\bar {x}}(1-\textstyle \sum _{i=1}^{K-1}x_{i})} | × ¯ 0 … × 1 0 × ¯ … × 2 ⋮ ⋮ ⋱ ⋮ − × ¯ − × ¯ … 1 − ∑ 私 = 1 K − 1 × 私 | {\displaystyle {\begin{vmatrix}{\bar {x}}&0&\ldots &x_{1}\\0&{\bar {x}}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\-{\bar {x}}&-{\bar {x}}&\ldots &1-\sum _{i=1}^{K-1}x_{i}\end{vmatrix}}}
行列式は、ある行の倍数を別の行に加えても変化しないことに注目し、最初のK-1行をそれぞれ一番下の行に加えて、
| × ¯ 0 … × 1 0 × ¯ … × 2 ⋮ ⋮ ⋱ ⋮ 0 0 … 1 | {\displaystyle {\begin{vmatrix}{\bar {x}}&0&\ldots &x_{1}\\0&{\bar {x}}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\0&0&\ldots &1\end{vmatrix}}}
これを下行について展開すると、行列式の値が得られます 。結合確率密度関数のxを代入し、ヤコビ行列式を含めると、次の式が得られます。 × ¯ K − 1 {\displaystyle {\bar {x}}^{K-1}}
[ ∏ 私 = 1 K − 1 ( × ¯ × 私 ) α 私 − 1 ] [ × ¯ ( 1 − ∑ 私 = 1 K − 1 × 私 ) ] α K − 1 ∏ 私 = 1 K Γ ( α 私 ) × ¯ K − 1 e − × ¯ = Γ ( α ¯ ) [ ∏ 私 = 1 K − 1 ( × 私 ) α 私 − 1 ] [ 1 − ∑ 私 = 1 K − 1 × 私 ] α K − 1 ∏ 私 = 1 K Γ ( α 私 ) × × ¯ α ¯ − 1 e − × ¯ Γ ( α ¯ ) {\displaystyle {\begin{aligned}&{\frac {\left[\prod _{i=1}^{K-1}({\bar {x}}x_{i})^{\alpha _{i}-1}\right]\left[{\bar {x}}(1-\sum _{i=1}^{K-1}x_{i})\right]^{\alpha _{K}-1}}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\bar {x}}^{K-1}e^{-{\bar {x}}}\\=&{\frac {\Gamma ({\bar {\alpha }})\left[\prod _{i=1}^{K-1}(x_{i})^{\alpha _{i}-1}\right]\left[1-\sum _{i=1}^{K-1}x_{i}\right]^{\alpha _{K}-1}}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\times {\frac {{\bar {x}}^{{\bar {\alpha }}-1}e^{-{\bar {x}}}}{\Gamma ({\bar {\alpha }})}}\end{aligned}}} ここで である 。右辺は のディリクレ分布の確率密度関数と のガンマ分布の確率密度関数の積として 理解できる。積の形からディリクレ変数とガンマ変数は独立であることが分かる。したがって、ガンマ変数は単に省略することで積分でき、以下の式が得られる。 α ¯ = ∑ 私 = 1 K α 私 {\displaystyle {\bar {\alpha}}=\textstyle \sum _{i=1}^{K}\alpha _{i}} × 私 {\displaystyle x_{i}} × ¯ {\displaystyle {\bar {x}}} × 1 、 × 2 、 … 、 × K − 1 〜 ( 1 − ∑ 私 = 1 K − 1 × 私 ) α K − 1 ∏ 私 = 1 K − 1 × 私 α 私 − 1 B ( α ) {\displaystyle x_{1},x_{2},\ldots ,x_{K-1}\sim {\frac {(1-\sum _{i=1}^{K-1}x_{i})^{\alpha _{K}-1}\prod _{i=1}^{K-1}x_{i}^{\alpha _{i}-1}}{B({\boldsymbol {\alpha }})}}}
これは次の式と同等である。
∏ 私 = 1 K × 私 α 私 − 1 B ( α ) {\displaystyle {\frac {\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}{B({\boldsymbol {\alpha }})}}} サポート付き ∑ 私 = 1 K × 私 = 1 {\displaystyle \sum _{i=1}^{K}x_{i}=1}
以下はサンプルを描画するための Python コードの例です。
params = [ a1 , a2 , ... , ak ] sample = [ random . gammavariate ( a , 1 ) for a in params ] sample = [ v / sum ( sample ) for v in sample ] この定式化は、ガンマ分布がどのようにパラメータ化されているか (形状/スケール vs. 形状/レート) に関係なく正しいです。スケールとレートが 1.0 に等しい場合は、両者は同等だからです。
周辺ベータ分布から あまり効率的ではないアルゴリズム [28] は、一変量周辺分布と条件付き分布がベータであることを前提とし、以下のように進める 。 × 1 {\displaystyle x_{1}}
ベータ ( α 1 、 ∑ 私 = 2 K α 私 ) {\displaystyle {\textrm {ベータ}}\left(\alpha _{1},\sum _{i=2}^{K}\alpha _{i}\right)}
次に 、以下の順番でシミュレーションを実行します。 について は 、 × 2 、 … 、 × K − 1 {\displaystyle x_{2},\ldots,x_{K-1}} j = 2 、 … 、 K − 1 {\displaystyle j=2,\ldots ,K-1} ϕ j {\displaystyle \phi _{j}}
ベータ ( α j 、 ∑ 私 = j + 1 K α 私 ) 、 {\displaystyle {\textrm {ベータ}}\left(\alpha _{j},\sum _{i=j+1}^{K}\alpha _{i}\right),}
そして
× j = ( 1 − ∑ 私 = 1 j − 1 × 私 ) ϕ j 。 {\displaystyle x_{j}=\left(1-\sum _{i=1}^{j-1}x_{i}\right)\phi _{j}.}
最後に、設定
× K = 1 − ∑ 私 = 1 K − 1 × 私 。 {\displaystyle x_{K}=1-\sum _{i=1}^{K-1}x_{i}.}
この反復的な手順は、上で説明した「文字列の切断」の直感に密接に対応しています。
以下はサンプルを描画するための Python コードの例です。
params = [ a1 , a2 , ... , ak ] xs = [ random . betavariate ( params [ 0 ], sum ( params [ 1 :]))] for j in range ( 1 , len ( params ) - 1 ): phi = random . betavariate ( params [ j ], sum ( params [ j + 1 :])) xs . append ( ( 1 - sum ( xs )) * phi ) xs . append ( 1 - sum ( xs ))
各アルファが1のとき α 1 = ... = α K = 1 の場合 、分布からのサンプルは、 区間 [0, 1]から K − 1 個 の値のセットを独立かつ均一にランダムに抽出し、値 0 と 1をセットに追加して K + 1 個の 値を持つようにし 、セットをソートし、順序が隣接する値の各ペアの差を計算して x 1 、...、 x K を生成することによって見つけることができます。
各アルファが1/2で超球との関係が α 1 = ... = α K = 1/2 の場合、標準正規分布から独立して K 個の値をランダムに抽出し、これらの値を二乗し、その合計で割って正規化し、 x 1 、...、 x K を生成することで、分布からのサンプルを見つけることができます 。
同様の手順で、 ( K −1 )次元単位超球面( K 次元 超球面 の表面)から 点 ( x 1 , ..., x K ) を一様ランダムに抽出することができます。標準正規分布から独立して K 個の値をランダムに抽出し、これらの座標値を、それぞれの平方和の平方根である定数で割ることで正規化します。
参照
参考文献 ^ S. Kotz; N. Balakrishnan; NL Johnson (2000). 連続多変量分布. 第1巻: モデルと応用 . ニューヨーク: Wiley. ISBN 978-0-471-18387-7 。 (第49章 ディリクレ分布と逆ディリクレ分布) ^ Olkin, Ingram; Rubin, Herman (1964). 「多変量ベータ分布とウィシャート分布の独立性」. 数理統計年報 . 35 (1): 261– 269. doi : 10.1214/aoms/1177703748 . JSTOR 2238036. ^ ab Bela A. Frigyik; Amol Kapila; Maya R. Gupta (2010). 「ディリクレ分布と関連過程入門」 (PDF) . ワシントン大学電気工学部. オリジナル (技術報告書 UWEETR-2010-006) より2015年2月19日アーカイブ。 ^ Kotz, Balakrishnan & Johnson (2000)の488ページの式(49.9)。連続多変量分布。第1巻:モデルと応用。ニューヨーク:Wiley。 ^ BalakrishV. B. (2005). 「第27章 ディリクレ分布」. 統計分布入門 . ホーボーケン, ニュージャージー州: John Wiley & Sons, Inc. p. 274. ISBN 978-0-471-42798-8 。 ^ Dello Schiavo, Lorenzo (2019). 「ディリクレ測度の特性汎関数」. Electron. J. Probab . 24 : 1–38 . arXiv : 1810.09790 . doi : 10.1214/19-EJP371 . ^ デッロ・スキアーヴォ、ロレンツォ;クアトロッキ、フィリッポ (2023)。 「多変量ディリクレ モーメントと多色イーウェンス サンプリング公式」。 arXiv : 2309.11292 [数学.PR]。 ^ ホフマン、ティル. 「ディリクレ分布のモーメント」. 2016年2月14日時点のオリジナルよりアーカイブ 。 2016年 2月14日 閲覧。 ^ Christopher M. Bishop (2006年8月17日). パターン認識と機械学習. Springer. ISBN 978-0-387-31073-2 。 ^ ファロー、マルコム. 「MAS3301 ベイズ統計学」 (PDF) . ニューカッスル大学. 2013年 4月10日 閲覧 。 ^ Lin, Jiayu (2016). ディリクレ分布について (PDF) . キングストン、カナダ: クイーンズ大学. pp. § 2.4.9. ^ Nguyen, Duy (2023年8月15日). 「変分ベイズ法の徹底入門ノート」 SSRN 4541076. 2023年 8月15日 閲覧 。 ^ Song, Kai-Sheng (2001). 「Rényi情報量、対数尤度、そして固有分布尺度」. Journal of Statistical Planning and Inference . 93 (325). Elsevier: 51– 69. doi :10.1016/S0378-3758(00)00169-5. ^ Nemenman, Ilya; Shafee, Fariel; Bialek, William (2002). エントロピーと推論の再考 (PDF) . NIPS 14. 、式8 ^ Joram Soch (2020年5月10日). 「ディリクレ分布のカルバック・ライブラー・ダイバージェンス」. 統計証明の書 . StatProofBook . 2025年6月23日 閲覧 。 ^ Connor, Robert J.; Mosimann, James E. (1969). 「ディリクレ分布の一般化による割合の独立性の概念」 アメリカ統計学会誌 . 64 (325). アメリカ統計学会誌: 194–206 . doi :10.2307/2283728. JSTOR 2283728. ^ Kotz、Balakrishnan、Johnson(2000)第8.5節「ConnorとMosimannの一般化」519~521ページを参照。 ^ Phillips, PCB (1988). 「ディリクレ分布と多変量F分布の特性関数」 (PDF) . Cowles Foundation Discussion Paper 865 . ^ Grinshpan, AZ (2017). 「ディリクレ確率測度に関する多重畳み込みの不等式」. 応用数学の進歩 . 82 (1): 102– 119. doi : 10.1016/j.aam.2016.08.001 . ^ Perrault, P. (2024). 「ディリクレ過程のキュムラント生成関数の新しい境界」. arXiv : 2409.18621 [math.PR]. 定理3.3 ^ ab Devroye, Luc (1986). 非一様乱数変量生成. Springer-Verlag. ISBN 0-387-96305-7 。 ^ レフキミアティス, スタマティオス; マラゴス, ペトロス; パパンドレウ, ジョージ (2009). 「ポアソン強度推定のためのマルチスケールモデルにおけるベイズ推論:光子制限画像ノイズ除去への応用」. IEEE Transactions on Image Processing . 18 (8): 1724– 1741. Bibcode :2009ITIP...18.1724L. doi :10.1109/TIP.2009.2022008. PMID 19414285. S2CID 859561. ^ Andreoli, Jean-Marc (2018). 「ディリクレ分布の共役事前分布」. arXiv : 1811.05266 [cs.LG]. ^ Graf, Monique (2019). 「単純一般化ベータ分布 - RパッケージSGBとその応用」 Libra . 2025年 5月26日 閲覧 。 {{cite web }}: CS1 maint: 数値名: 著者リスト ( リンク ) ^ Sorrenson, Peter; et al. (2024) (2023). 「自由形式フローを持つ多様体上の分布の学習」 arXiv : 2312.09852 [cs.LG]. {{cite arXiv }}: CS1 maint: 数値名: 著者リスト ( リンク ) ^ Ferrer, Luciana; Ramos, Daniel (2025). 「事後確率の評価:決定理論、適切なスコアリングルール、そしてキャリブレーション」 Transactions on Machine Learning Research . ^ ブラックウェル、デイビッド;マックィーン、ジェームズ・B. (1973). 「ポリア・アーンズ・スキームによるファーガソン分布」. Ann. Stat . 1 (2): 353– 355. doi : 10.1214/aos/1176342372 . ^ A. Gelman; JB Carlin; HS Stern; DB Rubin (2003). ベイズデータ分析 (第2版). Chapman & Hall/CRC. pp. 582. ISBN 1-58488-388-X 。
外部リンク 「ディリクレ分布」 数学百科事典 、 EMSプレス 、2001 [1994] ディリクレ分布 期待最大化(EM)法を用いて複合ディリクレ分布(ポリア分布)のパラメータを推定する方法 リュック・デヴロワ「非一様乱数変量生成」 2019年 10月19日 閲覧 。 ディリクレ確率測度、複合ポアソン確率変数による構成法、および結果として得られるガンマ分布の交換可能性特性 SciencesPo: ディリクレ分布のパラメータをシミュレートするための関数を含む R パッケージ。
離散 一変数
連続 一変量
制限された間隔 でサポートされている 半無限 間隔 でサポートされている 実数直線 全体で サポートされている さまざまなタイプの サポート付き
混合 単変量
多変量 (ジョイント) 方向性 退化 と 特異性 家族