Generative topic model
自然言語処理 において 、 潜在ディリクレ配分法 （ LDA ）は、テキスト文書の集合が観測されない「トピック」の集合によってどのように記述されるかを説明する 生成統計モデル です。例えば、ニュース記事の集合が与えられた場合、LDAは、あるトピックが「大統領」「政府」「選挙」といった単語によって特徴付けられ、別のトピックが「チーム」「試合」「スコア」によって特徴付けられることを発見するかもしれません。これは最も一般的な トピックモデル の一つです。
LDAモデルは、 2000年に JK Pritchard 、 M. Stephens 、 P. Donnellyによって集団遺伝学のグラフィカルモデルとして初めて発表されました。 [1] このモデルはその後、 2003年に David Blei 、 Andrew Ng 、 Michael I. Jordan によって機械学習に適用されました。 [2] その最も頻繁な応用はテキストコーパスのモデリングですが、臨床心理学、社会科学、 計算音楽学 などの他の問題にも使用されています。
LDAの基本的な仮定は、文書は潜在トピックのランダムな混合として表現され、各トピックは単語間の確率分布によって特徴付けられるというものです。このモデルは 確率的潜在意味解析 （pLSA）の一般化であり、LDAがトピックの混合を ディリクレ 事前分布として扱うという点が主な違いです。これにより、より合理的な混合が得られ、過剰適合の影響を受けにくくなります 。 コーパスから潜在トピックとそれに関連する確率を学習するには、通常、 ベイズ推論が用いられ、 ギブスサンプリング や 変分ベイズ などの手法がよく用いられます 。
歴史 集団遺伝学 の文脈では、LDAは 2000年に JK Pritchard 、 M. Stephens 、 P. Donnelly によって提案されました。 [1] [3]
LDAは 2003年に David Blei 、 Andrew Ng 、 Michael I. Jordan によって 機械学習に応用されました 。[2]
概要
集団遺伝学 集団遺伝学において、このモデルは個体群における構造化された遺伝的変異の存在を検出するために用いられる。このモデルは、研究対象の個体が持つ対立 遺伝子 が、様々な現存または過去の集団に起源を持つと仮定する。このモデルと様々な推論アルゴリズムを用いることで、科学者はそれらの起源集団における対立遺伝子頻度と、研究対象の個体が持つ対立遺伝子の起源を推定することができる。起源集団は、様々な進化シナリオの観点から事後的に解釈することができる。 関連研究 では、遺伝的構造の存在を検出することは、 交絡を 避けるための必要な予備段階と考えられている。
臨床心理学、メンタルヘルス、社会科学 臨床心理学の研究では、LDAは若者が社会的な状況で経験する自己イメージの共通テーマを特定するために使用されてきました。 [4] 他の社会科学者は、ソーシャルメディア上の議論（例えば、処方薬に関するツイート）から得られた大量のトピックデータを調査するためにLDAを使用しました。 [5]
さらに、 共変量を用いた教師あり潜在ディリクレ配分法（SLDAX）は、 テキスト中に特定された潜在トピックを他の顕在変数と組み合わせるために特別に開発されました。このアプローチにより、テキストデータを統計回帰分析の予測変数として統合することが可能になり、メンタルヘルス予測の精度が向上します。従来の2段階アプローチと比較したSLDAXの主な利点の一つは、偏った推定値や誤った標準誤差を回避できるため、心理学的テキストのより正確な分析が可能になることです。 [6] [7]
社会科学分野において、LDAはソーシャルメディア上の議論などの大規模データセットの分析に有用であることが証明されています。例えば、研究者たちはLDAを用いて、処方薬の使用や中国における文化の違いといった社会的に重要なトピックを議論するツイートを調査しました。 [8] これらの大規模テキストコーパスを分析することで、これまで気づかれなかったパターンやテーマを発見することが可能となり、公共の言説や認識に関する貴重な洞察をリアルタイムで提供します。 [9] [10]
音楽学 計算音楽学 の分野では 、LDAはさまざまなコーパスの音調構造を発見するために使われてきました。 [11]
機械学習 機械学習 におけるLDAの応用の一つ 、具体的には 自然言語処理 のサブ問題である トピック発見 は、文書群からトピックを発見し、発見された各トピックとの「関連性」に基づいて、文書群内の個々の文書を自動的に分類することです。 トピック とは、共通のテーマを示唆する一連の用語（つまり、個々の単語またはフレーズ）とみなされます。
例えば、ペット動物に関する文書コレクションでは、 「 dog 」 、 「 spaniel 」 、 「 beagle 」 、 「 golden retriever 」 、 「 puppy 」 、 「 bark 」 、 「 woof 」といった用語は DOG 関連のテーマを示唆し 、 「 cat 」 、 「 siamese 」 、 「 Maine coon 」 、 「 tabby 」 、 「 manx 」 、 「 meow 」 、 「 purr 」 、 「 kitten 」といった用語は CAT関連の テーマを示唆します 。コレクションには、ダイエット、グルーミング、ヘルスケア、行動など、他にも多くのトピックが含まれている可能性がありますが、ここでは簡潔にするために説明しません。（言語で非常によく使われる、いわゆる ストップワード （「the」、「an」、「that」、「are」、「is」など）はトピックを区別しないため、通常はLDA実行前の前処理によって除外されます。また、前処理では用語を「ルート」語彙形式に変換します。例えば、「barks」、「barking」、「barked」は「bark」に変換されます。）
文書コレクションが十分に大きい場合、LDAは個々の用語の共起に基づいてそのような用語セット（つまりトピック）を発見します。ただし、個々のトピックに意味のあるラベルを割り当てる作業（つまり、すべての用語がDOG関連である）はユーザー次第であり、多くの場合、専門知識（例えば、技術文書の収集など）が必要になります。LDAのアプローチでは、以下のことを前提としています。
ドキュメントの意味内容は、1 つ以上のトピックからの 1 つ以上の用語を組み合わせることによって構成されます。 一部の用語は 曖昧 で、複数のトピックに属し、それぞれ異なる確率で使用されます。（たとえば、「 training（トレーニング） 」という用語は犬と猫の両方に当てはまりますが、作業動物として、または服従競技や技能競技に参加する犬を指す可能性が高いです。）ただし、文書内で 特定 の隣接用語（1つのトピックにのみ属する）が付随している場合、それらの用語の使用は曖昧になりません。 ほとんどの文書には比較的少数のトピックしか含まれません。例えば、コレクション内では、個々のトピックはそれぞれ異なる頻度で出現します。つまり、トピックには確率分布があり、ある文書には他のトピックよりも多くのトピックが含まれる可能性が高くなります。 トピック内では、特定の用語が他の用語よりもはるかに頻繁に使用されます。言い換えれば、トピック内の用語にも独自の確率分布があります。 LDA 機械学習が採用される場合、両方の確率セットは、ベイズ 法と 期待最大化アルゴリズム を使用してトレーニング段階で計算されます 。
LDAは、確率的潜在意味解析 （pLSA）という古い手法を一般化したものです 。pLSAモデルは、一様ディリクレ事前分布の下でのLDAと同等です。 [12] pLSAは上記の最初の2つの仮定のみに依存し、残りの仮定は考慮しません。どちらの手法も原理的には類似しており、 k 平均法クラスタリング と同様に、学習開始前に発見するトピックの数をユーザーが指定する必要がありますが、 LDAにはpLSAに比べて以下の利点があります。
LDA により、単語の明確化が向上し、ドキュメントをトピックにさらに正確に割り当てることができます。 確率を計算することで、「生成」プロセスが可能になり、元のコレクションの統計的特性を厳密に反映する新しい「合成文書」のコレクションを生成できるようになります。 LDA とは異なり、pLSA は、特にコーパスのサイズが大きくなると、過剰適合の影響を受けやすくなります。 LDA アルゴリズムは、 コンピューティング クラスター上の MapReduceアプローチを使用して大規模なデータ セットに簡単にスケールアップできます。
モデル LDAモデルを表す プレート表記 確率的グラフィカルモデル （PGM）の表現によく用いられる プレート記法を 用いることで 、多数の変数間の依存関係を簡潔に表現することができます。各ボックスは「プレート」であり、反復される実体である反復を表します。外側のプレートは文書を表し、内側のプレートは特定の文書内で繰り返される単語の位置を表します。各位置は、トピックと単語の選択に関連付けられています。変数名は以下のように定義されます。
M は文書の数を表す N は与えられた文書内の単語数である（文書 iには 単語がある ） N i {\displaystyle N_{i}} α は文書ごとのトピック分布のディリクレ事前分布のパラメータである。 β はトピックごとの単語分布のディリクレ事前分布のパラメータである。 θ i {\displaystyle \theta _{i}} 文書i のトピック分布である φ k {\displaystyle \varphi _{k}} トピックk の単語分布である z i j {\displaystyle z_{ij}} 文書 iの j 番目の単語のトピックである w i j {\displaystyle w_{ij}} 特定の単語です。 ディリクレ分布に従うトピックワード分布を持つLDAのプレート表記 W が灰色表示されているということは、単語が 唯一の 観測可能な変数 であり、他の変数は 潜在変数であることを意味します。元の論文 [2] で提案されているように、 トピック内の単語の確率分布は歪んでいるという直感に従って、スパースなディリクレ事前分布を使用してトピック語の分布をモデル化できます。その結果得られるモデルは、現在最も広く適用されている LDA の変種です。このモデルのプレート表記を右側に示します。ここで、は トピックの数、は ディリクレ分布のトピック語分布のパラメータを格納する次元ベクトルです ( は 語彙内の単語数です)。 w i j {\displaystyle w_{ij}} K {\displaystyle K} φ 1 , … , φ K {\displaystyle \varphi _{1},\dots ,\varphi _{K}} V {\displaystyle V} V {\displaystyle V}
と で表されるエンティティは、 モデル 化対象となる文書コーパスを表す元の文書-単語行列を分解することによって作成された行列と考えると分かりやすいでしょう。この見方では、 は 文書で定義された行とトピックで 定義された列で構成され、 はトピックで定義された行と単語で定義された 列で構成されます。したがって、 は行、つまりベクトルの集合を指し、各行は単語の分布を表し、 は行の集合を指し、各行はトピックの分布を表します。 θ {\displaystyle \theta } φ {\displaystyle \varphi } θ {\displaystyle \theta } φ {\displaystyle \varphi } φ 1 , … , φ K {\displaystyle \varphi _{1},\dots ,\varphi _{K}} θ 1 , … , θ M {\displaystyle \theta _{1},\dots ,\theta _{M}}
生成プロセス コーパス内のトピックを実際に推論するためには、文書が生成され、推論（リバースエンジニアリング）できるようになる生成プロセスを想定する必要があります。生成プロセスは以下のように想定します。文書は潜在トピックのランダムな混合として表現され、各トピックは全単語にわたる分布によって特徴付けられます。LDAは、 長さ の文書 からなるコーパスに対して、以下の生成プロセスを想定しています 。 D {\displaystyle D} M {\displaystyle M} N i {\displaystyle N_{i}}
1. を選択する 。ここで 、
は 対称パラメータを持つ ディリクレ分布 であり 、通常は疎な分布である（ ） θ i ∼ Dir ( α ) {\displaystyle \theta _{i}\sim \operatorname {Dir} (\alpha )} i ∈ { 1 , … , M } {\displaystyle i\in \{1,\dots ,M\}} D i r ( α ) {\displaystyle \mathrm {Dir} (\alpha )} α {\displaystyle \alpha } α < 1 {\displaystyle \alpha <1}
2. を選択する 。ここで 、 は 通常スパースである。 φ k ∼ Dir ( β ) {\displaystyle \varphi _{k}\sim \operatorname {Dir} (\beta )} k ∈ { 1 , … , K } {\displaystyle k\in \{1,\dots ,K\}} β {\displaystyle \beta }
3. それぞれの単語の位置について 、、 および i , j {\displaystyle i,j} i ∈ { 1 , … , M } {\displaystyle i\in \{1,\dots ,M\}} j ∈ { 1 , … , N i } {\displaystyle j\in \{1,\dots ,N_{i}\}}
(a) トピックを選択する z i , j ∼ Multinomial ( θ i ) . {\displaystyle z_{i,j}\sim \operatorname {Multinomial} (\theta _{i}).} (b) 単語を選ぶ w i , j ∼ Multinomial ( φ z i , j ) . {\displaystyle w_{i,j}\sim \operatorname {Multinomial} (\varphi _{z_{i,j}}).} （ここでの 多項分布は、1 回の試行のみの 多項分布 を指し、 カテゴリ分布 とも呼ばれることに注意してください 。）
長さは、 他のすべてのデータ生成変数（ および ）とは独立して扱われます。ここに示すプレート図のように、添え字は省略されることがよくあります。 N i {\displaystyle N_{i}} w {\displaystyle w} z {\displaystyle z}
意味 LDA の正式な説明は次のとおりです。
モデルにおける変数の定義 変数 タイプ 意味 K {\displaystyle K} 整数 トピックの数（例：50） V {\displaystyle V} 整数 語彙の数（例：50,000語または1,000,000語） M {\displaystyle M} 整数 文書の数 N d = 1 … M {\displaystyle N_{d=1\dots M}} 整数 文書d の単語数 N {\displaystyle N} 整数 すべての文書内の単語の総数、つまりすべての 値の合計 N d {\displaystyle N_{d}} N = ∑ d = 1 M N d {\displaystyle N=\sum _{d=1}^{M}N_{d}} α k = 1 … K {\displaystyle \alpha _{k=1\dots K}} 正の実数 文書内のトピックk の事前重み 。通常はすべてのトピックで同じ。通常は1未満の数値（例：0.1）で、トピックの分布がまばらであること（つまり、文書あたりのトピック数が少ないこと）を優先する。 α {\displaystyle {\boldsymbol {\alpha }}} 正の実数の K次元ベクトル すべての 値の集合を単一のベクトルとして表示する α k {\displaystyle \alpha _{k}} β w = 1 … V {\displaystyle \beta _{w=1\dots V}} 正の実数 トピック内の単語w の事前重み 。通常はすべての単語で同じ。通常は1よりはるかに小さい数値（例：0.001）で、単語の分布がまばらであること（つまり、トピックあたりの単語数が少ないこと）を強く優先する。 β {\displaystyle {\boldsymbol {\beta }}} 正の実数の V次元ベクトル すべての 値の集合を単一のベクトルとして表示する β w {\displaystyle \beta _{w}} φ k = 1 … K , w = 1 … V {\displaystyle \varphi _{k=1\dots K,w=1\dots V}} 確率（0から1の間の実数） トピック k に単語 wが出現する確率 φ k = 1 … K {\displaystyle {\boldsymbol {\varphi }}_{k=1\dots K}} V 次元の確率ベクトル。その合計は1でなければならない。 トピックk における単語の分布 θ d = 1 … M , k = 1 … K {\displaystyle \theta _{d=1\dots M,k=1\dots K}} 確率（0から1の間の実数） 文書 dにトピック k が出現する確率 θ d = 1 … M {\displaystyle {\boldsymbol {\theta }}_{d=1\dots M}} K 次元の確率ベクトル。その合計は1になる必要がある。 文書d におけるトピックの分布 z d = 1 … M , w = 1 … N d {\displaystyle z_{d=1\dots M,w=1\dots N_{d}}} 1からK までの整数 文書 dにおける単語 w のトピックの同一性 Z {\displaystyle \mathbf {Z} } 1からKまでの整数の N 次元ベクトル すべての文書内のすべての単語のトピックの同一性 w d = 1 … M , w = 1 … N d {\displaystyle w_{d=1\dots M,w=1\dots N_{d}}} 1からV までの整数 文書 d における単語 wの同一性 W {\displaystyle \mathbf {W} } 1からVまでの整数の N 次元ベクトル すべての文書内のすべての単語の同一性
ランダム変数を数学的に次のように記述できます。
φ k = 1 … K ∼ Dirichlet V ( β ) θ d = 1 … M ∼ Dirichlet K ( α ) z d = 1 … M , w = 1 … N d ∼ Categorical K ( θ d ) w d = 1 … M , w = 1 … N d ∼ Categorical V ( φ z d w ) {\displaystyle {\begin{aligned}{\boldsymbol {\varphi }}_{k=1\dots K}&\sim \operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim \operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,w=1\dots N_{d}}&\sim \operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,w=1\dots N_{d}}&\sim \operatorname {Categorical} _{V}({\boldsymbol {\varphi }}_{z_{dw}})\end{aligned}}}
推論 さまざまな分布（トピックのセット、それに関連する単語の確率、各単語のトピック、および各ドキュメントの特定のトピックの混合）を学習することは、 統計的推論 の問題です。
モンテカルロシミュレーション Pritchardらによる原著論文 [1] では、モンテカルロシミュレーションによる事後分布の近似が用いられました。代替的な推論手法としては、 ギブスサンプリング が挙げられます。 [13]
変分ベイズ オリジナルのML論文では 事後分布 の 変分ベイズ 近似が使用されていました。 [2]
尤度最大化 ブロック緩和アルゴリズムを用いた尤度の直接最適化は、MCMCの高速な代替手段であることが証明されている。 [14]
対象集団/トピックの数が不明 実際には、最適な集団数やトピック数は事前にはわかりません。これは、 可逆ジャンプマルコフ連鎖モンテカルロ法 を用いて事後分布を近似することで推定できます。 [15]
代替アプローチ 代替的なアプローチとしては 期待伝播法 がある。 [16]
近年の研究は、潜在的ディリクレ分布の推論を高速化し、膨大な数の文書から膨大な数のトピックを捕捉することを支援することに焦点が当てられています。前節で述べた縮小ギブスサンプラーの更新式には、自然なスパース性があり、これを利用できます。直感的に言えば、各文書はトピックのサブセットのみを含み 、単語もトピックのサブセットのみに出現するため 、上記の更新式は、このスパース性を利用するように書き直すことができます。 [17] K d {\displaystyle K_{d}} K w {\displaystyle K_{w}}
p ( Z d , n = k ) ∝ α β C k ¬ n + V β + C k d β C k ¬ n + V β + C k w ( α + C k d ) C k ¬ n + V β {\displaystyle p(Z_{d,n}=k)\propto {\frac {\alpha \beta }{C_{k}^{\neg n}+V\beta }}+{\frac {C_{k}^{d}\beta }{C_{k}^{\neg n}+V\beta }}+{\frac {C_{k}^{w}(\alpha +C_{k}^{d})}{C_{k}^{\neg n}+V\beta }}} この式には3つの項があり、そのうち2つはスパースで、もう1つは小さい項です。これらの項をそれぞれ と と呼びます 。 各項をすべてのトピックにわたって合計して正規化すると、次のようになります。 a , b {\displaystyle a,b} c {\displaystyle c}
A = ∑ k = 1 K α β C k ¬ n + V β {\displaystyle A=\sum _{k=1}^{K}{\frac {\alpha \beta }{C_{k}^{\neg n}+V\beta }}} B = ∑ k = 1 K C k d β C k ¬ n + V β {\displaystyle B=\sum _{k=1}^{K}{\frac {C_{k}^{d}\beta }{C_{k}^{\neg n}+V\beta }}} C = ∑ k = 1 K C k w ( α + C k d ) C k ¬ n + V β {\displaystyle C=\sum _{k=1}^{K}{\frac {C_{k}^{w}(\alpha +C_{k}^{d})}{C_{k}^{\neg n}+V\beta }}} ここで、は文書 に現れるトピックの合計で あり、 は コーパス全体で 単語が割り当てられているトピックのスパースな合計でもある ことがわかります。 一方、 は稠密ですが、 &の値が小さいため 、その値は他の 2 つの項と比較すると非常に小さくなります。 B {\displaystyle B} d {\displaystyle d} C {\displaystyle C} w {\displaystyle w} A {\displaystyle A} α {\displaystyle \alpha } β {\displaystyle \beta }
ここで、トピックをサンプリングする際に、 から一様にランダム変数をサンプリングすると 、サンプルがどのバケットに入るかを確認できます。 は小さいため、このバケットに入る可能性は非常に低いですが、このバケットに入った場合、トピックのサンプリングには 時間がかかります (元の Collapsed Gibbs Sampler と同じ)。ただし、他の 2 つのバケットに入った場合は、スパース トピックの記録を保持していれば、トピックのサブセットを確認するだけで済みます。 トピックはに時間 でバケットからサンプリングでき、トピックは に時間 でバケット からサンプリングできます。 ここで、 と は、 それぞれ現在のドキュメントと現在の単語の種類に割り当てられているトピックの数を示します。 s ∼ U ( s | ∣ A + B + C ) {\displaystyle s\sim U(s|\mid A+B+C)} A {\displaystyle A} O ( K ) {\displaystyle O(K)} B {\displaystyle B} O ( K d ) {\displaystyle O(K_{d})} C {\displaystyle C} O ( K w ) {\displaystyle O(K_{w})} K d {\displaystyle K_{d}} K w {\displaystyle K_{w}}
各トピックをサンプリングした後、これらのバケットを更新するのはすべて基本的な 算術演算であることに注意してください。 O ( 1 ) {\displaystyle O(1)}
計算の詳細の側面 以下は、縮小ギブスサンプリング の式の導出です 。これは、 sと sが積分されることを意味します。簡略化のため、この導出ではすべての文書の長さが同じであると仮定しています 。文書の長さが異なっていても、この導出は同様に有効です。 φ {\displaystyle \varphi } θ {\displaystyle \theta } N {\displaystyle N_{}}
モデルによれば、モデルの合計確率は次のようになります。
P ( W , Z , θ , φ ; α , β ) = ∏ i = 1 K P ( φ i ; β ) ∏ j = 1 M P ( θ j ; α ) ∏ t = 1 N P ( Z j , t ∣ θ j ) P ( W j , t ∣ φ Z j , t ) , {\displaystyle P({\boldsymbol {W}},{\boldsymbol {Z}},{\boldsymbol {\theta }},{\boldsymbol {\varphi }};\alpha ,\beta )=\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})P(W_{j,t}\mid \varphi _{Z_{j,t}}),} ここで、太字の変数は変数のベクトル版を表します。まず、 と を積分する必要があります。 φ {\displaystyle {\boldsymbol {\varphi }}} θ {\displaystyle {\boldsymbol {\theta }}}
P ( Z , W ; α , β ) = ∫ θ ∫ φ P ( W , Z , θ , φ ; α , β ) d φ d θ = ∫ φ ∏ i = 1 K P ( φ i ; β ) ∏ j = 1 M ∏ t = 1 N P ( W j , t ∣ φ Z j , t ) d φ ∫ θ ∏ j = 1 M P ( θ j ; α ) ∏ t = 1 N P ( Z j , t ∣ θ j ) d θ . {\displaystyle {\begin{aligned}&P({\boldsymbol {Z}},{\boldsymbol {W}};\alpha ,\beta )=\int _{\boldsymbol {\theta }}\int _{\boldsymbol {\varphi }}P({\boldsymbol {W}},{\boldsymbol {Z}},{\boldsymbol {\theta }},{\boldsymbol {\varphi }};\alpha ,\beta )\,d{\boldsymbol {\varphi }}\,d{\boldsymbol {\theta }}\\={}&\int _{\boldsymbol {\varphi }}\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d{\boldsymbol {\varphi }}\int _{\boldsymbol {\theta }}\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d{\boldsymbol {\theta }}.\end{aligned}}} すべての は 互いに独立しており、すべての に対して同じです。したがって、 それぞれを個別に 扱うことができます 。ここでは、部分 のみに焦点を当てます 。 θ {\displaystyle \theta } φ {\displaystyle \varphi } θ {\displaystyle \theta } φ {\displaystyle \varphi } θ {\displaystyle \theta }
∫ θ ∏ j = 1 M P ( θ j ; α ) ∏ t = 1 N P ( Z j , t ∣ θ j ) d θ = ∏ j = 1 M ∫ θ j P ( θ j ; α ) ∏ t = 1 N P ( Z j , t ∣ θ j ) d θ j . {\displaystyle \int _{\boldsymbol {\theta }}\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d{\boldsymbol {\theta }}=\prod _{j=1}^{M}\int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}.} さらに 次の 1 つにのみ焦点を当てることができます。 θ {\displaystyle \theta }
∫ θ j P ( θ j ; α ) ∏ t = 1 N P ( Z j , t ∣ θ j ) d θ j . {\displaystyle \int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}.} 実は、これはドキュメントモデルの隠れた部分です 。ここで、上記の式の確率を真の分布式に置き換えて、明示的な式を書き出します。 j t h {\displaystyle j^{th}}
∫ θ j P ( θ j ; α ) ∏ t = 1 N P ( Z j , t ∣ θ j ) d θ j = ∫ θ j Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) ∏ i = 1 K θ j , i α i − 1 ∏ t = 1 N P ( Z j , t ∣ θ j ) d θ j . {\displaystyle \int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{\alpha _{i}-1}\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}.} 文書中に存在する、トピックに割り当てられた同じ単語記号（ 語彙中の単語）を持つ 単語トークンの数を とします 。 したがって、 は3次元です。3次元のいずれかが特定の値に制限されていない場合は、括弧で囲まれた点を用いて示します 。例えば、 は 文書中に存在する、トピックに割り当てられた 単語トークンの数を表します 。したがって、上記の式の右辺は次のように書き直すことができます。 n j , r i {\displaystyle n_{j,r}^{i}} j t h {\displaystyle j^{th}} r t h {\displaystyle r^{th}} i t h {\displaystyle i^{th}} n j , r i {\displaystyle n_{j,r}^{i}} ( ⋅ ) {\displaystyle (\cdot )} n j , ( ⋅ ) i {\displaystyle n_{j,(\cdot )}^{i}} j t h {\displaystyle j^{th}} i t h {\displaystyle i^{th}}
∏ t = 1 N P ( Z j , t ∣ θ j ) = ∏ i = 1 K θ j , i n j , ( ⋅ ) i . {\displaystyle \prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})=\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}}.} したがって、 積分式は次のように変更できます。 θ j {\displaystyle \theta _{j}}
∫ θ j Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) ∏ i = 1 K θ j , i α i − 1 ∏ i = 1 K θ j , i n j , ( ⋅ ) i d θ j = ∫ θ j Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) ∏ i = 1 K θ j , i n j , ( ⋅ ) i + α i − 1 d θ j . {\displaystyle \int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{\alpha _{i}-1}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}}\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}.} 積分内部の方程式は ディリクレ分布 と同じ形をとる。 ディリクレ分布 によれば、
∫ θ j Γ ( ∑ i = 1 K n j , ( ⋅ ) i + α i ) ∏ i = 1 K Γ ( n j , ( ⋅ ) i + α i ) ∏ i = 1 K θ j , i n j , ( ⋅ ) i + α i − 1 d θ j = 1. {\displaystyle \int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}=1.} したがって、
∫ θ j P ( θ j ; α ) ∏ t = 1 N P ( Z j , t ∣ θ j ) d θ j = ∫ θ j Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) ∏ i = 1 K θ j , i n j , ( ⋅ ) i + α i − 1 d θ j = Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) ∏ i = 1 K Γ ( n j , ( ⋅ ) i + α i ) Γ ( ∑ i = 1 K n j , ( ⋅ ) i + α i ) ∫ θ j Γ ( ∑ i = 1 K n j , ( ⋅ ) i + α i ) ∏ i = 1 K Γ ( n j , ( ⋅ ) i + α i ) ∏ i = 1 K θ j , i n j , ( ⋅ ) i + α i − 1 d θ j = Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) ∏ i = 1 K Γ ( n j , ( ⋅ ) i + α i ) Γ ( ∑ i = 1 K n j , ( ⋅ ) i + α i ) . {\displaystyle {\begin{aligned}&\int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={}&{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={}&{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}.\end{aligned}}} さて、部分に注目してみましょう 。実は、部分の導出は部分 と非常に似ています 。ここでは導出の手順のみを列挙します。 φ {\displaystyle {\boldsymbol {\varphi }}} φ {\displaystyle {\boldsymbol {\varphi }}} θ {\displaystyle {\boldsymbol {\theta }}}
∫ φ ∏ i = 1 K P ( φ i ; β ) ∏ j = 1 M ∏ t = 1 N P ( W j , t ∣ φ Z j , t ) d φ = ∏ i = 1 K ∫ φ i P ( φ i ; β ) ∏ j = 1 M ∏ t = 1 N P ( W j , t ∣ φ Z j , t ) d φ i = ∏ i = 1 K ∫ φ i Γ ( ∑ r = 1 V β r ) ∏ r = 1 V Γ ( β r ) ∏ r = 1 V φ i , r β r − 1 ∏ r = 1 V φ i , r n ( ⋅ ) , r i d φ i = ∏ i = 1 K ∫ φ i Γ ( ∑ r = 1 V β r ) ∏ r = 1 V Γ ( β r ) ∏ r = 1 V φ i , r n ( ⋅ ) , r i + β r − 1 d φ i = ∏ i = 1 K Γ ( ∑ r = 1 V β r ) ∏ r = 1 V Γ ( β r ) ∏ r = 1 V Γ ( n ( ⋅ ) , r i + β r ) Γ ( ∑ r = 1 V n ( ⋅ ) , r i + β r ) . {\displaystyle {\begin{aligned}&\int _{\boldsymbol {\varphi }}\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d{\boldsymbol {\varphi }}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\prod _{r=1}^{V}\varphi _{i,r}^{\beta _{r}-1}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r}^{i}}\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r}^{i}+\beta _{r}-1}\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}{\frac {\prod _{r=1}^{V}\Gamma (n_{(\cdot ),r}^{i}+\beta _{r})}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned}}} わかりやすくするために、ここでは とを積分した 最終方程式を書きます 。 ϕ {\displaystyle {\boldsymbol {\phi }}} θ {\displaystyle {\boldsymbol {\theta }}}
P ( Z , W ; α , β ) = ∏ j = 1 M Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) ∏ i = 1 K Γ ( n j , ( ⋅ ) i + α i ) Γ ( ∑ i = 1 K n j , ( ⋅ ) i + α i ) × ∏ i = 1 K Γ ( ∑ r = 1 V β r ) ∏ r = 1 V Γ ( β r ) ∏ r = 1 V Γ ( n ( ⋅ ) , r i + β r ) Γ ( ∑ r = 1 V n ( ⋅ ) , r i + β r ) . {\displaystyle P({\boldsymbol {Z}},{\boldsymbol {W}};\alpha ,\beta )=\prod _{j=1}^{M}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\times \prod _{i=1}^{K}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}{\frac {\prod _{r=1}^{V}\Gamma (n_{(\cdot ),r}^{i}+\beta _{r})}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.} ここでのギブスサンプリングの目的は、 の分布を近似することです 。 はZのいずれに対しても不変であるため、ギブスサンプリング方程式は から直接導出できます 。重要な点は、次の条件付き確率を導出することです。 P ( Z ∣ W ; α , β ) {\displaystyle P({\boldsymbol {Z}}\mid {\boldsymbol {W}};\alpha ,\beta )} P ( W ; α , β ) {\displaystyle P({\boldsymbol {W}};\alpha ,\beta )} P ( Z , W ; α , β ) {\displaystyle P({\boldsymbol {Z}},{\boldsymbol {W}};\alpha ,\beta )}
P ( Z ( m , n ) ∣ Z − ( m , n ) , W ; α , β ) = P ( Z ( m , n ) , Z − ( m , n ) , W ; α , β ) P ( Z − ( m , n ) , W ; α , β ) , {\displaystyle P(Z_{(m,n)}\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )={\frac {P(Z_{(m,n)},{\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )}{P({\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )}},} ここで、 は文書 中の単語トークン の隠れ変数 を表します 。さらに、 の単語記号は 語彙中の単語、すなわち であると仮定します 。は を除く すべての を表します 。ギブスサンプリングでは、 の値をサンプリングするだけでよく 、上記の確率によれば、 の正確な値は必要ない
ことに注意してください。 Z ( m , n ) {\displaystyle Z_{(m,n)}} Z {\displaystyle Z} n t h {\displaystyle n^{th}} m t h {\displaystyle m^{th}} v t h {\displaystyle v^{th}} W ( m , n ) = v {\displaystyle W_{(m,n)}=v} Z − ( m , n ) {\displaystyle {\boldsymbol {Z_{-(m,n)}}}} Z {\displaystyle Z} Z ( m , n ) {\displaystyle Z_{(m,n)}} Z ( m , n ) {\displaystyle Z_{(m,n)}}
P ( Z m , n ∣ Z − ( m , n ) , W ; α , β ) {\displaystyle P\left(Z_{m,n}\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta \right)} しかし、値を取り得る確率間の比率です 。したがって、上記の式は次のように簡略化できます。 Z ( m , n ) {\displaystyle Z_{(m,n)}}
P ( Z ( m , n ) = k ∣ Z − ( m , n ) , W ; α , β ) ∝ P ( Z ( m , n ) = k , Z − ( m , n ) , W ; α , β ) = ( Γ ( ∑ i = 1 K α i ) ∏ i = 1 K Γ ( α i ) ) M ∏ j ≠ m ∏ i = 1 K Γ ( n j , ( ⋅ ) i + α i ) Γ ( ∑ i = 1 K n j , ( ⋅ ) i + α i ) ( Γ ( ∑ r = 1 V β r ) ∏ r = 1 V Γ ( β r ) ) K ∏ i = 1 K ∏ r ≠ v Γ ( n ( ⋅ ) , r i + β r ) ∏ i = 1 K Γ ( n m , ( ⋅ ) i + α i ) Γ ( ∑ i = 1 K n m , ( ⋅ ) i + α i ) ∏ i = 1 K Γ ( n ( ⋅ ) , v i + β v ) Γ ( ∑ r = 1 V n ( ⋅ ) , r i + β r ) ∝ ∏ i = 1 K Γ ( n m , ( ⋅ ) i + α i ) Γ ( ∑ i = 1 K n m , ( ⋅ ) i + α i ) ∏ i = 1 K Γ ( n ( ⋅ ) , v i + β v ) Γ ( ∑ r = 1 V n ( ⋅ ) , r i + β r ) ∝ ∏ i = 1 K Γ ( n m , ( ⋅ ) i + α i ) ∏ i = 1 K Γ ( n ( ⋅ ) , v i + β v ) Γ ( ∑ r = 1 V n ( ⋅ ) , r i + β r ) . {\displaystyle {\begin{aligned}P(&Z_{(m,n)}=k\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )\\[8pt]&\propto P(Z_{(m,n)}=k,{\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )\\[8pt]&=\left({\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\right)^{M}\prod _{j\neq m}{\frac {\prod _{i=1}^{K}\Gamma \left(n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\left({\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\right)^{K}\prod _{i=1}^{K}\prod _{r\neq v}\Gamma \left(n_{(\cdot ),r}^{i}+\beta _{r}\right){\frac {\prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{m,(\cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}\\[8pt]&\propto {\frac {\prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{m,(\cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}\\[8pt]&\propto \prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned}}} 最後に、を と同じ意味とします が、 は除きます。上の式は 、ガンマ関数 の性質を利用してさらに簡略化できます 。まず和を分割し、次にそれを再び結合して に依存しない和を得ます 。これは省略可能です。 n j , r i , − ( m , n ) {\displaystyle n_{j,r}^{i,-(m,n)}} n j , r i {\displaystyle n_{j,r}^{i}} Z ( m , n ) {\displaystyle Z_{(m,n)}} k {\displaystyle k}
∝ ∏ i ≠ k Γ ( n m , ( ⋅ ) i , − ( m , n ) + α i ) ∏ i ≠ k Γ ( n ( ⋅ ) , v i , − ( m , n ) + β v ) Γ ( ∑ r = 1 V n ( ⋅ ) , r i , − ( m , n ) + β r ) Γ ( n m , ( ⋅ ) k , − ( m , n ) + α k + 1 ) Γ ( n ( ⋅ ) , v k , − ( m , n ) + β v + 1 ) Γ ( ∑ r = 1 V n ( ⋅ ) , r k , − ( m , n ) + β r + 1 ) = ∏ i ≠ k Γ ( n m , ( ⋅ ) i , − ( m , n ) + α i ) ∏ i ≠ k Γ ( n ( ⋅ ) , v i , − ( m , n ) + β v ) Γ ( ∑ r = 1 V n ( ⋅ ) , r i , − ( m , n ) + β r ) Γ ( n m , ( ⋅ ) k , − ( m , n ) + α k ) Γ ( n ( ⋅ ) , v k , − ( m , n ) + β v ) Γ ( ∑ r = 1 V n ( ⋅ ) , r k , − ( m , n ) + β r ) ( n m , ( ⋅ ) k , − ( m , n ) + α k ) n ( ⋅ ) , v k , − ( m , n ) + β v ∑ r = 1 V n ( ⋅ ) , r k , − ( m , n ) + β r = ∏ i Γ ( n m , ( ⋅ ) i , − ( m , n ) + α i ) ∏ i Γ ( n ( ⋅ ) , v i , − ( m , n ) + β v ) Γ ( ∑ r = 1 V n ( ⋅ ) , r i , − ( m , n ) + β r ) ( n m , ( ⋅ ) k , − ( m , n ) + α k ) n ( ⋅ ) , v k , − ( m , n ) + β v ∑ r = 1 V n ( ⋅ ) , r k , − ( m , n ) + β r ∝ ( n m , ( ⋅ ) k , − ( m , n ) + α k ) n ( ⋅ ) , v k , − ( m , n ) + β v ∑ r = 1 V n ( ⋅ ) , r k , − ( m , n ) + β r {\displaystyle {\begin{aligned}&\propto \prod _{i\neq k}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i\neq k}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\Gamma \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}+1\right){\frac {\Gamma \left(n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}+1\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}+1\right)}}\\[8pt]&=\prod _{i\neq k}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i\neq k}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\Gamma \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {\Gamma \left(n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}\right)}}\left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&=\prod _{i}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&\propto \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\end{aligned}}} ディリクレ分布の事前分布を ベイジアン ネットワーク から 統合するより一般的な議論の一部として、 ディリクレ多項分布 に関する記事で同じ式が導出されていることに注意してください 。
トピックモデリングは、リンクデータとセマンティックウェブ技術を用いた 情報検索 の問題に対する古典的な解決策です。 [18] 関連するモデルと技術には、 潜在的意味索引 、 独立成分分析 、 確率的潜在的意味索引 、 非負値行列因子分解 、 ガンマポアソン分布 などがあります。
LDA モデルは高度にモジュール化されているため、簡単に拡張できます。主な関心分野は、トピック間の関係をモデル化することです。これは、ディリクレ分布の代わりに、単体上の別の分布を使用することで実現されます。相関トピックモデル [19] はこのアプローチに従い、ディリクレ分布の代わりに ロジスティック正規分布 を使用してトピック間の相関構造を誘導します。もう 1 つの拡張は階層的 LDA (hLDA) [20]です。これは、構造をデータから学習するネストされた 中華料理店プロセス を使用して、トピックが階層的に結合されています。LDA は、LDA デュアル モデル [21] のように、ドキュメントに 2 種類の情報 (単語と名前など) が含まれるコーパスに拡張することもできます。LDA のノンパラメトリックな拡張には、 階層的ディリクレ過程 混合モデルが含まれます。これにより、トピックの数を無制限にし、データから学習することができます。
前述のように、pLSA は LDA に似ています。LDA モデルは、本質的には pLSA モデルのベイズ版です。ベイズ法はデータの過剰適合を回避できるため、ベイズ定式化は小規模なデータセットで優れたパフォーマンスを発揮する傾向があります。非常に大規模なデータセットの場合、2 つのモデルの結果は収束する傾向があります。1 つの違いは、pLSA ではトレーニング セット内のドキュメントを表すために変数を使用することです。そのため、pLSA では、モデルが以前に見たことのないドキュメントが提示された場合、 トピックの下の単語の確率をトレーニング セットから学習したものに固定し、同じ EM アルゴリズムを使用して、 トピックの分布を推測します 。Blei は、基本的にモデルを新しいデータに再適合しているため、このステップは不正行為であると主張しています。 d {\displaystyle d} Pr ( w ∣ z ) {\displaystyle \Pr(w\mid z)} Pr ( z ∣ d ) {\displaystyle \Pr(z\mid d)} d {\displaystyle d}
空間モデル 進化生物学では、観察された個体の地理的位置がその祖先に関する何らかの情報をもたらすと仮定するのが自然であることが多い。これは、地理参照型遺伝子データに関する様々なモデルの根拠となっている。 [15] [22]
LDAのバリエーションは、画像を文書として扱い、画像の小さな部分を単語として扱うことで、自然画像を「寝室」や「森」などのカテゴリに自動的に分類するために使用されてきた。 [23] バリエーションの1つは、空間潜在ディリクレ配分法と呼ばれる。 [24]
参照
参考文献 ^ abc Pritchard, JK; Stephens, M.; Donnelly, P. (2000年6月). 「多座遺伝子型データを用いた集団構造の推定」. Genetics . 155 (2): pp. 945–959. doi :10.1093/genetics/155.2.945. ISSN 0016-6731. PMC 1461096. PMID 10835412 . ^ abcd Blei, David M.; Ng, Andrew Y.; Jordan, Michael I (2003年1月). Lafferty, John (編). 「潜在的ディリクレ配分」. Journal of Machine Learning Research . 3 ( 4–5 ): pp. 993–1022. doi : 10.1162/jmlr.2003.3.4-5.993 . ^ Falush, D.; Stephens, M.; Pritchard, JK (2003). 「多座遺伝子型データを用いた集団構造の推定：連鎖遺伝子座と相関対立遺伝子頻度」. Genetics . 164 (4): pp. 1567–1587. doi :10.1093/genetics/164.4.1567. PMC 1462648. PMID 12930761 . ^ Chiu, Kin; Clark, David; Leigh, Eleanor (2022年7月). 「青年期の社会不安における否定的な心的イメージの特徴づけ」. 認知療法と研究 . 46 (5): 956– 966. doi :10.1007/s10608-022-10316-x. PMC 9492563. PMID 36156987 . ^ Parker, Maria A.; Valdez, Danny; Rao, Varun K.; Eddens, Katherine S.; Agley, Jon (2023). 「Twitterユーザーにおける処方薬関連情報のデジタル疫学調査の結果と方法論的示唆：潜在的ディリクレ配分（LDA）分析」. Journal of Medical Internet Research . 25 (1) e48405. doi : 10.2196/48405 . PMC 10422173. PMID 37505795. S2CID 260246078 . ^ Mcauliffe, J., Blei, D. (2007). 教師ありトピックモデル. ニューラル情報処理システムの進歩 , 20. https://proceedings.neurips.cc/paper/2007/hash/d56b9fc4b0f1be8871f5e1c40c0067e7-Abstract.html ^ Wilcox, Kenneth Tyler; Jacobucci, Ross; Zhang, Zhiyong; Ammerman, Brooke A. (2023年10月). 「共変量を用いた教師あり潜在ディリクレ配分：テキストと共変量のベイズ的構造・測定モデル」. Psychological Methods . 28 (5): 1178– 1206. doi : 10.1037/met0000541 . ISSN 1939-1463. PMC 12364030. PMID 36603124 . ^ Guntuku, Sharath Chandra; Talhelm, Thomas; Sherman, Garrick; Fan, Angel; Giorgi, Salvatore; Wei, Liuqing; Ungar, Lyle H. (2024-12-24). 「中国と日本における現代言語使用は、近代化や都市化よりも、稲作の歴史的パターンによって説明される」. Humanities and Social Sciences Communications . 11 (1) 1724: 1– 21. arXiv : 2308.15352 . doi :10.1057/s41599-024-04053-7. ISSN 2662-9992. ^ 桂冠詩人ケイトリン・ドゥーガン詩人、バンティン・レイ、リンガー・ヘンリー (2023年12月1日). 「短文ソーシャルメディア分析におけるトピックモデルの利用に関する系統的レビュー」 人工 知能レビュー 56 (12): 14223– 14255. doi :10.1007/s10462-023-10471-x. ISSN 1573-7462. PMC 10150353. PMID 37362887 . ^ Parker, Maria A.; Valdez, Danny; Rao, Varun K.; Eddens, Katherine S.; Agley, Jon (2023-07-28). 「Twitterユーザーにおける処方薬関連情報のデジタル疫学調査の結果と方法論的示唆：潜在的ディリクレ配分（LDA）分析」. Journal of Medical Internet Research . 25 (1) e48405. doi : 10.2196/48405 . PMC 10422173. PMID 37505795 . ^ Lieck, Robert; Moss, Fabian C.; Rohrmeier, Martin (2020年10月). 「The Tonal Diffusion Model」. Transactions of the International Society for Music Information Retrieval . 3 (1): pp. 153–164. doi : 10.5334/tismir.46 . S2CID 225158478. ^ Girolami, Mark; Kaban, A. (2003). PLSIとLDAの同値性について . SIGIR 2003 Proceedings of SIGIR 2003. ニューヨーク: Association for Computing Machinery. ISBN 1-58113-646-3 。 ^ グリフィス、トーマス・L.；スティーヴァース、マーク（2004年4月6日）「科学的トピックを見つける」 米国科学アカデミー紀要 . 101 （補遺1）: 5228–5235 . 書誌コード :2004PNAS..101.5228G. doi : 10.1073/pnas.0307752101 . PMC 387300. PMID 14872004 . ^ Alexander, David H.; Novembre, John; Lange, Kenneth (2009). 「非血縁者における祖先の高速モデル推定」. Genome Research . 19 (9): 1655– 1664. doi :10.1101/gr.094052.109. PMC 2752134. PMID 19648217 . ^ ab Guillot, G.; Estoup, A.; Mortier, F.; Cosson, J. (2005). 「景観遺伝学のための空間統計モデル」. 遺伝学 . 170 (3): pp. 1261–1280. doi :10.1534/genetics.104.033803. PMC 1451194. PMID 15520263 . ^ ミンカ、トーマス、ラファティ、ジョン (2002). 生成的アスペクトモデルにおける期待値伝播 (PDF) . 第18回人工知能における不確実性に関する会議議事録. サンフランシスコ、カリフォルニア州: モーガン・カウフマン. ISBN 1-55860-897-4 。 ^ Yao, Limin; Mimno, David; McCallum, Andrew (2009). ストリーミングドキュメントコレクションにおけるトピックモデル推論の効率的な手法 . 第15回ACM SIGKDD国際会議「知識発見とデータマイニング」. ^ ランバ、マニカ;マドゥスダン、マーガム（2019）。 「DESIDOC Journal of Library and Information Technology、インドのトピックのマッピング: 研究」。 サイエントメトリクス 。 120 (2): 477–505 。 土井 :10.1007/s11192-019-03137-5。 S2CID 174802673。 ^ Blei, David M.; Lafferty, John D. (2005). 「相関トピックモデル」 (PDF) . 『ニューラル情報処理システムの進歩 』 18 . ^ Blei, David M.; Jordan, Michael I .; Griffiths, Thomas L.; Tenenbaum, Joshua B. (2004). 階層的トピックモデルとネストされた中華料理店プロセス (PDF) . ニューラル情報処理システムの進歩 16: 2003年会議議事録. MIT Press. ISBN 0-262-20152-6 。 ^ Shu, Liangcai; Long, Bo; Meng, Weiyi (2009). 完全なエンティティ解決のための潜在トピックモデル (PDF) . 第25回IEEE国際データエンジニアリング会議 (ICDE 2009). ^ Guillot, G.; Leblois, R.; Coulon, A.; Frantz, A. (2009). 「空間遺伝学における統計的手法」. Molecular Ecology . 18 (23): pp. 4734–4756. Bibcode :2009MolEc..18.4734G. doi : 10.1111/j.1365-294X.2009.04410.x . PMID 19878454. ^ Li, Fei-Fei; Perona, Pietro. 「自然シーンカテゴリーの学習のためのベイズ階層モデル」. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) 論文集 . 2 : 524– 531. ^ Wang, Xiaogang; Grimson, Eric (2007). 「空間潜在ディリクレ配分法」 (PDF) . Neural Information Processing Systems Conference (NIPS) Proceedings of Neural Information Processing Systems Conference (NIPS) .
![{\displaystyle {\begin{aligned}&\int _{\theta _{j}}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={}&{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={}&{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b0ca8f630b1bb40e60740fb26f4e3d6fc889a91e)
![{\displaystyle {\begin{aligned}&\int _{\boldsymbol {\varphi }}\prod _{i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d{\boldsymbol {\varphi }}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}P(\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\prod _{r=1}^{V}\varphi _{i,r}^{\beta _{r}-1}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r}^{i}}\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r}^{i}+\beta _{r}-1}\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}{\frac {\prod _{r=1}^{V}\Gamma (n_{(\cdot ),r}^{i}+\beta _{r})}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f7c384ec331b3f57afe6041d314cf4a8a23078c8)
![{\displaystyle {\begin{aligned}P(&Z_{(m,n)}=k\mid {\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )\\[8pt]&\propto P(Z_{(m,n)}=k,{\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )\\[8pt]&=\left({\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\right)^{M}\prod _{j\neq m}{\frac {\prod _{i=1}^{K}\Gamma \left(n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\left({\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\right)^{K}\prod _{i=1}^{K}\prod _{r\neq v}\Gamma \left(n_{(\cdot ),r}^{i}+\beta _{r}\right){\frac {\prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{m,(\cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}\\[8pt]&\propto {\frac {\prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{m,(\cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}\\[8pt]&\propto \prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/342432f1ea1237ab6c5ff1a53fb863b6c8f3fb9e)
![{\displaystyle {\begin{aligned}&\propto \prod _{i\neq k}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i\neq k}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\Gamma \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}+1\right){\frac {\Gamma \left(n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}+1\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}+1\right)}}\\[8pt]&=\prod _{i\neq k}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i\neq k}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\Gamma \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {\Gamma \left(n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}\right)}}\left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&=\prod _{i}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&\propto \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d476a33921c6512adcb08e2f5a58cb5a6651a1e8)
