多項分布

多項分布
パラメータ

試行回数相互に排他的なイベントの数(整数)

事象確率、ここで
サポート
PMF
平均
分散
エントロピ
MGF
CFどこ
PGFのために

確率論において多項分布は二項分布の一般化です。例えば、k面サイコロをn回振った場合の各面の出目の確率をモデル化します。各試行がk個のカテゴリーのうち1つにのみ成功をもたらすようなn回の 独立した試行において、各カテゴリーには与えられた固定の成功確率が与えられている場合、多項分布は様々なカテゴリーにおける成功数の任意の組み合わせの確率を与えます。

kが2でnが1の場合、多項分布はベルヌーイ分布です。kが2でnが1より大きい場合分布です。k2より大きくnが1の場合、カテゴリ分布です。この4つの関係を強調するために、カテゴリ分布に対して「マルチヌーリ」という用語が使用されることがあります(つまり、nが接尾辞、kが接頭辞を決定します)。

ベルヌーイ分布は、1回のベルヌーイ試行の結果をモデル化します。言い換えれば、(おそらく偏りのある)コインを1回投げた結果が成功(表)か失敗(裏)かを表します。二項分布は、これを同じコインをn回独立に投げる(ベルヌーイ試行)際に表が出る回数に一般化します。多項分布は、 n回の実験の結果をモデル化します。この場合、各試行の結果はカテゴリ分布に従います。例えば、(おそらく偏りのある)k面サイコロをn回振る場合などです。

k を固定の有限数とします。数学的には、互いに排他的な結果が k 個ありそれぞれの確率はp 1、...、p k、およびn 回の独立した試行です。kの結果は互いに排他的で、必ず 1 つが発生するため、 i  = 1、...、  kおよびに対してp i  ≥ 0が成立します。この場合、ランダム変数X i がn 回の試行で結果番号iが観測される回数を示すとすると、ベクトルX  = ( X 1、...、  X k ) は、パラメータnおよびpを持つ多項分布に従います( p  = ( p 1、...、  p k ))。試行は独立していますが、結果X i は合計すると n になる必要があるため従属的です。

定義

確率質量関数

袋からk色の異なるn個のボールを取り出し、取り出したボールを毎回元に戻す実験を行うとします。同じ色のボールは等価です。取り出したボールの色ii = 1, ..., k)の個数を変数X iとし、取り出したボールが色iである確率をp iとします。この多項分布の確率関数は以下となります。

非負整数x 1、...、x kの場合。

確率質量関数はガンマ関数を使用して次のように表すことができます。

この形式は、共役事前分布であるディリクレ分布との類似性を示しています。

ある大国で行われた三者択一選挙で、候補者Aが20%、候補者Bが30%、候補者Cが50%の票を獲得したとします。6人の有権者を無作為に抽出した場合、標本中に候補者Aの支持者が1人、候補者Bの支持者が2人、候補者Cの支持者が3人いる確率はどれくらいでしょうか?

注:投票母集団が大きいと仮定しているため、標本に投票者が選ばれた後は確率は変化しないと考えるのが妥当かつ許容されます。技術的には、これは非復元抽出であるため、正しい分布は多変量超幾何分布ですが、固定標本サイズと比較して母集団が大きくなるにつれて、分布は収束します[1]

プロパティ

正規化

多項分布は次のように正規化されます。

ここで、和は となるすべての順列にわたって求められます

期待値と分散

n回の試行で結果iが観測される期待回数

分散行列は以下の通りである。対角要素はそれぞれ二項分布に従う確率変数の分散であり、したがって

対角要素以外の要素は共分散である。

ij は異なる

nが固定されている場合、多項式ベクトルの 1 つの要素が増加すると、別の要素が減少する必要があるため、すべての共分散は負になります。

これらの式をi、j要素を持つ行列に結合すると、 階数 k − 1 のk × k半正定値共分散行列が生成されます。k = nかつp i がすべて等しい 特殊なケースでは、共分散行列は中心化行列になります。

対応する相関行列の要素

この式では試行回数nが省略されていることに注意してください。

k個のコンポーネントのそれぞれは、下付き文字iの適切な値に対して、パラメーターnp iを持つ二項分布を個別に持ちます

多項分布のサポートは

その要素数は

行列表記

行列表記では、

そして

ここで、p Tは列ベクトルpの転置行ベクトルです

視覚化

一般化されたパスカルの三角形のスライスとして

二項分布をパスカルの三角形の(正規化された)1次元(1D)スライスとして解釈できるのと同様に、多項分布もパスカルのピラミッドの2次元(三角形)スライス、あるいはパスカルの三角形の高次元類似体の3次元/4次元/+(ピラミッド型)スライスとして解釈できます。これは、分布の値域の解釈、すなわち任意の次元における離散化された正三角形「ピラミッド」、すなわち格子を持つ単体の解釈を明らかにします[要出典]

多項式の係数として

同様に、二項分布を展開したときの多項式係数として解釈できるのと同様に、多項分布を展開したときの係数として解釈できます。ただし、係数の合計は 1 になる必要があることに注意してください。

大偏差理論

漸近解析

スターリングの公式によれば、 の極限においてとなり、ここでデータの相対頻度は経験分布 からの確率として解釈でき、はカルバック・ライブラー情報となる

この式は次のように解釈できます。

カテゴリ 上のすべての可能な分布の空間 を考えてみましょう。これは単体です。カテゴリ分布から独立にサンプルを抽出した後(多項分布を構築する方法)、経験分布 が得られます

漸近公式によれば、経験分布が実際の分布から逸脱する確率は指数関数的に減少し、その割合は となる。実験回数が増え、と の差が大きくなるほど、そのような経験分布が見られる可能性は低くなる。

が の閉部分集合である場合、 を に分割し、各部分におけるの成長率について推論すると、サノフの定理が得られます。これは、

大規模な集中n

指数関数的減衰により、 が大きい場合、確率質量のほぼすべてが の小さな近傍に集中します。この小さな近傍において、 のテイラー展開最初の非ゼロ項を取ると、 が得られます。これはガウス分布に似ており、次の定理が示唆されます。

定理。極限では分布はカイ2乗分布に収束します

多項分布 からサンプルを抽出し、2次元単体(ここでは黒の三角形で表示)内のサンプルのヒートマップをプロットすると、 のにつれて分布は点 の周りのガウス分布に収束し、等高線は楕円形に収束し、半径は のにつれて収束することがわかります。一方、離散点間の距離は のにつれて収束するため、離散多項分布は連続ガウス分布に収束します。
[証拠]

カテゴリ上のすべての分布の空間は単体:あり、実験後のすべての可能な経験分布の集合は単体 : の部分集合である。つまり、これは格子 と の交差である

が増加すると、確率質量の大部分は の近くのサブセットに集中し、 の近くの確率分布はによってよく近似されます。このことから、質量が集中しているサブセットの半径は のオーダーであることがわかりますが、サブセット内の点は のオーダーの距離で隔てられているため、 の大部分では、点は連続体に融合します。これを離散確率分布から連続確率密度に変換するには、 における の各点が占める体積を に掛ける必要がありますただし、対称性により、境界上の無視できるセットを除くすべての点は正確に同じ体積を占めるため、確率密度 が得られます。ここで、は定数です。

最後に、単体は全体ではなく次元平面内のみであるため、目的の結果が得られます。

条件付き集中n

上記の集中現象は、線形制約を条件とした場合に容易に一般化できます。これがピアソンのカイ二乗検定の理論的根拠です。

定理。点を含むデータセットで観測された頻度が与えられた場合、経験分布がこれらの制約をすべて同時に満たすような独立した線形制約 を課す(最初の制約は、経験分布の和が1になるという要件に過ぎないことに注意)。線形制約によって許容される単体のサブ領域への事前分布の -射影をとする。極限において、線形制約を条件とする多項式分布からサンプリングされたカウントはによって支配され、その分布はカイ2乗分布に収束する

[証拠]

同様の証明は、カウント変数 における連立線形方程式のディオファントス問題にも適用できますが[2]今回は交点であり、いずれも線形独立な超平面であるため、確率密度は -次元平面に制限されます。特に、制約付き問題において、KLダイバージェンスをその最小値の の -射影)を中心に展開すると、 -ダイバージェンスのピタゴラス定理により、カウント内の定数項と線形項は、それらのカウントを多国間でサンプリングする条件付き確率から消えることが保証されます。

定義により、 はすべて有理数でなければならないのに対し、は の任意の実数から選択でき、ディオファントス方程式系を満たす必要はないことに注意してください。 の漸近的にのみ、 のは 上の確率とみなすことができます

経験的に観察される制約(モーメントや普及率など)から離れて、定理は一般化できます。

定理。

  • 関数 がの近傍で連続的に微分可能であり、ベクトルが線形独立であるとすると、
  • 与えられたシーケンス各 に対して漸近的に となる
  • 制約条件付きの多項分布の場合、量は極限で分布が収束することになります

すべてが等しい場合、定理は最大エントロピーの周りのエントロピーの集中に帰着する。[3] [4]

自然言語処理などの一部の分野では、カテゴリ分布と多項分布は同義語であり、実際にはカテゴリ分布を指しているにもかかわらず、多項分布と呼ぶことがよくあります。これは、カテゴリ分布の結果を、範囲 内の整数ではなく、「1-of-k」ベクトル(1つの要素が1で、他のすべての要素が0であるベクトル)で表現する方が便利な場合があることに由来します。この形式では、カテゴリ分布は1回の試行における多項分布と同等です。

統計的推論

多項分布の同等性検定

同等性検定の目的は、理論的な多項分布と観測された計数頻度との一致を確立することです。理論的な分布は、完全に指定された多項分布、またはパラメトリックな多項分布族のいずれかです。

が理論的な多項分布を表し、がの基礎分布であるとする。分布 とは、距離と許容パラメータに対して同等であるとみなされる。同等性検定問題は、と を比較する問題である。真の基礎分布は未知である。代わりに、計数頻度が観測される。ここで はサンプルサイズである。同等性検定ではを棄却するために使用するを棄却できる場合、 と の間の同等性が所定の有意水準で示される。ユークリッド距離の同等性検定は Wellek (2010) の教科書に記載されている。[5]総変動距離の同等性検定は Ostrovski (2017) で開発されている。[6]特定の累積距離の正確な同等性検定は Frey (2009) で提案されている。[7]

真の基礎分布と多項分布族との間の距離は で定義されます。この場合、同値性検定問題は および で与えられますこの距離は通常、数値最適化を用いて計算されます。この場合の検定は、最近Ostrovski (2018)によって開発されました。[8]

2つの割合の差の信頼区間

多項分布の設定では、2 つのイベントからの観測値の割合の差に対する信頼区間を構築するには、サンプル推定値との間の負の共分散を組み込む必要があります

このテーマに関する文献の中には、マッチドペアのバイナリデータの使用例に焦点を当てたものもあり、その式を任意の多項分布の一般的なケースに置き換える際には注意が必要です。本節では一般化された式を扱いますが、次の節ではマッチドペアのバイナリデータの使用例に焦点を当てます。

ワルドの比率差の標準誤差(SE)は次式で推定できる: [9] : 378  [10]

おおよその信頼区間の場合誤差の幅には次のように標準正規分布からの適切な分位数が組み込まれることがあります。

[証拠]

標本サイズ( )が増加すると、多次元中心極限定理(クラメール・ウォルドの定理を用いて示すこともできる)により、標本割合は多変量正規分布に近似的に従うようになる。したがって、それらの差も近似的に正規分布となる。また、これらの推定値は弱整合的であり、これらを標準誤差推定値に代入すると、これも弱整合的になる。したがって、スラツキーの定理により中心量は標準正規分布 に 近似的に従う。そして、そこから上記の近似的な信頼区間が直接導かれる。

SE は、2 つのランダム変数の差の分散計算を使用して構築できます

連続性補正を含む修正は、次のように誤差の範囲を増加させる: [11] :102–103 

もう一つの選択肢は、ジェフリーズ事前分布を用いたベイズ推定量に頼ることです。この方法では、すべてのパラメータが0.5となるディリクレ分布を事前分布として用いることになります。事後分布は上記の計算値に、 k個の要素それぞれに1/2を加えたものとなり、サンプルサイズは全体で だけ増加します。これはもともと4つのイベントを持つ多項式分布のために開発されたもので、マッチドペアデータの解析に用いられるwald+2分布として知られています(詳細は次のセクションを参照)。[12]

これにより、次の SE が生成されます。

[証拠]

これを次のように元の Wald の式に代入します。

発生と応用

マッチドペアの2値データにおける差の信頼区間(多項式を使用)k=4

マッチドペアのバイナリデータの場合、マッチしたイベントの割合の差の信頼区間を構築することが一般的なタスクです。例えば、ある疾患の検査があり、ある集団を対象に2つの時点(1と2)で検査結果を確認し、その期間中に疾患の陽性者の割合に変化があったかどうかを確認したいとします。

このようなシナリオは、各イベントの組み合わせを持つ要素の数を示す2行2列の分割表を用いて表すことができます。標本頻度には小文字のf()、母集団頻度には大文字のF( )を使用できます。これらの4つの組み合わせは、多項分布(4つの潜在的な結果を持つ)から得られるものとしてモデル化できます。標本と母集団のサイズはそれぞれnNとすることができます。このような場合、次の(標本抽出された)分割表の周辺分布から、割合の差の信頼区間を構築することに関心があります。

検査2件陽性テスト2は陰性でした行合計
検査1件陽性
テスト1は陰性でした
列合計

この場合、周辺比率の差を確認するには、以下の定義を使用することになります:。そして、信頼区間を構築したい差は次のようになります。

したがって、周辺正の比率の信頼区間()は、2行2列の分割表の第2対角線からの比率の差の信頼区間()を構築することと同じです。

このような差のp値を計算することは、マクネマー検定として知られています。p値の信頼区間は、2つの割合の差の信頼区間で説明した方法を用いて構築できます。

前節で示したワルド信頼区間は、この設定にも適用可能であり、文献では別の表記法を用いて示されている。具体的には、しばしば提示される標準誤差は、標本割合ではなく分割表の頻度に基づいている。例えば、上記に示したワルド信頼区間は、次のように表される。[11] : 102–103 

文献のさらなる研究では、ワルド法と連続性補正法の両方にいくつかの欠点があることが明らかになっており、実用化に向けて他の方法が提案されている。[11]

こうした修正の 1 つに、Agresti と Min による Wald+2(彼らの他の研究[13]に類似)があり、各セル頻度に追加の値が加えられています。[12]これにより、Wald+2信頼区間が生まれます。ベイズ解釈では、これは、すべてのパラメーターが 0.5 に等しいディリクレ分布(実際にはJeffreys 事前分布)を事前分布として推定値を構築するようなものです。wald +2という名前に含まれる+2は、2 バイ 2 の分割表(4 つの可能性のあるイベントを持つ多項式分布)のコンテキストでは、各イベントに観測値の半分を追加するので、全体で 2 つの観測値が追加される(事前分布による)ことを意味すると解釈できます。

これにより、マッチしたペア データの場合には次の修正された SE が得られます。

これを次のように元の Wald の式に代入します。

その他の修正としては、Bonett と Price の Adjusted WaldNewcombe の Score などがあります。

計算方法

ランダム変数生成

まず、パラメータを降順で並べ替えます(これは計算を高速化するためであり、厳密には必要ではありません)。次に、各試行において、一様(0, 1)分布から補助変数Xを取得します。結果として得られる結果は、成分

{ X j = 1, X k = 0 ( k  ≠  jの場合) は、 n = 1の多項分布からの 1 つの観測値です。この実験の独立した繰り返しの合計は、 nがそのような繰り返しの数に等しい 多項分布からの 1 つの観測値です。

繰り返し条件付き二項標本を用いたサンプリング

パラメータとサンプルの合計 が与えられ、の場合、状態空間を とでないに分割し、すでに取得されたサンプルを条件として、これを繰り返し実行することにより、任意の状態 の数 を連続的にサンプリングすることが可能です。

アルゴリズム: 条件付き二項サンプリング

S = n rho = 1 for i in [ 1 ,k-1 ] : rho ! = 0の場合: X [ i ] ~ Binom ( S,p [ i ] /rho )それ以外の場合X [ i ] = 0 S = S - X [ i ] rho = rho - p [ i ]
X [ k ] = S                               

経験的に、二項標本抽出の各適用は、抽出可能なサンプル数を減らし、条件付き確率も同様に更新して論理的一貫性を確保します。[14]

ソフトウェア実装

  • MultinomialCI Rパッケージは観測値のセットが与えられた場合の多項分布の確率の同時信頼区間を計算することを可能にする。[15]

参照

参考文献

  1. ^ 「確率 - 多項式分布サンプリング」。Cross Validated . 2022年7月28日閲覧
  2. ^ Loukas, Orestis; Chung, Ho Ryun (2023). 「Total Empiricism: Learning from Data」. arXiv : 2311.08315 [math.ST].
  3. ^ Loukas, Orestis; Chung, Ho Ryun (2022年4月). 「限界制約下における最大エントロピーのカテゴリカル分布」. arXiv : 2204.03406 [hep-th].
  4. ^ Loukas, Orestis; Chung, Ho Ryun (2022年6月). 「エントロピーに基づくモデリング制約の特性評価」. arXiv : 2206.14105 [stat.ME].
  5. ^ ウェレック、ステファン (2010).同等性と非劣性の統計的仮説の検定. チャップマン・アンド・ホール/CRC. ISBN 978-1439808184
  6. ^ Ostrovski, Vladimir (2017年5月). 「多項式分布の同値性の検定」. Statistics & Probability Letters . 124 : 77–82 . doi :10.1016/j.spl.2017.01.004. S2CID  126293429.公式ウェブリンク(登録が必要です)。代替の無料ウェブリンク。
  7. ^ Frey, Jesse (2009年3月). 「同等性のための正確な多項式検定」.カナダ統計ジャーナル. 37 : 47–59 . doi :10.1002/cjs.10000. S2CID  122486567.公式ウェブリンク(サブスクリプションが必要です)。
  8. ^ Ostrovski, Vladimir (2018年3月). 「多項式分布族の同値性の検定と独立性モデルへの応用」. Statistics & Probability Letters . 139 : 61–66 . doi :10.1016/j.spl.2018.03.014. S2CID  126261081.公式ウェブリンク(登録が必要です)。代替の無料ウェブリンク。
  9. ^ フライス, ジョセフ・L.; レビン, ブルース; パイク, ミョンヒ・チョ (2003). 『比率と割合の統計的手法(第3版)』 ホーボーケン, ニュージャージー: J. Wiley. p. 760. ISBN 9780471526292
  10. ^ Newcombe, RG (1998). 「独立割合間の差の区間推定:11手法の比較」. Statistics in Medicine . 17 (8): 873– 890. doi :10.1002/(SICI)1097-0258(19980430)17:8<873::AID-SIM779>3.0.CO;2-I. PMID  9595617.
  11. ^ abc 「2つの相関する割合の差の信頼区間」(PDF) NCSS 。 2022年3月22日閲覧
  12. ^ ab Agresti, Alan; Min, Yongyi (2005). 「対応した割合を比較するための簡便で改良された信頼区間」(PDF) . Statistics in Medicine . 24 (5): 729– 740. doi :10.1002/sim.1781. PMID  15696504.
  13. ^ Agresti, A.; Caffo, B. (2000). 「成功2回と失敗2回を加えることで、割合と割合の差に関する単純かつ効果的な信頼区間が得られる」アメリカ統計学者54 ( 4): 280– 288. doi :10.1080/00031305.2000.10474560.
  14. ^ 「11.5: 多項式分布」Statistics LibreTexts . 2020年5月5日. 2023年9月13日閲覧
  15. ^ 「MultinomialCI - 多項式比率の信頼区間」CRAN、2021年5月11日。 2024年3月23日閲覧

さらに読む

Retrieved from "https://en.wikipedia.org/w/index.php?title=Multinomial_distribution&oldid=1322741967"