最大エントロピー確率分布

Probability distribution that has the most entropy of a class

統計学および情報理論において、最大エントロピー確率分布は、特定の確率分布クラスの他のすべてのメンバーのエントロピーと少なくとも同じ大きさのエントロピーを持つ。最大エントロピーの原理によれば、ある分布が特定のクラス（通常は特定の特性または尺度によって定義される）に属していること以外何も知られていない場合、最大エントロピーを持つ分布が最も情報量の少ないデフォルトとして選択されるべきである。その動機は2つある。1つは、エントロピーを最大化することで、分布に組み込まれる事前情報の量が最小化されること、2つ目として、多くの物理システムは時間の経過とともに最大エントロピー構成へと向かう傾向があることである。

エントロピーと微分エントロピーの定義

が確率密度を持つ連続確率変数である場合、の微分エントロピーは次のように定義される^{[1] [2] [3]} ${\displaystyle X}$ ${\displaystyle p(x)}$ ${\displaystyle X}$

$${\displaystyle H(X)=-\int _{-\infty }^{\infty }p(x)\log p(x)\,dx~.}$$

が分布によって与えられる離散確率変数である場合、エントロピーは次のように定義される。 ${\displaystyle X}$ $${\displaystyle \Pr(X{=}x_{k})=p_{k}\qquad {\text{ for }}\quad k=1,2,\ldots }$$ ${\displaystyle X}$ $${\displaystyle H(X)=-\sum _{k\geq 1}p_{k}\log p_{k}\,.}$$

一見発散する項は、常にゼロに置き換えられる。 ${\displaystyle p(x)\log p(x)}$ ${\displaystyle p(x)=0\,.}$

これは、エントロピー（情報理論）、最大エントロピーの原理、および微分エントロピーの各記事で説明されているより一般的な形式の特殊なケースです。最大エントロピー分布に関しては、最大化によってより一般的な形式も最大化されるため、これが唯一必要な形式です。 ${\displaystyle H(X)}$

対数の底は、一貫して同じ底が使われている限り重要ではありません。底の変更は、エントロピーのスケール変更に過ぎません。情報理論家は、エントロピーをビット単位で表すために底を2とすることを好む場合があります。一方、数学者や物理学者は、エントロピーの単位が「nat」となる自然対数を好むことが多いです。

しかし、ルベーグ測度の典型的な使用は「自然な」選択として擁護されることが多いものの、選択された測度 は非常に重要です。どの測度が選択されるかによって、エントロピーと、その結果として最大エントロピー分布が決まります。 ${\displaystyle dx}$

測定定数を持つ分布

適用可能な興味深い統計分布の多くは、モーメントやその他の測定可能な量が定数となるように制約されている分布です。ルートヴィヒ・ボルツマンによる以下の定理は、これらの制約の下での確率密度の形を示しています。

連続ケース

が実数の連続した閉部分集合であるとし、測定可能な関数と数を指定することにします。 上でサポートされ（つまり、 の外側では密度関数がゼロになる）、モーメント条件を満たすすべての実数値ランダム変数のクラスを考えます。 ${\displaystyle S}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle n}$ ${\displaystyle f_{1},\ldots ,f_{n}}$ ${\displaystyle n}$ ${\displaystyle a_{1},\ldots ,a_{n}.}$ ${\displaystyle C}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle n}$

$${\displaystyle \operatorname {E} [f_{j}(X)]\geq a_{j}\qquad {\text{for }}\quad j=1,\ldots ,n}$$

のどこにいても密度関数が正であるような要素があり、 に対する最大エントロピー分布が存在する場合、その確率密度は次の形式になります。 ${\displaystyle C}$ ${\displaystyle S,}$ ${\displaystyle C,}$ ${\displaystyle p(x)}$

$${\displaystyle p(x)=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\qquad {\text{ for all }}~x\in S}$$

ここで、定数とラグランジュ乗数は制約付き最適化問題を解くと仮定する（積分すると1になることを保証する）：^[4] ${\displaystyle f_{0}(x)=1\,.}$ ${\displaystyle \lambda _{0}}$ ${\displaystyle n}$ ${\displaystyle {\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})}$ ${\displaystyle a_{0}=1}$ ${\displaystyle p}$

$${\displaystyle \max _{\lambda _{0};\,{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\int \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)dx\right\}\qquad ~{\text{ subject to }}~{\boldsymbol {\lambda }}\geq \mathbf {0} }$$

カルーシュ・キューン・タッカー条件を用いると、最適化問題には唯一の解が存在することが示せる。なぜなら最適化の目的関数は、 ${\displaystyle {\boldsymbol {\lambda }}\,.}$

モーメント制約が不等式ではなく等式である場合、つまり、

$${\displaystyle \operatorname {E} [f_{j}(X)]=a_{j}\qquad {\text{ for }}~j=1,\ldots ,n\,,}$$

制約条件を削除すると、ラグランジュ乗数の最適化が制約されなくなります。 ${\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$

離散的なケース

は実数の（有限または無限の）離散部分集合であるとし、関数と数を指定することにする。我々は、上でサポートされ、モーメント条件を満たすすべての離散確率変数のクラスを考える。 ${\displaystyle S=\{x_{1},x_{2},\ldots \}}$ ${\displaystyle n}$ ${\displaystyle f_{1},\ldots ,f_{n}}$ ${\displaystyle n}$ ${\displaystyle a_{1},\ldots ,a_{n}\,.}$ ${\displaystyle C}$ ${\displaystyle X}$ ${\displaystyle S}$ ${\displaystyle n}$

$${\displaystyle \operatorname {E} [f_{j}(X)]\geq a_{j}\qquad ~{\text{ for }}~j=1,\ldots ,n}$$

のすべてのメンバーに正の確率を割り当てるクラスのメンバーが存在し、の最大エントロピー分布が存在する場合、この分布は次の形状になります。 ${\displaystyle C}$ ${\displaystyle S}$ ${\displaystyle C,}$

$${\displaystyle \Pr(X{=}x_{k})=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\qquad {\text{ for }}~k=1,2,\ldots }$$

ここで、定数は制約付き最適化問題を解くと仮定する：^[5] ${\displaystyle f_{0}=1}$ ${\displaystyle \lambda _{0},\,{\boldsymbol {\lambda }}\equiv (\lambda _{1},\ldots ,\lambda _{n})}$ ${\displaystyle a_{0}=1}$

$${\displaystyle \max _{\lambda _{0};\,{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\sum _{k\geq 1}\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\right\}\qquad {\text{ for which }}~{\boldsymbol {\lambda }}\geq \mathbf {0} }$$

上記と同様に、モーメント条件が不等式ではなく等式である場合、制約条件は最適化に存在しません。 ${\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$

等式制約の場合の証明

等式制約の場合、この定理は変分法とラグランジュ乗数を用いて証明される。制約は次のように書ける。

$${\displaystyle \int _{-\infty }^{\infty }f_{j}(x)p(x)\,dx=a_{j}}$$

機能的な

$${\displaystyle J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}\,dx-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)\,dx-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)\,dx-a_{j}\right)}$$

ここで、 とはラグランジュ乗数である。ゼロ番目の制約は、確率公理の第二公理を保証する。他の制約は、関数の測定値が 次までの定数で与えられることである。関数の微分がゼロのとき、エントロピーは極値に達する。 ${\displaystyle \eta _{0}}$ ${\displaystyle \lambda _{j},j\geq 1}$ ${\displaystyle n}$

$${\displaystyle {\frac {\delta J(p)}{\delta p}}=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0}$$

したがって、この場合の極値エントロピー確率分布は（）の形式でなければならない。 ${\displaystyle \lambda _{0}:=\eta _{0}-1}$

$${\displaystyle p(x)=e^{-1+\eta _{0}}\,e^{\sum _{j=1}^{n}\lambda _{j}f_{j}(x)}=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right),}$$

ということを覚えておいてください。この解の周りの変化が常に負であることを確認することで、これが最大解であることが検証できます。 ${\displaystyle f_{0}(x)=1}$

最大値の一意性

とが期待制約を満たす分布であると仮定する。分布を とすると、この分布が期待制約を満たし、さらに が支持として存在することが明らかである。エントロピーに関する基本的な事実から、 が成り立つ。それぞれ と の極限をとると、 が得られる。 ${\displaystyle p}$ ${\displaystyle p'}$ ${\displaystyle \alpha \in (0,1)}$ ${\displaystyle q=\alpha \,p+(1-\alpha )\,p'}$ ${\displaystyle \operatorname {supp} (q)=\operatorname {supp} (p)\cup \operatorname {supp} (p')\,.}$ ${\displaystyle {\mathcal {H}}(q)\geq \alpha \,{\mathcal {H}}(p)+(1-\alpha )\,{\mathcal {H}}(p').}$ ${\displaystyle \alpha \to 1}$ ${\displaystyle \alpha \to 0\,,}$ ${\displaystyle {\mathcal {H}}(q)\geq {\mathcal {H}}(p),{\mathcal {H}}(p')\,.}$

したがって、期待値制約を満たし、エントロピーを最大化する分布は、必ず完全な支持を持つ、つまりほぼすべての点で正の分布となる必要がある。したがって、最大化分布は、期待値制約を満たす分布空間内の内部点、すなわち局所的な極値でなければならない。したがって、エントロピーを最大化する分布が唯一であることを示すには、局所的な極値が唯一であることを示すだけで十分である（そして、これは局所的な極値が全体的最大値であることも示す）。

とが局所的極値であると仮定する。上記の計算を再定式化すると、これらはと を介してパラメータによって特徴付けられる。ここでも同様である。ここで一連の恒等式に注意する。期待値制約の充足と勾配/方向微分を用いることで、次式が得られる。 ${\displaystyle p}$ ${\displaystyle p'}$ ${\displaystyle {\boldsymbol {\lambda }},\,{\boldsymbol {\lambda }}'\in \mathbb {R} ^{n}}$ ${\displaystyle p(x)={\exp \left\langle {\boldsymbol {\lambda }},\mathbf {f} (x)\right\rangle }/{C({\boldsymbol {\lambda }})}}$ ${\displaystyle p',}$ ${\textstyle C({\boldsymbol {\lambda }})=\int _{\mathbb {R} }\exp \left\langle {\boldsymbol {\lambda }},\mathbf {f} (x)\right\rangle \,dx\,.}$

${\displaystyle {\left.D\log C(\cdot )\right|}_{\boldsymbol {\lambda }}={\left.{\tfrac {DC(\cdot )}{C(\cdot )}}\right|}_{\boldsymbol {\lambda }}=\operatorname {E} _{p}\left[\mathbf {f} (X)\right]=\mathbf {a} }$同様にLettingについても次のようになります。 ${\displaystyle {\boldsymbol {\lambda }}'~.}$ ${\displaystyle u={\boldsymbol {\lambda }}'-{\boldsymbol {\lambda }}\in \mathbb {R} ^{n}}$

$${\displaystyle 0=\left\langle u,\mathbf {a} -\mathbf {a} \right\rangle ={\left.D_{u}\log C(\cdot )\right|}_{{\boldsymbol {\lambda }}'}-{\left.D_{u}\log C(\cdot )\right|}_{\boldsymbol {\lambda }}={\left.D_{u}^{2}\log C(\cdot )\right|}_{\boldsymbol {\gamma }}}$$

さらに計算を行うと、 ${\displaystyle {\boldsymbol {\gamma }}=\theta {\boldsymbol {\lambda }}+(1-\theta ){\boldsymbol {\lambda }}'}$ ${\displaystyle \theta \in (0,1).}$

$${\displaystyle {\begin{aligned}0&={\left.D_{u}^{2}\log C(\cdot )\right|}_{\boldsymbol {\gamma }}\\[1ex]&={\left.D_{u}\left({\frac {D_{u}C(\cdot )}{C(\cdot )}}\right)\right|}_{\boldsymbol {\gamma }}={\left.{\frac {D_{u}^{2}C(\cdot )}{C(\cdot )}}\right|}_{\boldsymbol {\gamma }}-{\left.{\frac {{\left(D_{u}C(\cdot )\right)}^{2}}{C(\cdot )^{2}}}\right|}_{\boldsymbol {\gamma }}\\[1ex]&=\operatorname {E} _{q}\left[{\left\langle u,\mathbf {f} (X)\right\rangle }^{2}\right]-{\left(\operatorname {E} _{q}\left[\left\langle u,\mathbf {f} (X)\right\rangle \right]\right)}^{2}\\[2ex]&=\operatorname {Var} _{q}\left[\left\langle u,\mathbf {f} (X)\right\rangle \right]\end{aligned}}}$$

ここで、は上記の分布に似ていますが、パラメータ化は によってのみ行われます。観測量の非自明な線形結合は、ほとんどどこでも(ae) 一定ではないと仮定します（例えば、観測量が独立でaeが一定でない場合などに当てはまります）。 の分散はゼロではありません。ただし、の場合は、 上記の式から、後者が当てはまらなければならないことは明らかです。したがって、局所的極値を特徴付けるパラメータは同一であり、分布自体も同一であることを意味します。したがって、局所的極値は一意であり、上記の議論により、最大値も一意です（ただし、局所的極値が実際に存在する場合）。 ${\displaystyle q}$ ${\displaystyle {\boldsymbol {\gamma }}~,}$ ${\displaystyle \langle u,\mathbf {f} (X)\rangle }$ ${\displaystyle u=0~.}$ ${\displaystyle {\boldsymbol {\lambda }}'-{\boldsymbol {\lambda }}=u=0\,,}$ ${\displaystyle p,\,p'}$

注意点

すべての分布クラスが最大エントロピー分布を含むわけではないことに注意してください。クラスによっては、任意の大きさのエントロピーを持つ分布（例えば、平均が0で標準偏差が任意のR上の連続分布のクラス）を含む場合や、エントロピーが上限で定義されていても最大エントロピーを達成する分布が存在しない場合があります。^[a]また、クラスCの期待値制約により、 Sの特定の部分集合において確率分布が0になる場合もあります。その場合、定理は適用されませんが、集合Sを縮小することでこの問題を回避できます。

例

あらゆる確率分布は、その分布が自身のエントロピーを持つという制約の下では、自明に最大エントロピー確率分布となる。これを確認するには、密度を と書き直し、上記の定理の式と比較する。を測定可能な関数と とすることで、 ${\displaystyle p(x)=\exp {(\ln {p(x)})}}$ ${\displaystyle \ln {p(x)}\rightarrow f(x)}$

$${\displaystyle \int \exp {(f(x))}f(x)dx=-H}$$

定数となるのは、制約条件の下での最大エントロピー確率分布である。 ${\displaystyle p(x)}$

$${\displaystyle \int p(x)f(x)\,dx=-H.}$$

非自明な例としては、エントロピーの割り当てとは異なる複数の制約を受ける分布が挙げられます。これらは、同じ手順から始めて、複数の部分に分割できることを発見することで見つかることがよくあります。 ${\displaystyle \ln {p(x)}\to f(x)}$ ${\displaystyle f(x)}$

最大エントロピー分布の例の表は、Lisman (1972) ^[6]とPark & Bera (2009) ^{[7]に示されている。}

一様分布と区分一様分布

区間 [ a , b ] 上の均一分布は、区間 [ a , b ] でサポートされるすべての連続分布の中で最大エントロピー分布であるため、区間外の確率密度は 0 になります。この均一密度は、ラプラスの無差別原理 (不十分な理由の原理と呼ばれることもある) に関連付けることができます。より一般的には、区間 [ a , b ] の細分a = a ₀ < a ₁ < ... < a _k = bと、合計が 1 になる確率p ₁、...、p _kが与えられている場合、すべての連続分布のクラスを次のように考えることができます 。このクラスの最大エントロピー分布の密度は、各区間 [ a _{j −1}、a _j ] で一定です。有限集合 { x ₁、...、x _n } (これらの値のそれぞれに 1/ nの確率を割り当てる) 上の均一分布は、この集合でサポートされるすべての離散分布の中で最大エントロピー分布です。 $${\displaystyle \Pr(a_{j-1}\leq X<a_{j})=p_{j}\quad {\text{ for }}j=1,\ldots ,k}$$

正の指定平均：指数分布

指数分布の密度関数は

$${\displaystyle p(x|\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0,\end{cases}}}$$

は、[0,∞)でサポートされている、指定された平均が1/λであるすべての連続分布の中で最大のエントロピー分布です。

[0,∞) でサポートされる分布の場合、最大エントロピー分布は第一モーメントと第二モーメントの関係に依存します。特定のケースでは、指数分布となる場合もあれば、他の分布となる場合もあり、あるいは定義不可能な場合もあります。^[8]

指定された平均と分散：正規分布

正規分布 N ( μ , σ ² )の密度関数は

$${\displaystyle p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},}$$

は、指定された分散σ ²（特定のモーメント）を持つ、(−∞,∞) 上で支持されるすべての実数値分布の中で最大のエントロピーを持つ。平均μと分散σ ²が指定された場合（最初の2つのモーメント）も同様である。これは、エントロピーが(−∞,∞) 上で並進不変であるためである。したがって、正規性の仮定は、これらのモーメントを超えると、最小の事前構造制約を課す。（導出については微分エントロピーの記事を参照のこと。）

指定された平均を持つ離散分布

指定された平均 μ を持つ集合 { x ₁ ,..., x _n } でサポートされているすべての離散分布の中で、最大エントロピー分布は次の形状になります。 ここで、正の定数Cとr は、すべての確率の合計が 1 で、期待値が μ であるという要件によって決定できます。 $${\displaystyle \Pr(X{=}x_{k})=Cr^{x_{k}}\quad {\text{ for }}k=1,\ldots ,n}$$

例えば、N個のサイコロを投げ、出た目の合計がSであると告げられたとします。この情報だけに基づいて、1、2、…、6が出るサイコロの個数について、どのような仮定が妥当でしょうか？これは、{ x ₁ ,…, x ₆ } = {1,…,6}、μ = S / Nの場合の、上記で検討した状況の一例です。

最後に、平均μの無限集合上で支持されるすべての離散分布の中で、最大エントロピー分布は次の形をとる。ここでも定数Cとrは、すべての確率の合計が1で、期待値がμであるという要件によって決定される。例えば、 x _k = kの場合、次の式が成り立つ 。 ${\displaystyle \{x_{1},x_{2},...\}}$ $${\displaystyle \Pr(X{=}x_{k})=Cr^{x_{k}}\quad {\text{ for }}k=1,2,\ldots ,}$$ $${\displaystyle C={\frac {1}{\mu -1}},\quad \quad r={\frac {\mu -1}{\mu }},}$$

それぞれの最大エントロピー分布は幾何分布となる。

循環確率変数

単位円の周りに分布する連続ランダム変数の場合、フォン・ミーゼス分布は、第1円モーメントの実部と虚部が指定されているときにエントロピーを最大化します^[9] 。または、同等に、円平均と円分散が指定されています。 ${\displaystyle \theta _{i}}$

角度の平均と分散を法として指定すると、ラップされた正規分布はエントロピーを最大化します。^[9] ${\displaystyle \theta _{i}}$ ${\displaystyle 2\pi }$

指定された平均、分散、歪度の最大化

指定された平均、分散、歪度を持つ連続確率変数のエントロピーには上限が存在する。しかし、この上限を満たす分布は存在しない。なぜなら、のとき は非有界だからである（Cover & Thomas (2006: 第12章)を参照）。 ${\displaystyle \mathbb {R} }$ ${\displaystyle p(x)=c\exp {(\lambda _{1}x+\lambda _{2}x^{2}+\lambda _{3}x^{3})}}$ ${\displaystyle \lambda _{3}\neq 0}$

しかし、最大エントロピーはεで達成可能です。つまり、分布のエントロピーは上限に任意に近い値を取ることができます。まず、指定された平均と分散を持つ正規分布から始めます。正の歪度を導入するには、正規分布を平均よりσ倍も大きい値で上方にわずかに摂動させます。歪度は3次モーメントに比例するため、低次のモーメントよりも影響を受けます。

これは、 xの任意の奇数次多項式の指数関数が上で有界にならない一般的なケースの特殊なケースです。例えば、は 上で同様に有界ではありませんが、台が有界または半有界の区間に限定されている場合、エントロピーの上限が達成される可能性があります（例えば、x が区間 [0,∞] にあり、λ< 0の場合、指数分布が成立します）。 ${\displaystyle \mathbb {R} }$ ${\displaystyle ce^{\lambda x}}$ ${\displaystyle \mathbb {R} }$

指定された平均と偏差のリスク測定の最大化

対数凹密度を持つすべての分布は 、指定された平均μと偏差リスク尺度 Dを持つ最大エントロピー分布である 。^[10]

特に、指定された平均と偏差を持つ最大エントロピー分布は次のようになります。 ${\displaystyle E(X)\equiv \mu }$ ${\displaystyle D(X)\equiv d}$

• 標準偏差が の場合の正規分布 ; ${\displaystyle {\mathcal {N}}(m,d^{2}),}$ ${\textstyle D(X)={\sqrt {\operatorname {E} \left[{\left(X-\mu \right)}^{2}\right]}}}$
• ラプラス分布は、平均絶対偏差が の場合、^[6] ${\displaystyle D(X)=\operatorname {E} \left\{\left|X-\mu \right|\right\}}$
• の形の分布の密度は標準下側半偏差であり、は定数であり、関数は引数の負の値のみを返し、それ以外の場合はゼロを返す。^[10] ${\displaystyle f(x)=c\exp \left(ax+b{\downharpoonright x-\mu \downharpoonleft }_{-}^{2}\right)}$ ${\textstyle D(X)={\sqrt {\operatorname {E} \left\{{\downharpoonright X-\mu \downharpoonleft }_{-}^{2}\right\}}}}$ ${\displaystyle a,b,c}$ ${\displaystyle \downharpoonright y\downharpoonleft _{-}\equiv \min \left\{0,y\right\}~{\text{ for any }}y\in \mathbb {R} \,,}$

その他の例

以下の表では、記載されている各分布は、3列目にリストされている特定の機能制約セットと、4列目にリストされている確率密度のサポートに含まれる制約のエントロピーを最大化します。^{[6] [7]} ${\displaystyle x}$

列挙されているいくつかの例（ベルヌーイ、幾何、指数、ラプラス、パレート）は、関連する制約がエントロピーの割り当てと等価であるため、自明に成り立ちます。これらの制約は、一般的な量、あるいは容易に測定できる量に関連しているため、いずれにせよここに含めています。

参考までに、はガンマ関数、はディガンマ関数、はベータ関数、はオイラー・マスケロニ定数です。 ${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}\,dt}$ ${\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$ ${\displaystyle B(p,q)={\frac {\Gamma (p)\,\Gamma (q)}{\Gamma (p+q)}}}$ ${\displaystyle \gamma _{\mathsf {E}}}$

確率分布とそれに対応する最大エントロピー制約の表

配布名	確率密度/質量関数	最大エントロピー制約	サポート
均一（離散的）	${\displaystyle f(k)={\frac {1}{b-a+1}}}$	なし	${\displaystyle \{a,a+1,...,b-1,b\}}$
均一（連続）	${\displaystyle f(x)={\frac {1}{b-a}}}$	なし	${\displaystyle [a,b]}$
ベルヌーイ	${\displaystyle f(k)=p^{k}{\left(1-p\right)}^{1-k}}$	${\displaystyle \operatorname {E} [K]=p}$	${\displaystyle \{0,1\}}$
幾何学的	${\displaystyle f(k)={\left(1-p\right)}^{k-1}p}$	${\displaystyle \operatorname {E} [K]={\frac {1}{p}}}$	${\displaystyle \mathbb {N} \setminus \left\{0\right\}=\{1,2,3,...\}}$
指数関数	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle \operatorname {E} [X]={\frac {1}{\lambda }}}$	${\displaystyle [0,\infty )}$
ラプラス	${\displaystyle f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)}$	${\displaystyle \operatorname {E} [|X-\mu |]=b}$	${\displaystyle \mathbb {R} }$
非対称ラプラス	${\displaystyle f(x)={\frac {\lambda \exp \left[-(x-m)\,\lambda \,s\,\kappa ^{s}\right]}{\kappa +{\frac {1}{\kappa }}}}}$ どこ ${\displaystyle ~s\equiv \operatorname {sgn}(x-m)}$	${\displaystyle \operatorname {E} \left[(X-m)s\kappa ^{s}\right]={\frac {1}{\lambda }}}$	${\displaystyle \mathbb {R} }$
パレート	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}}$	${\displaystyle \operatorname {E} [\ln X]={\frac {1}{\alpha }}+\ln(x_{m})}$	${\displaystyle [x_{m},\infty )}$
普通	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \operatorname {E} [X]=\mu \,,}$ ${\displaystyle \operatorname {E} \left[X^{2}\right]=\sigma ^{2}+\mu ^{2}}$	${\displaystyle \mathbb {R} }$
切り捨て正規分布	（記事参照）	${\displaystyle \operatorname {E} \left[X\right]=\mu _{\mathsf {T}}\,,}$ ${\displaystyle \operatorname {E} \left[X^{2}\right]=\sigma _{\mathsf {T}}^{2}+\mu _{\mathsf {T}}^{2}}$	${\displaystyle [a,b]}$
フォン・ミーゼス	${\displaystyle f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp \left(\kappa \cos {(\theta -\mu )}\right)}$	${\displaystyle \operatorname {E} [\cos \Theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\cos \mu \,,}$ ${\displaystyle \operatorname {E} [\sin \Theta ]={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu }$	${\displaystyle [0,2\pi )}$
レイリー	${\displaystyle f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \operatorname {E} \left[X^{2}\right]=2\sigma ^{2}\,,}$ ${\displaystyle \operatorname {E} [\ln X]={\frac {\ln(2\sigma ^{2})-\gamma _{\mathrm {E} }}{2}}}$	${\displaystyle [0,\infty )}$
ベータ	${\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}}$のために ${\displaystyle 0\leq x\leq 1}$	${\displaystyle \operatorname {E} [\ln X]=\psi (\alpha )-\psi (\alpha +\beta )\,,}$ ${\displaystyle \operatorname {E} [\ln(1-X)]=\psi (\beta )-\psi (\alpha +\beta )}$	${\displaystyle [0,1]}$
コーシー	${\displaystyle f(x)={\frac {1}{\pi \left(1+x^{2}\right)}}}$	${\displaystyle \operatorname {E} \left[\ln \left(1+X^{2}\right)\right]=2\ln 2}$	${\displaystyle \mathbb {R} }$
チ	${\displaystyle f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)}$	${\displaystyle \operatorname {E} \left[X^{2}\right]=k\,,}$ ${\displaystyle \operatorname {E} [\ln X]={\frac {1}{2}}\left[\psi {\left({\frac {k}{2}}\right)}+\ln(2)\right]}$	${\displaystyle [0,\infty )}$
カイ二乗	${\displaystyle f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)}$	${\displaystyle \operatorname {E} [X]=k\,,}$ ${\displaystyle \operatorname {E} [\ln X]=\psi {\left({\frac {k}{2}}\right)}+\ln(2)}$	${\displaystyle [0,\infty )}$
アーラン	${\displaystyle f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)}$	${\displaystyle \operatorname {E} [X]=k/\lambda \,,}$ ${\displaystyle \operatorname {E} [\ln X]=\psi (k)-\ln(\lambda )}$	${\displaystyle [0,\infty )}$
ガンマ	${\displaystyle f(x)={\frac {x^{k-1}e^{-x/\theta }}{\theta ^{k}\Gamma (k)}}}$	${\displaystyle \operatorname {E} [X]=k\theta \,,}$ ${\displaystyle \operatorname {E} [\ln X]=\psi (k)+\ln \theta }$	${\displaystyle [0,\infty )}$
対数正規分布	${\displaystyle f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {{\left(\ln x-\mu \right)}^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \operatorname {E} \left[\ln X\right]=\mu \,,}$ ${\displaystyle \operatorname {E} \left[\ln(X)^{2}\right]=\sigma ^{2}+\mu ^{2}}$	${\displaystyle (0,\infty )}$
マクスウェル・ボルツマン	${\displaystyle f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)}$	${\displaystyle \operatorname {E} \left[X^{2}\right]=3a^{2}\,,}$ ${\displaystyle \operatorname {E} \left[\ln X\right]=1+\ln \left({\frac {a}{\sqrt {2}}}\right)-{\frac {\gamma _{\mathrm {E} }}{2}}}$	${\displaystyle [0,\infty )}$
ワイブル	${\displaystyle f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)}$	${\displaystyle \operatorname {E} \left[X^{k}\right]=\lambda ^{k},}$ ${\displaystyle \operatorname {E} \left[\ln X\right]=\ln(\lambda )-{\frac {\gamma _{\mathrm {E} }}{k}}}$	${\displaystyle [0,\infty )}$
多変量正規分布	${\displaystyle f_{X}(\mathbf {x} )={\frac {\exp \left[-{\frac {1}{2}}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)^{\mathsf {T}}\Sigma ^{-1}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)\right]}{\sqrt {{\left(2\pi \right)}^{N}\left|\Sigma \right|}}}}$	${\displaystyle \operatorname {E} \left[\mathbf {x} \right]={\boldsymbol {\mu }},}$ ${\displaystyle \operatorname {E} \left[(\mathbf {x} -{\boldsymbol {\mu }})(\mathbf {x} -{\boldsymbol {\mu }})^{\mathsf {T}}\right]=\Sigma }$	${\displaystyle \mathbb {R} ^{n}}$
二項式	${\displaystyle f(k)={\binom {n}{k}}p^{k}{\left(1-p\right)}^{n-k}}$	${\displaystyle \operatorname {E} [X]=\mu \,,}$ ${\displaystyle f\in }$n一般化二項分布[11]	${\displaystyle \left\{0,{\ldots },n\right\}}$
ポアソン	${\displaystyle f(k)={\frac {\lambda ^{k}e^{-\lambda }}{k!}}}$	${\displaystyle \operatorname {E} [X]=\lambda ,}$ ${\displaystyle f\in \infty }$一般化二項分布[11]	${\displaystyle \mathbb {N} =\left\{0,1,{\ldots }\right\}}$
ロジスティクス	${\displaystyle f(x)={\frac {e^{-x}}{\left(1+e^{-x}\right)^{2}}}={\frac {e^{+x}}{\left(e^{+x}+1\right)^{2}}}}$	${\displaystyle \operatorname {E} [X]=0,}$ ${\displaystyle \operatorname {E} \left[\ln \left(1+e^{-X}\right)\right]=1}$	${\displaystyle \left\{-\infty ,\infty \right\}}$

最大エントロピー原理は、統計的混合のエントロピーの上限を決定するために使用することができる。^[12]

参照

• 指数族
• ギブス尺度
• 分配関数（数学）
• 最大エントロピーランダムウォーク- グラフのエントロピー率を最大化する

注記

1. 例えば、 E( X )=0かつE( X2 )=E( ^X3 )=1を満たすR上のすべての連続分布Xのクラス（表紙、第12章を参照）^。

引用

1. ウィリアムズ、D. (2001). 『Weighing the Odds』ケンブリッジ大学出版局. pp.  197– 199. ISBN 0-521-00618-X。
2. ベルナルド, JM; スミス, AFM (2000).ベイズ理論. ワイリー. pp. 209, 366. ISBN 0-471-49464-X。
3. O'Hagan, A. (1994),ベイズ推論. Kendall's Advanced Theory of Statistics. 第2B巻. Edward Arnold . 1994年. セクション5.40. ISBN 0-340-52922-9。
4. Botev, ZI; Kroese, DP (2011). 「一般化クロスエントロピー法とその確率密度推定への応用」(PDF) .応用確率論における方法論と計算. 13 (1): 1– 27. doi :10.1007/s11009-009-9133-7. S2CID  18155189.
5. Botev, ZI; Kroese, DP (2008). 「離散データの密度推定のための非漸近的帯域幅選択」. Methodology and Computing in Applied Probability . 10 (3): 435. doi :10.1007/s11009-007-9057-zv (2025年7月1日現在非アクティブ). S2CID  122047337.{{cite journal}}: CS1 maint: DOI inactive as of July 2025 (link)
6. Lisman, JHC; van Zuylen, MCA (1972). 「最確頻度分布の生成に関する注記」. Statistica Neerlandica . 26 (1): 19– 23. doi :10.1111/j.1467-9574.1972.tb00152.x.
7. Park, Sung Y.; Bera, Anil K. (2009). 「最大エントロピー自己回帰条件付き異分散モデル」(PDF) . Journal of Econometrics . 150 (2): 219– 230. CiteSeerX 10.1.1.511.9750 . doi :10.1016/j.jeconom.2008.12.014. オリジナル(PDF)から2016年3月7日にアーカイブ。 2011年6月2日閲覧。 
8. Dowson, D.; Wragg, A. (1973年9月). 「規定された第一および第二モーメントを持つ最大エントロピー分布」. IEEE Transactions on Information Theory (通信). 19 (5): 689– 693. doi :10.1109/tit.1973.1055060. ISSN  0018-9448.
9. Jammalamadaka, S. Rao; SenGupta, A. (2001). 循環統計のトピックス. ニュージャージー州: World Scientific. ISBN 978-981-02-3778-3. 2011年5月15日閲覧。
10. Grechuk, Bogdan; Molyboha, Anton; Zabarankin, Michael (2009). 「一般偏差尺度による最大エントロピー原理」.オペレーションズ・リサーチ数学. 34 (2): 445– 467. doi :10.1287/moor.1090.0377 – researchgate.net経由.
11. Harremös, Peter (2001). 「最大エントロピー分布としての二項分布とポアソン分布」. IEEE Transactions on Information Theory . 47 (5): 2039– 2041. doi :10.1109/18.930936. S2CID  16171405.
12. Nielsen, Frank; Nock, Richard (2017). 「単変量連続分布の微分エントロピーのMaxEnt上限値」. IEEE Signal Processing Letters . 24 (4). IEEE : 402– 406. Bibcode :2017ISPL...24..402N. doi :10.1109/LSP.2017.2666792. S2CID  14092514.

参考文献

• Cover, TM ; Thomas, JA (2006). 「第12章 最大エントロピー」(PDF) .情報理論の要素(第2版). Wiley. ISBN 978-0471241959。
• F. Nielsen, R. Nock (2017)、単変量連続分布の微分エントロピーのMaxEnt上限、IEEE信号処理レター、24(4)、402–406
• IJ Taneja (2001) 「一般化情報尺度とその応用」第1章
• Nader Ebrahimi, Ehsan S. Soofi, Refik Soyer (2008)、「多変量最大エントロピーの同定、変換、および依存性」、Journal of Multivariate Analysis 99: 1217–1231、doi :10.1016/j.jmva.2007.08.004

Retrieved from "https://en.wikipedia.org/w/index.php?title=Maximum_entropy_probability_distribution&oldid=1320212061"