微分エントロピー

Concept in information theory

微分エントロピー（連続エントロピーとも呼ばれる）は情報理論の概念であり、クロード・シャノンがランダム変数の（シャノン）エントロピー（平均驚きの尺度）の考え方を連続確率分布に拡張しようとした試みから始まった。残念ながら、シャノンはこの式を導出せず、単にこれが離散エントロピーの正しい連続類似物であると仮定したが、実際はそうではない。^{[1] : 181–218}離散エントロピーの実際の連続バージョンは 離散点の極限密度（LDDP）である。微分エントロピー（ここで説明する）は文献でよく見られるが、これは LDDP の極限ケースであり、離散エントロピーとの基本的な関連性を失っている。

測度論では、確率測度の微分エントロピーは、その測度からルベーグ測度への負の相対エントロピーであり、ルベーグ測度は正規化されていないにもかかわらず、確率測度であるかのように扱われます。

意味

を確率密度関数を持つ確率変数とし、そのサポートは集合とする。微分エントロピーまたはは^[2]で定義される^：243 ${\displaystyle X}$ ${\displaystyle f}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle h(X)}$ ${\displaystyle h(f)}$

${\displaystyle h(X)=\operatorname {E} [-\log(f(X))]=-\int _{\mathcal {X}}f(x)\log f(x)\,dx}$

明示的な密度関数式を持たないが、明示的な分位関数式を持つ確率分布の場合、は、分位密度関数の導関数によって次のように定義することができる^{[3] ：54–59} ${\displaystyle Q(p)}$ ${\displaystyle h(Q)}$ ${\displaystyle Q(p)}$ ${\displaystyle Q'(p)}$

$${\displaystyle h(Q)=\int _{0}^{1}\log Q'(p)\,dp.}$$

離散的な類似体と同様に、微分エントロピーの単位は対数の底 によって決まり、底は通常 2 です（つまり、単位はビットです）。異なる底の対数については対数単位を参照してください。関連する概念である結合、条件付き微分エントロピー、相対エントロピーも同様に定義されます。離散的な類似体とは異なり、微分エントロピーには を測定するのに使用される単位に依存するオフセットがあります。^{[4] : 183–184}たとえば、ミリメートルで測定された量の微分エントロピーは、メートルで測定された同じ量よりも log(1000) 大きくなります。無次元量の微分エントロピーは、同じ量を 1000 で割ったものよりも log(1000) 大きくなります。 ${\displaystyle X}$

離散エントロピーの特性を微分エントロピーに適用しようとする場合には注意が必要である。なぜなら、確率密度関数は1よりも大きくなる可能性があるからである。例えば、一様分布は 負の微分エントロピーを持つ。つまり、今示した分布よりも秩序立っている。 ${\displaystyle {\mathcal {U}}(0,1/2)}$ ${\displaystyle {\mathcal {U}}(0,1)}$

$${\displaystyle \int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,}$$

微分エントロピーがゼロとなるものよりも小さい。したがって、微分エントロピーは離散エントロピーのすべての性質を共有するわけではない。 ${\displaystyle {\mathcal {U}}(0,1)}$

連続相互情報量は 、離散情報の尺度としての根本的な重要性を維持するという特徴を持つ。なぜなら、これは実際には、分割がますます細かくなっても、分割の離散相互情報量の極限となるからである。したがって、連続相互情報量は、およびの線型[6]変換を含む非線型同相写像（連続かつ一意に可逆な写像）[5]に対して不変であり、連続的な^値空間を許容する^通信路を介して伝送できる離散情報量を表す。 ${\displaystyle I(X;Y)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

離散エントロピーを連続空間に拡張したものを直接的に類似したものについては、 離散点の極限密度を参照してください。

微分エントロピーの性質

• 確率密度との場合、カルバック・ライブラー情報量は0以上であり、ほぼすべての場合において となる場合にのみ等しくなります。同様に、2つの確率変数との場合、となり、と が独立である場合に限り等しくなります。 ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle D_{KL}(f\parallel g)}$ ${\displaystyle f=g}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle I(X;Y)\geq 0}$ ${\displaystyle h(X\mid Y)\leq h(X)}$ ${\displaystyle X}$ ${\displaystyle Y}$
• 微分エントロピーの連鎖律は離散的な場合と同様に成立する^{[2] ：253} $${\displaystyle h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}\mid X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i}).}$$
• 微分エントロピーは並進不変、すなわち定数に対してである。^{[2] : 253} ${\displaystyle c}$ $${\displaystyle h(X+c)=h(X)}$$
• 微分エントロピーは一般に、任意の可逆写像に対して不変ではありません。
  特に、定数 の場合、 ${\displaystyle a}$ $${\displaystyle h(aX)=h(X)+\log |a|}$$
  ベクトル値確率変数と可逆（正方）行列の場合^{[2] ：253} ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {A} }$ $${\displaystyle h(\mathbf {A} \mathbf {X} )=h(\mathbf {X} )+\log \left(\left|\det \mathbf {A} \right|\right)}$$
• 一般に、ランダムベクトルから同じ次元の別のランダムベクトルへの変換において、対応するエントロピーは によって関係付けられます。ここでは変換 のヤコビアンです。^[7]上記の不等式は、変換が一対一変換である場合に等式になります。さらに、 が剛体回転、平行移動、またはそれらの組み合わせである場合、ヤコビ行列式は常に1であり、 です。 ${\displaystyle \mathbf {Y} =m\left(\mathbf {X} \right)}$ $${\displaystyle h(\mathbf {Y} )\leq h(\mathbf {X} )+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}}\right\vert \,dx}$$ ${\displaystyle \left\vert {\frac {\partial m}{\partial x}}\right\vert }$ ${\displaystyle m}$ ${\displaystyle m}$ ${\displaystyle h(Y)=h(X)}$
• ランダムベクトルの平均が0で共分散行列がの場合、が共分散正規分布に従う場合にのみ等式が成り立ちます（下記参照）。^{[2] : 254} ${\displaystyle X\in \mathbb {R} ^{n}}$ ${\displaystyle K}$ ${\textstyle h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]}$ ${\displaystyle X}$

しかし、微分エントロピーには他に望ましい特性はありません。

• これは変数の変更に対して不変ではないため、無次元変数の場合に最も役立ちます。
• それは否定的なものになることもあります。

これらの欠点に対処する微分エントロピーの修正版が相対情報エントロピーであり、これはカルバック・ライブラー情報とも呼ばれ、不変測度係数（離散点の極限密度を参照）を含みます。

正規分布における最大化

定理

正規分布では、与えられた分散に対して微分エントロピーが最大化されます。ガウス分布に従う確率変数は、等分散のすべての確率変数の中で最大のエントロピーを持ちます。あるいは、平均と分散の制約の下で最大エントロピー分布となるのはガウス分布です。^{[2] : 255}

証拠

平均μ、分散 のガウス分布の確率密度関数と、同じ分散を持つ任意の確率密度関数とします。微分エントロピーは並進不変なので、 の平均はと同じであると仮定できます。 ${\displaystyle g(x)}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle f(x)}$ ${\displaystyle f(x)}$ ${\displaystyle \mu }$ ${\displaystyle g(x)}$

2つの分布間のカルバック・ライブラー分布を考えてみましょう。ここで、結果は分散以外のもの に依存していないことに注意してください 。2つの結果を組み合わせると、カルバック・ライブラー分布の性質から、等式が得られます。 $${\displaystyle 0\leq D_{KL}(f\parallel g)=\int _{-\infty }^{\infty }f(x)\log \left({\frac {f(x)}{g(x)}}\right)\,dx=-h(f)-\int _{-\infty }^{\infty }f(x)\log(g(x))\,dx.}$$ $${\displaystyle {\begin{aligned}\int _{-\infty }^{\infty }f(x)\log(g(x))\,dx&=\int _{-\infty }^{\infty }f(x)\log \left({\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\right)\,dx\\&=\int _{-\infty }^{\infty }f(x)\log {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}dx\,+\,\log(e)\int _{-\infty }^{\infty }f(x)\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)\,dx\\&=-{\tfrac {1}{2}}\log(2\pi \sigma ^{2})-\log(e){\frac {\sigma ^{2}}{2\sigma ^{2}}}\\[1ex]&=-{\tfrac {1}{2}}\left(\log(2\pi \sigma ^{2})+\log(e)\right)\\[1ex]&=-{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})\\[1ex]&=-h(g)\end{aligned}}}$$ ${\displaystyle f(x)}$ $${\displaystyle h(g)-h(f)\geq 0\!}$$ ${\displaystyle f(x)=g(x)}$

代替証明

この結果は変分法を用いて証明することもできる。2つのラグランジュ乗数を持つラグランジュ関数は次のように定義できる。

$${\displaystyle L=\int _{-\infty }^{\infty }g(x)\log(g(x))\,dx-\lambda _{0}\left(1-\int _{-\infty }^{\infty }g(x)\,dx\right)-\lambda \left(\sigma ^{2}-\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)}$$

ここで、g ( x )は平均μを持つ関数である。g ( x )のエントロピーが最大であり、正規化条件と固定分散の要件からなる制約方程式が両方とも満たされる場合、 g ( x )に関する小さな変化 δg ( x ) は、Lに関する変化δLを生じ、これはゼロとなる。 ${\displaystyle \left(1=\int _{-\infty }^{\infty }g(x)\,dx\right)}$ ${\displaystyle \left(\sigma ^{2}=\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)}$

$${\displaystyle 0=\delta L=\int _{-\infty }^{\infty }\delta g(x)\left[\log(g(x))+1+\lambda _{0}+\lambda (x-\mu )^{2}\right]\,dx}$$

これはどんな小さなδg ( x )に対しても成り立つので、括弧内の項はゼロでなければならず、g ( x )について解くと次の式が得られる。

$${\displaystyle g(x)=e^{-\lambda _{0}-1-\lambda (x-\mu )^{2}}}$$

制約方程式を使用してλ ₀とλを解くと、正規分布が得られます。

$${\displaystyle g(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}}$$

例: 指数分布

を指数分布に従う確率変数とし、パラメータは確率密度関数 ${\displaystyle X}$ ${\displaystyle \lambda }$

$${\displaystyle f(x)=\lambda e^{-\lambda x}{\text{ for }}x\geq 0.}$$

その微分エントロピーは $${\displaystyle {\begin{aligned}h_{e}(X)&=-\int _{0}^{\infty }\lambda e^{-\lambda x}\log \left(\lambda e^{-\lambda x}\right)dx\\[2pt]&=-\left(\int _{0}^{\infty }(\log \lambda )\lambda e^{-\lambda x}\,dx+\int _{0}^{\infty }(-\lambda x)\lambda e^{-\lambda x}\,dx\right)\\[2pt]&=-\log \lambda \int _{0}^{\infty }f(x)\,dx+\lambda \operatorname {E} [X]\\[4pt]&=-\log \lambda +1\,.\end{aligned}}}$$

ここでは、計算を簡略化するために、 対数がeを底としていることを明示するのではなく、 が使用されました。 ${\displaystyle h_{e}(X)}$ ${\displaystyle h(X)}$

推定誤差との関係

微分エントロピーは、推定量の期待二乗誤差の下限値を与える。任意の確率変数と推定量について、次式が成り立つ：^{[2] が}ガウス確率変数でありが の平均である場合に限り、は となる。 ${\displaystyle X}$ ${\displaystyle {\widehat {X}}}$ $${\displaystyle \operatorname {E} [(X-{\widehat {X}})^{2}]\geq {\frac {1}{2\pi e}}e^{2h(X)}}$$ ${\displaystyle X}$ ${\displaystyle {\widehat {X}}}$ ${\displaystyle X}$

さまざまな分布の微分エントロピー

下の表では、 はガンマ関数、はディガンマ関数、はベータ関数、γ _Eはオイラー定数です。^{[8] : 219–230} ${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt}$ ${\displaystyle \psi (x)={\frac {d}{dx}}\log \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$ ${\displaystyle B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}$

微分エントロピー表

配布名	確率密度関数（pdf）	NATSにおける微分エントロピー	サポート
制服	${\displaystyle f(x)={\frac {1}{b-a}}}$	${\displaystyle \log(b-a)\,}$	${\displaystyle [a,b]\,}$
普通	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \log \left(\sigma {\sqrt {2\pi e}}\right)}$	${\displaystyle (-\infty ,\infty )\,}$
指数関数	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle 1-\log \lambda \,}$	${\displaystyle [0,\infty )\,}$
レイリー	${\displaystyle f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle 1+\log {\frac {\sigma }{\sqrt {2}}}+{\frac {\gamma _{E}}{2}}}$	${\displaystyle [0,\infty )\,}$
ベータ	${\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}}$のために ${\displaystyle 0\leq x\leq 1}$	${\displaystyle {\begin{aligned}\log B(\alpha ,\beta )&-(\alpha -1)[\psi (\alpha )-\psi (\alpha +\beta )]\\&-(\beta -1)[\psi (\beta )-\psi (\alpha +\beta )]\end{aligned}}}$	${\displaystyle [0,1]\,}$
コーシー	${\displaystyle f(x)={\frac {\gamma }{\pi }}{\frac {1}{\gamma ^{2}+x^{2}}}}$	${\displaystyle \log(4\pi \gamma )\,}$	${\displaystyle (-\infty ,\infty )\,}$
チ	${\displaystyle f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)}$	${\displaystyle \log {\frac {\Gamma (k/2)}{\sqrt {2}}}-{\frac {k-1}{2}}\psi {\left({\frac {k}{2}}\right)}+{\frac {k}{2}}}$	${\displaystyle [0,\infty )\,}$
カイ二乗	${\displaystyle f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)}$	${\displaystyle \log 2\Gamma {\left({\frac {k}{2}}\right)}-\left(1-{\frac {k}{2}}\right)\psi {\left({\frac {k}{2}}\right)}+{\frac {k}{2}}}$	${\displaystyle [0,\infty )\,}$
アーラン	${\displaystyle f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)}$	${\displaystyle \left(1-k\right)\psi (k)+\log {\frac {\Gamma (k)}{\lambda }}+k}$	${\displaystyle [0,\infty )\,}$
F	${\displaystyle f(x)={\frac {n_{1}^{{n_{1}}/{2}}\,n_{2}^{{n_{2}}/{2}}}{B{\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)}}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{{\left(n_{2}+n_{1}x\right)}^{\frac {n_{1}+n2}{2}}}}}$	${\displaystyle {\begin{aligned}&\log {\frac {n_{1}}{n_{2}}}B{\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)}\\[4pt]&+\left(1-{\frac {n_{1}}{2}}\right)\psi {\left({\frac {n_{1}}{2}}\right)}\\[4pt]&-\left(1+{\frac {n_{2}}{2}}\right)\psi {\left({\frac {n_{2}}{2}}\right)}\\[4pt]&+{\frac {n_{1}+n_{2}}{2}}\psi {\left({\frac {n_{1}\!+\!n_{2}}{2}}\right)}\end{aligned}}}$	${\displaystyle [0,\infty )\,}$
ガンマ	${\displaystyle f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}}$	${\displaystyle \log(\theta \Gamma (k))+\left(1-k\right)\psi (k)+k}$	${\displaystyle [0,\infty )\,}$
ラプラス	${\displaystyle f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)}$	${\displaystyle 1+\log(2b)\,}$	${\displaystyle (-\infty ,\infty )\,}$
ロジスティクス	${\displaystyle f(x)={\frac {e^{-x/s}}{s{\left(1+e^{-x/s}\right)}^{2}}}}$	${\displaystyle \log s+2\,}$	${\displaystyle (-\infty ,\infty )\,}$
対数正規分布	${\displaystyle f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\log x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \mu +{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})}$	${\displaystyle [0,\infty )\,}$
マクスウェル・ボルツマン	${\displaystyle f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)}$	${\displaystyle \log(a{\sqrt {2\pi }})+\gamma _{E}-{\tfrac {1}{2}}}$	${\displaystyle [0,\infty )\,}$
一般化正規分布	${\displaystyle f(x)={\frac {2\beta ^{\frac {\alpha }{2}}}{\Gamma ({\frac {\alpha }{2}})}}x^{\alpha -1}\exp \left(-\beta x^{2}\right)}$	${\displaystyle \log {\frac {\Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}}-{\frac {\alpha -1}{2}}\psi \left({\frac {\alpha }{2}}\right)+{\frac {\alpha }{2}}}$	${\displaystyle (-\infty ,\infty )\,}$
パレート	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}}$	${\displaystyle \log {\frac {x_{m}}{\alpha }}+1+{\frac {1}{\alpha }}}$	${\displaystyle [x_{m},\infty )\,}$
学生のt	${\displaystyle f(x)={\frac {(1+x^{2}/\nu )^{-{\frac {\nu +1}{2}}}}{{\sqrt {\nu }}B({\frac {1}{2}},{\frac {\nu }{2}})}}}$	${\displaystyle {\begin{aligned}&{\frac {\nu \!+\!1}{2}}\left[\psi {\left({\frac {\nu \!+\!1}{2}}\right)}-\psi {\left({\frac {\nu }{2}}\right)}\right]\\&+\!\log {\sqrt {\nu }}B{\left({\frac {1}{2}},{\frac {\nu }{2}}\right)}\end{aligned}}}$	${\displaystyle (-\infty ,\infty )\,}$
三角	${\displaystyle f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}}$	${\displaystyle {\frac {1}{2}}+\log {\frac {b-a}{2}}}$	${\displaystyle [a,b]\,}$
ワイブル	${\displaystyle f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)}$	${\displaystyle {\frac {k-1}{k}}\gamma _{E}+\log {\frac {\lambda }{k}}+1}$	${\displaystyle [0,\infty )\,}$
多変量正規分布	${\displaystyle f_{X}(\mathbf {x} )={\frac {\exp \left[-{\frac {1}{2}}(\mathbf {x} -\mathbf {\mu } )^{\mathsf {T}}\Sigma ^{-1}(\mathbf {x} -\mathbf {\mu } )\right]}{{\left(2\pi \right)}^{N/2}\left|\Sigma \right|^{1/2}}}}$	${\displaystyle {\tfrac {1}{2}}\log \left[(2\pi e)^{N}\det(\Sigma )\right]}$	${\displaystyle \mathbb {R} ^{N}}$

微分エントロピーの多くは^{[9] ：120–122 から来ている。}

変種

上述のように、微分エントロピーは離散エントロピーの全ての性質を共有するわけではない。例えば、微分エントロピーは負の値をとる可能性があり、また連続座標変換に対して不変ではない。エドウィン・トンプソン・ジェインズは、上記の式が有限の確率集合に対する式の正しい極限ではないことを実際に示した。^{[10] : 181–218}

微分エントロピーの修正では、不変測度係数を追加することでこれを補正します（離散点の極限密度を参照）。さらに確率密度に制約された場合、結果として得られる概念は情報理論において相対エントロピーと呼ばれます。 ${\displaystyle m(x)}$

$${\displaystyle D(p\parallel m)=\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$$

上記の微分エントロピーの定義は、リーマン積分可能に対して、 の範囲を長さ のビンに分割し、ビン内に対応するサンプル点を とすることで得られる。これはの量子化バージョンを与え、ならばで定義される。すると のエントロピーは^[2]となる。 ${\displaystyle X}$ ${\displaystyle h}$ ${\displaystyle ih}$ ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle X_{h}=ih}$ ${\displaystyle ih\leq X\leq (i+1)h}$ ${\displaystyle X_{h}=ih}$

$${\displaystyle H_{h}=-\sum _{i}hf(ih)\log(f(ih))-\sum hf(ih)\log(h).}$$

右辺第1項は微分エントロピーを近似し、第2項は近似値 です。この手順では、連続確率変数の離散的な意味でのエントロピーはとなるはずであることに注意してください。 ${\displaystyle -\log(h)}$ ${\displaystyle \infty }$

参照

• 情報エントロピー
• 自己情報
• エントロピー推定

参考文献

1. Jaynes, ET (1963). 「情報理論と統計力学」(PDF) .ブランダイス大学理論物理学夏期講座. 3 (セクション4b).
2. Cover, Thomas M.; Thomas, Joy A. (1991). 『情報理論の要素』 ニューヨーク: Wiley. ISBN 0-471-06259-6。
3. Vasicek, Oldrich (1976)、「サンプルエントロピーに基づく正規性検定」、Journal of the Royal Statistical Society、シリーズB、38 (1): 54– 59、doi :10.1111/j.2517-6161.1976.tb01566.x、JSTOR  2984828。
4. ギブス、ジョサイア・ウィラード(1902). 『統計力学の基本原理、特に熱力学の合理的基礎付けに関連して展開』ニューヨーク: チャールズ・スクリブナー・サンズ.
5. Kraskov, Alexander; Stögbauer, Grassberger (2004). 「相互情報量の推定」. Physical Review E. 60 ( 6) 066138. arXiv : cond-mat/0305641 . Bibcode :2004PhRvE..69f6138K. doi :10.1103/PhysRevE.69.066138. PMID  :15244698 . S2CID:  1269438.
6. ファズロラ・M・レザ (1994) [1961]. 情報理論入門. ドーバー出版, ニューヨーク. ISBN 0-486-68210-2。
7. 「f(X)の微分エントロピーの上限の証明」. Stack Exchange . 2016年4月16日.
8. Park, Sung Y.; Bera, Anil K. (2009). 「最大エントロピー自己回帰条件付き異分散モデル」(PDF) . Journal of Econometrics . 150 (2). Elsevier: 219– 230. doi :10.1016/j.jeconom.2008.12.014. 2016年3月7日時点のオリジナル(PDF)からアーカイブ。 2011年6月2日閲覧。
9. Lazo, A. and P. Rathie (1978). 「連続確率分布のエントロピーについて」. IEEE Transactions on Information Theory . 24 (1): 120– 122. doi :10.1109/TIT.1978.1055832.
10. Jaynes, ET (1963). 「情報理論と統計力学」(PDF) .ブランダイス大学理論物理学夏期講座. 3 (セクション4b).

外部リンク

• 「微分エントロピー」数学百科事典、EMSプレス、2001 [1994]
• 「微分エントロピー」。PlanetMath 。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Differential_entropy&oldid=1313029785"