結合エントロピー

Measure of information in probability and information theory

相関変数XとYに関連する様々な情報量間の加法性と減法性を示すベン図。両方の円で囲まれた領域は、結合エントロピーH(X,Y)です。左側の円（赤と紫）は個別エントロピーH(X)で、赤は条件付きエントロピーH(X|Y)です。右側の円（青と紫）はH(Y)で、青はH(Y|X)です。紫は相互情報量I(X;Y)です。

情報理論において、結合エントロピーは変数の集合に関連する不確実性の尺度である。^[1]

意味

2つの離散確率変数と画像との組み合わせシャノンエントロピー（ビット単位）は次のように定義される^{[2] ：16} ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {Y}}}$

${\displaystyle \mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]}$

ここで、 とはそれぞれ、との特定の値であり、はこれらの値が同時に発生する結合確率であり、の場合に 0 と定義されます。 ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle P(x,y)}$ ${\displaystyle P(x,y)\log _{2}[P(x,y)]}$ ${\displaystyle P(x,y)=0}$

2つ以上のランダム変数の場合、これは次のように展開されます。 ${\displaystyle X_{1},...,X_{n}}$

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$

ここで、はそれぞれ の特定の値、はこれらの値が同時に発生する確率、の場合は 0 と定義されます。 ${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle X_{1},...,X_{n}}$ ${\displaystyle P(x_{1},...,x_{n})}$ ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$ ${\displaystyle P(x_{1},...,x_{n})=0}$

プロパティ

非負性

ランダム変数の集合の結合エントロピーは非負の数です。

${\displaystyle \mathrm {H} (X,Y)\geq 0}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\geq 0}$

個々のエントロピーよりも大きい

変数セットの結合エントロピーは、セット内の変数の個々のエントロピーすべての最大値以上になります。

${\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}$

${\displaystyle \mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}$

個々のエントロピーの合計以下

変数集合の結合エントロピーは、集合内の各変数の個々のエントロピーの和以下である。これは劣加法性の例である。この不等式が等式となるのは、とが統計的に独立である場合に限る。^{[2] : 30} ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})}$

他のエントロピー尺度との関係

結合エントロピーは条件付きエントロピーの定義で使用される^{[2] ：22}

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$、

そして

${\displaystyle \mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})}$。

2つの変数との場合、これは次のことを意味する。 ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y)+\mathrm {H} (X|Y)=\mathrm {H} (X)+\mathrm {H} (Y|X)}$。

ジョイントエントロピーは相互情報量の定義にも用いられる^{[2] ：21}

${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$。

量子情報理論では、結合エントロピーは結合量子エントロピーに一般化されます。

結合微分エントロピー

意味

上記の定義は離散確率変数に対するものであり、連続確率変数の場合にも同様に有効です。離散同時エントロピーの連続バージョンは、同時微分（または連続）エントロピーと呼ばれます。 とを、同時確率密度関数を持つ連続確率変数とします。微分同時エントロピーは^[2]で定義されます^：249 ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle f(x,y)}$ ${\displaystyle h(X,Y)}$

${\displaystyle h(X,Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x,y)\,dxdy}$

2 つ以上の連続ランダム変数の場合、定義は次のように一般化されます。 ${\displaystyle X_{1},...,X_{n}}$

${\displaystyle h(X_{1},\ldots ,X_{n})=-\int f(x_{1},\ldots ,x_{n})\log f(x_{1},\ldots ,x_{n})\,dx_{1}\ldots dx_{n}}$

積分はのサポート上で行われます。積分が存在しない可能性があり、その場合、微分エントロピーは定義されていないと言えます。 ${\displaystyle f}$

プロパティ

離散的な場合と同様に、一連のランダム変数の結合微分エントロピーは、個々のランダム変数のエントロピーの合計よりも小さいか等しくなります。

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})}$^{[2] : 253}

2 つのランダム変数に対して次の連鎖律が成り立ちます。

${\displaystyle h(X,Y)=h(X|Y)+h(Y)}$

2つ以上の確率変数の場合、これは次のように一般化される: ^{[2] : 253}

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})}$

結合微分エントロピーは、連続確率変数間の相互情報量の定義にも使用されます。

${\displaystyle \operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)}$

参考文献

1. テレサ・M・コーン、グラニーノ・アーサー・コーン（2000年1月）。『科学者とエンジニアのための数学ハンドブック：定義、定理、公式の参照とレビュー』ニューヨーク：ドーバー出版。ISBN 0-486-41147-8。
2. Thomas M. Cover; Joy A. Thomas (2006年7月18日). 『情報理論の要素』 . ホーボーケン、ニュージャージー州: Wiley. ISBN 0-471-24195-4。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Joint_entropy&oldid=1295551097"