相関変数とにおける シャノン の基本情報量 間の加法性と減法性を示す、 誤解を招く [1] 情報図 。両方の円で囲まれた領域は 結合エントロピー である。左側の円（赤と紫）は 個別エントロピー であり、赤は 条件付きエントロピー である。右側の円（青と紫）は であり 、青は である 。紫は 相互情報量 である。 X {\displaystyle X} Y {\displaystyle Y} H ( X , Y ) {\displaystyle \mathrm {H} (X,Y)} H ( X ) {\displaystyle \mathrm {H} (X)} H ( X | Y ) {\displaystyle \mathrm {H} (X|Y)} H ( Y ) {\displaystyle \mathrm {H} (Y)} H ( Y | X ) {\displaystyle \mathrm {H} (Y|X)} I ( X ; Y ) {\displaystyle \operatorname {I} (X;Y)} 情報に関する数学的理論 は 確率論 と 統計 に基づいており 、情報をいくつかの 情報量 で測定します。以下の公式における対数の底の選択によって、使用される 情報エントロピー の 単位 が決まります。最も一般的な情報単位は ビット 、より正確には 2進対数 に基づく シャノン [ 2] です。 シャノンの代わりに ビット の方が頻繁に使用されますが、その名称 は、エントロピー(情報量)に関わらず2進値またはストリームを指すデータ処理で使用される ビット と区別されません。その他の単位には、 自然対数 に基づく NAT や、 底10または 常用対数に基づく ハートレー などがあります。
以下では、 の形の式は、がゼロである ときは常に、慣例によりゼロとみなされます 。これは、 任意の対数の底に対して がゼロであるため、正当化されます。 [3] p log p {\displaystyle p\log p\,} p {\displaystyle p} lim p → 0 + p log p = 0 {\displaystyle \lim _{p\rightarrow 0+}p\log p=0}
シャノンは、メッセージの 自己情報 または 「驚き」 と呼ばれる情報量の尺度を導き出しました 。 m {\displaystyle m}
I ( m ) = log ( 1 p ( m ) ) = − log ( p ( m ) ) {\displaystyle \operatorname {I} (m)=\log \left({\frac {1}{p(m)}}\right)=-\log(p(m))\,} ここで、 は メッセージ空間 におけるすべての選択肢の中から メッセージが選択される確率です 。対数の底はスケーリング係数にのみ影響し、その結果、測定された情報量を表す単位にも影響します。対数の底が2の場合、情報量は シャノン 単位、あるいはより一般的には単に「ビット」で表されます（ 他の文脈では、 ビットは 平均情報量が 最大1シャノンである「2進数」として定義されます）。 p ( m ) = P r ( M = m ) {\displaystyle p(m)=\mathrm {Pr} (M=m)} m {\displaystyle m} M {\displaystyle M}
情報源からの情報は、受信者が既にその情報を持っていない場合にのみ、受信者に提供されます。特定の（P=1）イベント（またはバックチャネルなどを通じて確実に 知られて いるイベント）を介して情報を伝達するメッセージは、上記の式が示すように、何の情報も提供しません。発生頻度の低いメッセージは、発生頻度の高いメッセージよりも多くの情報を含んでいます。
また、2 つ (またはそれ以上) の無関係なメッセージからなる複合メッセージには、各メッセージの情報量の和である情報量があることも示せます。これは、 2 つのランダム変数 M と N の値に関する情報を、 それぞれ情報量が と で与えられる基本メッセージ m と n を連結したメッセージを使用して提供する複合メッセージを考えることで、この定義を用いて導き出すことができ ます。メッセージ m と n がそれぞれ M と N のみに依存し、プロセス M と N が 独立して いる場合、 (統計的独立性の定義) であるため、上記の定義から であることは明らかです 。 m & n {\displaystyle m\&n} I ( m ) {\displaystyle \operatorname {I} (m)} I ( n ) {\displaystyle \operatorname {I} (n)} P ( m & n ) = P ( m ) P ( n ) {\displaystyle P(m\&n)=P(m)P(n)} I ( m & n ) = I ( m ) + I ( n ) {\displaystyle \operatorname {I} (m\&n)=\operatorname {I} (m)+\operatorname {I} (n)}
例：天気予報は次のように放送されます。「今夜の予報：暗い。朝方、広く薄明かりが見られるまで、引き続き暗い。」このメッセージにはほとんど情報がありません。しかし、吹雪の予報であれば、毎晩起こるわけではないので、確かに情報が含まれています。 マイアミ のような温暖な地域での正確な降雪予報であれば、さらに多くの情報が得られます。雪が降らない地域（あり得ない事象）の降雪予報であれば、情報量は最大（無限大）となります。
エントロピ 離散メッセージ空間の エントロピー は 、どのメッセージが選択されるかについての 不確実性 の程度を表す尺度です。これは 、そのメッセージ空間における メッセージの 平均自己情報量として定義されます。 M {\displaystyle M} m {\displaystyle m}
H ( M ) = E [ I ( M ) ] = ∑ m ∈ M p ( m ) I ( m ) = − ∑ m ∈ M p ( m ) log p ( m ) {\displaystyle \mathrm {H} (M)=\mathbb {E} \left[\operatorname {I} (M)\right]=\sum _{m\in M}p(m)\operatorname {I} (m)=-\sum _{m\in M}p(m)\log p(m)} どこ
E [ ⋅ ] {\displaystyle \mathbb {E} [\cdot ]} 期待値 演算を表します 。 エントロピーの重要な特性は、メッセージ空間内のすべてのメッセージが等確率であるとき（例： ）、エントロピーが最大化されることです。この場合、 となります 。 p ( m ) = 1 / | M | {\displaystyle p(m)=1/|M|} H ( M ) = log | M | {\displaystyle \mathrm {H} (M)=\log |M|}
関数は 分布の確率で表現されることもあります。 H {\displaystyle \mathrm {H} }
H ( p 1 , p 2 , … , p k ) = − ∑ i = 1 k p i log p i , {\displaystyle \mathrm {H} (p_{1},p_{2},\ldots ,p_{k})=-\sum _{i=1}^{k}p_{i}\log p_{i},} それぞれ と p i ≥ 0 {\displaystyle p_{i}\geq 0} ∑ i = 1 k p i = 1 {\displaystyle \sum _{i=1}^{k}p_{i}=1} この重要な特殊なケースは バイナリエントロピー関数 です。
H b ( p ) = H ( p , 1 − p ) = − p log p − ( 1 − p ) log ( 1 − p ) {\displaystyle \mathrm {H} _{\mbox{b}}(p)=\mathrm {H} (p,1-p)=-p\log p-(1-p)\log(1-p)\,}
結合エントロピー 2つの離散確率変数と の 結合エントロピー は 、 と の 結合分布 のエントロピーとして定義されます 。 X {\displaystyle X} Y {\displaystyle Y} X {\displaystyle X} Y {\displaystyle Y}
H ( X , Y ) = E X , Y [ − log p ( x , y ) ] = − ∑ x , y p ( x , y ) log p ( x , y ) {\displaystyle \mathrm {H} (X,Y)=\mathbb {E} _{X,Y}\left[-\log p(x,y)\right]=-\sum _{x,y}p(x,y)\log p(x,y)\,} とが 独立し ている 場合 、結合エントロピーは単にそれらの個々のエントロピーの合計になります。 X {\displaystyle X} Y {\displaystyle Y}
(注: 表記は似ていますが、結合エントロピーと 交差エントロピー を混同しないでください。)
条件付きエントロピー（多義語） ランダム変数の特定の値が与えられた場合、 の 条件 付きエントロピーは 次のように定義されます。 Y {\displaystyle Y} X {\displaystyle X} Y = y {\displaystyle Y=y}
H ( X | y ) = E [ X | Y ] [ − log p ( x | y ) ] = − ∑ x ∈ X p ( x | y ) log p ( x | y ) {\displaystyle \mathrm {H} (X|y)=\mathbb {E} _{\left[X|Y\right]}[-\log p(x|y)]=-\sum _{x\in X}p(x|y)\log p(x|y)} ここで、は 与えられた の 条件付き確率 です 。 p ( x | y ) = p ( x , y ) p ( y ) {\displaystyle p(x|y)={\frac {p(x,y)}{p(y)}}} x {\displaystyle x} y {\displaystyle y}
与えられたの 条件付きエントロピー（ の 同義語 と も呼ばれます）は、 次 の ように与えられます。 X {\displaystyle X} Y {\displaystyle Y} X {\displaystyle X} Y {\displaystyle Y}
H ( X | Y ) = E Y [ H ( X | y ) ] = − ∑ y ∈ Y p ( y ) ∑ x ∈ X p ( x | y ) log p ( x | y ) = ∑ x , y p ( x , y ) log p ( y ) p ( x , y ) . {\displaystyle \mathrm {H} (X|Y)=\mathbb {E} _{Y}\left[\mathrm {H} \left(X|y\right)\right]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=\sum _{x,y}p(x,y)\log {\frac {p(y)}{p(x,y)}}.} これは確率論の条件 付き期待値 を使用します。
条件付きエントロピーの基本的な特性は次のとおりです。
H ( X | Y ) = H ( X , Y ) − H ( Y ) . {\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y).\,}
カルバック ・ライブラー・ダイバージェンス （ 情報ダイバージェンス 、 情報ゲイン 、 相対エントロピーとも呼ばれる）は、2つの分布、「真の」 確率分布 と任意の確率分布 を比較する方法である 。 がデータの根底にある分布であると仮定してデータを圧縮する場合 、実際には が 正しい分布である。カルバック・ライブラー・ダイバージェンスは、圧縮に必要なデータあたりの平均追加ビット数、つまり数学的には、 p {\displaystyle p} q {\displaystyle q} q {\displaystyle q} p {\displaystyle p}
D K L ( p ( X ) ‖ q ( X ) ) = ∑ x ∈ X p ( x ) log p ( x ) q ( x ) . {\displaystyle D_{\mathrm {KL} }{\bigl (}p(X)\|q(X){\bigr )}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.} これは、対称ではないため 真の 測定 基準ではありませんが、ある意味ではから まで の「距離」です。 q {\displaystyle q} p {\displaystyle p}
情報量を測る上で最も有用かつ重要な指標の一つが 相互情報 量、あるいは トランス 情報量であることが判明しました。これは、ある確率変数を観測することで、別の確率変数についてどれだけの情報が得られるかを示す指標です。 の相互情報量 （概念的には 、 を観測することで得られる に関する平均情報量を表します ）は、次のように表されます。 X {\displaystyle X} Y {\displaystyle Y} X {\displaystyle X} Y {\displaystyle Y}
I ( X ; Y ) = ∑ y ∈ Y p ( y ) ∑ x ∈ X p ( x | y ) log p ( x | y ) p ( x ) = ∑ x , y p ( x , y ) log p ( x , y ) p ( x ) p ( y ) . {\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}p(y)\sum _{x\in X}{p(x|y)\log {\frac {p(x|y)}{p(x)}}}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}.} 相互情報量の基本的な特性は次の通りです。
I ( X ; Y ) = H ( X ) − H ( X | Y ) . {\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)-\mathrm {H} (X|Y).\,} つまり、 を知っていると、 を知らない場合と比べて、 エンコード時に 平均 ビットを節約できます 。相互情報量は 対称 です。 Y {\displaystyle Y} I ( X ; Y ) {\displaystyle \operatorname {I} (X;Y)} X {\displaystyle X} Y {\displaystyle Y}
I ( X ; Y ) = I ( Y ; X ) = H ( X ) + H ( Y ) − H ( X , Y ) . {\displaystyle \operatorname {I} (X;Y)=\operatorname {I} (Y;X)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y).\,} 相互情報量は、の 事前分布 の値を与えられた 場合 の の 事後確率分布 の
平均 カルバック・ライブラー・ダイバージェンス （情報ゲイン）として表すことができます 。 X {\displaystyle X} Y {\displaystyle Y} X {\displaystyle X}
I ( X ; Y ) = E p ( y ) [ D K L ( p ( X | Y = y ) ‖ p ( X ) ) ] . {\displaystyle \operatorname {I} (X;Y)=\mathbb {E} _{p(y)}\left[D_{\mathrm {KL} }{\bigl (}p(X|Y=y)\|p(X){\bigr )}\right].} 言い換えれば、これは の値が与えられた場合に、 における確率分布が平均してどれだけ変化するかを示す尺度です 。これは、周辺分布の積から実際の結合分布への乖離として再計算されることがよくあります。 X {\displaystyle X} Y {\displaystyle Y}
I ( X ; Y ) = D K L ( p ( X , Y ) ‖ p ( X ) p ( Y ) ) . {\displaystyle \operatorname {I} (X;Y)=D_{\mathrm {KL} }{\bigl (}p(X,Y)\|p(X)p(Y){\bigr )}.} 相互情報量は、分割表や 多項分布 の文脈における 対数尤度比検定 、および ピアソンのχ 2 検定 と密接に関連しています。相互情報量は、一対の変数間の独立性を評価するための統計量と見なすことができ、明確に指定された漸近分布を持ちます。
微分エントロピー 離散エントロピーの基本的な尺度は、 和を積分に、 確率質量関数を 確率密度関数 に置き換えることで、 連続 空間への類推拡張されてきた。どちらの場合も、相互情報量は2つの情報源に共通する情報ビット数を表すが、この類推は必ずしも同一の特性を意味するわけでは ない 。例えば、微分エントロピーは負の値をとる場合がある。
エントロピー、結合エントロピー、条件付きエントロピー、相互情報量の微分類推は次のように定義されます。
h ( X ) = − ∫ X f ( x ) log f ( x ) d x {\displaystyle h(X)=-\int _{X}f(x)\log f(x)\,dx} h ( X , Y ) = − ∫ Y ∫ X f ( x , y ) log f ( x , y ) d x d y {\displaystyle h(X,Y)=-\int _{Y}\int _{X}f(x,y)\log f(x,y)\,dx\,dy} h ( X | y ) = − ∫ X f ( x | y ) log f ( x | y ) d x {\displaystyle h(X|y)=-\int _{X}f(x|y)\log f(x|y)\,dx} h ( X | Y ) = ∫ Y ∫ X f ( x , y ) log f ( y ) f ( x , y ) d x d y {\displaystyle h(X|Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(y)}{f(x,y)}}\,dx\,dy} I ( X ; Y ) = ∫ Y ∫ X f ( x , y ) log f ( x , y ) f ( x ) f ( y ) d x d y {\displaystyle \operatorname {I} (X;Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(x,y)}{f(x)f(y)}}\,dx\,dy} ここで 、は結合密度関数、 は 周辺分布、は 条件付き分布です。 f ( x , y ) {\displaystyle f(x,y)} f ( x ) {\displaystyle f(x)} f ( y ) {\displaystyle f(y)} f ( x | y ) {\displaystyle f(x|y)}
参照
参考文献 ^ DJC Mackay (2003). 情報理論、推論、学習アルゴリズム . Bibcode :2003itil.book.....M. : 141 ^ Stam, AJ (1959). 「フィッシャーとシャノンの情報量が満たすいくつかの不等式」 . 情報制御 . 2 (2): 101– 112. doi :10.1016/S0019-9958(59)90348-1. ^ 「情報量という概念の定義に対する3つのアプローチ」 （PDF） 。 
![{\displaystyle \mathrm {H} (M)=\mathbb {E} \left[\operatorname {I} (M)\right]=\sum _{m\in M}p(m)\operatorname {I} (m)=-\sum _{m\in M}p(m)\log p(m)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5bda6e398441d88cc9fd53b219e57aa66f70f15e)
![{\displaystyle \mathbb {E} [\cdot ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/86271a96e0b2cf5aa63928187db4596d27a17d43)
![{\displaystyle \mathrm {H} (X,Y)=\mathbb {E} _{X,Y}\left[-\log p(x,y)\right]=-\sum _{x,y}p(x,y)\log p(x,y)\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/766168a01d7bc92684bd1e010171907054542373)
![{\displaystyle \mathrm {H} (X|y)=\mathbb {E} _{\left[X|Y\right]}[-\log p(x|y)]=-\sum _{x\in X}p(x|y)\log p(x|y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c2898107d213fa8759148865e354ebc4b9b3beee)
![{\displaystyle \mathrm {H} (X|Y)=\mathbb {E} _{Y}\left[\mathrm {H} \left(X|y\right)\right]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=\sum _{x,y}p(x,y)\log {\frac {p(y)}{p(x,y)}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/691d036d7aef46395cb1ced6a9cec4f17fe3713a)
![{\displaystyle \operatorname {I} (X;Y)=\mathbb {E} _{p(y)}\left[D_{\mathrm {KL} }{\bigl (}p(X|Y=y)\|p(X){\bigr )}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4dfda3399c19ec513883faf25ee4def8b9707e43)
