情報源（数学）

数学において、情報源とは、定常分布を持つ有限のアルファベットΓにわたるランダム変数のシーケンスです。

情報源の不確実性、つまりエントロピー率は次のように定義される。

${\displaystyle H\{\mathbf {X} \}=\lim _{n\to \infty }H(X_{n}|X_{0},X_{1},\dots ,X_{n-1})}$

どこ

${\displaystyle X_{0},X_{1},\dots ,X_{n}}$

は情報源を定義するランダム変数の列であり、

${\displaystyle H(X_{n}|X_{0},X_{1},\dots ,X_{n-1})}$

は確率変数の列の条件付き情報エントロピーである。同様に、

${\displaystyle H\{\mathbf {X} \}=\lim _{n\to \infty }{\frac {H(X_{0},X_{1},\dots ,X_{n-1},X_{n})}{n+1}}.}$

参照

• マルコフ情報源
• 漸近等分割性

参考文献

• ロバート・B・アッシュ『情報理論』（1965年）ドーバー出版。ISBN 0-486-66521-6

「https://en.wikipedia.org/w/index.php?title=Information_source_(mathematics)&oldid=1045964800」より取得