エントロピー率

確率過程における平均情報の時間密度

数学的な確率理論において、エントロピー率または情報源率とは、確率過程にエントロピーを割り当てる関数である。

強く定常なプロセスの場合、最新のランダム変数の条件付きエントロピーは最終的にこのレート値に近づく傾向があります。

意味

可算な指数を持つプロセスは、その結合エントロピーの列を生成する。極限が存在する場合、エントロピー率は次のように定義される。 ${\displaystyle X}$ ${\displaystyle H_{n}(X_{1},X_{2},\dots X_{n})}$

${\displaystyle H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}.}$

となる任意のシーケンスが与えられ、 とすると、テレスコープすることで が得られることに注意してください。したがって、エントロピー率は、無限大となる最初のそのようなエントロピー変化の平均を計算します。番目のエントロピー変化は、それ自体が条件付きエントロピーです。したがって、エントロピー率は、前の値が既知であれば、 番目の変数の分布の平均エントロピーです。あるインデックスから次のインデックスへの結合エントロピーの挙動は、エントロピー のいくつかの特徴付けにおいて明示的に対象としています。 ${\displaystyle (a_{n})_{n}}$ ${\displaystyle a_{0}=0}$ ${\displaystyle \Delta a_{k}:=a_{k}-a_{k-1}}$ ${\displaystyle a_{n}={\textstyle \sum _{k=1}^{n}}\Delta a_{k}}$ ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle H(X_{n}|X_{n-1},X_{n-2},...)}$ ${\displaystyle n}$

議論

エントロピー率は、ランダム変数のシーケンスとして理解できますが、長期的には、ランダム変数 1 つあたりの平均エントロピー変化を表します。 ${\displaystyle X}$ ${\displaystyle H(X)}$

これは、確率的情報源の一般的な特性として考えることができます。これは、漸近的等分割特性の対象です。

強定常プロセスの場合

確率過程もまた、より多くの確率変数を含む条件付きエントロピーの列を生じさせる。強定常確率過程の場合、エントロピー率はその列の極限に等しい。

${\displaystyle H(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

右側の極限によって与えられる量も と表されます。これは、ここでも、上記の意味で、プロセスに関連付けられた速度であるという趣旨です。 ${\displaystyle H'(X)}$

マルコフ連鎖の場合

マルコフ連鎖によって定義される既約かつ非周期的な確率過程は定常分布を持つため、エントロピー率は初期分布に依存しない。^[1]

例えば、可算な数の状態で定義されたマルコフ連鎖を考えてみましょう。その右確率遷移行列 とエントロピーが 与えられます。 ${\displaystyle P_{ij}}$

${\displaystyle h_{i}:=-\sum _{j}P_{ij}\log P_{ij}}$

各州に関連して、

${\displaystyle \displaystyle H(X)=\sum _{i}\mu _{i}h_{i},}$

ここで、これは連鎖の漸近分布です。 ${\displaystyle \mu _{i}}$

特に、IID 確率過程のエントロピー率は、過程内の個々のメンバーのエントロピーと同じになります。

隠れマルコフモデルの場合

隠れマルコフモデル（HMM）のエントロピー率には、閉形式の解が知られていない。しかし、上限と下限は知られている。基礎となるマルコフ連鎖を定常とし、観測可能な状態を とすると、 となり、の極限において両辺は中央に収束する。^[2] ${\displaystyle X_{1:\infty }}$ ${\displaystyle Y_{1:\infty }}$ $${\displaystyle H(Y_{n}|X_{1},Y_{1:n-1})\leq H(Y)\leq H(Y_{n}|Y_{1:n-1})}$$ ${\displaystyle n\to \infty }$

アプリケーション

エントロピー率は、確率過程の複雑さを推定するために用いられることがあります。言語の複雑さの特性評価、ブラインドソース分離、量子化器やデータ圧縮アルゴリズムの最適化に至るまで、多様な応用分野で用いられています。例えば、最大エントロピー率基準は、機械学習における特徴選択に用いられることがあります。^[3]

参照

• 情報源（数学）
• マルコフ情報源
• 漸近等分割性
• 最大エントロピーランダムウォーク- エントロピー率を最大化するために選択

参考文献

1. Cover, Thomas M.; Thomas, Joy A. (2006). 『情報理論の要素』（第2版）. ホーボーケン, ニュージャージー: Wiley-Interscience. p. 78. ISBN 978-0-471-24195-9。
2. Cover, Thomas M.; Thomas, Joy A. (2006). 「4.5. マルコフ連鎖の機能」.情報理論の要素（第2版）. ホーボーケン, ニュージャージー州: Wiley-Interscience. ISBN 978-0-471-24195-9。
3. Einicke, GA (2018). 「ランニング中の膝と足首のダイナミクス変化を分類するための特徴の最大エントロピーレート選択」. IEEE Journal of Biomedical and Health Informatics . 28 (4): 1097– 1103. arXiv : 2501.13750 . doi :10.1109/JBHI.2017.2711487. hdl : 10810/68978 . PMID  29969403. S2CID  49555941.

外部リンク

• Cover, T.、Thomas, J.『情報理論の要素』John Wiley and Sons, Inc. 第2版、2006年。

「https://en.wikipedia.org/w/index.php?title=エントロピー率&oldid=1299565422」より取得