ハートレー関数

ハートレー関数は、1928年にラルフ・ハートレーによって導入された不確実性の尺度である。有限集合Aから一様ランダムにサンプルを抽出した場合、結果が判明した後に明らかになる情報量はハートレー関数によって与えられる。

${\displaystyle H_{0}(A):=\mathrm {log} _{b}\vert A\vert ,}$

ここで | A | はAの基数を表します。

対数の底が2の場合、不確実性の単位はシャノン（一般的にはビット）です。自然対数の場合、単位は自然対数です。ハートレーは10を底とする対数を用いており、この底の情報単位は彼にちなんでハートレー（別名バンまたはディット）と呼ばれています。これはハートレーエントロピーまたは最大エントロピーとも呼ばれます。

ハートレー関数、シャノンエントロピー、レーニエントロピー

一様確率分布の場合、ハートレー関数はシャノンエントロピー（およびあらゆる次数のレーニエントロピー）と一致する。これはレーニエントロピーの特別な場合である。その理由は以下の通りで ある。

${\displaystyle H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|{\mathcal {X}}|}p_{i}^{0}=\log |{\mathcal {X}}|.}$

しかし、コルモゴロフとレーニが強調したように、ハートレー関数は確率の概念を導入せずに定義できるため、原始的な構成と見ることもできます ( George J. Klir 著「不確実性と情報」 423 ページを参照)。

ハートレー関数の特徴

ハートレー関数は集合の要素数のみに依存するため、自然数上の関数とみなすことができる。レーニイは、2を底とするハートレー関数が、自然数を実数に写像する唯一の関数であり、次式を満たすことを示した。

1. ${\displaystyle H(mn)=H(m)+H(n)}$（加法性）
2. ${\displaystyle H(m)\leq H(m+1)}$（単調性）
3. ${\displaystyle H(2)=1}$（正規化）

条件1は、2つの有限集合AとBの直積の不確実性は、AとBの不確実性の合計であることを示しています。条件2は、集合が大きいほど不確実性も大きくなることを示しています。

ハートレー関数の導出

ハートレー関数log ₂ ( n )は、自然数を実数に写像する唯一の関数であり、

1. ${\displaystyle H(mn)=H(m)+H(n)\,}$（加法性）
2. ${\displaystyle H(m)\leq H(m+1)\,}$（単調性）
3. ${\displaystyle H(2)=1\,}$（正規化）

fを上記の3つの性質を満たす正の整数関数とする。加法性から、任意の整数nとkに対して、

${\displaystyle f(n^{k})=kf(n).\,}$

a、b、tを任意の正の整数とする。s は一意に定まる整数である。

${\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.\qquad (1)}$

したがって、

${\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}$

そして

${\displaystyle {\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.}$

一方、単調性により、

${\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}$

式（1）を用いると、

${\displaystyle sf(a)\leq tf(b)\leq (s+1)f(a),\,}$

そして

${\displaystyle {\frac {s}{t}}\leq {\frac {f(b)}{f(a)}}\leq {\frac {s+1}{t}}.}$

したがって、

${\displaystyle \left\vert {\frac {f(b)}{f(a)}}-{\frac {\log _{2}(b)}{\log _{2}(a)}}\right\vert \leq {\frac {1}{t}}.}$

tは任意の大きさをとることができるので、上記の不等式の左辺の差はゼロでなければならない。

${\displaystyle {\frac {f(b)}{f(a)}}={\frac {\log _{2}(b)}{\log _{2}(a)}}.}$

それで、

${\displaystyle f(a)=\mu \log _{2}(a)\,}$

ある定数μは正規化特性により 1 に等しくなければなりません。

参照

• レニエントロピー
• 最小エントロピー

参考文献

• この記事にはPlanetMathの Hartley 関数の資料が組み込まれており、これはCreative Commons Attribution/Share-Alike Licenseに基づいてライセンスされています。
• この記事にはPlanetMathの Derivation of Hartley function からの資料が組み込まれており、これはCreative Commons Attribution/Share-Alike Licenseに基づいてライセンスされています。

「https://en.wikipedia.org/w/index.php?title=Hartley_function&oldid=1321056378」から取得