不確実係数

統計学において、不確実性係数（熟達度、エントロピー係数、あるいはタイルのUとも呼ばれる）は、名目関連性の尺度です。これはアンリ・タイル^{（[要出典]）}によって初めて提唱され、情報エントロピーの概念に基づいています。

意味

2つの離散確率変数XとYの標本があるとします。結合分布 $P X,Y (x, y)$ を構築し、そこから条件付き分布 $P X | Y (x | y) = P X,Y$ ( $x$ $,$ $y$ $)/$ $P$ $Y$ $($ $y$ $)$ および $P Y |X (y |$ $x$ $) =$ $P$ $X$ $,Y$ $($ $x$ $,$ $y$ $)/$ $P$ $X$ $($ $x$ $)$ を計算し、様々なエントロピーを計算することで、2つの変数間の関連度を決定できます。

単一分布のエントロピーは次のように与えられる: ^[1]

H(X)=-\sum _{x}P_{X}(x)\log P_{X}(x),

条件付きエントロピーは次のように与えられる: ^[1]

H(X|Y)=-\sum _{x,~y}P_{X,Y}(x,~y)\log P_{X|Y}(x|y).

不確実性係数^[2]または熟達度^[3]は次のように定義される。

U(X|Y)={\frac {H(X)-H(X|​​Y)}{H(X)}}={\frac {I(X;Y)}{H(X)}},

そして、Yが与えられた場合、 Xのビットの何分の1を予測できるかを教えてくれます。この場合、Xにはすべての情報が含まれており、Yはそのような情報の一部を予測できるものと考えることができます。

上記の式から、不確実係数は正規化された相互情報量 I(X;Y)であることが分かります。特に、不確実係数は [0, 1] の範囲にあり、I(X;Y) < H(X)であり、 I(X,Y)とH(X)はともに正またはゼロです。

すべての対数は比例するため、 Uの値( Hは除く) は対数の底に依存しないことに注意してください。

不確実性係数は、統計的分類アルゴリズムの妥当性を測定するのに有用であり、適合率や再現率といったより単純な精度指標に比べて、異なるクラスの相対的な割合、すなわちP ( x )の影響を受けないという利点がある。 ^[4]また、不確実性係数は、アルゴリズムが一貫して誤ったクラスを予測する限り（つまり、単にクラスを並べ替えるだけ）、アルゴリズムにペナルティを与えないという独自の特性も有する。これは、クラスタリングアルゴリズムの評価に有用である。なぜなら、クラスタラベルには通常、特定の順序付けがないからである。^[3]

バリエーション

不確実性係数は、 XとYの役割に関して対称的ではない。役割を逆転させることができ、対称的な尺度は両者の加重平均として定義される。^[2]

{\begin{aligned}U(X,~Y)&={\frac {H(X)U(X|Y)+H(Y)U(Y|X)}{H(X)+H(Y)}}\\[8pt]&=2\left[{\frac {H(X)+H(Y)-H(X,~Y)}{H(X)+H(Y)}}\right].\end{aligned}}

不確実性係数は通常は離散変数に適用されますが、密度推定を使用して連続変数に拡張することができます^[1]。^[^{引用が必要}^]

参照

参考文献

^ abc クロード・E・シャノン、ウォーレン・ウィーバー (1963). 『コミュニケーションの数学的理論』イリノイ大学出版局.
^ ab William H. Press、Brian P. Flannery、Saul A. Teukolsky、William T. Vetterling (1992). "14.7.4". 数値計算レシピ：科学計算の芸術（第3版）. Cambridge University Press. p. 761.
^ ab White, Jim; Steingold, Sam; Fournelle, Connie. 「グループ検出アルゴリズムのパフォーマンス指標」(PDF) . Interface 2004. 2012年4月13日時点のオリジナルよりアーカイブ。 {{cite journal}}:ジャーナルを引用するには|journal=（ヘルプ）が必要です
^ Peter, Mills (2011). 「衛星測定の効率的な統計分類」(PDF) . International Journal of Remote Sensing . 32 (21): 6109– 6132. arXiv : 1202.2194 . Bibcode :2011IJRS...32.6109M. doi :10.1080/01431161.2010.507795. S2CID 88518570. 2012年4月26日時点のオリジナル(PDF)からのアーカイブ。

外部リンク

libagf 不確実性係数を計算するソフトウェアが含まれています。

[Shannon_Weaver1963-1] クロード・E・シャノン、ウォーレン・ウィーバー (1963). 『コミュニケーションの数学的理論』イリノイ大学出版局.

[Press_etal1992-2] William H. Press、Brian P. Flannery、Saul A. Teukolsky、William T. Vetterling (1992). "14.7.4". 数値計算レシピ：科学計算の芸術（第3版）. Cambridge University Press. p. 761.

[JimWhite-3] White, Jim; Steingold, Sam; Fournelle, Connie. 「グループ検出アルゴリズムのパフォーマンス指標」(PDF) . Interface 2004. 2012年4月13日時点のオリジナルよりアーカイブ。 {{cite journal}}:ジャーナルを引用するには|journal=（ヘルプ）が必要です

[Mills2010-4] Peter, Mills (2011). 「衛星測定の効率的な統計分類」(PDF) . International Journal of Remote Sensing . 32 (21): 6109– 6132. arXiv : 1202.2194 . Bibcode :2011IJRS...32.6109M. doi :10.1080/01431161.2010.507795. S2CID 88518570. 2012年4月26日時点のオリジナル(PDF)からのアーカイブ。