ホプキンス統計

ホプキンス統計量（ブライアン・ホプキンスとジョン・ゴードン・スケラムによって導入された）は、データセットのクラスター傾向を測定する方法である。 ^[1]これはスパースサンプリング検定の一種である。これは、データがポアソン点過程によって生成され、したがって一様ランダムに分布しているという帰無仮説に基づく統計的仮説検定として機能する。^[2]個体が集約されている場合、その値は1に近づき、ランダムに分布している場合は0.5に近づく。^[3]

予選

ホプキンス統計の典型的な定式化は以下の通りである。^[2]

をデータポイントの集合とします。 ${\displaystyle X}$ ${\displaystyle n}$

から置換なしでサンプリングされたデータ ポイントのランダム サンプルを生成します。 ${\displaystyle {\overset {\sim }{X}}}$ ${\displaystyle m\ll n}$ ${\displaystyle X}$

均一にランダムに分布したデータ ポイントのセットを生成します。 ${\displaystyle Y}$ ${\displaystyle m}$

2つの距離尺度を定義する。

${\displaystyle u_{i},}$から における最も近い近傍までの最小距離（適切な距離が与えられた場合）、および ${\displaystyle y_{i}\in Y}$ ${\displaystyle X}$

${\displaystyle w_{i},}$最も近い隣接点までの最小距離 ${\displaystyle {\overset {\sim }{x}}_{i}\in {\overset {\sim }{X}}\subseteq X}$ ${\displaystyle x_{j}\in X,\,{\overset {\sim }{x_{i}}}\neq x_{j}.}$

意味

上記の表記法では、データが次元化されている場合、ホプキンス統計量は次のように定義されます。^[4] ${\displaystyle d}$

${\displaystyle H={\frac {\sum _{i=1}^{m}{u_{i}^{d}}}{\sum _{i=1}^{m}{u_{i}^{d}}+\sum _{i=1}^{m}{w_{i}^{d}}}}\,}$

帰無仮説の下では、この統計量はBeta(m,m)分布に従います。

注釈と参考文献

1. ホプキンス、ブライアン；スケラム、JG (1954). 「植物個体の分布型を決定するための新しい方法」Annals of Botany . 18 (2). Annals Botany Co: 213– 227. doi :10.1093/oxfordjournals.aob.a083391.
2. Banerjee, A. (2004). 「ホプキンス統計を用いたクラスターの検証」. 2004 IEEE International Conference on Fuzzy Systems (IEEE Cat. No.04CH37542) . 第1巻. pp.  149– 153. doi :10.1109/FUZZY.2004.1375706. ISBN 0-7803-8353-2. S2CID  36701919。
3. Aggarwal, Charu C. (2015). データマイニング. 出版社: Springer International Publishing. p. 158. doi :10.1007/978-3-319-14142-8. ISBN 978-3-319-14141-1. S2CID  13595565。
4. Cross, GR; Jain, AK (1982). 「クラスタリング傾向の測定**NSF Grant ECS-8007106の一部支援を受けた研究」.クラスタリング傾向の測定. pp.  315– 320. doi :10.1016/B978-0-08-027618-2.50054-1. ISBN 978-0-08-027618-2。 {{cite book}}:|journal=無視されました (ヘルプ)

外部リンク

• https://www.sthda.com/english/wiki/assessing-clustering-tendency-a-vital-issue-unsupervised-machine-learning

Retrieved from "https://en.wikipedia.org/w/index.php?title=Hopkins_statistic&oldid=1317303010"