近似エントロピー

Concept in statistics

統計学において、近似エントロピー（ApEn ）は、時系列データの規則性と変動の予測不可能性の大きさを定量化するために使用される手法です。^[1]たとえば、次の2つのデータ系列を考えてみましょう。

シリーズ A: (0、1、0、1、0、1、0、1、0、1、0、1、0、1、0、1、...)、0 と 1 が交互に現れます。

シリーズ B: (0、1、0、0、1、0、1、0、0、1、1、1、1、0、0、1、...)。0 または 1 の値がランダムに選択され、それぞれ確率 1/2 で選択されます。

平均や分散などのモーメント統計では、これら2つの系列を区別できません。また、順位統計でもこれらの系列を区別できません。しかし、系列Aは完全に規則的です。つまり、ある項の値が1であることを知っていれば、次の項の値が0であると確実に予測できます。一方、系列Bはランダムな値を持ちます。ある項の値が1であることを知っていても、次の項の値が何であるかについての洞察は得られません。

規則性はもともと、さまざまなエントロピー測定を中心とした正確な規則性統計によって測定されていました。^[1]しかし、正確なエントロピー計算には膨大な量のデータが必要であり、結果はシステムノイズに大きく影響されるため^[2]、これらの方法を実験データに適用することは現実的ではありません。 ApEnは、正確な規則性統計量であるコルモゴロフ・サイナイエントロピーを計算する近似アルゴリズムとして、Aviad CohenとItamar Procacciaによって最初に（別の名前で）提案され、^[3]その後、Steve M. Pincusによって普及しました。 ApEnは当初、カオスダイナミクスや心拍数などの医療データを分析するために使用され、^[1]その後、金融、^[4]生理学、^[5]人間工学、^[6]気象科学などへの応用が広がりました。^[7]

アルゴリズム

近似エントロピーの理論的基礎を説明した包括的なステップバイステップのチュートリアルが利用可能です。^[8]アルゴリズムは次のとおりです。

ステップ1

時系列データを想定します。これらは、時間的に等間隔で測定された生データ値です。 ${\displaystyle u(1),u(2),\ldots ,u(N)}$ ${\displaystyle N}$

ステップ2

を正の整数とし、はデータの連続（基本的にはウィンドウ）の長さを表します。を正の実数とし、 はフィルタリングレベルを指定します。とします。 ${\displaystyle m\in \mathbb {Z} ^{+}}$ ${\displaystyle m\leq N}$
${\displaystyle r\in \mathbb {R} ^{+}}$
${\displaystyle n=N-m+1}$

ステップ3

それぞれ についてを定義します。言い換えると、は から始まるデータの連続を含む次元ベクトルです。2つのベクトルと の間の距離を、それぞれの要素間の距離の最大値として定義します。 ${\displaystyle \mathbf {x} (i)={\big [}u(i),u(i+1),\ldots ,u(i+m-1){\big ]}}$ ${\displaystyle i}$ ${\displaystyle 1\leq i\leq n}$ ${\displaystyle \mathbf {x} (i)}$ ${\displaystyle m}$ ${\displaystyle u(i)}$
${\displaystyle \mathbf {x} (i)}$ ${\displaystyle \mathbf {x} (j)}$

${\displaystyle {\begin{aligned}d[\mathbf {x} (i),\mathbf {x} (j)]&=\max _{k}{\big (}|\mathbf {x} (i)_{k}-\mathbf {x} (j)_{k}|{\big )}\\&=\max _{k}{\big (}|u(i+k-1)-u(j+k-1)|{\big )}\\\end{aligned}}}$

のために。 ${\displaystyle 1\leq k\leq m}$

ステップ4

カウントを次のように 定義する ${\displaystyle C_{i}^{m}}$

${\displaystyle C_{i}^{m}(r)={({\text{number of }}j{\text{ such that }}d[\mathbf {x} (i),\mathbf {x} (j)]\leq r) \over n}}$

それぞれの について、 となります。 は1 から までのすべての値を取るため、一致は のとき（つまり、テスト部分列がそれ自身 と一致するとき）にカウントされることに注意してください。 ${\displaystyle i}$ ${\displaystyle 1\leq i,j\leq n}$ ${\displaystyle j}$ ${\displaystyle n}$ ${\displaystyle j=i}$ ${\displaystyle \mathbf {x} (j)}$ ${\displaystyle \mathbf {x} (i)}$

ステップ5

定義する

${\displaystyle \phi ^{m}(r)={1 \over n}\sum _{i=1}^{n}\log(C_{i}^{m}(r))}$

ここで、 は自然対数、 は固定の、、に対して、ステップ 2 で設定された値です。 ${\displaystyle \log }$ ${\displaystyle m}$ ${\displaystyle r}$ ${\displaystyle n}$

ステップ6

近似エントロピー（）を次のように 定義する。 ${\displaystyle \mathrm {ApEn} }$

${\displaystyle \mathrm {ApEn} (m,r,N)(u)=\phi ^{m}(r)-\phi ^{m+1}(r)}$

パラメータ選択

通常は、またはを選択しますが、 はアプリケーションによって大きく異なります。 ${\displaystyle m=2}$ ${\displaystyle m=3}$ ${\displaystyle r}$

^{Pincus [2]}をベースにしたPhysionet ^[9]の実装では、ステップ4での代わりにを使用します。人工的に構築された例では懸念事項ですが、実際には通常は懸念事項ではありません。 ${\displaystyle d[\mathbf {x} (i),\mathbf {x} (j)]<r}$ ${\displaystyle d[\mathbf {x} (i),\mathbf {x} (j)]\leq r}$

例

心拍シーケンスの図解

時間的に等間隔に配置された心拍数のサンプルのシーケンスを考えてみましょう。 ${\displaystyle N=51}$

${\displaystyle \ S_{N}=\{85,80,89,85,80,89,\ldots \}}$

シーケンスは周期 3 で周期的であることに注意してください。 と を選択しましょう(との値は結果に影響を与えずに変更できます)。 ${\displaystyle m=2}$ ${\displaystyle r=3}$ ${\displaystyle m}$ ${\displaystyle r}$

ベクトルのシーケンスを作成します。

${\displaystyle {\begin{aligned}\mathbf {x} (1)&=[u(1)\ u(2)]=[85\ 80]\\\mathbf {x} (2)&=[u(2)\ u(3)]=[80\ 89]\\\mathbf {x} (3)&=[u(3)\ u(4)]=[89\ 85]\\\mathbf {x} (4)&=[u(4)\ u(5)]=[85\ 80]\\&\ \ \vdots \end{aligned}}}$

距離は次のように繰り返し計算されます。最初の計算では、

${\displaystyle \ d[\mathbf {x} (1),\mathbf {x} (1)]=\max _{k}|\mathbf {x} (1)_{k}-\mathbf {x} (1)_{k}|=0}$これは より小さいです。 ${\displaystyle r}$

2番目の計算では、であること に注意してください。 ${\displaystyle |u(2)-u(3)|>|u(1)-u(2)|}$

${\displaystyle \ d[\mathbf {x} (1),\mathbf {x} (2)]=\max _{k}|\mathbf {x} (1)_{k}-\mathbf {x} (2)_{k}|=|u(2)-u(3)|=9}$これは より大きいです。 ${\displaystyle r}$

同様に、

${\displaystyle {\begin{aligned}d[\mathbf {x} (1)&,\mathbf {x} (3)]=|u(2)-u(4)|=5>r\\d[\mathbf {x} (1)&,\mathbf {x} (4)]=|u(1)-u(4)|=|u(2)-u(5)|=0<r\\&\vdots \\d[\mathbf {x} (1)&,\mathbf {x} (j)]=\cdots \\&\vdots \\\end{aligned}}}$

結果として、 となる項は合計17個となる。これらには が含まれる。これらの場合、は ${\displaystyle \mathbf {x} (j)}$ ${\displaystyle d[\mathbf {x} (1),\mathbf {x} (j)]\leq r}$ ${\displaystyle \mathbf {x} (1),\mathbf {x} (4),\mathbf {x} (7),\ldots ,\mathbf {x} (49)}$ ${\displaystyle C_{i}^{m}(r)}$

${\displaystyle \ C_{1}^{2}(3)={\frac {17}{50}}}$

${\displaystyle \ C_{2}^{2}(3)={\frac {17}{50}}}$

${\displaystyle \ C_{3}^{2}(3)={\frac {16}{50}}}$

${\displaystyle \ C_{4}^{2}(3)={\frac {17}{50}}\ \cdots }$

ステップ4で、について であることに注意してください。したがって、となる項には が含まれ、合計数は16になります。 ${\displaystyle 1\leq i\leq n}$ ${\displaystyle \mathbf {x} (i)}$ ${\displaystyle \mathbf {x} (j)}$ ${\displaystyle d[\mathbf {x} (3),\mathbf {x} (j)]\leq r}$ ${\displaystyle \mathbf {x} (3),\mathbf {x} (6),\mathbf {x} (9),\ldots ,\mathbf {x} (48)}$

これらの計算の最後に、

${\displaystyle \phi ^{2}(3)={1 \over 50}\sum _{i=1}^{50}\log(C_{i}^{2}(3))\approx -1.0982}$

次に、上記の手順を について繰り返します。まず、ベクトルの列を形成します。 ${\displaystyle m=3}$

${\displaystyle {\begin{aligned}\mathbf {x} (1)&=[u(1)\ u(2)\ u(3)]=[85\ 80\ 89]\\\mathbf {x} (2)&=[u(2)\ u(3)\ u(4)]=[80\ 89\ 85]\\\mathbf {x} (3)&=[u(3)\ u(4)\ u(5)]=[89\ 85\ 80]\\\mathbf {x} (4)&=[u(4)\ u(5)\ u(6)]=[85\ 80\ 89]\\&\ \ \vdots \end{aligned}}}$

ベクトル間の距離を計算すると、フィルタリング レベルを満たすベクトルには次の特性があることがわかります。 ${\displaystyle \mathbf {x} (i),\mathbf {x} (j),1\leq i\leq 49}$

${\displaystyle d[\mathbf {x} (i),\mathbf {x} (i+3)]=0<r}$

したがって、

${\displaystyle \ C_{1}^{3}(3)={\frac {17}{49}}}$

${\displaystyle \ C_{2}^{3}(3)={\frac {16}{49}}}$

${\displaystyle \ C_{3}^{3}(3)={\frac {16}{49}}}$

${\displaystyle \ C_{4}^{3}(3)={\frac {17}{49}}\ \cdots }$

これらの計算の最後に、

${\displaystyle \phi ^{3}(3)={1 \over 49}\sum _{i=1}^{49}\log(C_{i}^{3}(3))\approx -1.0982}$

ついに、

${\displaystyle \mathrm {ApEn} =\phi ^{2}(3)-\phi ^{3}(3)\approx 0.000010997}$

この値は非常に小さいため、シーケンスは規則的かつ予測可能であることを意味し、これは観測結果と一致しています。

Python実装

インポート数学 def approx_entropy ( time_series , run_length , filter_level ) -> float : """ 近似エントロピー       >>> ランダムをインポート >>> regularly = [85, 80, 89] * 17  >>> print(f"{approx_entropy(regularly, 2, 3):e}")  1.099654e-05  >>> randomly = [random.choice([85, 80, 89]) for _ in range(17*3)]  >>> 0.8 < approx_entropy(randomly, 2, 3) < 1  True  """ def _maxdist ( x_i , x_j ): ua 、va内のzip ( x_i 、x_j )について、 max ( abs ( ua - va ) )を返します。             def _phi ( m ): n = len ( time_series ) - m + 1 x = [ [ time_series [ j ] jがrange ( i 、i + m )] iがrange ( n ) の場合counts = [ sum ( 1 ) x_jがxの場合if _maxdist ( x_i 、x_j ) < = filter_level ) / nの場合x_iがxの場合] return sum ( math . log ( c ) cがcountsの場合) / n                                                      絶対値( _phi (ランレングス +1  ) -_ phi (ランレングス))を 返す  __name__  ==  "__main__"の場合:  doctestをインポートします  doctest.testmod ( )​

MATLAB実装

• MatLab Centralの高速近似エントロピー
• 近似エントロピー

解釈

時系列に変動の反復パターンが存在する場合、そのようなパターンが存在しない時系列よりも予測可能性が高くなります。ApEnは、同様の観測パターンの後に同様の観測がさらに発生しない可能性を反映しています。^[10]多くの反復パターンを含む時系列のApEnは比較的小さく、予測可能性が低いプロセスではApEnは高くなります。

利点

ApEnの利点は次のとおりです。^[2]

• 計算負荷が低い。ApEnは小さなデータサンプル（ポイント）で動作するように設計でき、リアルタイムで適用できます。 ${\displaystyle N<50}$
• ノイズの影響が少ない。データにノイズが多い場合、ApEn 値をデータ内のノイズレベルと比較することで、データに含まれる真の情報の質を判断できます。

制限事項

ApEnアルゴリズムは、計算中に の発生を回避するため、各配列を自身と一致するものとしてカウントします。このステップによりApEnにバイアスが生じる可能性があり、その結果、ApEnは実際には2つの悪い特性を持つことになります。^[11] ${\displaystyle \log(0)}$

1. ApEn はレコードの長さに大きく依存し、短いレコードの場合は予想よりも一様に低くなります。
2. 相対的な一貫性が欠けている。つまり、あるデータセットのApEnが別のデータセットのApEnよりも高い場合、テストされたすべての条件においてApEnは高いままであるべきであるが、実際にはそうではない。

アプリケーション

^{ApEnは、統合失調症[12]} 、てんかん^{[13] 、依存症[14]}などの精神疾患における脳波（EEG）の分類に応用されている。

参照

• 再発定量分析
• サンプルエントロピー

参考文献

1. Pincus, SM; Gladstone, IM; Ehrenkranz, RA (1991). 「医療データ分析のための規則性統計」. Journal of Clinical Monitoring and Computing . 7 (4): 335– 345. doi :10.1007/BF01619355. PMID  1744678. S2CID  23455856.
2. Pincus, SM (1991). 「システムの複雑さの尺度としての近似エントロピー」. Proceedings of the National Academy of Sciences . 88 (6): 2297– 2301. Bibcode :1991PNAS...88.2297P. doi : 10.1073/pnas.88.6.2297 . PMC 51218. PMID  11607165 . 
3. Cohen, A.; Procaccia, I. (1985). 「散逸型および保守型力学系の時間信号からのコルモゴロフエントロピーの計算」. Physical Review A. 28 ( 3): 2591(R). Bibcode :1985PhRvA..31.1872C. doi :10.1103/PhysRevA.31.1872. PMID  9895695.
4. Pincus, SM; Kalman, EK (2004). 「不規則性、ボラティリティ、リスク、そして金融市場の時系列」. Proceedings of the National Academy of Sciences . 101 (38): 13709– 13714. Bibcode :2004PNAS..10113709P. doi : 10.1073/pnas.0405168101 . PMC 518821. PMID  15358860 . 
5. Pincus, SM; Goldberger, AL (1994). 「生理学的時系列分析：規則性は何を定量化するのか？」アメリカ生理学ジャーナル266 ( 4): 1643– 1656. doi :10.1152/ajpheart.1994.266.4.H1643. PMID  8184944. S2CID  362684.
6. McKinley, RA; McIntire, LK; Schmidt, R; Repperger, DW; Caldwell, JA (2011). 「疲労の検出器としての眼の指標の評価」.ヒューマンファクターズ. 53 (4): 403– 414. doi :10.1177/0018720811411297. PMID  21901937. S2CID  109251681.
7. Delgado-Bonal, Alfonso; Marshak, Alexander; Yang, Yuekui; Holdaway, Daniel (2020-01-22). 「MERRA-2放射データを用いた過去40年間の気候複雑性の変化の分析」. Scientific Reports . 10 (1): 922. Bibcode :2020NatSR..10..922D. doi : 10.1038/s41598-020-57917-8 . ISSN  2045-2322. PMC 6976651. PMID 31969616  . 
8. Delgado-Bonal, Alfonso; Marshak, Alexander (2019年6月). 「近似エントロピーとサンプルエントロピー：包括的なチュートリアル」.エントロピー. 21 (6): 541. Bibcode :2019Entrp..21..541D. doi : 10.3390/e21060541 . PMC 7515030. PMID 33267255  . 
9. “PhysioNet”. 2012年6月18日時点のオリジナルよりアーカイブ。2012年7月4日閲覧。
10. Ho, KK; Moody, GB; Peng, CK; Mietus, JE; Larson, MG; levy, D; Goldberger, AL (1997). 「心拍数ダイナミクスの非線形および従来型指標を導出するための完全自動化手法を用いた心不全症例および対照群における生存率予測」Circulation . 96 (3): 842– 848. doi :10.1161/01.cir.96.3.842. PMID  9264491.
11. Richman, JS; Moorman, JR (2000). 「近似エントロピーとサンプルエントロピーを用いた生理学的時系列解析」. American Journal of Physiology. Heart and Circulatory Physiology . 278 (6): 2039– 2049. doi :10.1152/ajpheart.2000.278.6.H2039. PMID  10843903. S2CID  2389971.
12. Sabeti, Malihe (2009). 「統合失調症患者と健常者の脳波信号分類におけるエントロピーと複雑性の尺度」.人工知能と医学. 47 (3): 263– 274. doi :10.1016/j.artmed.2009.03.003. PMID  19403281.
13. Yuan, Qi (2011). 「エクストリーム学習マシンと非線形特徴に基づくてんかん性脳波分類」.てんかん研究. 96 ( 1– 2): 29– 38. doi :10.1016/j.eplepsyres.2011.04.013. PMID  21616643. S2CID  41730913.
14. Yun, Kyongsik (2012). 「メタンフェタミン乱用者における皮質複雑性の低下」.精神医学研究：神経画像. 201 (3): 226–32 . doi :10.1016/j.pscychresns.2011.07.009. PMID  22445216. S2CID  30670300.

Retrieved from "https://en.wikipedia.org/w/index.php?title=Approximate_entropy&oldid=1319242379"