ファイ係数

Statistical measure of association for two binary variables

統計学において、ファイ係数、または平均二乗偶発係数は、 φまたはr _φで示され、2 つの2 値変数の関連の尺度です。

機械学習では、マシューズ相関係数（MCC）として知られ、 1975年に生化学者ブライアン・W・マシューズによって導入され、バイナリ（2クラス）分類の品質の尺度として使用されています。 ^[1]

カール・ピアソン^[2]によって導入され、1912年にユドニー・ユール^[3]によって導入されたことからユールファイ係数としても知られるこの指標は、その解釈において ピアソン相関係数に似ています。

気象学では、ファイ係数^[4]またはその平方（後者は1885年のMHドゥーリットルの最初の提案^[5]と一致している）は、ドゥーリットルスキルスコアまたはドゥーリットル連想尺度と呼ばれています。

意味

2つの2値変数に対して推定されたピアソン相関係数はファイ係数を返します。^[6]

2つの2値変数は、データの大部分が対角線上のセルに沿う場合、正の相関があるとみなされます。一方、データの大部分が対角線上にない場合、2つの2値変数は負の相関があるとみなされます。

2つの確率変数xと yの2×2表があるとすると

	y = 1	y = 0	合計
x = 1	${\displaystyle n_{11}}$	${\displaystyle n_{10}}$	${\displaystyle n_{1\bullet }}$
x = 0	${\displaystyle n_{01}}$	${\displaystyle n_{00}}$	${\displaystyle n_{0\bullet }}$
合計	${\displaystyle n_{\bullet 1}}$	${\displaystyle n_{\bullet 0}}$	${\displaystyle n}$

ここで、n ₁₁、 n ₁₀、n ₀₁、n _{00は、観測値の総数}nとなる非負の観測値の数である 。xとyの関連性を表すファイ係数は、

${\displaystyle \varphi ={\frac {n_{11}n_{00}-n_{10}n_{01}}{\sqrt {n_{1\bullet }n_{0\bullet }n_{\bullet 0}n_{\bullet 1}}}}.}$

ファイは点双列相関係数とコーエンのdと関連しており、2つの変数（2×2）間の関係の程度を推定します。^[7]

ファイ係数は、、、、およびのみを使用して次のように 表すこともできます。 ${\displaystyle n}$ ${\displaystyle n_{11}}$ ${\displaystyle n_{1\bullet }}$ ${\displaystyle n_{\bullet 1}}$

${\displaystyle \varphi ={\frac {nn_{11}-n_{1\bullet }n_{\bullet 1}}{\sqrt {n_{1\bullet }n_{\bullet 1}(n-n_{1\bullet })(n-n_{\bullet 1})}}}.}$

最大値

計算上はピアソン相関係数は2×2の場合にファイ係数に帰着しますが、一般的には両者は同じではありません。ピアソン相関係数は-1から+1の範囲をとり、±1は完全に一致または不一致であることを示し、0は無関係であることを示します。ファイ係数の最大値は、2つの変数の分布によって決まります。ただし、一方または両方の変数が2つ以上の値を取る場合です。^{[詳細な説明が必要]}詳細な議論については、 Davenport and El-Sanhury (1991) ^[8]を参照してください。

機械学習

MCCは、カール・ピアソンによって導入されたファイ係数[2] [9] と同様に定義され、1912年^にユール・ファイ係数^[3]によって導入されたことからユールファイ係数としても知られています。マシューズの使用より数十年前に遡るこれらの前例にもかかわらず、MCCという用語はバイオインフォマティクスと機械学習の分野で広く使用されています。

この係数は真陽性と偽陽性、そして偽陽性と偽陰性を考慮しており、クラスの大きさが大きく異なる場合でも使用できるバランスの取れた尺度であると一般的に考えられています。^[10] MCCは本質的には観測された二値分類と予測された二値分類の相関係数であり、-1から+1の間の値を返します。+1の係数は完全な予測を表し、0はランダム予測と同程度、-1は予測と観測が完全に一致していないことを示します。ただし、MCCが-1、0、+1のいずれにも等しくない場合は、MCCはデータセットに依存するため、予測変数がランダムな推測とどの程度類似しているかを示す信頼できる指標にはなりません。^[11] MCCは、 2×2分割表のカイ二乗統計量と密接に関連しています。

${\displaystyle |{\text{MCC}}|={\sqrt {\frac {\chi ^{2}}{n}}}}$

ここで、nは観測の総数です。

真陽性と偽陽性、偽陰性の混同行列を単一の数値で記述する完璧な方法は存在しませんが、マシューズ相関係数は一般的にそのような指標として最も優れたものの一つと考えられています。 ^[12]正しい予測の割合（精度とも呼ばれる）などの他の指標は、2つのクラスのサイズが大きく異なる場合には役に立ちません。例えば、すべてのオブジェクトをより大きな集合に割り当てると、正しい予測の割合は高くなりますが、一般的に有用な分類とは言えません。

MCC は、次の式を使用して混同行列から直接計算できます。

${\displaystyle {\text{MCC}}={\frac {{\mathit {TP}}\times {\mathit {TN}}-{\mathit {FP}}\times {\mathit {FN}}}{\sqrt {({\mathit {TP}}+{\mathit {FP}})({\mathit {TP}}+{\mathit {FN}})({\mathit {TN}}+{\mathit {FP}})({\mathit {TN}}+{\mathit {FN}})}}}}$

この式において、TPは真陽性の数、TNは真陰性の数、FPは偽陽性の数、FNは偽陰性の数です。分母の4つの合計のうち1つだけがゼロの場合、分母を任意に1に設定できます。この場合、マシューズ相関係数はゼロとなり、これが正しい限界値であることが示されます。2つ以上の合計がゼロの場合（例：ラベルとモデル予測の両方が正または負の場合）、限界は存在しません。

MCC は次の式で計算できます。

${\displaystyle {\text{MCC}}={\sqrt {{\mathit {PPV}}\times {\mathit {TPR}}\times {\mathit {TNR}}\times {\mathit {NPV}}}}-{\sqrt {{\mathit {FDR}}\times {\mathit {FNR}}\times {\mathit {FPR}}\times {\mathit {FOR}}}}}$

陽性予測値、真陽性率、真陰性率、陰性予測値、偽発見率、偽陰性率、偽陽性率、および偽脱落率を使用します。

マシューズが示した元の式は次の通りである: ^[1]

${\displaystyle {\begin{aligned}N&={\mathit {TN}}+{\mathit {TP}}+{\mathit {FN}}+{\mathit {FP}}\\[6pt]S&={\frac {{\mathit {TP}}+{\mathit {FN}}}{N}}\\[6pt]P&={\frac {{\mathit {TP}}+{\mathit {FP}}}{N}}\\[6pt]{\text{MCC}}&={\frac {{\mathit {TP}}/N-S\times P}{\sqrt {PS(1-S)(1-P)}}}\end{aligned}}}$

これは上記の式に等しい。相関係数として、マシューズ相関係数は、問題の回帰係数とその双対の幾何平均である。マシューズ相関係数の成分回帰係数は、マークネス（Δ p）とユーデンのJ統計量（情報提供度またはΔ p ′）である。^{[12] [13]}マークネスと情報提供度は情報の流れの異なる方向に対応し、ユーデンのJ統計量、つまり統計量を一般化する。一方、それらの幾何平均はマシューズ相関係数を2つ以上のクラスに一般化する。^[12] ${\displaystyle \delta p}$

一部の科学者は、マシューズ相関係数が混同行列のコンテキストにおけるバイナリ分類器の予測の品質を確立するための最も有益な単一のスコアであると主張している。^{[14] [15]}

例

12枚の画像（猫が8枚、犬が4枚）のサンプルがあり、猫はクラス1、犬はクラス0に属します。

実際 = [1,1,1,1,1,1,1,1,0,0,0,0],

猫と犬を区別する分類器がトレーニング済みで、12 枚の写真を取得して分類器に通すと、分類器は 9 回正確に予測し、3 回間違えます。つまり、2 匹の猫が誤って犬と予測され (最初の 2 回の予測)、1 匹の犬が誤って猫と予測されました (最後の予測)。

予測 = [0,0, 1 , 1 , 1 , 1 , 1 , 1 , 0 , 0 , 0,1 ]

これら 2 つのラベル付きセット (実際と予測) を使用して、分類器のテスト結果を要約する混同行列を作成できます。

予測 クラス 実際の授業	猫	犬
猫	6	2
犬	1	3

この混同行列では、システムは8枚の猫の写真のうち2枚を犬と判断し、4枚の犬の写真のうち1枚を猫と予測しました。正しい予測はすべて表の対角線上（太字で強調表示）に配置されているため、予測誤差は対角線外の値で表されるため、表を視覚的に確認するのは簡単です。

抽象的に言えば、混同行列は次のようになります。

予測 クラス 実際の授業	P	北
P	TP	FN
北	FP	テネシー州

ここで、P = 陽性、N = 陰性、TP = 真陽性、FP = 偽陽性、TN = 真陰性、FN = 偽陰性。

数式の数字を代入します。

${\displaystyle {\text{MCC}}={\frac {6\times 3-1\times 2}{\sqrt {(6+1)\times (6+2)\times (3+1)\times (3+2)}}}={\frac {16}{\sqrt {1120}}}\approx 0.478}$

混同行列

ある条件において、 P 個の陽性例とN 個の陰性例から実験を定義しましょう。4 つの結果は、2×2 の分割表または混同行列で次のように表すことができます。

		予測される条件		出典: [16] [17] [18] [19] [20] [21] [22] [23] ビュー 話す 編集
	総人口 = P + N	陽性と予測される	予測陰性	情報量、ブックメーカーの情報量（BM） ＝TPR＋TNR−1	有病率閾値（PT） = ⁠√TPR × FPR − FPR/TPR − FPR⁠
実際の状況	実正（P） [a]	真陽性（TP）、 ヒット[b]	偽陰性（FN）、 見逃し、過小評価	真陽性率（TPR）、再現率、感度（SEN）、検出確率、ヒット率、検出力 = ⁠TP/P⁠ = 1 − FNR	偽陰性率（FNR）、 見逃し率 タイプIIエラー [c] = ⁠FN/P⁠ = 1 − TPR
	実数負数（N）[d]	偽陽性（FP）、 誤警報、過大評価	真陰性（TN）、 正しい拒絶反応[e]	偽陽性率（FPR）、 誤報確率、フォールアウト タイプIエラー [f] = ⁠FP/北⁠ = 1 − TNR	真陰性率（TNR）、 特異度（SPC）、選択性 = ⁠テネシー州/北⁠ = 1 − FPR
	有病率 = ⁠P/P + N⁠	陽性予測値（PPV）、 精度 = ⁠TP/TP + FP⁠ = 1 − FDR	誤脱落率（FOR） = ⁠FN/TN + FN⁠ = 1 − NPV	陽性尤度比（LR+） = ⁠TPR/FPR⁠	陰性尤度比(LR−) = ⁠FNR/TNR⁠
	精度（ACC） = ⁠TP + TN/P + N⁠	誤発見率（FDR） = ⁠FP/TP + FP⁠ = 1 − PPV	陰性予測値（NPV） = ⁠テネシー州/TN + FN⁠ = 1 − のために	マーク度（MK）、デルタP（Δp） = PPV + NPV − 1	診断オッズ比（DOR） = ⁠LR+/LR−⁠
	バランスのとれた精度（BA） ＝⁠TPR + TNR/2⁠	F 1スコア = ⁠2 PPV × TPR/PPV + TPR⁠ = ⁠2TP/2 TP + FP + FN⁠	フォークス・マロウズ指数（FM） = √PPV ×TPR	ファイまたはマシューズ相関係数（MCC） = √TPR × TNR × PPV × NPV - √FNR × FPR × FOR × FDR	脅威スコア（TS）、クリティカル成功指数（CSI）、ジャカード指数 = ⁠TP/TP + FN + FP⁠

1. データ内の実際の陽性症例数
2. 状態または特性の存在を正しく示す検査結果
3. タイプIIエラー: 特定の条件または属性が欠如していると誤って示すテスト結果
4. データ内の実際の陰性症例数
5. 状態または特徴の欠如を正しく示す検査結果
6. 第1種の誤り: 特定の条件または属性が存在すると誤って示すテスト結果

多クラスケース

マシューズ相関係数は多クラスケースに一般化されている。この一般化統計量 （K個の異なるクラスの場合）は混同行列^[24]を用いて定義される。^[25] ${\displaystyle R_{K}}$ ${\displaystyle K\times K}$ ${\displaystyle C}$

${\displaystyle {\text{MCC}}={\frac {\sum _{k}\sum _{l}\sum _{m}C_{kk}C_{lm}-C_{kl}C_{mk}}{{\sqrt {\sum _{k}\left(\sum _{l}C_{kl}\right)\left(\sum _{k'|k'\neq k}\sum _{l'}C_{k'l'}\right)}}{\sqrt {\sum _{k}\left(\sum _{l}C_{lk}\right)\left(\sum _{k'|k'\neq k}\sum _{l'}C_{l'k'}\right)}}}}}$

ラベルが2つ以上ある場合、MCCは-1から+1の範囲ではなくなります。代わりに、真の分布に応じて最小値は-1から0の範囲になります。最大値は常に+1です。

この式は中間変数を定義することでより理解しやすくなります。^[26]

• ${\displaystyle t_{k}=\sum _{i}C_{ik}}$クラスkが実際に発生した回数、
• ${\displaystyle p_{k}=\sum _{i}C_{ki}}$クラスkが予測された回数、
• ${\displaystyle c=\sum _{k}C_{kk}}$正しく予測されたサンプルの総数、
• ${\displaystyle s=\sum _{i}\sum _{j}C_{ij}}$サンプルの総数。これにより、式は次のように表すことができます。

${\displaystyle {\text{MCC}}={\frac {cs-{\vec {t}}\cdot {\vec {p}}}{{\sqrt {s^{2}-{\vec {p}}\cdot {\vec {p}}}}{\sqrt {s^{2}-{\vec {t}}\cdot {\vec {t}}}}}}}$

予測 クラス 実際の授業	猫	犬		和
猫	6	2		8
犬	1	3		4
和	7	5		12

上記の式を使用して、上で説明した犬と猫の例の MCC 測定値を計算します。ここで、混同行列は 2 × マルチクラスの例として扱われます。

${\displaystyle {\text{MCC}}={\frac {(6+3)\times {\color {green}12}\;-\;{\color {blue}5}\times {\color {brown}4}\;-\;{\color {purple}7}\times {\color {maroon}8}}{{\sqrt {{\color {green}12}^{2}-{\color {blue}5}^{2}-{\color {purple}7}^{2}}}{\sqrt {{\color {green}12}^{2}-{\color {brown}4}^{2}-{\color {maroon}8}^{2}}}}}={\frac {32}{\sqrt {4480}}}\approx 0.478}$

マシューズ相関係数を2つ以上のクラスに一般化する別の方法は、Powers ^{[12]によって、相関を}情報認知度と注目度の幾何平均として定義することによって示されました。

PストイカとPバブは、マシューズ相関係数の2つ以上のクラスへの一般化と、多値分類のための新しい多変量相関メトリクスを発表しました。^[27]

精度とF1スコアに対する利点

Davide Chicco氏が論文「計算生物学における機械学習の10の簡単なヒント」 ^[14]（BioData Mining、2017年）および「バイナリ分類評価におけるF1スコアと精度に対するMatthews相関係数（MCC）の利点」 ^[28]（BMC Genomics、2020年）で説明しているように、Matthews相関係数は、4つの混同行列カテゴリ（真陽性、真陰性、偽陽性、偽陰性）のバランス比率を考慮しているため、バイナリ分類問題の評価においてF1スコアと精度よりも有益です。^{[14] [28]}

前回の記事では、ヒント8について次のように説明されています。^{[引用元を大げさに]}

予測を全体的に理解するために、精度や F1 スコアなどの一般的な統計スコアを活用することにしました。

${\displaystyle {\text{accuracy}}={\frac {TP+TN}{TP+TN+FP+FN}}}$

（式1、精度：最悪値＝0、最良値＝1）

${\displaystyle {\text{F1 score}}={\frac {2TP}{2TP+FP+FN}}}$

（式2、F1スコア：最悪値＝0、最良値＝1）

しかし、統計では精度と F1 スコアが広く採用されているとしても、最終的なスコア計算では混同行列の 4 つのクラスのサイズが十分に考慮されていないため、どちらも誤解を招く可能性があります。

例えば、100個の要素からなる非常に不均衡な検証セットがあり、そのうち95個が陽性要素で、陰性要素はわずか5個だとします（ヒント5で説明したとおり）。さらに、機械学習分類器の設計と学習に何らかのミスがあり、常に陽性を予測するアルゴリズムが出来上がってしまったとします。この問題に気づいていないと仮定しましょう。

したがって、唯一陽性の予測変数を不均衡な検証セットに適用すると、混同行列のカテゴリの値が得られます。

TP = 95、FP = 5、TN = 0、FN = 0。

これらの値から、以下のパフォーマンススコアが得られます：精度 = 95%、F1スコア = 97.44%。これらの過度に楽観的なスコアを読んで、あなたは非常に満足し、機械学習アルゴリズムが優れた仕事をしていると思うかもしれません。しかし、明らかにそれは誤った方向です。

逆に、このような危険な誤解を避けるために活用できる別のパフォーマンススコアがあります。それはマシューズ相関係数[40]（MCC）です。

${\displaystyle {\text{MCC}}={\frac {TP\times TN-FP\times FN}{\sqrt {(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}}}$

（式3、MCC：最悪値＝−1、最良値＝+1）。

混同行列の各クラスの割合をその式で考慮すると、分類器が負の要素と正の要素の両方で適切に機能している場合にのみ、そのスコアは高くなります。

上記の例では、MCCスコアは定義されません（TNとFNが0なので、式3の分母は0になります）。精度やF1スコアではなく、この値をチェックすることで、分類器が間違った方向に進んでいることに気づき、先に進む前に解決すべき問題があることに気づくことができます。

別の例を考えてみましょう。同じデータセットに対して分類を実行したところ、混同行列のカテゴリは次のようになりました。

TP = 90、FP = 4、TN = 1、FN = 5。

この例では、分類器は肯定的な事例の分類では良好なパフォーマンスを示しましたが、否定的なデータ要素を正しく認識できませんでした。この場合も、結果として得られるF1スコアと精度スコアは非常に高く、精度は91%、F1スコアは95.24%となります。前のケースと同様に、研究者がMCCを考慮せずにこれらの2つのスコア指標のみを分析した場合、アルゴリズムがタスクにおいて非常に良好なパフォーマンスを示していると誤解し、成功しているという錯覚に陥る可能性があります。

一方、マシューズ相関係数の確認は、ここでも極めて重要になります。この例では、MCCの値は0.14（式3）となり、アルゴリズムがランダムな推測と同様のパフォーマンスを示していることを示しています。MCCはアラームとして機能し、データマイニング担当者に統計モデルのパフォーマンスが低いことを知らせることができます。

これらの理由から、バイナリ分類の問題では、精度と F1 スコアではなく、Matthews 相関係数 (MCC) を使用して各テストのパフォーマンスを評価することを強くお勧めします。

— ダビデ・チッコ「計算生物学における機械学習の10の簡単なヒント」 ^[14]

Chiccoの文章は、データセットの不均衡なケースにおいてMCCスコアを推奨しているように読めるかもしれない。しかし、これには異論があり、特にZhu (2020)は強力な反論を行っている。^[29]

F1スコアは、どのクラスが正クラスとして定義されているかによって異なることに注意してください。上記の最初の例では、多数派クラスが正クラスとして定義されているため、F1スコアは高くなっています。正クラスと負クラスを反転すると、以下の混同行列が得られます。

TP = 0、FP = 0; TN = 5、FN = 95

これにより、F1 スコア = 0% になります。

MCC はどのクラスが正のクラスであるかに依存しないため、正のクラスを誤って定義することを回避できるという点で F1 スコアよりも優れています。

参照

• コーエンのカッパ
• 分割表
• Cramér の V、名目変数間の関連性を測る同様の尺度。
• F1スコア
• フォークス・マロウズ指数
• ポリコリック相関（サブタイプ：テトラコリック相関）、変数が（潜在的な）連続変数の二分バージョンとして見られる場合

参考文献

1. Matthews, BW (1975). 「T4ファージリゾチームの予測二次構造と実測二次構造の比較」Biochimica et Biophysica Acta (BBA) - タンパク質構造. 405 (2): 442– 451. doi :10.1016/0005-2795(75)90109-9. PMID  1180967.
2. Cramer, H. (1946). Mathematical Methods of Statistics . Princeton: Princeton University Press, p. 282 (第2段落). ISBN 0-691-08004-6https://archive.org/details/in.ernet.dli.2015.223699
3. Yule, G. Udny (1912). 「二つの属性間の関連性を測定する方法について」.王立統計学会誌. 75 (6): 579– 652. doi :10.2307/2340126. JSTOR  2340126.
4. ホーガン, ロバート・J.; メイソン, イアン・B. (2011年12月16日). 「バイナリイベントの決定論的予報」. ジョリフ, イアン・T.; スティーブンソン, デイビッド・B. (編). 『予報検証：大気科学実践ガイド 第2版』. ジョン・ワイリー・アンド・サンズ. pp.  31– 59. doi :10.1002/9781119960003.ch3. ISBN 978-0-470-66071-3。
5. アーミステッド、ティモシー・W. (2016). 「誤解され、帰属されていない：MHドゥーリトルの連想尺度の再考、ベイズの定理に関する注釈付き」アメリカ統計学者. 70 (1): 63– 73. doi :10.1080/00031305.2015.1086686. JSTOR  45118274.
6. ギルフォード, J. (1936).心理測定法. ニューヨーク: マグロウヒル・ブック・カンパニー.
7. Aaron, B., Kromrey, JD, & Ferron, JM (1998年11月). rベースとdベースの効果量指標の等式化：一般的に推奨される公式の問題点. フロリダ州オーランドにあるフロリダ教育研究協会年次総会で発表された論文. (ERIC文書複製サービス番号 ED433353)
8. Davenport, E.; El-Sanhury, N. (1991). 「Phi/Phimax：レビューと統合」.教育心理測定. 51 (4): 821–8 . doi :10.1177/001316449105100403.
9. 日付は不明だが、1936年に亡くなる前。
10. Boughorbel, SB (2017). 「Matthews相関係数メトリックを用いた不均衡データのための最適分類器」. PLOS ONE . 12 (6) e0177678. Bibcode :2017PLoSO..1277678B. doi : 10.1371/journal.pone.0177678 . PMC 5456046. PMID  28574989 . 
11. Chicco, D.; Tötsch, N.; Jurman, G. (2021). 「2クラス混同行列評価において、マシューズ相関係数（MCC）はバランス精度、ブックメーカー情報、マーク度よりも信頼性が高い」BioData Mining . 14 (1): 13. doi : 10.1186/s13040-021-00244-z . PMC 7863449 . PMID  33541410. 
12. Powers, David MW (2020年10月10日). 「評価：精度、再現率、F値からROC、情報提供、注目度、相関まで」arXiv : 2010.16061 [cs.LG].
13. Perruchet, P.; Peereman, R. (2004). 「音節処理における分布情報の活用」. J. Neurolinguistics . 17 ( 2–3 ): 97– 119. doi :10.1016/s0911-6044(03)00059-9. S2CID  17104364.
14. Chicco D (2017年12月). 「計算生物学における機械学習の10のクイックヒント」. BioData Mining . 10 (35) 35. doi : 10.1186/s13040-017-0155-3 . PMC 5721660. PMID  29234465 . 
15. Chicco D, Jurman G (2023年2月). 「二項分類を評価するための標準的な指標として、ROC AUCに代わるマシューズ相関係数（MCC）を採用すべき」BioData Min . 16 (1) 4. doi : 10.1186/s13040-023-00322-4 . PMC 9938573. PMID  36800973 . 
16. Fawcett, Tom (2006). 「ROC分析入門」(PDF) .パターン認識レターズ. 27 (8): 861– 874. doi :10.1016/j.patrec.2005.10.010. S2CID  2027090.
17. プロボスト、フォスター、トム・フォーセット（2013年8月1日）「ビジネスのためのデータサイエンス：データマイニングとデータ分析的思考について知っておくべきこと」オライリーメディア社。
18. Powers, David MW (2011). 「評価：適合率、再現率、F値からROC、情報量、注目度、相関まで」. Journal of Machine Learning Technologies . 2 (1): 37– 63.
19. Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (編).機械学習百科事典. Springer. doi :10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8。
20. Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015年1月26日). 「WWRP/WGNE予報検証研究共同ワーキンググループ」.オーストラリア気象気候研究協力機構. 世界気象機関. 2019年7月17日閲覧。
21. Chicco D, Jurman G (2020年1月). 「二値分類評価におけるF1スコアと精度に対するマシューズ相関係数（MCC）の利点」BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID  31898477. 
22. Chicco D, Toetsch N, Jurman G (2021年2月). 「マシューズ相関係数（MCC）は、2クラス混同行列評価において、バランスのとれた正確性、ブックメーカーの情報量、およびマーク度よりも信頼性が高い」. BioData Mining . 14 (13): 13. doi : 10.1186/s13040-021-00244-z . PMC 7863449. PMID  33541410 . 
23. Tharwat A. (2018年8月). 「分類評価方法」.応用コンピューティング・インフォマティクス. 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .
24. Gorodkin, Jan (2004). 「Kカテゴリー相関係数による2つのKカテゴリー割り当ての比較」.計算生物学および化学. 28 (5): 367– 374. doi :10.1016/j.compbiolchem.2004.09.006. PMID  15556477.
25. Gorodkin, Jan. 「The Rk Page」. The Rk Page . 2016年12月28日閲覧。
26. 「Matthew相関係数」. scikit-learn.org .
27. Stoica PとBabu P（2024）、二値分類と多値分類におけるピアソン–マシューズ相関係数、Elsevier Signal Processing、222、109511、doi = https://doi.org/10.1016/j.sigpro.2024.109511
28. Chicco D, Jurman G (2020年1月). 「二値分類評価におけるF1スコアと精度に対するマシューズ相関係数（MCC）の利点」BMC Genomics . 21 (1) 6: 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312 . PMID  31898477. 
29. Zhu, Qiuming (2020-08-01). 「不均衡なデータセットにおけるMatthews相関係数（MCC）の性能について」 .パターン認識レターズ. 136 : 71– 80. Bibcode :2020PaReL.136...71Z. doi :10.1016/j.patrec.2020.03.030. ISSN  0167-8655. S2CID  219762950.

Retrieved from "https://en.wikipedia.org/w/index.php?title=Phi_coefficient&oldid=1314764748"