バイナリ分類器の能力の診断プロット

プロテアソームにおけるペプチド切断の 3 つの予測因子の ROC 曲線。

受信者動作特性曲線（ROC曲線）は、様々な閾値における2値分類モデル（複数のクラスに一般化可能）の性能を示すグラフです。ROC分析は、臨床疫学における診断検査の性能評価によく用いられます。

ROC 曲線は、各しきい値設定における真陽性率(TPR) と偽陽性率(FPR) をプロットしたものです。

ROCは、統計的検出力を決定規則の第1種過誤の関数としてプロットしたものと考えることもできる（母集団のサンプルのみから性能を計算する場合は、これらの量の推定値と考えることができる）。したがって、ROC曲線は偽陽性率の関数としての感度となる。^{[ 1 ]}

真陽性と偽陽性の両方の確率分布が既知であると仮定すると、ROC 曲線は、y軸の検出確率の累積分布関数(CDF、判別閾値までの確率分布の下の領域) とx軸の偽陽性確率の CDF として得られます。 ${\displaystyle -\infty }$

ROC分析は、コストコンテキストやクラス分布を特定する前に、最適なモデルを選択し、最適ではないモデルを破棄するためのツールを提供します。ROC分析は、診断意思決定における費用便益分析と直接的かつ自然に関連しています。

用語

[編集]

真陽性率は感度または検出確率とも呼ばれます。^{[ 2 ]}偽陽性率は誤報確率とも呼ばれます。 ^{[ 2 ]}は（1 −特異度）に等しくなります。ROCは、基準が変化したときの2つの動作特性（TPRとFPR）の比較であるため、相対動作特性曲線とも呼ばれます。^{[ 3 ]}

歴史

[編集]

ROC曲線は、1941年から第二次世界大戦中に電気技術者とレーダー技術者によって戦場で敵の物体を検出するために開発され、その名前（「受信機動作特性」）の由来となりました。^{[ 4 ]}

ROC分析はすぐに心理学に導入され、刺激の知覚的検出を説明するために利用されました。ROC分析は、医学、放射線学、生体測定学、自然災害の予測、^{[ 5 ]}気象学、^{[ 6 ]}モデル性能評価、^{[ 7 ]}などの分野で数十年にわたって使用されており、機械学習やデータマイニングの研究でもますます利用されています。

基本的な概念

[編集]

参照:タイプIエラーとタイプIIエラー、感度と特異度

分類モデル（分類器または診断^{[ 8 ]}）は、特定のクラス／グループ間のインスタンスのマッピングです。分類器または診断結果は任意の実数値（連続出力）となる可能性があるため、クラス間の分類器の境界は閾値によって決定する必要があります（例えば、血圧測定値に基づいて高血圧かどうかを判定する場合）。あるいは、クラスのいずれかを示す離散的なクラスラベルとなる場合もあります。

結果が陽性（p）または陰性（n ）のいずれかとしてラベル付けされる2クラス予測問題（バイナリ分類）を考えてみましょう。バイナリ分類器からは4つの結果が考えられます。予測結果がpで、実際の値もpの場合、真陽性（TP）と呼ばれます。一方、実際の値がnの場合は偽陽性（FP）と呼ばれます。逆に、予測結果と実際の値の両方がnの場合、真陰性（TN）が発生し、予測結果がnで実際の値がpの場合、偽陰性（FN）が発生します。

現実世界の問題における適切な例として、ある人が特定の病気にかかっているかどうかを判定する診断検査を考えてみましょう。この場合の偽陽性とは、検査結果が陽性であっても、実際には病気にかかっていない場合に発生します。一方、偽陰性とは、検査結果が陰性で健康であると判断されるものの、実際には病気にかかっている場合に発生します。

ある条件において、 P 個の陽性例とN 個の陰性例から構成される実験を考えてみましょう。4 つの結果は、2×2 の分割表または混同行列で次のように表すことができます。

		予測される条件		出典: [ 9 ] [ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] ビュー 話す 編集
	総人口 = P + N	陽性と予測される	予測陰性	情報量、ブックメーカーの情報量（BM） ＝TPR＋TNR−1	有病率閾値（PT） = ⁠√TPR × FPR − FPR/TPR − FPR⁠
実際の状況	実正（P） [ a ]	真陽性（TP）、 ヒット[ b ]	偽陰性（FN）、 見逃し、過小評価	真陽性率（TPR）、再現率、感度（SEN）、検出確率、ヒット率、検出力 = ⁠TP/P⁠ = 1 − FNR	偽陰性率（FNR）、 見逃し率 タイプIIエラー [ c ] = ⁠FN/P⁠ = 1 − TPR
	実負数（N）[ d ]	偽陽性（FP）、 誤警報、過大評価	真陰性（TN）、 正しい拒絶反応[ e ]	偽陽性率（FPR）、 誤報確率、フォールアウト タイプIエラー [ f ] = ⁠FP/北⁠ = 1 − TNR	真陰性率（TNR）、 特異度（SPC）、選択性 = ⁠テネシー州/北⁠ = 1 − FPR
	有病率 = ⁠P/P + N⁠	陽性予測値（PPV）、 精度 = ⁠TP/TP + FP⁠ = 1 − FDR	誤脱落率（FOR） = ⁠FN/TN + FN⁠ = 1 − NPV	陽性尤度比（LR+） = ⁠TPR/FPR⁠	陰性尤度比(LR−) = ⁠FNR/TNR⁠
	精度（ACC） = ⁠TP + TN/P + N⁠	誤発見率（FDR） = ⁠FP/TP + FP⁠ = 1 − PPV	陰性予測値（NPV） = ⁠テネシー州/TN + FN⁠ = 1 − のために	マーク度（MK）、デルタP（Δp） = PPV + NPV − 1	診断オッズ比（DOR） = ⁠LR+/LR−⁠
	バランスのとれた精度（BA） ＝⁠TPR + TNR/2⁠	F 1スコア = ⁠2 PPV × TPR/PPV + TPR⁠ = ⁠2TP/2 TP + FP + FN⁠	フォークス・マロウズ指数（FM） = √PPV ×TPR	ファイまたはマシューズ相関係数（MCC） = √TPR × TNR × PPV × NPV - √FNR × FPR × FOR × FDR	脅威スコア（TS）、クリティカル成功指数（CSI）、ジャカード指数 = ⁠TP/TP + FN + FP⁠

1. データ内の実際の陽性症例数
2. 状態または特性の存在を正しく示す検査結果
3. タイプIIエラー: 特定の条件または属性が欠如していると誤って示すテスト結果
4. データ内の実際の陰性症例数
5. 状態または特徴の欠如を正しく示す検査結果
6. 第1種の誤り: 特定の条件または属性が存在すると誤って示すテスト結果

ROCスペース

[編集]

4 つの予測例の ROC 空間とプロット。

「より良い」分類器と「より悪い」分類器の ROC 空間。

分割表は、複数の評価指標（情報ボックスを参照）を導出できます。ROC曲線を描くには、真陽性率（TPR）と偽陽性率（FPR）のみが必要です（分類器パラメータの関数として）。TPRは、テスト中に利用可能なすべての陽性サンプルのうち、正しい陽性結果がいくつ発生するかを定義します。一方、FPRは、テスト中に利用可能なすべての陰性サンプルのうち、誤った陽性結果がいくつ発生するかを定義します。

ROC空間は、それぞれFPRとTPRをx軸とy軸として定義され、真陽性（ベネフィット）と偽陽性（コスト）の相対的なトレードオフを表します。TPRは感度に相当し、FPRは1 -特異度に等しいため、ROCグラフは感度対（1 - 特異度）プロットと呼ばれることもあります。各予測結果または混同行列のインスタンスは、ROC空間内の1つの点を表します。

考えられる最善の予測方法は、ROC空間の左上隅または座標(0,1)の点を生成し、100%の感度(偽陰性なし)と100%の特異度(偽陽性なし)を表します。(0,1)点は完全分類とも呼ばれます。ランダムな推測では、左下隅から右上隅までの対角線(いわゆる無差別線)に沿った点が生成されます(陽性および陰性ベース率に関係なく)。^{[ 17 ]}ランダムな推測の直感的な例は、コインを投げて決定することです。サンプルのサイズが大きくなるにつれて、ランダム分類器のROC点は対角線に近づく傾向があります。バランスの取れたコインの場合は、点(0.5, 0.5)に近づく傾向があります。

対角線はROC空間を分割します。対角線より上の点は良い分類結果（ランダムよりも良い）を表し、対角線より下の点は悪い分類結果（ランダムよりも悪い）を表します。常に悪い予測器の出力は、単に反転するだけで良い予測器を得ることができることに注意してください。

100 個の肯定的なインスタンスと 100 個の否定的なインスタンスからの 4 つの予測結果を検討します。

あ	B	C	C′
TP = 63 FN = 37 100 FP = 28 TN = 72 100 91 109 200	TP = 77 FN = 23 100 FP = 77 TN = 23 100 154 46 200	TP = 24 FN = 76 100 FP = 88 TN = 12 100 112 88 200	TP = 76 FN = 24 100 FP = 12 TN = 88 100 88 112 200
TPR = 0.63	TPR = 0.77	TPR = 0.24	TPR = 0.76
FPR = 0.28	FPR = 0.77	FPR = 0.88	FPR = 0.12
購入可能額 = 0.69	ペイパービュー = 0.50	ペイパービュー = 0.21	ペイパービュー = 0.86
F1 = 0.66	F1 = 0.61	F1 = 0.23	F1 = 0.81
ACC = 0.68	ACC = 0.50	ACC = 0.18	ACC = 0.82

上記の 4 つの結果を ROC 空間にプロットしたものが図に示されています。方法Aの結果は、 A、B、Cの中で明らかに最高の予測力を示しています。 Bの結果はランダム推測ライン (対角線) 上にあり、表ではBの精度が 50% であることがわかります。ただし、C を中心点 (0.5,0.5) でミラーリングすると、結果として得られる方法C′ はAよりもさらに優れています。このミラーリングされた方法は、 C分割表を生成した方法またはテストの予測を単純に反転したものです。元のC方法の予測力はマイナスですが、その決定を単純に反転すると、プラスの予測力を持つ新しい予測方法C′になります。 C方法がpまたはn を予測する場合、C′方法はそれぞれnまたはpを予測します。このように、C′テストが最高のパフォーマンスを発揮します。分割表の結果が左上隅に近いほど予測精度は高くなりますが、ランダム推測線からの距離は、その手法の予測力を示す最良の指標です。結果が線より下の場合（つまり、手法の予測精度がランダム推測線より低い場合）、その手法の予測力を最大限に活用するためには、すべての予測を反転させる必要があります。そうすることで、結果がランダム推測線より上になります。

ROC空間の曲線

[編集]

二値分類では、各インスタンスのクラス予測は、多くの場合、連続確率変数 に基づいて行われます。これは、インスタンスに対して計算された「スコア」（例えば、ロジスティック回帰における推定確率）です。閾値パラメータ が与えられた場合、インスタンスは であれば「陽性」に分類され、そうでない場合は「陰性」に分類されます。インスタンスが実際にクラス「陽性」に属する場合、は確率密度に従い、そうでない場合は に従います。したがって、真陽性率は で与えられ、偽陽性率は で与えられます。ROC曲線は、を可変パラメータとして、に対してパラメトリックにプロットされます。 ${\displaystyle X}$ ${\displaystyle T}$ ${\displaystyle X>T}$ ${\displaystyle X}$ ${\displaystyle f_{1}(x)}$ ${\displaystyle f_{0}(x)}$ ${\displaystyle {\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx}$ ${\displaystyle {\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx}$ ${\displaystyle {\mbox{TPR}}(T)}$ ${\displaystyle {\mbox{FPR}}(T)}$ ${\displaystyle T}$

例えば、病気の人と健康な人の血中タンパク質濃度が、それぞれ平均値2 g / dLと1 g/dLの正規分布をしているとします。医療検査では、血液サンプル中の特定のタンパク質濃度を測定し、ある閾値を超える数値を病気の兆候と分類することがあります。実験者は閾値（図の緑の縦線）を調整することができ、それによって偽陽性率も変化します。閾値を上げると偽陽性は減少し（偽陰性は増加し）、曲線は左に移動します。曲線の実際の形状は、2つの分布がどの程度重なり合っているかによって決まります。

批判

[編集]

受信者動作特性（ROC）曲線の例。曲線下面積（AUC）の感度と特異度が低いサブ領域を赤で強調表示し、感度と特異度が高いまたは十分なサブ領域を緑で強調表示しています。^{[ 18 ]}

いくつかの研究では、ROC曲線とその曲線下面積を、バイナリ分類を評価するための測定方法として特定の用途に使用すると、その用途に関連する情報が捕捉されないとして批判されている。^{[ 19 ] [ 18 ] [ 20 ] [ 21 ] [ 22 ]}

これらの研究で述べられているROC曲線に対する主な批判は、曲線下面積（AUC）の計算において、感度と特異度の低い領域（両方とも0.5未満）が組み込まれていることである。 ^{[ 20 ]}右のグラフに示されているように。

これらの研究の著者らによると、曲線下面積（感度と特異度が低い）の部分は、二値予測で誤った結果が得られる混同行列を示すため、全体的な性能評価に含めるべきではない。さらに、AUCのこの部分は、混同行列の閾値が高いか低いかを示す空間を示しており、これはどの分野でも二値分類を行う科学者にとってほとんど関心の対象ではない。^{[ 20 ]}

ROCとその曲線下面積に対するもう一つの批判は、精度と陰性の予測値については何も語っていないということである。^{[ 18 ]}

例えば0.9のような高いROC AUCは、0.2や0.1といった[0, 1]の範囲における低い適合率や陰性予測値に対応する可能性があります。二値分類を実行し、ROC AUCが0.9であった場合、この指標のみに焦点を当てると、二値分類のテストが優れていると過度に楽観的に考えてしまう可能性があります。しかし、この人が適合率と陰性予測値の値を確認すれば、それらの値が低いことに気づくかもしれません。

ROC AUCは感度と特異度を要約しますが、精度と陰性の予測値については情報を提供しません。^{[ 18 ]}

さらなる解釈

[編集]

ROCは要約統計量を生成するために使用されることがあります。一般的なバージョンは以下のとおりです。

• ROC曲線と無判別直線に45度直交する直線の切片 -感度=特異度となるバランスポイント
• ROC曲線の、無判別線に平行な45度の接線と、エラーフリーポイント（0,1）に最も近い点との切片。ユーデンのJ統計量とも呼ばれ、インフォームドネスとして一般化される^[要出典]
• ROC曲線と無差別線の間の面積に2を掛けて1を引いた値は、特に信用スコアリングの文脈ではジニ係数と呼ばれます。^{[ 23 ]}これは、ジニ係数とも呼ばれる統計的分散の尺度 と混同しないでください。
• 完全なROC曲線と（0,0）、（1,1）および選択された1つの動作点のみを含む三角形ROC曲線の間の領域- 一貫性^{[ 24 ]} ${\displaystyle (tpr,fpr)}$
• ROC曲線の下の面積、または「AUC」（「曲線の下の面積」）、A'（「エープライム」と発音）^{[ 25 ]} 、または「c統計量」（「一致統計量」）^{[ 26 ] 。}
• 感度指数d′（「dプライム」と発音）は、ノイズのみの条件下でのシステムにおける活動分布の平均と、信号のみの条件下での分布との間の距離を、両方の分布が同じ標準偏差を持つ正規分布であるという仮定のもとで、それらの標準偏差で割ったものである。これらの仮定の下では、ROCの形状はd′によって完全に決定される。

ただし、ROC 曲線を 1 つの数値にまとめようとすると、特定の識別アルゴリズムのトレードオフのパターンに関する情報が失われます。

確率的解釈

[編集]

曲線の下の面積（単にAUCと呼ばれることが多い）は、分類器がランダムに選択された陽性事例を、ランダムに選択された陰性事例よりも高くランク付けする確率に等しい（「陽性」が「陰性」よりも高くランク付けされると仮定）。^{[ 27 ]}言い換えれば、ランダムに選択された陽性事例1つと陰性事例1つが与えられた場合、AUCは分類器がどちらがどちらかを判別できる確率である。

これは次のように表すことができます。曲線の下の面積は次のように与えられます（積分境界は逆になっており、閾値が大きいほどx軸上の値が低くなります）。 ${\displaystyle T}$

${\displaystyle \operatorname {TPR} (T):T\to y(x)}$

${\displaystyle \operatorname {FPR} (T):T\to x}$

${\displaystyle {\begin{aligned}A&=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx\\[5pt]&=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT\\[5pt]&=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'\geq T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}\geq X_{0})\end{aligned}}}$

ここで、 は正のインスタンスのスコア、は負のインスタンスのスコア、 およびは前のセクションで定義した確率密度です。 ${\displaystyle X_{1}}$ ${\displaystyle X_{0}}$ ${\displaystyle f_{0}}$ ${\displaystyle f_{1}}$

および が2 つのガウス分布に従う場合、 となります。 ${\displaystyle X_{0}}$ ${\displaystyle X_{1}}$ ${\displaystyle A=\Phi \left((\mu _{1}-\mu _{0})/{\sqrt {\sigma _{1}^{2}+\sigma _{0}^{2}}}\right)}$

曲線の下の面積

[編集]

AUCは、陽性が陰性よりも高い順位にあるかどうか^を検定するマン・ホイットニーU [ ^{28 ] [ 29 ]}と密接な関連があることが示されている。予測変数の場合、そのAUCの不偏推定値は、以下のウィルコクソン・マン・ホイットニー統計量で表される。^{[ 30 ]} ${\textstyle f}$

${\displaystyle {\text{AUC}}(f)={\frac {\sum _{t_{0}\in {\mathcal {D}}^{0}}\sum _{t_{1}\in {\mathcal {D}}^{1}}{\textbf {1}}[f(t_{0})<f(t_{1})]}{|{\mathcal {D}}^{0}|\cdot |{\mathcal {D}}^{1}|}},}$

ここで、 は1 を返し、そうでない場合は 0 を返すインジケータ関数を表します。は負の例の集合であり、は正の例の集合です。 ${\textstyle {\textbf {1}}[f(t_{0})<f(t_{1})]}$ ${\displaystyle f(t_{0})<f(t_{1})}$ ${\displaystyle {\mathcal {D}}^{0}}$ ${\displaystyle {\mathcal {D}}^{1}}$

信用スコアリングの文脈では、AUC の再スケール版がよく使用されます。

${\displaystyle G_{1}=2\operatorname {AUC} -1}$。

${\displaystyle G_{1}}$はジニ指数またはジニ係数と呼ばれるが^{[ 31 ]} 、ジニ係数とも呼ばれる統計的分散の尺度と混同してはならない。はソマーズのDの特殊なケースである。 ${\displaystyle G_{1}}$

ROC凸包の下の面積（ROC AUCH = ROCH AUC）を計算することも一般的です。これは、2つの予測結果の間の線分上の任意の点を、線分の反対側の成分の相対的な長さに比例する確率で、どちらかのシステムをランダムに使用することで実現できるためです。^{[ 32 ]}また、凹面を反転することも可能です。図のように、悪い解をより良い解に反映させることができます。凹面はどの線分でも反映させることができますが、この極端な融合形式では、データが過剰適合する可能性がはるかに高くなります。^{[ 33 ]}

機械学習コミュニティでは、モデル比較にROC AUC統計が最もよく使用されます。^{[ 34 ]} AUC推定値は非常にノイズが多く、他の問題を抱えているため、この方法は疑問視されてきました。^{[ 35 ] [ 36 ] [ 37 ]}それにもかかわらず、集約された分類パフォーマンスの尺度としてのAUCの一貫性は、均一なレート分布の観点から実証されており、^{[ 38 ]} AUCはブライアスコアなどの他の多くのパフォーマンスメトリックに関連付けられています。^{[ 39 ]}

ROC AUC のもう 1 つの問題は、ROC 曲線を 1 つの数値に減らすと、それが個々のシステムのパフォーマンスではなく、プロットされた異なるシステムまたはパフォーマンス ポイント間のトレードオフに関するものであるという事実が無視され、凹面の修復の可能性も無視されるため、情報提供度^{[引用が必要]}や DeltaP などの関連する代替指標が推奨されることです。^{[ 24 ] [ 40 ]}これらの指標は、DeltaP' = 情報提供度 = 2AUC-1 の単一の予測ポイントのジニ係数と本質的に同等ですが、DeltaP = マーク度は双対 (つまり、実際のクラスから予測を予測する) を表し、それらの幾何平均はマシューズ相関係数です。^{[引用が必要]}

ROC AUCは0から1の間で変動し、無情報分類器では0.5となるのに対し、情報提供度^[要出典]、確実性^{[ 24 ]}、ジニ係数（単一パラメータ化または単一システムの場合）^[要出典]といった代替尺度は、いずれも0が偶然のパフォーマンスを表すのに対し、1は完全なパフォーマンスを表し、-1は常に誤った応答をする完全な情報提供の「逆説的な」ケースを表すという利点がある。^{[ 41 ]}偶然のパフォーマンスを0にすることで、これらの代替尺度をカッパ統計として解釈することができる。情報提供度は、コーエン・カッパやフライス・カッパといった他の一般的なカッパの定義と比較して、機械学習にとって望ましい特性を持つことが示されている。^{[要出典] [ 42 ]}

ROC曲線全体を見るよりも、特定の領域を見る方が有用な場合があります。部分AUCを計算することも可能であり、 ^{[ 43 ]}例えば、偽陽性率が低い曲線の領域に焦点を当てることができます。これは、集団スクリーニング検査において重要な関心事です。 ^{[ 44 ]} P ≪ N となる分類問題（バイオインフォマティクスのアプリケーションで一般的）に対するもう1つの一般的なアプローチは、 x軸に対数スケールを使用することです。^{[ 45 ]}

ROC曲線下面積はc統計量またはc統計量とも呼ばれます。^{[ 46 ]}

その他の対策

[編集]

TOC曲線

総合動作特性（TOC）も診断能力を特徴づけるものであり、ROCよりも多くの情報を明らかにします。各閾値について、ROCはTP/(TP + FN)とFP/(FP + TN)の2つの比率を明らかにします。言い換えれば、ROCはとを明らかにします。一方、TOCは各閾値における分割表の総情報を示します。^{[ 47 ]} TOC法は、ROC法が提供するすべての情報に加えて、ROCでは明らかにされない重要な追加情報、すなわち各閾値における分割表の各項目のサイズを明らかにします。TOCはまた、ROCの一般的なAUCも提供します。^{[ 48 ]} ${\displaystyle {\frac {\text{hits}}{{\text{hits}}+{\text{misses}}}}}$ ${\displaystyle {\frac {\text{false alarms}}{{\text{false alarms}}+{\text{correct rejections}}}}}$

ROC曲線

これらの図は、同じデータと閾値を用いたTOC曲線とROC曲線です。閾値74に対応する点を考えてみましょう。TOC曲線はヒット数が3、つまりミス数が7であることを示しています。さらに、TOC曲線は誤報数が4、正しい拒否数が16であることを示しています。ROC曲線の任意の点において、との比率の値を得ることができます。例えば、閾値74では、x座標が0.2、y座標が0.3であることがわかります。しかし、これら2つの値だけでは、基礎となる2行2列の分割表のすべてのエントリを構成するには不十分です。 ${\displaystyle {\frac {\text{false alarms}}{{\text{false alarms}}+{\text{correct rejections}}}}}$ ${\displaystyle {\frac {\text{hits}}{{\text{hits}}+{\text{misses}}}}}$

検出誤差トレードオフグラフ

[編集]

DETグラフの例

ROC 曲線の代替として、検出誤差トレードオフ(DET) グラフがあります。これは、偽陰性率 (検出漏れ) と偽陽性率 (誤報) を、非線形に変換された x 軸と y 軸上にプロットします。変換関数は、正規分布の分位関数、つまり累積正規分布の逆関数です。これは、ヒット率の補数であるミス率または偽陰性率が使用されることを除いて、以下の zROC と同じ変換です。この代替方法では、関心領域に多くのグラフ領域が費やされます。ROC 領域の大部分はあまり重要ではありません。主に、y軸に近接した領域と左上隅が重要です。ミス率をその補数であるヒット率の代わりに使用するため、DET プロットでは左下隅が左上隅になります。さらに、DET グラフには、線形性という便利な特性があり、正規分布に対して線形しきい値動作が行われます。^{[ 49 ]} DETプロットは自動話者認識の分野で広く用いられており、DETという名称が初めて使用されたのもこの分野です。軸を歪ませたグラフにおけるROC性能の分析は、20世紀半ばに心理学者によって知覚研究に用いられ、^[要出典]「二重確率論文」と呼ばれました。^{[ 50 ]}

Zスコア

[編集]

ROC曲線に標準スコアを適用すると、曲線は直線になります。^{[ 51 ]} このZスコアは、平均0、標準偏差1の正規分布に基づいています。記憶力理論では、zROCは直線であるだけでなく、傾きが1.0であると仮定する必要があります。ターゲット（被験者が想起する必要がある学習対象）とルアー（被験者が想起しようとする非学習対象）の正規分布が、zROCを直線にする要因です。

zROC曲線の直線性は、ターゲット強度分布とルアー強度分布の標準偏差に依存する。標準偏差が等しい場合、傾きは1.0となる。ターゲット強度分布の標準偏差がルアー強度分布の標準偏差よりも大きい場合、傾きは1.0より小さくなる。多くの研究において、zROC曲線の傾きは常に1を下回り、通常は0.5から0.9の範囲にあることが分かっている。^{[ 52 ]}多くの実験でzROCの傾きは0.8であった。傾きが0.8ということは、ターゲット強度分布の変動性がルアー強度分布の変動性よりも25%大きいことを意味する。^{[ 53 ]}

もう一つの変数は d'（dプライム）（上記「その他の指標」で説明）であり、これはZ値で簡単に表現できます。d'はよく使われるパラメータですが、前述の強度理論の非常に強い仮定に厳密に従う場合にのみ意味を持つことを認識する必要があります。^{[ 54 ]}

ROC曲線のZスコアは、特殊な状況を除き、想定どおり常に線形となる。ヨネリナスの親近感-想起モデルは、認識記憶の2次元的な説明である。被験者は特定の入力に対して単に「はい」か「いいえ」と答えるのではなく、入力に対して親近感を与える。これは元のROC曲線と同様に機能する。ただし、異なるのは想起（R）のパラメータである。想起は「全か無か」であると想定され、親近感よりも優先される。想起要素がない場合、zROCの予測傾きは1となる。しかし、想起要素を追加すると、zROC曲線は凹型になり、傾きは減少する。この形状と傾きの違いは、一部の項目が想起されることによる変動要素が加わることによって生じる。順行性健忘の患者は想起できないため、ヨネリナスのzROC曲線の傾きは1.0に近づく。^{[ 55 ]}

歴史

[編集]

ROC曲線は、信号検出理論に用いられる前に、第二次世界大戦中にレーダー信号の解析に初めて用いられました。^{[ 56 ]} 1941年の真珠湾攻撃後、アメリカ軍はレーダー信号から日本軍航空機を正確に検知する予測精度を向上させるための新たな研究を開始しました。この目的のために、彼らはレーダー受信機操作者がこれらの重要な識別を行う能力を測定しました。これは受信機動作特性（ROC）と呼ばれていました。^{[ 57 ]}

1950年代には、ROC曲線は心理物理学において、人間（時には人間以外の動物）による微弱信号の検出を評価するために採用されました。^{[ 56 ]}医療では、ROC分析は診断検査の評価に広く使用されています。^{[ 58 ] [ 59 ]} ROC曲線は疫学や医療研究でも広く使用されており、エビデンスに基づく医療と関連して頻繁に言及されます。放射線医学では、ROC分析は新しい放射線技術を評価するための一般的な手法です。^{[ 60 ]}社会科学では、ROC分析はしばしばROC精度比と呼ばれ、デフォルト確率モデルの精度を判断するための一般的な手法です。ROC曲線は、検査の診断精度を評価したり、検査の最適なカットオフを選択したり、複数の検査の診断精度を比較したりするために、臨床検査医学で広く使用されています。

ROC曲線は機械学習技術の評価にも有用であることが証明されました。機械学習におけるROC曲線の最初の応用はSpackmanによるもので、彼はROC曲線が様々な分類アルゴリズムの比較と評価に有用であることを実証しました。^{[ 61 ]}

ROC曲線は気象学における予測の検証にも使用されます。^{[ 62 ]}

レーダーの詳細

[編集]

前述の通り、ROC曲線はレーダーの動作と理論にとって非常に重要です。受信局で受信される信号は、目標物から反射されてノイズフロアと比較して非常に低いエネルギーであることが多いです。信号対雑音比は、目標物を検出できるかどうかを判断する上で重要な指標です。この信号対雑音比は、レーダーシステム全体の受信機動作特性と直接相関しており、レーダーシステムの能力を定量化するために使用されます。

レーダーシステムの開発を考えてみましょう。システムの能力の仕様は、誤報に対する一定の許容範囲 を とした場合の検出確率 という形で規定されます。受信局における必要な信号対雑音比の簡略化された近似値は、 ^{[ 63 ]}を解くことで計算できます。 ${\displaystyle P_{D}}$ ${\displaystyle P_{FA}}$

${\displaystyle P_{D}={\frac {1}{2}}\operatorname {erfc} \left(\operatorname {erfc} ^{-1}\left(2P_{FA}\right)-{\sqrt {\mathcal {X/2}}}\right)}$

信号対雑音比 です。ここで、は多くのレーダーアプリケーションで一般的に使用されるデシベル単位ではありません。デシベルへの変換は を用いて行います。この図から、レーダー距離方程式（雑音係数を含む）の一般的な項を解くことで、必要な実効放射電力を推定できます。 ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {X}}_{dB}=10\log _{10}{\mathcal {X}}}$

二値分類を超えたROC曲線

[編集]

2クラス以上の分類問題に対するROC曲線の拡張は面倒です。クラスが複数ある場合の一般的な2つのアプローチは、(1)すべてのペアワイズAUC値を平均する方法^{[ 64 ]}と(2)表面下体積(VUS)を計算する方法です。^{[ 65 ] [ 66 ]}すべてのペアワイズクラスを平均するには、他のクラスが存在しないかのように、それらの2つのクラスの例のみを使用して各クラスのペアのAUCを計算し、次にこれらのAUC値をすべての可能なペアで平均します。c個のクラスがある場合、c ( c − 1)/2個の可能なクラスペアが存在することになります。

表面下体積アプローチでは、曲線ではなく超曲面をプロットし、その超曲面の下の超体積を測定します。cクラスの分類器に使用できるすべての決定ルールは、真陽性率(TPR ₁、...、TPR _c )で説明できます。この率の集合が点を定義し、すべての可能な決定ルールの集合から、超曲面を定義する点のクラウドが生成されます。この定義では、VUS は、各クラスからランダムに 1 つの例が選択されたセットが与えられたときに、分類器がすべてのc個の例に正しくラベルを付けることができる確率です。入力セットが各クラスから 1 つの例で構成されていることを認識している分類器の実装では、まず例とクラスのc ²通りの可能な組み合わせのそれぞれについて適合度スコアを計算し、次にハンガリアン アルゴリズムを使用して、各クラスにちょうど 1 つの例を割り当てるすべてのc !通りの可能な方法で、選択されたc個のスコアの合計を最大化します。

分類モデルの評価におけるROC曲線の成功を踏まえ、他の教師ありタスクへのROC曲線の拡張も研究されてきた。回帰問題に関する注目すべき提案としては、いわゆる回帰誤差特性曲線（REC曲線）^{[ 67 ]}と回帰ROC曲線（RROC曲線）^{[ 68 ]}が挙げられる。後者では、RROC曲線は非対称性、優位性、凸包の概念により、分類のROC曲線と非常に類似する。また、RROC曲線の下の面積は、回帰モデルの誤差分散に比例する。

参照

[編集]

• 数学ポータル

• ブライアースコア
• 決定係数
• 一定の誤報率
• 検出誤差のトレードオフ
• 検出理論
• F1スコア
• 誤報
• 正確性のための仮説検定
• 精度と再現率
• ロケット
• 感度と特異度
• 総合的な動作特性

参考文献

[編集]

1. Junge, Mark RJ; Dettori, Joseph R. (2018年6月). 「ROC Solid: より良い診断検査の基盤としての受信者動作特性（ROC）曲線」 . Global Spine Journal . 8 (4): 424– 429. doi : 10.1177/2192568218778294 . ISSN  2192-5682 . PMC  6022965. PMID  29977728 .
2. 「ROC曲線を用いた検出器性能解析 - MATLAB & Simulinkの例」www.mathworks.com。2020年6月14日時点のオリジナルよりアーカイブ。 2016年8月11日閲覧。
3. Swets, John A.;心理学と診断における信号検出理論とROC分析：論文集 Archived 2005-01-05 at the Wayback Machine、Lawrence Erlbaum Associates、Mahwah、NJ、1996
4. Junge, MR; Dettori, JR (2024年5月3日). 「ROC Solid: より良い診断検査の基盤としての受信者動作特性（ROC）曲線」 . Global Spine Journal . 8 (4): 424– 429. doi : 10.1177/2192568218778294 . PMC 6022965. PMID 29977728 .  
5. Peres, DJ; Cancelliere, A. (2014-12-08). 「モンテカルロ法による地滑り誘発閾値の導出と評価」 . Hydrol. Earth Syst. Sci . 18 (12): 4913– 4931. Bibcode : 2014HESS...18.4913P . doi : 10.5194/hess-18-4913-2014 . ISSN 1607-7938 . 
6. マーフィー、アラン・H. (1996年3月1日). 「フィンリー事件：予報検証の歴史における重要な出来事」 .天気と予報. 11 (1): 3– 20. Bibcode : 1996WtFor..11....3M . doi : 10.1175/1520-0434(1996)011<0003:tfaase>2.0.co;2 . ISSN 0882-8156 . 
7. Peres, DJ; Iuppa, C.; Cavallaro, L.; Cancelliere, A.; Foti, E. (2015-10-01). 「ニューラルネットワークと再解析風速データによる有義波高記録の拡張」.海洋モデリング. 94 : 128–140 . Bibcode : 2015OcMod..94..128P . doi : 10.1016/j.ocemod.2015.08.002 .
8. Sushkova, Olga; Morozov, Alexei; Gabova, Alexandra; Karabanov, Alexei; Illarioshkin, Sergey (2021). 「2Dおよび3D曲線下面積図に基づく探索的データ分析のための統計的手法：パーキンソン病の調査」 . Sensors . 21 (14): 4700. Bibcode : 2021Senso..21.4700S . doi : 10.3390/s21144700 . PMC 8309570. PMID 34300440 .  
9. Fawcett, Tom (2006). 「ROC分析入門」(PDF) .パターン認識レターズ. 27 (8): 861– 874. doi : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 .  
10. プロボスト、フォスター、トム・フォーセット (2013年8月1日). 「ビジネスのためのデータサイエンス：データマイニングとデータ分析的思考について知っておくべきこと」 . O'Reilly Media, Inc.
11. Powers, David MW (2011). 「評価：適合率、再現率、F値からROC、情報量、注目度、相関まで」 . Journal of Machine Learning Technologies . 2 (1): 37– 63.
12. Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (編).機械学習百科事典. Springer. doi : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8。
13. Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015年1月26日). 「WWRP/WGNE予報検証研究共同ワーキンググループ」 .オーストラリア気象気候研究協力機構. 世界気象機関. 2019年7月17日閲覧。
14. Chicco D, Jurman G (2020年1月). 「二値分類評価におけるF1スコアと精度に対するマシューズ相関係数（MCC）の利点」 . BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312. PMID 31898477 .  
15. Chicco D, Toetsch N, Jurman G (2021年2月). 「2クラス混同行列評価において、マシューズ相関係数（MCC）はバランス精度、ブックメーカー情報、マーク度よりも信頼性が高い」 . BioData Mining . 14 (13): 13. doi : 10.1186/s13040-021-00244-z . PMC 7863449. PMID 33541410 .  
16. Tharwat A. (2018年8月). 「分類評価方法」 .応用コンピューティングと情報科学. 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .
17. 「分類 - ランダム分類器のAUC-ROC」 . Data Science Stack Exchange . 2020年11月30日閲覧。
18. Chicco, Davide; Jurman, Giuseppe (2023-02-17). 「二項分類を評価するための標準指標として、ROC AUCに代わるマシューズ相関係数（MCC）を採用すべき」 . BioData Mining . 16 (1). Springer Science and Business Media LLC: 4. doi : 10.1186/ s13040-023-00322-4 . hdl : 10281/430042 . ISSN 1756-0381 . PMC 9938573. PMID 36800973 .   
19. Muschelli, John (2019-12-23). 「二値予測変数を用いたROCとAUC：潜在的に誤解を招く指標」 . Journal of Classification . 37 (3). Springer Science and Business Media LLC: 696– 708. doi : 10.1007 /s00357-019-09345-1 . ISSN 0176-4268 . PMC 7695228. PMID 33250548 .   
20. ロボ, ホルヘ・M.; ヒメネス＝バルベルデ, アルベルト; レアル, ライムンド (2008). 「AUC：予測分布モデルの性能を評価する際の誤解を招く指標」.地球生態学と生物地理学. 17 (2). Wiley: 145–151 . Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . ISSN 1466-822X . 
21. Halligan, Steve; Altman, Douglas G.; Mallett, Susan (2015-01-20). 「画像検査の評価に受信者動作特性曲線下面積（ROC）を用いる際の欠点：代替アプローチに関する考察と提案」 . European Radiology . 25 (4). Springer Science and Business Media LLC: 932– 939. doi : 10.1007/ s00330-014-3487-0 . ISSN 0938-7994 . PMC 4356897. PMID 25599932 .   
22. Berrar, D.; Flach, P. (2011-03-21). 「臨床マイクロアレイ研究におけるROC解析の注意点と落とし穴（そしてその回避方法）」 . Briefings in Bioinformatics . 13 (1). Oxford University Press (OUP): 83– 97. doi : 10.1093/bib/bbr008 . ISSN 1467-5463 . PMID 21422066 .  
23. ジェザチ、M.、ジェザチ、F. (2011)。 「信用スコアリングモデルの品質を測定する方法」。チェコ経済金融ジャーナル (Finance a úvěr)。61 (5)。カレル大学プラハ社会科学部: 486–507。
24. Powers, David MW (2012). 「ROC-ConCert: ROCベースの一貫性と確実性の測定」(PDF) . Spring Congress on Engineering and Technology (SCET) . Vol. 2. IEEE. pp.  238– 241. ^{[リンク切れ]}
25. Fogarty, James; Baker, Ryan S.; Hudson, Scott E. (2005). 「ヒューマンコンピュータインタラクションにおけるセンサーベースの推定値に対するROC曲線分析の適用事例研究」 ACM国際会議論文集シリーズ, Proceedings of Graphics Interface 2005.ウォータールー, オンタリオ州: Canadian Human-Computer Communications Society.
26. ハスティー, トレバー;ティブシラニ, ロバート; フリードマン, ジェローム H. (2009).統計学習の要素：データマイニング、推論、予測（第2版）.
27. Fawcett, Tom (2006); ROC分析入門、Pattern Recognition Letters、27、861–874。
28. Hanley, James A.; McNeil, Barbara J. (1982). 「受信者動作特性（ROC）曲線下面積の意味と利用」. Radiology . 143 ( 1): 29– 36. doi : 10.1148/radiology.143.1.7063747 . PMID 7063747. S2CID 10511727 .  
29. Mason, Simon J.; Graham, Nicholas E. (2002). 「相対動作特性（ROC）曲線と相対動作水準（ROL）曲線の下の領域：統計的意義と解釈」（PDF） . Quarterly Journal of the Royal Meteorological Society . 128 (584): 2145– 2166. Bibcode : 2002QJRMS.128.2145M . CiteSeerX 10.1.1.458.8392 . doi : 10.1256/003590002320603584 . S2CID 121841664. 2008年11月20日時点のオリジナル（PDF）からアーカイブ。   
30. トゥーン州カルダース;ヤロシェヴィチ、シモン (2007)。 「分類のための効率的な AUC 最適化」。コクにて、N.ジュースト。コロナツキ、ヤチェク。ロペス・デ・マンタラス、ラモン。マウィン、スタン。ムラデニッチ、ドゥンハ。アンジェイ・スコウロン（編）。データベースにおける知識の発見: PKDD 2007。コンピューターサイエンスの講義ノート。 Vol. 4702. ベルリン、ハイデルベルク: Springer。 pp.  42–53。土井: 10.1007/978-3-540-74976-9_8。ISBN 978-3-540-74976-9。
31. Hand, David J.;およびTill, Robert J. (2001);複数クラス分類問題におけるROC曲線の下の領域の単純な一般化、機械学習、45、171–186。
32. Provost, F.; Fawcett, T. (2001). 「不正確な環境に対するロバストな分類」.機械学習. 42 (3): 203– 231. arXiv : cs/0009007 . doi : 10.1023/a:1007601015854 . S2CID 5415722 . 
33. Flach, PA; Wu, S. (2005). 「ROC曲線の凹みの修復」(PDF) .第19回国際人工知能合同会議 (IJCAI'05) . pp.  702– 707.
34. Hanley, James A.; McNeil, Barbara J. (1983-09-01). 「同一症例における受信者動作特性曲線下面積の比較法」 . Radiology . 148 (3): 839– 843. doi : 10.1148/radiology.148.3.6878708 . PMID 6878708 . 
35. Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; Dougherty, Edward R (2010). 「ROC関連推定値の小サンプル精度」 .バイオインフォマティクス. 26 (6): 822– 830. doi : 10.1093/bioinformatics/btq037 . PMID 20130029 . 
36. ロボ, ホルヘ・M.; ヒメネス＝バルベルデ, アルベルト; レアル, ライムンド (2008). 「AUC：予測分布モデルの性能を評価する際の誤解を招く指標」.地球生態学と生物地理学. 17 (2): 145– 151. Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . S2CID 15206363 . 
37. Hand, David J (2009). 「分類器の性能測定：ROC曲線下面積に代わる一貫した方法」 .機械学習. 77 : 103–123 . doi : 10.1007/s10994-009-5119-5 . hdl : 10044/1/18420 .
38. Flach, PA; Hernandez-Orallo, J.; Ferri, C. (2011). 「集約分類性能の尺度としてのAUCの一貫した解釈」(PDF) .第28回国際機械学習会議 (ICML-11) 議事録. pp.  657– 664.
39. Hernandez-Orallo, J.; Flach, PA; Ferri, C. (2012). 「パフォーマンス指標の統一的視点：閾値選択を期待分類損失に変換する」(PDF) . Journal of Machine Learning Research . 13 : 2813–2869 .
40. Powers, David MW (2012). 「曲線下面積の問題」.国際情報科学技術会議.
41. Powers, David MW (2003). 「リコールと精度対ブックメーカー」(PDF) .国際認知科学会議 (ICSC-2003) 議事録, シドニー, オーストラリア, 2003, pp. 529–534 . ^{[永久リンク切れ]}
42. Powers, David MW (2012). 「Kappaの問題」(PDF) .計算言語学協会ヨーロッパ支部会議 (EACL2012) ROBUS-UNSUP合同ワークショップ. 2016年5月18日時点のオリジナル(PDF)からアーカイブ。 2012年7月20日閲覧。
43. McClish, Donna Katzman (1989-08-01). 「ROC曲線の一部の分析」. Medical Decision Making . 9 (3): 190– 195. doi : 10.1177/0272989X8900900307 . PMID 2668680. S2CID 24442201 .  
44. Dodd, Lori E.; Pepe, Margaret S. (2003). 「部分AUC推定と回帰」.バイオメトリクス. 59 (3): 614– 623. doi : 10.1111/1541-0420.00071 . PMID 14601762. S2CID 23054670 .  
45. Karplus, Kevin (2011); Better than Chance: the importance of null models、カリフォルニア大学サンタクルーズ校、Proceedings of the First International Workshop on Pattern Recognition in Proteomics, Structural Biology and Bioinformatics (PR PS BB 2011)
46. 「C統計量：定義、例、重み付け、および有意性」統計ハウツー。2016年8月28日。
47. ポンティウス、ロバート・ギルモア；パルメンティエ、ベノワ（2014）「相対的動作特性（ROC）の使用に関する推奨事項」ランドスケープ・エコロジー29 （3）：367-382 . Bibcode：2014LaEco..29..367P . doi：10.1007/s10980-013-9984-8 . S2CID 15924380 . 
48. Pontius, Robert Gilmore; Si, Kangping (2014). 「複数の閾値における診断能力を測定するための総合的動作特性」. International Journal of Geographical Information Science . 28 (3): 570– 583. Bibcode : 2014IJGIS..28..570P . doi : 10.1080/13658816.2013.862623 . S2CID 29204880 . 
49. Navratil, J.; Klusacek, D. (2007-04-01). 「線形DETについて」. 2007 IEEE 国際音響・音声・信号処理会議 - ICASSP '07 . 第4巻. pp. IV–229–IV–232. doi : 10.1109/ICASSP.2007.367205 . ISBN 978-1-4244-0727-9. S2CID  18173315 .
50. Dev P. Chakraborty (2017年12月14日). "double+probability+paper"&pg=PT214 Observer Performance Methods for Diagnostic Imaging: Foundations, Modeling, and Applications with R-Based Examples . CRC Press. p. 214. ISBN 9781351230711. 2019年7月11日閲覧。
51. マクミラン、ニール・A.、クリールマン、C.・ダグラス（2005年）『検出理論：ユーザーズガイド（第2版）』マホワ、ニュージャージー州：ローレンス・エルバウム・アソシエイツ、ISBN 978-1-4106-1114-7。
52. Glanzer, Murray; Kisok, Kim; Hilford, Andy; Adams, John K. (1999). 「認知記憶における受信者動作特性の傾き」. Journal of Experimental Psychology: Learning, Memory, and Cognition . 25 (2): 500– 513. doi : 10.1037/0278-7393.25.2.500 .
53. Ratcliff, Roger; McCoon, Gail; Tindall, Michael (1994). 「認識記憶ROC関数のデータの経験的一般性とGMMへの示唆」. Journal of Experimental Psychology: Learning, Memory, and Cognition . 20 (4): 763– 785. CiteSeerX 10.1.1.410.2114 . doi : 10.1037/0278-7393.20.4.763 . PMID 8064246 .  
54. Zhang, Jun; Mueller, Shane T. (2005). 「ROC分析とノンパラメトリック感度推定に関するノート」Psychometrika . 70 : 203–212 . CiteSeerX 10.1.1.162.1515 . doi : 10.1007/s11336-003-1119-8 . S2CID 122355230 .  
55. Yonelinas, Andrew P.; Kroll, Neal EA; Dobbins, Ian G.; Lazzara, Michele; Knight, Robert T. (1998). 「健忘症における想起と親近感の障害：記憶・認識、プロセス解離、そして受信者動作特性データの収束」. Neuropsychology . 12 (3): 323– 339. doi : 10.1037/0894-4105.12.3.323 . PMID 9673991 . 
56. グリーン、デイビッド・M.; スウェッツ、ジョン・A. (1966).信号検出理論と心理物理学. ニューヨーク、NY: John Wiley and Sons Inc. ISBN 978-0-471-32420-1。
57. 「受信者操作特性（ROC）曲線を用いた分類モデルの分析：歴史的関心に関する最終報告」（PDF）。ユタ大学数学科。2020年8月22日時点のオリジナルよりアーカイブ（PDF） 。 2017年5月25日閲覧。
58. Zweig, Mark H.; Campbell, Gregory (1993). 「受信者動作特性（ROC）プロット：臨床医学における基本的な評価ツール」（PDF） . Clinical Chemistry . 39 (8): 561– 577. doi : 10.1093/clinchem/39.4.561 . PMID 8472349 .  
59. Pepe, Margaret S. (2003).分類と予測のための医療検査の統計的評価. ニューヨーク: オックスフォード. ISBN 978-0-19-856582-6。
60. Obuchowski, Nancy A. (2003). 「受信者動作特性曲線と放射線医学におけるその利用」.放射線学. 229 (1): 3–8 . doi : 10.1148/radiol.2291010898 . PMID 14519861 . 
61. Spackman, Kent A. (1989). 「信号検出理論：帰納的学習を評価するための有用なツール」.第6回国際機械学習ワークショップ議事録. サンマテオ、カリフォルニア州: Morgan Kaufmann . pp.  160– 163.
62. Kharin, Viatcheslav (2003). 「確率予測のROCスコアについて」 . Journal of Climate . 16 (24): 4145– 4150. Bibcode : 2003JCli...16.4145K . doi : 10.1175/1520-0442(2003)016<4145:OTRSOP>2.0.CO;2 .
63. 「マーク・A・リチャード（2022年）。レーダー信号処理の基礎、第3版。 」マクグローヒル。ISBN 978-1-260-46871-7。
64. Till, DJ; Hand, RJ (2001). 「複数クラス分類問題におけるROC曲線下面積の単純な一般化」 .機械学習. 45 (2): 171– 186. doi : 10.1023/A:1010920819831 .
65. Mossman, D. (1999). 「3元ROC」.医療意思決定. 19 (1 ) : 78– 89. doi : 10.1177/0272989x9901900110 . PMID 9917023. S2CID 24623127 .  
66. Ferri, C.; Hernandez-Orallo, J.; Salido, MA (2003). 「多クラス問題におけるROC曲面下体積」.機械学習: ECML 2003. pp.  108– 120.
67. Bi, J.; Bennett, KP (2003). 「回帰誤差特性曲線」(PDF) .第20回国際機械学習会議 (ICML-2003) .ワシントンD.C.
68. Hernandez-Orallo, J. (2013). 「回帰のためのROC曲線」.パターン認識. 46 (12): 3395– 3411. arXiv : 1211.2359 . Bibcode : 2013PatRe..46.3395H . doi : 10.1016/j.patcog.2013.06.014 . hdl : 10251/40252 . S2CID 15651724 . 

外部リンク

[編集]

• 簡単なROC計算機
• アニメーションROCデモ
• ROCデモ
• 別のROCデモ
• ROCビデオ説明
• 総合動作特性入門：土地変化モデル評価における効用
• RでTOCパッケージを実行する方法
• Github上のTOC Rパッケージ
• TOC曲線を生成するためのExcelワークブック

さらに読む

[編集]

• バラクリシュナン、ナラヤナスワミ（1991年）;物流ハンドブック、マルセル・デッカー社、ISBN 978-0-8247-8587-1
• Brown, Christopher D.; Davis, Herbert T. (2006). 「受信者動作特性曲線と関連する意思決定尺度：チュートリアル」. Chemometrics and Intelligent Laboratory Systems . 80 : 24–38 . doi : 10.1016/j.chemolab.2005.05.004 .
• Rotello, Caren M.; Heit, Evan; Dubé, Chad (2014). 「データが増えれば増えるほど誤った方向へ導く：誤った従属指標を用いた反復実験は誤った結論を永続させる」 （PDF） . Psychonomic Bulletin & Review . 22 (4): 944– 954. doi : 10.3758/s13423-014-0759-2 . PMID  25384892. S2CID  6046065 .
• フォーセット, トム (2004). 「ROCグラフ：研究者のためのノートと実践的考察」 (PDF) .パターン認識レター. 27 (8): 882– 891. CiteSeerX  10.1.1.145.4649 . doi : 10.1016/j.patrec.2005.10.012 .
• ゴネン、ミタット（2007年）; SASを用いた受信者動作特性曲線の分析、SAS Press、ISBN 978-1-59994-298-8
• グリーン、ウィリアムH.、（2003）計量経済分析、第5版、プレンティスホール、ISBN 0-13-066189-9
• Heagerty, Patrick J.; Lumley, Thomas; Pepe, Margaret S. (2000). 「打ち切り生存データと診断マーカーのための時間依存ROC曲線」. Biometrics . 56 ( 2): 337– 344. doi : 10.1111/j.0006-341x.2000.00337.x . PMID  10877287. S2CID  8822160 .
• Hosmer, David W.;およびLemeshow, Stanley (2000); Applied Logistic Regression、第2版、ニューヨーク、NY：Wiley、ISBN 0-471-35632-8
• Lasko, Thomas A.; Bhagwat, Jui G.; Zou, Kelly H.; Ohno-Machado, Lucila (2005). 「バイオメディカルインフォマティクスにおける受信者動作特性曲線の活用」. Journal of Biomedical Informatics . 38 (5): 404– 415. CiteSeerX  10.1.1.97.9674 . doi : 10.1016/j.jbi.2005.02.008 . PMID  16198999 .
• マス、ジャン・フランソワ。フィーリョ、ブリタルド・ソアレス。ポンティアス・ジュニア、ロバート・ギルモア。グティエレス、ミシェル・ファルファン。ロドリゲス、ヘルマン (2013)。「空間モデルの ROC 分析のためのツール スイート」。ISPRS 国際地理情報ジャーナル。2 (3): 869–887。Bibcode : 2013IJGI....2..869M。土井：10.3390/ijgi2030869。{{cite journal}}: CS1 maint: multiple names: authors list (link)
• ポンティウス・ジュニア、ロバート・ギルモア；パルメンティエ、ベノワ（2014）「相対的動作特性（ROC）の使用に関する推奨事項」ランドスケープ・エコロジー29 ( 3): 367– 382. Bibcode : 2014LaEco..29..367P . doi : 10.1007/s10980-013-9984-8 . S2CID  15924380 .{{cite journal}}: CS1 maint: multiple names: authors list (link)
• ポンティウス・ジュニア、ロバート・ギルモア；パチェコ、パブロ（2004）「インド西ガーツ山脈における森林撹乱モデルの較正と検証（1920～1990年）」 GeoJournal 61 ( 4 ): 325– 334. Bibcode : 2004GeoJo..61..325G . doi : 10.1007/s10708-004-5049-5 . S2CID  155073463 .{{cite journal}}: CS1 maint: multiple names: authors list (link)
• ポンティウス・ジュニア、ロバート・ギルモア；バッチュ、キラン（2003）「インドにおける土地被覆変化の場所予測における確実性の定量化のための相対的動作特性の利用」Transactions in GIS . 7 (4): 467– 484. Bibcode : 2003TrGIS...7..467P . doi : 10.1111/1467-9671.00159 . S2CID  14452746 .{{cite journal}}: CS1 maint: multiple names: authors list (link)
• ポンティウス・ジュニア、ロバート・ギルモア；シュナイダー、ローラ（2001）「米国マサチューセッツ州イプスウィッチ流域におけるROC法による土地利用変化モデルの検証」農業・生態系・環境誌85（1-3）：239-248 . doi：10.1016 /S0167-8809(01)00187-6 .{{cite journal}}: CS1 maint: multiple names: authors list (link)
• Stephan, Carsten; Wesseling, Sebastian; Schink, Tania; Jung, Klaus (2003). 「受信者動作特性解析のための8つのコンピュータプログラムの比較」 .臨床化学. 49 (3): 433– 439. doi : 10.1373/49.3.433 . PMID  12600955 .
• スウェッツ、ジョン・A.；ドーズ、ロビン・M.；モナハン、ジョン（2000年）；科学によるより良い意思決定、サイエンティフィック・アメリカン、10月、pp. 82-87
• Zou, Kelly H.; O'Malley, A. James; Mauri, Laura (2007). 「診断検査および予測モデルの評価のための受信者動作特性分析」 . Circulation . 115 (5): 654–7 . doi : 10.1161/circulationaha.105.594929 . PMID  17283280 .
• 周暁華、オブコウスキー、ナンシー・A、マクリッシュ、ドナ・K (2002). 『診断医学における統計的手法』ニューヨーク、NY: Wiley & Sons. ISBN 978-0-471-34772-9。
• Chicco D.; Jurman G. (2023). 「二項分類を評価するための標準的な指標として、ROC AUCに代わるマシューズ相関係数（MCC）を用いるべきである」 . BioData Mining . 16 (1): 4. doi : 10.1186/s13040-023-00322-4 . PMC  9938573. PMID  36800973 .

Retrieved from "https://en.wikipedia.org/w/index.php?title=Receiver_operating_characteristic&oldid=1312038949"