累積精度プロファイル
コンテンツへジャンプ
累積精度プロファイル（CAP）は、データサイエンスにおいて識別力を視覚化するために用いられる概念です。モデルのCAPは、y軸に沿った陽性結果の累積数と、 x軸に沿った対応する分類パラメータの累積数との関係を表します。この出力はCAP曲線と呼ばれます。[ 1 ] CAPは、真陽性率と偽陽性率をプロットする受信者動作特性（ROC）曲線とは異なります。
CAP は分類モデルの堅牢性評価に使用されます。
CAPの分析
[編集]累積精度プロファイルは、現在の曲線を「完璧な」曲線とランダム化された曲線の両方と比較することでモデルを評価するために使用できます。優れたモデルは、完璧な曲線とランダム化された曲線の間にCAPを持ちます。モデルが完璧なCAPに近いほど、優れたモデルと言えます。
精度比（AR）は、モデルCAPとランダムCAPの間の面積と、完全CAPとランダムCAPの間の面積の比として定義されます。[ 2 ]成功したモデルでは、ARは0から1の間の値を持ち、値が高いほどモデルは強力になります。
肯定的な結果の累積数は、モデルの強さを示します。成功したモデルの場合、この値は最大値の50%から100%の間であるべきであり、より強力なモデルではこの割合が高くなります。散発的なケースでは、精度比がマイナスになることがあります。この場合、モデルのパフォーマンスはランダムCAPよりも劣っています。
アプリケーション
[編集]累積精度プロファイル（CAP）とROC曲線はどちらも、銀行や規制当局が信用リスクを評価する格付けシステムの識別能力を分析するために一般的に使用されています。[ 3 ] [ 4 ] CAPはまた、教育設計エンジニアがコースの構築に使用される教育設計モデルを評価、再訓練、再構築するために使用され、教授や学校当局は意思決定を改善し、教育資源をより効率的に管理するためにも使用されます。
参考文献
[編集]- ^ 「累積精度プロファイルと信用リスクへのその応用」 www.linkedin.com . 2020年12月11日閲覧。
- ^ Calabrese, Raffaella (2009),信用格付けおよびスコアリングモデルの検証(PDF)、スイス統計会議、ジュネーブ、スイス
{{citation}}: CS1 maint: location missing publisher (link) - ^ エンゲルマン、ベルント、ヘイデン、エブリン、タッシェ、ダーク（2003）、「格付けシステムの識別力の測定」、ディスカッションペーパー、シリーズ2：銀行および金融監督（1）
- ^ Sobehart, Jorge; Keenan, Sean; Stein, Roger (2000-05-15)、「デフォルトリスクモデルの検証方法論」(PDF)、Moody's Risk Management Services
累積精度プロファイル（CAP）は、データサイエンスにおいて識別力を視覚化するために用いられる概念です。モデルのCAPは、y軸に沿った陽性結果の累積数と、 x軸に沿った対応する分類パラメータの累積数との関係を表します。この出力はCAP曲線と呼ばれます。[1] CAPは、真陽性率と偽陽性率をプロットする受信者動作特性（ROC）曲線とは異なります。
CAP は分類モデルの堅牢性評価に使用されます。
CAPの分析
累積精度プロファイルは、現在の曲線を「完璧な」曲線とランダム化された曲線の両方と比較することでモデルを評価するために使用できます。優れたモデルは、完璧な曲線とランダム化された曲線の間にCAPを持ちます。モデルが完璧なCAPに近いほど、優れたモデルと言えます。
精度比（AR）は、モデルCAPとランダムCAPの間の面積と、完全CAPとランダムCAPの間の面積の比として定義されます。[2]成功したモデルでは、ARは0から1の間の値を持ち、値が高いほどモデルは強力になります。
肯定的な結果の累積数は、モデルの強さを示します。成功したモデルの場合、この値は最大値の50%から100%の間であるべきであり、より強力なモデルではこの割合が高くなります。散発的なケースでは、精度比がマイナスになることがあります。この場合、モデルのパフォーマンスはランダムCAPよりも劣っています。
アプリケーション
累積精度プロファイル（CAP）とROC曲線はどちらも、銀行や規制当局が信用リスクを評価する格付けシステムの識別能力を分析するために一般的に使用されています。[3] [4] CAPはまた、教育設計エンジニアがコースの構築に使用される教育設計モデルを評価、再訓練、再構築するために、また教授や学校当局が意思決定を改善し、教育資源をより効率的に管理するために使用されています。
参考文献
- ^ 「累積精度プロファイルと信用リスクへのその応用」www.linkedin.com . 2020年12月11日閲覧。
- ^ Calabrese, Raffaella (2009), 信用格付けおよびスコアリングモデルの検証(PDF)、スイス統計会議、ジュネーブ、スイス
{{citation}}: CS1 maint: location missing publisher (link) - ^ エンゲルマン、ベルント、ヘイデン、エブリン、タッシェ、ダーク（2003）、「格付けシステムの識別力の測定」、ディスカッションペーパー、シリーズ2：銀行および金融監督（1）
- ^ Sobehart, Jorge; Keenan, Sean; Stein, Roger (2000-05-15)、「デフォルトリスクモデルの検証方法論」(PDF)、Moody's Risk Management Services
