ROC曲线和AUC

概念

ROC全称是“受试者工作特征”（Receiver Operation Chracteristic），用来评判分类结果的好坏。

AUC（Area Under Curve）是ROC曲线下的面积。

计算方法

混淆矩阵

首先要介绍混淆矩阵的概念。在二分类中，我们用TP（true positive），FP（false positive），TN（true negative），FN（false negative）分别表示真实值为正且预测为正，真实值为负且预测为正，真实值为负且预测为负，真实值为正且预测值为负，详见下表。

	预测值为1	预测值为0
真实值为1	TP	FN
真实值为0	FP	TN

定义

真正率TPR(True Positive Rate) 即真正的正样本有多少预测为正

$$ TPR=\frac{TP}{TP+FN} $$
假正率FPR(False Positive Rate)即真正的负样本有多少预测为正

$$ FPR=\frac{FP}{FP+TN} $$

当全部预测为0时，TP=FP=0，此时TPR=FPR=0。

当全部预测为1时，FN=TN=0，此时TPR=FPR=1。

在做二分类任务时，假设样本的实际值为

$$ y_1, y_2...y_n $$

我们的预测分值为

$$ s_1,s_2...s_n $$

设定阈值为

$$ t $$

则其对应的预测值是

$$ \{\hat{y_i}|\hat{y_i}=s_i>t,i=1,2...n\} $$

考虑到样本数量是有限的，我们只需要把样本的分值作为阈值，而不需要对所有的阈值可能值进行遍历。

因此，阈值的可能值为

$$ \{s_i|i=1,2...n\} $$

把阈值可能值从大到小排序，按照这个顺序不断调整阈值，TPR和FPR的值会从(0, 0)不断递增，直到(1, 1)，这些点构成了ROC曲线，而AUC就是这个曲线下面的面积。

Python实现

下面的python的代码实现，测试与skleran的roc结果一致。

from sklearn.metrics import roc_curve, auc
from collections import Counter


def auc_function(score_list, label_list):
    a = [(s, l) for s, l in zip(score_list, label_list)]
    a = sorted(a, key=lambda x: -x[0])
    thresholds = []
    pc, nc = Counter(), Counter()
    for s, l in a:
        if len(thresholds) == 0 or thresholds[-1] != s:
            thresholds.append(s)
        if l == 1:
            pc[s] += 1
        else:
            nc[s] += 1
    n = len(score_list)
    fn = sum(label_list)
    tn = n - fn
    tp, fp = 0, 0
    fpr_list, tpr_list = [0], [0]
    fpr, tpr = 0, 0
    area = 0
    for t in thresholds:
        tp += pc[t]
        fn -= pc[t]
        fp += nc[t]
        tn -= nc[t]
        _fpr, _tpr = fp / (fp + tn), tp / (tp + fn)
        area += (_fpr - fpr) * (_tpr + tpr) / 2
        fpr, tpr = _fpr, _tpr
        fpr_list.append(fpr)
        tpr_list.append(tpr)
    return fpr_list, tpr_list, thresholds, area


if __name__ == "__main__":
    score = [0.8, 0.7, 0.5, 0.5, 0.5, 0.5, 0.3]
    label = [1, 1, 0, 0, 1, 1, 0]
    fpr, tpr, thres = roc_curve(label, score)
    area = auc(fpr, tpr)
    print(fpr, tpr, thres, area)
    print(auc_function(score, label))

ROC曲线和AUC