分类模型性能指标

anie

准确率、错误率

1.测试准确率
$$r_{\text {test }}=\frac{1}{N^{\prime}} \sum_{i=1}^{N^{\prime}}num\left(\tilde{y}_{i}^{\prime}=\hat{y}_{i}^{\prime}\right)$$
2.测试错误率
$$e_{t e s t}=\frac{1}{N^{\prime}} \sum_{i=1}^{N^{\prime}} num\left(\tilde{y}_{i}^{\prime} \neq \hat{y}_{i}^{\prime}\right)$$

查准率、查全率

对于二分类问题,通常将关注的类作为正类,其他类作为负类。令:

  • TP:分类器将正类预测为正类的数量(True Positive) 。即:真正类 的数量。
  • FN:分类器将正类预测为负类的数量(False Negative) 。即:假负类 的数量。
  • FP:分类器将负类预测为正类的数量(False Positive)。即:假正类 的数量。
  • TN:分类器将负类预测为负类的数量(True Negative) 。即:真负类 的数量。
预测正类预测反类
真实正类TPFN
真实反类FPTN

查准率(precision):所有预测为正类的结果中,真正的正类的比例。 $$P=\frac{T P}{T P+F P}$$
查全率(recall):真正的正类中,被分类器找出来的比例。 $$R=\frac{T P}{T P+F N}$$
不同的问题中,有的侧重差准率,有的侧重差全率。

  • 对于推荐系统,更侧重于查准率。即推荐的结果中,用户真正感兴趣的比例。因为给用户展示的 窗口有限,必须尽可能的给用户展示他真实感兴趣的结果。
  • 对于医学诊断系统,更侧重与查全率。即疾病被发现的比例。因为疾病如果被漏诊,则很可能导致病情恶化。

    PR曲线

    image
    P-R曲线从左上角(0,1) 到右下角(1,0)
    开始时第一个样本(最可能为正例的)预测为正例,其它样本都预测为负类。此时:

    *  查准率很高,几乎为1。
    *  查全率很低,几乎为0,大量的正例没有找到。

    结束时所有的样本都预测为正类。此时:

    *   查全率很高,正例全部找到了,查全率为1。
    *   查准率很低,大量的负类被预测为正类。*

    P-R曲线直观显示出分类器在样本总体上的查全率、查准率。因此可以通过两个分类器在同一个测试集上的P-R 曲线来比较它们的预测能力:

    • 如果分类器BP-R曲线被分类器A的曲线完全包住,则可断言:A的性能好于B
    • 如果分类器AP-R曲线与分类器B的曲线发生了交叉,则难以一般性的断言两者的优劣,只能在具体的查准率和查全率下进行比较。

    此时一个合理的判定依据是比较P-R曲线下面积大小,但这个值通常不容易计算。可以考察平衡点。平衡点Break-Even Point:BEPP-R曲线上查准率等于查全率的点,可以判定:平衡点较远的P-R曲线较好。
    image

    ROC曲线

    image
    定义真正例率(True Positive Rate) :它刻画了真正的正类中,模型预测为正类的概率。它也就等于正类的查全率。 $$T P R=\frac{T P}{T P+F N}$$
    定义假正例率(False Positive Rate) : 它刻画了真正的负类中,模型预测为正类的概率。它就等于 1 减去负类的查全率。$$F P R=\frac{F P}{T N+F P}$$
    ROC曲线从左下角(0,0) 到右上角(1,1)
    开始时第一个样本(最可能为正例的)预测为正例,其它样本都预测为负类。此时:

        *  真正例率很低,几乎为0,因为大量的正例未预测到。
        *  假正例率很低,几乎为0,因为此时预测为正类的样本很少,所以几乎没有错认的正例。

    结束时所有的样本都预测为正类。此时:

        *  真正例率很高,几乎为1,因为所有样本都预测为正类。
        *  假正例率很高,几乎为1,因为所有的负样本都被错认为正类。

    ROC曲线中:

  • 对角线对应于随机猜想模型。
  • (0,1)对应于理想模型:没有预测错误,FPR恒等于0,TPR恒等于1。
  • 通常ROC曲线越靠近点(0,1)越好。
    可以通过两个分类器在同一个测试集上的ROC 曲线来比较它们的预测能力:

    *   如果分类器`A`的`ROC`曲线被分类器`B`的曲线完全包住,则可断言:`B`的性能好于`A` 。
    *   如果分类器`A`的`ROC`曲线与分类器`B`的曲线发生了交叉,则难以一般性的断言两者的优劣。

    此时一个合理的判定依据是比较ROC曲线下面积大小,这个面积称作AUC:Area Under ROC Curve
    P-R曲线和ROC曲线上的每一个点都对应了一个阈值的选择,该点就是在该阈值下的(查准率,查全率) /(真正例率,假正例率) 。 沿着横轴的方向对应着阈值的下降。
    AUCROC 曲线的面积,其物理意义为:从所有正样本中随机挑选一个样本,模型将其预测为正样本的概率为 p1 ;从所有负样本中随机挑选一个样本,模型将其预测为正样本的概率为 p2 。 p1>p2的概率就等于 AUC

reference

《机器学习》周志华

阅读 875
1 声望
0 粉丝
0 条评论
1 声望
0 粉丝
文章目录
宣传栏