主要观点：

• 衡量机器学习模型的真实性能不止于标题准确率，所选指标影响算法调整、模型对用户等的影响及关键系统。
• 介绍实用且广泛使用的评估指标，如准确率、精确率、召回率、F1 值和 ROC-AUC，讨论其战略重要性及在不同场景的应用。
• 强调模型评估指标在机器学习生命周期中的核心作用，以及对业务和研究结果的影响。

关键信息：

• 准确率：定义为正确预测数与总预测数的比例，适用于平衡数据集，在不平衡数据集中易误导，需结合其他指标。
• 精确率：衡量正识别中实际正确的比例，高精确率可减少误报，在邮件 spam 检测等中重要。
• 召回率：衡量实际正例中正确识别的比例，高召回率可减少漏检，在癌症筛查等中关键。
• F1 值：是精确率和召回率的调和均值，在不平衡数据设置中有价值，用于衡量模型平衡。
• ROC-AUC：通过 ROC 曲线和 AUC 评估模型在不同阈值下的分类区分能力，独立于决策阈值和类不平衡，用于模型比较等。

重要细节：

• 模型评估指标在机器学习生命周期各阶段起关键作用，是团队间的合同点。
• 不同场景需选择合适指标，如欺诈检测注重召回率和精确率，推荐系统用精确率等。
• 避免盲目追求准确率、忽视利益相关者需求及将评估视为一次性行为等陷阱。
• 应根据业务或研究问题、类平衡等选择指标，定期审查以适应模型等变化。