模型评估

混淆矩阵与模型评估指标

混淆矩阵精确率召回率F1准确率
一句话摘要

混淆矩阵是评估分类模型的核心工具,从中可以计算出准确率、精确率、召回率和F1值等关键指标。

什么是混淆矩阵?

混淆矩阵(Confusion Matrix)是一个表格,展示分类模型的预测结果与实际结果的对比情况。

对于二分类问题,混淆矩阵有4个格子:

预测为正预测为负
实际为正TP(真正例)FN(假负例)
实际为负FP(假正例)TN(真负例)

命名规则

记住两个规则:

  • 第一个词(True/False):预测是否正确
  • 第二个词(Positive/Negative):预测的类别

所以:

  • TP(True Positive)= 预测正确 + 预测为正 = 实际正类被正确预测为正类
  • FP(False Positive)= 预测错误 + 预测为正 = 实际负类被错误预测为正类
  • FN(False Negative)= 预测错误 + 预测为负 = 实际正类被错误预测为负类
  • TN(True Negative)= 预测正确 + 预测为负 = 实际负类被正确预测为负类

四大评估指标

1. 准确率(Accuracy)

所有预测中,预测正确的比例

Accuracy = (TP + TN) / (TP + TN + FP + FN)

2. 精确率(Precision)

所有预测为正的样本中,实际为正的比例

Precision = TP / (TP + FP)

含义:模型说"是"的时候,有多大概率真的是?

3. 召回率(Recall)

所有实际为正的样本中,被正确预测为正的比例

Recall = TP / (TP + FN)

含义:实际为正的样本,模型能找出多少?

召回率高 = 漏检率低。召回率0.92意味着92%的正样本被正确识别。

4. F1值

精确率和召回率的调和平均

F1 = 2 × Precision × Recall / (Precision + Recall)

当精确率和召回率都高时,F1才会高。F1值高说明模型在精确率和召回率之间取得了良好的平衡。

精确率 vs 召回率:如何选择?

  • 重视精确率的场景:垃圾邮件过滤(宁可漏过垃圾邮件,不要误删正常邮件)
  • 重视召回率的场景:癌症筛查(宁可多检查几个,不要漏掉真正的患者)

考试要点

  • FP = 实际负类被错误预测为正类;TN = 实际负类被正确预测为负类
  • Precision = TP/(TP+FP)
  • 召回率高 → 漏检率低
  • F1值高说明精确率和召回率平衡好,不是单独说明精确率高
  • 提高流失顾客判别应提高召回率(减少漏检)
微信二维码

扫码备注【NOAI】加交流群