什么是混淆矩阵?
混淆矩阵(Confusion Matrix)是一个表格,展示分类模型的预测结果与实际结果的对比情况。
对于二分类问题,混淆矩阵有4个格子:
| 预测为正 | 预测为负 | |
|---|---|---|
| 实际为正 | TP(真正例) | FN(假负例) |
| 实际为负 | FP(假正例) | TN(真负例) |
命名规则
记住两个规则:
- 第一个词(True/False):预测是否正确
- 第二个词(Positive/Negative):预测的类别
所以:
- TP(True Positive)= 预测正确 + 预测为正 = 实际正类被正确预测为正类
- FP(False Positive)= 预测错误 + 预测为正 = 实际负类被错误预测为正类
- FN(False Negative)= 预测错误 + 预测为负 = 实际正类被错误预测为负类
- TN(True Negative)= 预测正确 + 预测为负 = 实际负类被正确预测为负类
四大评估指标
1. 准确率(Accuracy)
所有预测中,预测正确的比例
Accuracy = (TP + TN) / (TP + TN + FP + FN)
2. 精确率(Precision)
所有预测为正的样本中,实际为正的比例
Precision = TP / (TP + FP)
含义:模型说"是"的时候,有多大概率真的是?
3. 召回率(Recall)
所有实际为正的样本中,被正确预测为正的比例
Recall = TP / (TP + FN)
含义:实际为正的样本,模型能找出多少?
召回率高 = 漏检率低。召回率0.92意味着92%的正样本被正确识别。
4. F1值
精确率和召回率的调和平均
F1 = 2 × Precision × Recall / (Precision + Recall)
当精确率和召回率都高时,F1才会高。F1值高说明模型在精确率和召回率之间取得了良好的平衡。
精确率 vs 召回率:如何选择?
- 重视精确率的场景:垃圾邮件过滤(宁可漏过垃圾邮件,不要误删正常邮件)
- 重视召回率的场景:癌症筛查(宁可多检查几个,不要漏掉真正的患者)
考试要点
- FP = 实际负类被错误预测为正类;TN = 实际负类被正确预测为负类
- Precision = TP/(TP+FP)
- 召回率高 → 漏检率低
- F1值高说明精确率和召回率平衡好,不是单独说明精确率高
- 提高流失顾客判别应提高召回率(减少漏检)