1. 使用准确率评估二分类器有什么问题？
如果测试集合样本分布非常不均匀，如检查人是否患肿瘤、点击率预估，肿瘤患病率和点击率一般来说非常小。例如在预测预测是否患肿瘤这个例子中，测试样本中有5%的人患有肿瘤，这时二分类器判断都未患肿瘤那么这个分类器的准确率就是95%，这显然是不合理的。
2. 什么是AUC
那么当样本分布非常不均匀时我们该使用什么指标评价一个二分类器呢？AUC（Area Under the Curve），从字面上理解就是曲线下的面积，什么曲线？ROC（Receiver Operator Characteristic），中文译做接收者操作特征曲线。曲线的横坐标为假正例率，纵坐标为真正例率。
假正例率（FPR）：被预测为正例中负例数/实际负例数。
真正例率（TPR）：被预测为正例中正例数/实际正例数。
根据以上定义可以得出，当分类器预测为全1时FPR、TPR全为1，当分类器预测为全0时FPR、TPR全为0。
3. AUC的意义
AUC是任取一对正负例，分类器给出正例得分大于负例得分的概率，反映了分类器的排序能力，从这个角度来说：
- AUC=1，完美分类器，正例得分一定大于负例得分。
- 0.5<AUC<1，正例得分大于负例得分概率大于0.5，该分类器有效果。
- AUC=0.5，正例得分随机大于负例概率，分类器无效。
- 0<AUC<0.5，正例得分大于负例得分概率小于0.5，比随机猜测还差。
网友评论