美文网首页
2018-11-02 模型评估标准学习笔记

2018-11-02 模型评估标准学习笔记

作者: 毒菇小妖 | 来源:发表于2019-10-21 10:36 被阅读0次

占坑,完善中。。。

模型评估指标:

accuracy:精确度:正确识别的所有数量在总数量中的占比。

但是在可信度模型里,这样的评估标准是不适用的,比如疾病识别,垃圾邮件识别,需要要看哪种结果更不能接受,那么能接受的结果被正确判断的成功率越高才越好,所以引入了召回率这个衡量标准。

recall: 召回率: 期望正确识别的数量在总正确数量的占比。

可以理解为:

如何只通过一个分数综合评估一个模型,

如果你关注召回率和精确度的平衡,可以考虑引入F1 score

公式:F1 Score=2*Precision∗Recall​/(Precision+Recall)

这个 公式的重点在于寻求精确度和召回率的平衡,平衡度越高F1 score越高。  只要任意一个指标偏离越大,F1score越低,而且一般都定于算术平均值。

如何根据模型的应用场景,找到更倾向于精确度或召回率的判断标准,引入 Fβ,公式如下图,β值越大,越需要召回率,反之越小越需要精确度

ROC Curve

如果取任意划分点的真阳性和假阳性的比例做为XY轴坐标点,会发现完美划分,随机划分和较好划分组成的ROC 曲线有对应的面积特点

R2 Score 评估回归模型的指标

计算模型和最简模型的差距。  R =  1- (模型误差/简单模型误差)

趋近于0说明两个模型误差很小

趋向于0代表

代码:

使用sklearn.metrics 中的 r2_score来计算r2值,https://scikit-learn.org/stable/modules/generated/sklearn.metrics.r2_score.html

相关文章

网友评论

      本文标题:2018-11-02 模型评估标准学习笔记

      本文链接:https://www.haomeiwen.com/subject/offcxqtx.html