有时候知道要做一个监督学习的分类模型， 但是没有直接的正反例。
往往会根据业务人员的经验，根据一些规则来筛选一批正反例，然后根据已有的特征库和这些正反例来训练模型。
模型干的事就是跟正反例 Lookalike 的情况划分。
这种模型我们怎么评估？召回和准确率不再能直接反应模型的好坏，因为规则的正例可能混入了很多反例。
所以我们更关注AUC， 它代表跟正例相似分数高于跟负例相似的样本的概率；
还可以计算双样本 Kolmogorov-Smirnov test (Wikipedia)， 一个样本是正例的分数集合，一个样本是负例的分数集合。
D值越大，代表两个分布越不同，即代表通过模型将两个样本集的区分情况越强，一般D值是>=20 , 模型可用。
这类模型的优化可以以AUC 和K-S Test 中D值的提高来作为标准。
有时候知道要做一个监督学习的分类模型， 但是没有直接的正反例。 往往会根据业务人员的经验，根据一些规则来筛选一批正...
在《理解交叉验证》一文中，我们谈到了使用 AUC 来对比不同模型的好坏，那么 AUC 是什么？它是如何衡量一个模型...
在初步特征筛选之后，若使用树模型，特征经过数值化处理后就可以模型进行效果评估，一般会给出一个AUC或KS的模型评估...
评分区间，好坏用户分布 [注：bad用户是正例] Gini = (AUC-0.5)/0.5 = 2*AUC-1 由...
ROC曲线下面的面积就是AUC的值，介于0.1和1之间。Auc作为数值可以直观的评价分类器的好坏，值越大越好。 a...
1.机器学习指标ROC与AUC 1.1ROC与AUC AUC是一种模型分类指标，且仅仅是二分类模型的评价指标。AU...
AUC是推荐系统中最常用的模型评价指标。基础概念要常看常新，最近复习了一遍AUC的概念，在此做个笔记。本文力求简洁...
AUC 是一个模型评价指标：只能用于二分类模型的评价。AUC的计算同时考虑了正比例和负比例的，在样本不均衡的情况下...
在推荐场景下，模型auc大于0.5，其排序能力一定高于随机吗？模型离线评估auc大于0.5，上线后发现与随机推荐没...
一、 ROC曲线和AUC值 在逻辑回归、随机森林、GBDT、XGBoost这些模型中，模型训练完成之后，每个样本都...
本文标题：Look-alike 模型好坏要关注 AUC 和 KS
本文链接：https://www.haomeiwen.com/subject/sjgbwttx.html
网友评论