1、ctr预估在内容推荐和广告推荐中的差别？
ctr预估在不管在内容推荐中还是广告推荐中都是至关重要的一环，但在广告业务场景中我们往往对于ctr预估效果有着更严苛的要求。
内容推荐目标比较单纯，只需要将用户感兴趣的内容尽可能排得更靠前，直接用auc这个指标衡量效果即可，auc越高，模型排序效果越好。
而在广告推荐中，因为在排序完成后，还涉及扣费环节，所以我们通常会关注预估模型两方面的内容：（1）模型排序效果好 （2）模型预估得尽可能准。
举个例子具体说明一下：
在内容推荐中，假设候选文章有5篇，给用户推荐2篇文章，用户对文章感兴趣的程度是A>B>C>D>E，那么ctr预估模型对5篇文章预估的值分别为0.05、0.04、0.03、0.02、0.01和预估值为0.04、0.03、0.02、0.01、0.005，最终得到的排序顺序都是一样的，用户感兴趣的内容都排在前面并曝光给用户看到。
如果是在广告推荐中呢，假设候选广告有3条，给用户推荐2条广告，3条候选广告的真实点击率为0.03、0.01、0.005，对应的出价为0.1、0.2、0.3。因为最终广告排序不是按预估的ctr大小排序的，而是按ecpm进行排序的（）。保证auc不变，如果模型预估准确，如图1所示，则排序顺序为A>B>C；如果模型预估的偏高，如图2所示，则排序顺序为C>B>A；如果模型预估的偏低，如图3所示，则排序顺序为A>C>B;
图1.模型预估准确
图2.模型预估偏高
图3.模型预估偏低
针对上述所举例子，如果模型对于每一次请求的所有候选广告预估偏高或者偏低的程度都相同，乘上出价后广告排序依然和预估准确时保持一致，则平台收入依旧可以保持不变。但现实情况是，模型会对某些广告高估得比较多，某些又高估得比较少，导致排序后曝光出去的广告实际点击率较低，点击数少于预期，使平台收入减少。线上投放广告时，模型对广告低估可能会使最优广告曝光不出去，也就没有被点击的机会，平台收入也同样会减少。所以只通过auc指标评估模型效果是远远不够的。
2、离线评估ctr预估模型，通常可以使用什么指标？
（1）auc
最常用的指标就是auc，auc值越大说明模型排序越准确。
（2）logloss
logloss可以体现出预估数据分布与真实数据分布差异的大小。如果我们的训练模型是基础的线性模型，那一般使用的训练目标函数就是logloss。
一般logloss值在什么范围说明模型效果比较好？
（3）copc
可以观察模型在每个区间范围内预估偏高还是偏低。
3、如果一个ctr预估模型效果很好，在线上会有什么样的表现？
线上真实ctr提升，收入也会提升。
参考资料：
https://mp.weixin.qq.com/s/weP5a5iGT3Cfvy_eKZLJSg
网友评论