1、
Q：线下auc提升了，但是线上auc未提升（或者很低）是什么原因？
A1：首先需要跑特征diff，同一次请求，在线上获得的特征需要和线下的特征一致，才有可比较性。
A2:其次别的策略上的变化也可能会导致线上数据的分布跟离线训练测试时不同，导致线上auc未提升。（比如上线新模型后，推荐策略推荐的物品分布发生很大变化，跟之前训练的数据分布差距太大，那么也可能会导致auc跟线下预期不一样）
2、
Q：为什么线上auc提升，线上点击率未明显提升（ctr模型）？
A1：由于模型本身预估的是单个item的点击率，但是展现给用户的是在不同位置的多个item，单纯把点击率高的排在前面，跟真实点击率提升并没有最直接的关系。（比如你只是交换了一下第二个和第三个item的顺序，但是最终这个变化对用户点击的决策并没有显著影响）。
A2:也有可能是本身的优化空间太小，比如粗排从300选30，精排再从30选top10，那么提升精排模型auc，可能对整体的优化效果有限。（跟具体的分布有关，比如大部分用户看30个左右，而头部item的点击率都比较高【ie：差异小，粗排300选30的recall很高】，对头部预估的也都比较准，那么再怎么交换这30个顺序可能对用户影响也不大）
3、
Q：预估系统数据与算法如何自我演进？
A：算法影响数据，数据反过来影响算法与模型。实际上是一个不断演化的过程，很难保证真正的一致性。因为你在做实验的过程中，数据在变化，上线后，数据也会变化，然后影响模型，再影响数据，最后达到一个动态的平衡。
网友评论