mei mei
在讲述策略评估之前首先要了解下策略类项目的流程
那么为什么要做这么多评估？
策略评估的方法
1.策略的质量评估：关注每个策略的质量，例如军事类新闻的识别策略，看识别的效果如何
输出的结论：召回率、准确率
召回率 = 希望被覆盖到的案例中策略实际覆盖的案例 /理想态下希望被覆盖的案例
准确率 = 策略覆盖的案例中真正被覆盖的 / 策略覆盖的所有案例
这两个往往是对立的，针对产品阶段性目标来重点提升其中一个
2.diff评估，关注复杂系统中的某个策略上线后，对用户体验的真正影响，例如军事类新闻的识别策略上线后，用户具感知到的推荐结果是否真的变好
输出结论：diff影响面、good：same：bad 的比例
diff影响面：策略调整后，用户感知发生变化的比例，通常要小于策略影响面
good：same：bad ，随机抽取有变化的case，站在用户体验角度评估效果是变好了、变坏了、还是没变化
方法：
3.如何做评估？
基本方法论还是如下四步：
具体如何做评估，更关注方法论的后三个环节（第一个环节在需求文档中里已经描述了），具体包括三个步骤
a.基于理想态找到问题：策略召回率理想是100%，目前只有60%，剩余40%没被策略召回；
b.汇总和抽象问题，提出解决思路or方向：40%未召回的问题 抽象为主要分为3类...
c.给出结论：问题依然严重吧、需要优化or可以接受、策略可以上线了。如何衡量？老问题：以投入产出比为主要因素，通常以项目预期为终止点；新问题：通常容忍度较低，以pm认为的不可忍受的体验为标准
小结
开发过程中的评估是策略pm的必经之路，是pm和rd通过深度配合在黑暗中找到道路的重要环节
召回率、准确率、diff 影响面、g：s：b四个指标是策略评估的主心骨，所有评估都是围绕着他们发现和抽象问题的过程
网友评论