需求:分析xx指标下降的原因
-- 对数据进行数据源拆分,渠道拆分,用户属性拆分。。。
总结起来的套路是什么呢?
指标波动即相当于统计学的因变量波动,通过列出组成该指标的所有因子,观察每个因子同期变化情况,定位到真正波动的指标,即统计学的自变量。
x = x1+x2+x3 or x = x1*x2*x3
对各个xi进行拆分,定位,控制变量法进行分析
1,分享渗透率缓慢下跌
将同期的各个版本进行比对,灰度期(or 某版本) 的分享渗透率下降,其他版本正常波动。判断为该版本存在问题。拆分分享渗透率 x,x1 = 微信,x2 = 微博,x3 = qq,x4 = facebook。发现其中微博x=2 分享渗透率下跌趋势较大。且下降趋势和占比符合整体数据情况。
先思考内因- 从业务逻辑思考,埋点是否存在数据漏报,产品是否调整入口,导致uv下降?是否存在分享失败的情况,是否会引发 crash
在思考外部因素- 微博是否存在限制或是其他条例。用户行为是否存在改变。
综合分析,判断由于 产品UI页面的的设计发生改变,使得微博icon的位置放在分享侧的最后一个位置,入口变深,分享uv下降。
2,点击评论icon渗透率陡增
查看同期版本的数据,定位出该版本数据存在异常且数据陡增
先思考内因:数据来源-埋点是否正常上报?数据表是否有改动?sql是否正确?
埋点检测阶段,需要熟悉业务逻辑,有时候是存在其他部分因素的干扰,是的埋点存在异常上报。
例如点击名字上报的点,上报了名字和头像,使得头像渗透率陡增。如果只是单纯的对点击头像进行埋点测试,那么就发现不到问题。所以熟悉业务逻辑外,还需要关联性分析。
3,点击like的数据缓慢下降
先思考内因:确认数据埋点正常上报,sql无问题后,对数据源进行检视,发现数据源出现错误。
案例分析:
Step1确定影响指标波动的核心因子,以便再做更细粒度的分析
案例分析
以下载量=活跃用户*下载转换率*人均下载量为例,假设下载量下降,对比下载量、活跃用户、下载转换率和人均下载量同期的曲线走势,很明显是活跃用户下降导致下载量下降,就把问题转化为活跃用户下降分析。
分析过程 - 变化趋势相同,证明具有强相关
分析过程-变化趋势不一致,排除该因素影响
上例中,根据曲线走势判定下载量下降是由活跃用户下降引起,并非适用于所有场景,需要根据同期曲线走势判断。比如,假设下载转换率同期也有下降,那下载量下降就是多重因素导致:活跃用户下降和下载转换率下降
Step2核心因子波动原因分析
从1中明确了波动因子,将问题转化为该因子波动原因分析。问题可被划分为2大类:用户规模下降(1中提到的活跃用户下降属于该类)和转换率下降。通过假定几种可能原因,再通过数据去验证,下面针对这类问题做下说明(下图均为模拟数据)。
2.1 发布引起上报异常
指标异动特点:突然下降,且后续基本稳定。如下图,在统计逻辑没任何变化的情况下,有很大可能是上报异常,上报异常往往是开发发布引起,找开发确认在该时间点是否有发布,如果有发布基本可以断定是发布导致的。用户规模下降和转换率下降均适用,验证方法类似。
2.2 新版本上线导致指标下降
指标异动特点:突然下降,且随着时间推移,新版本覆盖率提升,指标会一直下降。对齐指标下降与新版本发布时间点,如果一致,则分版本对比数据走势来验证。用户规模下降,需要对比不同版本的留存率;转换率下降,则直接对比各版本的转换率指标即可,如下图。
2.3 节假日影响(9月1 日开学,12月1日和7月1日的寒暑假期)
指标异动特点:假期前一天开始飙升,假期间一直保持高水平,假期最后一天下跌,假期结束后逐渐趋于日常水平。手Q用户年轻用户偏多,受节假日影响较大,通常在节假日指标会有大幅上涨,假期结束后指标回落到之前的水平。用户规模下降和转换率下降均适用。
2.4 入口流量变化导致指标下降
指标异动特点:缓降和陡降都有可能,与入口流量变化有关,且最后趋于稳定。入口流量是指进入产品的所有路径,如:进入游戏中心有两种方式:登录手Q->点击动态->进入游戏中心、外部跳转->游戏中心。对比这路径上各个节点同期的流量变化和指标变化趋势是否一致,一致则是该原因引起。
入口流量的变化只会影响用户规模,不会直接引起转换率下降,但可能会间接导致转换率下降,因为入口流量变化导致用户组成成分变化,每个成分的转换率有差异,从而导致整体转换率下降
2.5 资源投放粒度和投放效果下降
指标异动特点:缓降和陡降都有可能,与资源投放粒度变化有关;如果是投放效果下降引起,则是缓降且在效果提升前会一直下跌。资源投放粒度下降会直接导致用户规模下降,如:游戏中心红点资源做了限制后,游戏中心的活跃用户下跌很明显,通过对比同期数据趋势得出该相关性。投放效果下降通常是产品投放策略调整、推荐算法年久失修、推荐算法优化失败等
push&red的点击率下降,在排除版本问题后,先对内部实行的算法进行改良,做一个同期的实验,排除内部因素后在考虑用户自身的问题和产品功能改变的问题
2.6 产品体验不好导致用户粘性降低
指标异动特点:一直缓降。这一原因很难从数据上直接推导出就是产品体验不好导致用户慢慢流失或者粘性降低,通常是分析了所有猜测的原因之后用排除法来确定。确定是体验的问题就得分析清楚以下2个问题:①哪个模块体验不好? ②体验不好影响的是哪个用户群?通过将下降的指标“分一级二级模块”、“分新增回流留存”、“分高活跃低活跃”、“分付费和非付费”等维度进行横向和纵向对比,如:新增用户的转换率比留存用户的转换率下降更快,就说明产品对新增用户的吸引力不够,页面需要针对新增用户的差异化设计。
总结:
1、对于简单的问题,依赖指标下降的特点(控制变量的同期-同趋/同量)可以快速定位问题原因;
2、对于复杂的问题,依赖指标下降的特点只能排除掉不可能的原因,而真正下降的原因可能不是单一的,是上述原因的结合体,需要具体问题具体对待。












网友评论