试验概述
试验设计
指标选择
1. 不变指标
Number of cookies, Number of clicks, Click-through-probability
不变指标的选择理由
因为 Number of cookies, Number of clicks, Click-through-probability 三 个指标并不受试验内容的影响。
2. 评估指标
Gross conversion, Net conversion
评估指标的选择理由
因为这两个指标的分母都是不变指标，分子会收到试验内容的影响。故选择 Gross conversion, Net conversion。
3. 无效指标
对于指标 Number of user-ids 而言，虽然实验前后会发生变化，但是其变化可能是实验内容 引起的，但是实验组和对照组的cookie数量不一定相同，也就是说两组中用户ID数量不同可能是由于实验的影响。所以既不作为不变指标，也不作为评估指标。
对于 Retention 而言，由于其分母为 Number of user-ids ，所以既不作为不变指标，也不作为评估指标。
4. 期望
对于评估指标 Gross conversion 而言，期望其试验后会变小。
对于评估指标 Net conversion 而言，期望其试验前后基本不发生变化。
测量标准差
Gross conversion 标准偏差：0.0202
Net conversion 标准偏差：0.0156
两个评估指标的分析估计都与各自的经验变异相同。
因为本次试验的分组单元和分析单元都是点击“开始免费试学”按钮的唯一 cookie 。
规模
样本数量：685325
不用 Bonferroni 校正
因为 Bonferroni 校正主要适用于 n 次独立检验。但本试验中的总转化率和净转化率是相关联的，因此使用 Bonferroni 校正会使得试验结果过于保守。
本次测试将所有页面流量转入此试验。
原因如下：
- 即使学生每周学不到五小时，他们只是被页面的变更提醒引导到了另外的一个页面，如果今后有需要学生仍然可以进入免费试学、登陆并可能完成继续课程的，不会因此影响用户使用网站的习惯
- 没有在页面展示上有过大的改动，不会对用户产生感情上的冲击，用户也不需要花长时间去适应页面的改变。
- 该试验没有关于数据库及后台的改变，不用担心数据的丢失及由于后台的失误导致网页奔溃用户无法访问网页等大问题。
- 此试验也不会对用户的个人信息安全造成风险，因为不论网页是否增加了提醒，用户在确认参加免费试学时都得输入信用卡信息，而很明显系统一定会保护用户的个人信息。
- 该试验同样也没有道德上的风险。
持续时间：18 天
试验分析
合理性检查
| 期望观察到的值 | 实际观察到的值 | 是否通过合理性检查 | |
|---|---|---|---|
| Number of cookies | (0.4988，0.5012) | 0.5006 | 是 |
| Number of clicks | (0.4959，0.5041) | 0.5005 | 是 |
| Click-through-probability | (0.0812，0.0830) | 0.0822 | 是 |
结果分析
效应大小检验
| 95% 置信区间 | 是否具有统计显著性 | 是否具有实际显著性 | |
|---|---|---|---|
| Gross conversion | (-0.0291，-0.0120) | 是 | 是 |
| Net conversion | (-0.0116，0.0019) | 否 | 否 |
符号检验
| P-value | 是否具有统计显著性 | |
|---|---|---|
| Gross conversion | 0.0026 | 是 |
| Net conversion | 0.6776 | 否 |
汇总
不用 Bonferroni 校正。因为 Bonferroni 校正主要适用于 n 次独立检验。但是本试验中的总转化率和净转化率并非是独立的，而是相关联的。
效应大小假设检验和符号检验之间无任何差异。
建议
暂时不实施该更改，还需要更深入的探究。
原因如下
- 对于评估指标 Gross conversion ，其 95% 的置信区间为 (-0.0291，-0.0120)，dmin = 0.01，置信区间的上限小于-0.01，既具有统计显著性也具有实际显著性。而且p-value=0.0026，所以实施更改后 Gross conversion 减小是必然的，与期望一致。
- 但是对于评估指标 Net conversion ，其 95% 的置信区间为 (-0.0116，0.0019)，dmin = 0.0075，置信区间包含负数，也就是说有很大的概率净转化率会减少，并且有一定的概率净转化率的减少会超过实际显著性0.0075。因此我们无法说明”降低的程度不大“。所以不建议启动。**
后续试验
-
后续试验概括说明
对于已经参加免费试学的学生而言，让导师主动对每名学生每星期进行半小时的一对一辅导，解决学生的疑问，同时针对每个学生的学习情况，针对性的推荐一些参考资料。 -
假设
通过导师主动对每名学生每星期进行半小时的一对一辅导可以及时解决学生学习过程中的疑问并对其鼓励，降低学生的受挫感，提高学习积极性，从而减少受挫并想要提前终止课程的学生数量。 -
不变指标
点击了“开始免费试学”按钮的用户 id 数量选择理由
点击了“开始免费试学”按钮的用户 id 数量不受试验内容影响。 -
测量指标
净转化率，即在 14 天的期限后仍参与课程的用户 id 的数量（因此至少进行了一 次付费）除以点击了“开始免费试学”按钮的用户 id 数量所得的比率。选择理由
因为经转化率的分母不受试验内容影响，分子在试验前后很可能会发生变化。 -
转移单位
用户 id选择理由
因为试验对象是已经参加免费试学的用户，id 已经被跟踪，且 id 数量不受试验内容影响。
网友评论