大家在做功能设计的时候，是不是经常会面临多个设计方案的选择，比如某个按钮用什么颜色好，是放左边还是右边。
传统的方法通常是集体讨论，或是由某位专家/领导来拍板，实在决定不了，也会随机选一个上线。但这种方法太依赖于直觉，而且没有说服力。
下面就推荐一个比较科学的测试方法，帮助产品经理们作出最佳决策。
一、什么是A/B测试
A/B测试是一种帮助互联网产品迭代优化的实验方法。
测试目的在于通过科学的实验设计和数据采集方式，来获取具有代表性的实验结论，从而寻找到有更好的产品优化策略。
简单来说，就是为同一个目标指定两个方案（比如两个页面），让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，对比看哪个方案更符合设计。
一般会用在产品改版正式上线之前，验证新的设计是否可以提高产品的表现。
tips：A/B Test的前提是产品已有较多的用户量，所测试的页面有比较多的访问量。
1、A/B Test可以测试什么？
A/B测试可以应用在很多设计场景中，它的测试元素包括：标题、按钮、导航、视频、页面布局、价格、任务流程、图片、颜色、段落文本、社交元素等等。
比如下图：
针对标题的A/B Test
2、测试类型有哪些？
第1类：单变量VS多变量
- 单变量测试：一次只改变一个元素，是常规意义上的A/B Test。
- 多变量测试：一次改变多个元素，也叫MVT。
第2类：基于后端VS基于前端
该类测试较为复杂，需要技术团队介入，根据测试目标，对代码进行埋点或重写。
3、A/B测试工具
A/B测试的工具有很多，有免费的，也有付费的。
以下罗列了一些常见的测试工具，供大家参考使用：
- Google Website Optimizer：搜索巨头提供的免费A/B测试工具。一个很好的入门级工具，但是没有一些先进的功能。
- Visual Website Optimizer：一个易于使用的A/B测试工具，包含功能：如所见即所得的编辑器，单击地图，访问者分割和标签等。
- Unbounce and Performable：集成着陆页设计的A/B测试工具。
- Vertster,SiteSpect,Webtrends Optimizer and Omniture`s Test&Target：企业级测试工具
- App Adhoc Optimizer：国内A/B测试工具，同时支持（Web/H5、iOS、Android）及后端（Node.js、PHP、Java）A/B测试服务的专业Saas平台。
- Optimizely：是网上现有的最专业的A/B测试工具之一。它的价格可能要比其他工具搞很多（可也免费试用一个月），但它提供了一些非常棒的功能。
- Unbounce：对于登录页面的测试来讲非常不错，而且它还不仅仅是个测试工具，你还可以在无需你自己编写任何代码的情况下，用它来创建登录页面。
二、测试步骤
A/B测试的操作步骤一共有五步，分别是确定目标、设计方案、创建比较版本、发布测试、数据分析。
下面就来详细介绍一下每个步骤。
Step1：确定测试目标
不同的产品有不同的业务方向，在正式设计方案之前，我们需要明确本次测试的目标是什么。比如是想要提高付费转化率，还是想要降低跳出率？
只有在明确的测试目标的前提下，测试结果才有比较可信的数据支撑。
Step2：测试方案设计
测试方案是整个研究的核心，通过方案，团队成员可以事先进行充分沟通修改，达成共识后再落地执行。
首先，我们要建立一个假设，这个假设是根据我们的测试目标提出的一个问题，比如：
- 购买按钮颜色会影响点击率？
- 缩短购买流程可以提高付费率？
- 改变导航可以降低跳出率？
其次，根据我们建立的假设，确定测试元素（即自变量），从而生成实验对照版本。常见的测试元素有：颜色、标题、页面布局、任务流程等。
最后，根据假设确定评估指标（即因变量），也就是确定需要对比的指标。常见的评估指标有：跳出率、转化率、留存率等。
Step3：创建比较版本
完善了测试方案后，我们通过修改代码来改变产品其中一个或多个元素，建立原始版本和对照版本。
比如我们要测试按钮颜色对点击率的影响，可以创建下图版本：
Step4：发布测试
创建完两个版本后，我们就可以发布测试了。
在版本A的流量池中，我们可以将部分流量导向版本B，但不一定要5:5均分。
发布后的持续时间，可以根据目的进行控制，直到获取到足够多的测试数据。
计算工具可以参考：Visual Website Optimizer
Step5：数据分析
在结束测试投放后，我们可以快速将数据进行收集，并且直观的对比出A/B版本的转化率、跳出率、留存率等。
如下图：
不过，数据收集不是目的，最重要的是，我们要对结果进行差异性检验。
可以通过简单的经验判断，也可以利用SPSS、Excel或者A/B测试工具网站提供的计算工具进行卡方检验，总结出最后的结论。
最后再来总结一下。
A/B Test的操作有以下五个步骤：
- 第一步：确定测试目标
- 第二步：设计测试方案
- 第三步：创建比较版本
- 第四步：发布测试
- 第五步：数据分析
根据以上步骤，产品经理可以快速测试出哪个版本的产品设计更受用户欢迎。
如果大家在执行过程中有任何疑问，欢迎留言交流。
网友评论