【www.xushengjz.com--活动策划】

　　这时就需要在众多方案中，选择最优方案展现给用户，助力实现商业目标。下面我将结合最近的AB测试实践，讲讲我在电商活动中AB测试的心得体会。

　　AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。[1]

　　1. 解决方案分歧：当项目利益相关者出现意见分歧，无法确定最佳方案时，通过AB测试，可以有效确定方向。

　　2. 助力模块优化：如果存在模块优化需求，但不确定最终结果一定是好的，希望先验证后推广时，AB测试能够提供定量的测试结果，为探索方向提供指导。

　　3. 定位问题根源：针对某一具体问题，不确定问题根源在哪，通过改变哪些因素可以解决问题时，可以通过AB测试帮助明确问题根源。

　　4. 助力数据增长：结合增长思路，探索数据增长的影响因素，并通过AB测试，探索促进数据增长的最佳方式，持续迭代，不断优化。

　　电商活动页面上线时间短，不像其他固化页面持续在线，AB测试机会分散。

　　如果设计师想针对某个模块进行AB测试，由于活动上线时间短，且缺乏支持大批量AB测试的系统（比如一次测20个方案），导致我们很难在一个活动中把所有的变量研究透。一个模块的研究需要借助多个活动来完成。活动和活动差异大，活动背景、目的、商品、优惠都可能变化。AB测试只能在单次活动中进行。

　　在这样的背景下，设计师需要首先明确，针对该模块的一系列AB测试思路，并且找机会进行验证。1个模块的测试，可能需要在5次活动中才能研究透（有的甚至更多），这就需要活动设计师明确先研究什么，再研究什么。明确本次AB测试的核心重点，保证本次的研究点能够得到验证。不要因为过于求全，导致变量过多，反而无法得出结论。

　　在最近的啤酒节项目中，我们希望能对头图模块进行多个方向的优化试验，但不知道最终效果如何。在此背景下，我们针对该会场的头图进行了系列AB测试。下文将以啤酒节为例，讲讲我的AB测试心得体会。

　　由于笔者在某大型电商公司从事设计活动，公司内部针对AB测试有现成的工具，所以针对具体的流量切分实现逻辑不做过多描述。下文主要介绍AB测试规划层的内容。

　　结合实践，我们把电商活动AB测试归纳成了5个步骤，如下图所示。

　　在开始测试之前，我们得想清楚，为什么要做AB测试，以及希望通过AB测试得到哪些结论。

　　以啤酒节为例，由于头图设计思路偏常规，没有什么突破，所以我们希望借助AB测试，尝试在头图内容和形式上有所改变，期望能够提高头图的利用率。对于优化方向，虽然已经有了一些思考，但是孰优孰劣无法判断。我们期望通过AB测试，找出最佳优化方向，为之后的啤酒活动提供参考。

　　虽然是AB测试，但是并不代表对比对象只能有2个。有时为了最大化利用流量，我们也会设置A/B/C/D多个对比方案。以啤酒节为例，我们希望针对头图模块进行AB测试，探索如何提高头图利用率。常规的啤酒节头图设计如下图所示，主要是放出“会场”+“单品”信息，如下图所示。

　　但啤酒作为一个大牌集中的品类，用户对品牌的忠诚度非常高，之前从来没有尝试过在头图上放出品牌。公司活动总结同时，之前的头图大部分都是静态头图，是否可以通过动效提升头图吸引力呢？基于此，我们圈定了2个测试方向：

　　结合常规的头图方向，我们设定了4组对比对象。AB测试的核心原则是控制变量，保证变量单一，只有这样我们才好判断最终的数据变动是否由某因素引起。所以在设定对象时，我们同时进行变量控制。具体方案如下：

　　确定了对比对象和变量控制之后，我们还需要明确一些对比细节。主要有以下3个方面：

　　确定各对照组需要对比的数据。在啤酒节头图AB测试中，由于头图位于第一个楼层，基本上用户都能看到，曝光差异较小，最终我们确定了点击率、转化率作为核心指标，评估头图的吸引力和订单产出效果。

　　大部分电商活动都存在几个时期，比如预热期&高潮期。如果我们希望在同一个活动中运用AB测试的结论，测试的时间就应当往前提，越早越好，预留充足的数据分析和页面调整时间。

　　流量切分逻辑可以依据实际的方案来灵活考虑。如果觉得两个方案都还不错，可以考虑1:1均分；如果担心新方案效果不好，可以考虑N:1；如果同时上线了多个方案，可以考虑N:1: 1:1。

　　如果流量不是变量，那就需要保证对比方案的流量渠道一致或相似。由于笔者借助的公司内部AB测试平台，平台工具已经帮助我们实现了底层的流量切分，故在此不做赘述。但需要强调的是，为了保证AB测试的准确性，我们需要保证一定的样本量。否则，很容易因为样本量过少，造成随机结果的引入，导致试验结果偏差，最后失去统计意义。如果在活动中，预热期引入的流量过少，可以考虑适当延长测试时间。

　　AB测试除了交互之外，需要其他角色一起协作配合，比如运营、视觉、产品、前端、开发、用研等。我们需要和对应的同学进行沟通，确认测试是否可行，资源是否能支持。建议找用研同学帮忙评估下测试的严谨性，保证变量得到了有效的控制，没有遗漏。建议找产品和开发同学确认埋点方案，保证想要的数据都能获取。

　　AB测试上线后，我们需要及时关注测试数据结果。需要指出的一点是，并不是所有的AB测试都一定会有显著性结论。导致这个结果的原因有很多，可能是本身设定的对比对象差异过小导致，也可能是参杂了其他变量导致。如果自己的试验出现了这种情况，建议可以找更专业的用研同学/数据分析同学帮助定位问题。

　　啤酒节AB测试出现了非常严重的数据指标缺失，公司活动总结我们也碰到了很多坑，不算是特别成功的AB测试。但从获取到的数据指标，也可以看到一些结论：

　　①对照组1中，公司活动总结由于提数口径原因，导致方案中的【1行滑动单品坑位】、【1行滑动品牌坑位】点击数据均缺失，点击率无法计算；转化率方面，时而左侧方案高于右侧方案，时而右侧方案高于左侧方案，没有得出显著结论；

　　②对照组2中，右侧的品牌方案，点击率和转化率均高于左侧方案，右侧方案更优；

　　③对照组3中，右侧的动态头图方案点击率高于左侧，但转化率方面，左侧静态方案更佳。

　　虽然这次不尽如人意，但是针对这次AB测试碰到的问题，我们也进行了总结，主要有以下4点。

　　我们很难在一个活动中把所有的可能性都研究透。建议活动的小伙伴先规划长期的AB测试研究思路，比如研究头图，1次活动只能研究部分变量，我们明确需要几次活动才能完成所有研究，打算在哪几次活动验证。想清楚之后，还需明确这一次活动AB测试重要想研究哪些变量。这样可以避免贪多导致的变量控制失效。

　　规划AB测试时，一定要提前确认数据是否可获取，特别是一些非常规指标。在我之前进行的几次尝试中，就碰到了埋点方案正常，但是由于团队提数口径的问题，导致关键数据指标缺失，对AB测试结果评估带来了极大的阻力。这也是这次AB测试中碰到的最大的问题。

　　毕竟设计师并非专业的数据同学，AB测试水很深，有很多隐藏的雷。建议可以找专业的用研和数据分析师一起看看AB测试方案，一起评估变量控制逻辑，尽量提前暴露问题。

　　有时AB测试思路很明确，但最终的数据结果不如预期，甚至出现完全相反的趋势。这个时候不要慌乱，先确认AB测试逻辑是否有问题，变量控制是否有问题，提数是否出现了异常。如果确认以上几点都没有问题，可以跳出来看一看研究的主题和思路，也可以和其他同学探讨探讨。

　　AB测试是一个很大的课题，我也是AB测试的入门小白，还在不断的摸索中。以上就是关于电商活动AB测试的粗浅思考，希望能抛砖引玉，和各位一起交流学习。

本文来源：http://www.xushengjz.com/cehua/89698/