本篇文章中,我们将主要讨论电商场景中的A/B测试,并结合实际场景提供一些品牌独立站的优化和测试建议。
一、什么是A/B测试
A/B测试,本质上是分离式组间实验、一种随机实验的过程:以设定的概率,随机向用户展示设计方案的A版本(可视作控制组)、B版本或更多版本(可视作实验组),以测试期内测试目标的达成为基数,用算法预测未来哪个版本达成测试目标的概率更高,锁定一个优秀的版本成为“赢家”。
二、A/B测试的价值
A/B测试对于独立站的终极价值是提升流量的承接效率,同时通过优化站内综合体验提升ROI。这个终极价值细化下来,可以分为以下几个小目标:
- 理解用户需求,提升广告效率:
- 了解用户进入站内的表现与路径、结合定量数据(如平均停留时长、首屏流失率)与定性数据(如A/B版本热力图),观察用户在页面上的点击和浏览轨迹,判断内容是否戳中用户痛点。
- A/B测试对于处于拉新阶段的独立站尤为重要:广告成本高、新用户占比大。广告落地页承接的内容需要与广告素材保持一致、快速命中用户需求以开启站内旅程、降低跳出率。
- 提升用户体验:访客来到独立站是为了实现某个具体需求:可能是了解品牌的产品、对比同品类的产品、目的明确地购买产品,或者仅仅是浏览。他们总会遇到一些障碍,比如令人困惑的文案描述、缺失明显的CTA、重要信息表述不完整等等。这些障碍都会导致用户体验快速下滑、最终影响网站的转化率
三、对于独立站,可以针对哪些内容进行测试
独立站的各个角落都为提升ROI的这个终极目标服务,我们总结了一些常见的测试点供参考:图片
- 测试不同风格和内容的Banner图,以找到最吸引目标受众、突出品牌特色的设计测试产品图的排列、展示方式和拍摄角度,以提高产品的视觉吸引力,引导用户更深入了解商品。
- 优化卖点的传递效率,确保在有限的空间内清晰传达产品的独特卖点,促使用户进一步探索。
导航栏
- 优化用户能够快速直达关键页面的路径,例如产品页面、活动专区等。
- 测试导航栏的响应式设计,例如默认展开菜单的层级,以适应不同设备上的用户浏览。
文案
- 通过测试找到最具有品牌识别度和与用户共鸣的Slogan。
- 测试不同口吻的文案风格,例如亲和、专业、轻松等,以打造与目标受众更贴近的品牌形象。
CTA设计
- CTA按钮的颜色、形状和大小。找到最引人注目设计,以提高用户的点击率。针对不同用户群体,测试个性化的CTA设计,确保对用户的个体差异和偏好进行更精准的引导,提高定制化购物体验。简单的“Buy Now”或是“Pay Now”都可能在不同人群中起到截然不同的效果。
调研-题目布置
- 测试调研表单中的题目数量,确保调研问卷既可以满足调研目的,又不过于繁琐、提高用户填写的积极性;
- 可以尝试对调研的提问流程/顺序进行优化,了解针对不同的用户群体,用怎样的提问流程是能够有效提升答题率。
Blog-内容引导
- 用户会通过不同搜索词进入同一个Blog页面。以音响品牌的专题页为例,进入专题页的用户都会有一个共通的需求:需要一个听歌设备;在这之上用户还可能会有很多个性化需求:响度、音色、音调等等。通过测试将用户都关注的浅层需求更好的触达,并根据细分差异将个性化需求精准触达给各个用户群体。
交互触达机制以弹窗为例。某一个页面的用户普遍的停留时间为30S~50S,可以设置3种不同触达时机的弹窗:当用户进入页面后的20S、30S、40S进行触达,以弹窗CTA动作为目标,测试弹窗触达效果最好的时机。
四、A/B测试的设计和执行流程
- Step1:洞察进行数据洞察是实现成功的第一步。通过分析用户行为、关键指标和业务流程,您可以揭示隐藏在数据背后的故事。以用户基础调研为例,我们将带您进行一次完整的A/B测实验流程。
- 从数据后台发现目前的调研存在以下问题:
- 调研的答题完成率低
- 调研的第一题关闭率过高
- Step2:提出假设通过上述的洞察,能够得出一些优化用户体验或业务流程的假设,使业务更接近成功。如果没有这些假设,测试就会如同没有指针的指南针一样失去方向。
基于上述关于用户基础调研的分析,我们可以提出以下几点假设:- 调研的弹出时机是否需要调整(目前为用户进入直接弹出)
- 调研问题的先后顺序是有需要调整(用户的答题完成率低)
- 是否给予完成调研的用户一些优惠权益
- Step3:确定测试指标在制定A/B测试计划时,明确定义测试指标是确保测试有效性的关键。
- 调研的提交率
- 调研的关闭率
Tips:假如将测试目标设置为加购或支付成功,需要确定调研是否有优惠策略触达用户。如果没有类似变量,那么这些指标不适合作为A/B测试的测试指标
- Step4:创建对照组基于假设创建一个实验组,并对其进行A/B测试,以与现有版本(控制组)进行比较。您可以建立多个实验组以查看哪个效果最好。我们以调整问题的先后顺序作为本轮测试的变量:
- 控制组的问题顺序:12345
- 实验组版本A:13245
- 实验组版本B:54321
- 实验组版本X:其他排序
- Step5:启动测试在进入这一步之前,您需要快速了解你的测试工具,明确A/B测试工具背后的计算逻辑(如市面上常见的贝叶斯算法)当实验没有跑出置信结果时,您可以知道每个版本优胜率的参考价值有多少。
Tips:测试的持续时间内,不应在同一个测试组内增加相同目标的其他假设。(如在一个实验组中既优化了字段数量又优化提问顺序) - Step6:分析结果、获得洞察、进入新的测试
尽管这是A/B测试的最后一步,但结果分析非常重要。测试的细分结果会有以下4种情况,无论是哪种情况,都应该去快速结合数据提出新的假设并开始测试。- 控制组大获全胜。如果本轮测试已经包含了可能存在的所有变体,则说明在这个环节已经控制组已经达到最好程度。那么应快速开始对其他环节进行测试;
- 实验组的其中一个版本大获全胜,则应快速部署获胜版本,并开启下一个假设的测试;
- 如果测试没有产生明确结果,则需要深挖不同属性用户在实验中的差异性,并寻找有明显改善的细分用户群体进行下一轮测试,或尝试个性化触达不同细分的用户;
- 各个版本的各维度细分中均没有显著差异,那么则需要坦然面对这个测试的沉没成本,快速着手开始验证其他假设。
Ptengine是Ptmind(北京铂金智慧)出品的Martech产品,通过用户分析,可视化结果呈现,与用户个性化自动互动等功能,让营销,运营,产品成为以用户数据为中心的综合一体,实现 营销自动化 需要免费试用Ptengine,可以添加微信(nanxipeng)直接对接客户经理