![](https://chuhaizhinan.com/wp-content/uploads/出海指南banner-1500-210-2.jpg)
内容提要:
1、什么是贝叶斯推断?
2、Ptengine 的A/B测试为何选择贝叶斯推断?
3、胜率如何计算?如何确定胜者?
本文共约3700字,预计阅读时间7-9分钟。
前言:
每一棵参天大树都会经历诸如从种子萌芽、逐渐生长发育、历经四季轮回、繁盛与衰退,不断扩大其根系和枝叶的过程。产品或品牌的成长亦是如此,在内容创新上持续推陈出新,稳固老客户关系的同时吸引新的用户。因此我们可以将内容看作是产品的活力所在。
在数据驱动的运营策略中,A/B测试为内容创作、发布、效果反馈以及最终决策(正式上线)这一流程提供了科学且客观的支撑。在Ptengine的Experience功能中,我们提供了一套非常便利的A/B测试框架,并结合无代码页面编辑功能,以加速您的内容创新业务闭环。具体操作方法可以参考我们之前的公众号文章。
![](https://chuhaizhinan.com/wp-content/uploads/image-577.png)
本文并不会详述应用层面的内容,而是专注于阐述Ptengine中A/B测试框架的基础原理。在解释计算原理时,我们会以简单易懂的例子辅助说明,使您在不深入理解数学性质的前提下,也能把握其主要逻辑。
文章最后也会利用Python语言搭建出一个简易的A/B测试程序,以满足对编程有好奇心的读者。
什么是贝叶斯推断?
贝叶斯推断(Bayesian inference)是一种用于统计推断的方法。根据贝叶斯定理,当获取到更多的证据和信息时,我们可以更新特定假设的概率。
看到这里或许会让你想起大学课堂,教授声音深沉浑厚,念着课本上的定义,生僻的用词,专业的术语,深奥的原理开始充斥你的大脑,你的眼神开始迷离,思绪开始游荡,直到下课铃声拯救你于太虚。
让我们通过一个例子来解释贝叶斯推断的基本逻辑:
假设情境:在第一节大学课堂上,Clyde对同学Bonnie一见倾心。他希望能追求到Bonnie,但却不知道该如何行动,何时表白最合适。作为他的朋友,我们能否通过数学的方式,计算出他表白的成功率,并给出一些建议呢?
首先,我们需要设定一个目标,比如当表白成功率“达到”95%时,Clyde就可以向Bonnie表白,因为95%的成功率看起来几乎是稳操胜券。那么,问题就变成了如何计算这个成功率。
注意,我们说的是成功率“达到”95%,这是因为在贝叶斯推断的过程中,我们要推断的目标概率是会随着新证据的出现不断更新的。因此,我们需要给出一个初始的假设概率,即先验概率(Prior probability),然后根据得到的证据调整这个概率,得到后验概率(Posterior probability)。之后,将得到的后验概率作为新的先验概率,循环进行这个过程。这就是贝叶斯公式的基本逻辑:
![](https://chuhaizhinan.com/wp-content/uploads/image-578.png)
其中,P(H) 代表我们根据经验设定的先验概率,P(E|H)/P(E)是调整因子,
P(H∣E)是后验概率。只有当调整因子大于1时,后验概率才会大于先验概率。
回到我们的例子,我们可以假设先验概率为0.5,表示Clyde成功和失败的概率各占一半。然后,我们开始收集证据。
我们注意到Bonnie是个高冷的女神,但她似乎经常对Clyde微笑。根据这个证据,我们计算出调整因子为1.2(考虑到篇幅,请忽略调整因子的计算过程)。根据贝叶斯公式,我们更新成功率为0.6。Clyde也因此更有信心了。在Bonnie的生日时,Clyde送给她一个漂亮的发饰,Bonnie非常喜欢并每天都带着它来上课。这个新的证据为我们提供了调整因子1.6,于是我们计算出:
![](https://chuhaizhinan.com/wp-content/uploads/image-579.png)
现在,表白的成功率已经达到了96%,作为朋友和“军师”,我们可以告诉Clyde大胆去表白。结果,他们两人都收获了甜蜜的爱情。
通过以上例子,相信你已经理解了贝叶斯推断的基本逻辑:设定前提假设,然后根据收集到的证据调整先验概率,如此循环往复,最终推断出目标概率。这也是贝叶斯A/B测试的主要逻辑。
为什么选择贝叶斯推断?
在A/B测试刚被提出的时代,它利用的是基于条件假设检验的频率派统计方法。然而,贝叶斯方法的兴起为我们提供了新的机会。
首先,贝叶斯推断的计算逻辑更加简洁直观,并且相较于频率派方法,在小样本量上表现更好。
更为重要的是,贝叶斯A/B测试框架引入了更具解释性的概念,如胜率。这一概念定量化了不同版本间的对比,并以更直观、更易于理解的方式解释了哪个版本更优秀。
![](https://chuhaizhinan.com/wp-content/uploads/image-580.png)
以上为Ptengine 中直观的A/B 测试报告
因此,Ptengine选择贝叶斯推断作为A/B测试框架的底层原理,并结合Experience的无代码页面编辑功能。遵循我们的设计理念,我们提供了简洁、直观的产品操作逻辑和用户界面。在数据驱动的运营策略中,A/B测试为内容创作、发布、效果反馈以及最终决策(正式上线)等环节提供了科学且客观的依据。
胜率
胜率是贝叶斯A/B测试框架的一个独特概念,它以量化的方式呈现了“哪个版本更优”的结论,使用户能更直观地了解每个版本“有多好”。许多用户对Ptengine中胜率的计算逻辑很感兴趣。其实,其计算逻辑并不复杂,接下来我们将通过解释两个统计学概念来阐述胜率的计算逻辑:
1. Beta 分布
Beta分布是一种定义在[0,1]区间内的连续概率分布,通常用于对事件成功率进行建模。在Ptengine中,我们使用它来模拟版本的目标完成率。在可视化展示中,它就是你在产品中看到的曲线。
![](https://chuhaizhinan.com/wp-content/uploads/image-581.png)
从上图可以看出,我们对目标完成率的估计并不是简单的估计成一个数值,而是通过概率分布进行建模并采取置信区间估计法。借助Beta分布,我们可以轻松更新目标完成率的分布状态,也即前文提到的利用先验分布更新后验分布。接下来,我们将结合产品案例(测试样例)和代码进行说明:
下图展示了一个产品中的A/B测试报告界面。我们看到该Experience在11月20日有少量流量访问,并且控制组产生了转化。在Ptengine的计算引擎中,这时会发生什么呢
运行以上代码你将会看到:
![](https://chuhaizhinan.com/wp-content/uploads/image-583.png)
通过以上过程,我们完成了一次贝叶斯推断的迭代模拟。之后,将这次得到的后验alpha和beta作为下次迭代的先验,就可以持续更新各个版本的Beta分布了。
![](https://chuhaizhinan.com/wp-content/uploads/image-584.png)
Beta 分布迭代示例
2. 蒙特卡罗模拟
蒙特卡罗方法(Monte Carlo method),也称统计模拟方法,是由冯·诺伊曼等人于1940年代提出的一种基于概率统计理论的数值计算方法。它使用随机数来解决许多计算问题。
蒙特卡罗方法是一种非确定性算法,其特点是随着模拟次数的增加,得到的数值结果会趋向于收敛,即逼近真实值。利用蒙特卡罗方法,我们可以计算很多难以进行确定性计算的数值,例如复杂函数的积分等。
接下来,我们通过一个经典例子来解释蒙特卡罗方法的应用 —— 利用蒙特卡罗方法模拟计算圆周率π。
![](https://chuhaizhinan.com/wp-content/uploads/image-585.png)
从代码中我们可以推断,随着迭代参数iterations的增加,四分之一圆内的点数与正方形内点数的比值将逐渐趋近π/4. 通过增加迭代参数,我们可以得到满足精度要求的π估值。
![](https://chuhaizhinan.com/wp-content/uploads/image-586.png)
现在,我们理解了蒙特卡罗方法,可以结合前面介绍的Beta分布来计算胜率和胜者。具体步骤如下:
- 首先设定模拟次数n。
- 根据观测数据计算出后验Beta分布。
- 在每次模拟中,根据每个版本的概率分布进行抽样,转化率最高的版本在此次模拟中获胜。
- 重复上述模拟,直到模拟次数达到n,然后将每个版本的获胜次数除以n,得到各版本的胜率。
- 如果某版本的胜率不低于设定的阈值,则宣布该版本获胜。
通过这种方法,我们可以更直观地评估各版本的表现,并确定哪一个版本最有可能带来最高的转化率。
接下来,让我们通过代码来模拟实践一下简易的A/B测试中胜率的计算过程。
![](https://chuhaizhinan.com/wp-content/uploads/image-587.png)
以上代码会生成类似以下的输出结果:
![](https://chuhaizhinan.com/wp-content/uploads/image-588.png)
至此,相信您已对Ptengine A/B测试胜率的计算逻辑有了基本的理解。
总结
本文详细介绍了贝叶斯推断的概念,并解释了Ptengine为何选择贝叶斯推断作为其A/B测试底层实现的原因。我们可以看到,加入胜率等概念使得A/B测试具有更高的可解释性,并能够为您在分析新内容的效果时提供更易于理解的客观依据。对于复杂的胜率计算部分,我们通过提供可运行的Python代码帮助您进行理解。
如果你对更多营销案例、独立站优化策略感兴趣,欢迎联系Ptengine助手,或点击阅读原文报名免费试用独立站精细化运营工具。
Ptengine是Ptmind(北京铂金智慧)出品的Martech产品,通过用户分析,可视化结果呈现,与用户个性化自动互动等功能,让营销,运营,产品成为以用户数据为中心的综合一体,实现 营销自动化
需要免费试用Ptengine,可以添加微信(nanxipeng)直接对接客户经理