解析胜出概率：AB实验与抛硬币的对比与探讨

在之前的文章中，FeatureProbe 介绍了如何使用贝叶斯方法进行AB实验的数据分析。如果你还没有阅读过该文章，可以点击链接进行阅读。

今天我们将通过两个生动的例子——电商产品 AB 实验和抛硬币实验，详细阐述转化率和胜出概率之间的关系。无论是初次接触 FeatureProbe 数据分析的用户，还是对转化率和胜出概率之间的差异感到困惑的用户，本文都将帮助你更好地理解这些概念。

一、电商 AB 实验场景

我们先来看一个 AB 实验场景的例子，假设你是一个电商应用的开发者，你希望改进产品详情页面的布局设计，以增加用户点击『下单』按钮的次数。然而，你并不确定新的页面设计是否会更受用户喜爱，因此决定进行一个 AB 实验来比较新旧两个版本的效果。

在实验中，我们先使用 FeatureProbe 创建一个布尔型（Bool）开关，用 “A组”  代码旧版产品详情页面，用 “B组” 代表新版详情页面。当用户点击『下单』按钮时，你可以上报一个『下单』事件。如果有用户浏览了这个详情页但没有点击『下单』按钮，你可以知道该用户进入了实验，并且了解他们是看到了 "A组" 还是 “B组”，但你不会收到这些用户的『下单』事件。

我们通常总是使用率指标，而不会使用个数，这样可以消除 AB 两组进入用户数（样本量）不一致的问题，相当于我们用样本数做了归一化。

一开始的我们设置一半用户看到A组，一半用户看到 B组，即两组的样本比如是 50：50，设置完后功能上线。在我们上线功能后的第二天，我们对前一天的数据进行了分析。总共有100个用户，其中48个用户进入了A组，而52个用户进入了B组。尽管我们设置了一个50:50的样本比例，但实际分组结果并没有完全达到这个目标。这是因为样本分组涉及到概率性的因素，样本量较少时可能会产生一定的偏差。

然后我们发现48个进入了 “A组” 的用户，22个点击了『下单』，转化率45%（先忽略我的除法精度问题）。52个进入了 “B组” 的用户，29个点击了『下单』，转化率55%。然后平台还算出了一个“B组” 的胜出概率80%，这个胜出概率是什么意思呢？

看到这里，大家肯定会好奇这个胜出概率的计算公式，这里先卖个关子。接下来我用大家比较熟悉的抛硬币实验，让大家能够更形象的理解什么是胜出概率以及有哪些因素会影响胜出概率的值。

二、抛硬币实验

假设张三喜欢与人们赌猜硬币正反面。一天，你给了张三两个硬币，并告诉张三其中一个硬币比另一个更有可能出现正面。张三进行了一些实验，但由于张三比较懒，只对第一个硬币进行了48次抛掷，得到了22个正面；对第二个硬币进行了52次抛掷，得到了29个正面。现在张三想知道以后是否应该每次都使用第二个硬币来打赌（张三是一个正常人，他会选择押注正面，而且他希望赢而不是输。），回到之前的电商上线AB实验的例子，根据算出来的转化率是否要将 "B组" 新页面全量上线？

如果你是张三，你如何考虑呢？是否会认为第二个硬币的正面概率一定是 55%，只要进行足够多的尝试，是否一定会赢（100%胜率）？或者会担心，现在只实验了 52 次，如再试验 48 次全部出现反面，那么再使用这个硬币去和别人打赌，那不就是输定了吗？

张三对于选择第二个硬币有多大的信心呢？如果我们将这个信心程度表示为一个概率，那么这个概率就可以理解为他的胜率（请忽略数学上的严谨性）。根据他刚刚抛两个硬币的一百次数据，他对选择第二个硬币赢钱有多大的信心？这个信心值是 55% 吗？

现在，让我们忽略具体的概率值，先思考一下什么会影响这个信心值。如果张三不那么懒，他回家花了几天时间，对这两个硬币分别进行了1万次抛掷，结果发现第一个硬币出现了 4500 次正面，而第二个硬币出现了 5500 次正面。这时，他决定以后都使用第二个硬币，他的信心增加了还是减少了？

从直观体验来说，信心是不是增加了？也就是说胜率更大，但随着收集到数据量增加，虽然转化率数据不变，依然是 55%。但是我们对第二个硬币比第一个硬币赢的信心会更加坚定。以此类推，在转化率不变的情况下，样本量数值不一样，算出来的胜率也会不同。

另外，还有其他因素可能影响张三的信心，但在这里不详细讨论，留给大家思考。假设张三仍然只抛掷了 48 和 52 次，得到了 45% 和 55% 的转化率。然而，如果一开始我告诉他这两个硬币是我随便找的，没有明显的区别（假设我没有撒谎），那么此时他对于以后使用第二个硬币的信心会增加还是减少？

三、总结

通过上述两个例子，我们可以总结出转化率和胜出概率之间的关系：

转化率是指某个特定事件的发生概率，通常用于描述某种转化过程中的成功率。在市场营销、广告或销售领域，转化率指的是将潜在客户转化为实际客户或将浏览者转化为购买者的概率。转化率通常以百分比形式表示，表示成功转化的比例。

胜出概率指的是在某种竞争、比赛中获胜的概率，也可以直接理解为成功的概率。它表示在给定的条件下，一个参与者或一个事件获胜或成功的可能性有多大。胜出概率通常以百分比的形式来表示。

但在一些情况下，我们是可以用一些科学计算方法，通过转化率可以用于计算胜出概率，特别是当转化率是决定胜出的关键因素之一时。然而，在其他情况下，胜出概率可能涉及更多的因素，而不仅仅是转化率。

四、关于 FeatureProbe

FeatureProbe 团队一直致于特性管理技术的开发实践，通过特性管理可以更有有效地管理和追踪特性的全生命周期，可以实现更好的项目控制和更高的交付效率。我们的目标是通过特性管理技术优化产品发布流程，实现更灵活、可控的版本迭代和功能发布。分享特性管理技术的实践成果，让更多人受益于特性管理技术。

获取更多关于 FeatureProbe 的最新动态，可以访问以下地址关注我们！

GitHub: https://github.com/FeatureProbe/FeatureProbe

体验环境：https://docs.featureprobe.io/

文档地址：https://docs.featureprobe.io/zh-CN/