免费的贝叶斯 A/B 测试计算器

我们很高兴地宣布正式发布两款免费且实用的工具：贝叶斯 A/B 测试计算器以及测试时长/样本量计算器。

不久前，我们探索了一种限制更少、更可靠的 A/B 测试方法，即较新的贝叶斯测试法。凭借其简单性、可靠性和直观性，贝叶斯框架是一种卓越的 A/B 测试方法论，它将为营销人员提供一个更快速、更强大的统计引擎。

因此，我们一直致力于让营销人员和转化率优化师更容易地利用这种新方法。对我们来说，这意味着将复杂的数学计算从等式中剔除。

贝叶斯 A/B 测试计算器

我们的贝叶斯驱动 A/B 测试计算器将帮助你确定测试结果是否具有统计显著性。对于你测试的每个变体，你只需输入总样本量和转化次数。然后，统计引擎将根据统计显著性宣布获胜变体。

以下是我们运行的术语和指标的简要说明：

• 样本量 (Sample Size) – 根据你的 KPI 确定的用户数、会话数或曝光数。
• 转化 (Conversion) – 点击次数，甚至是购买或目标完成次数（例如购买或视频观看）。
• 转化率 (Conversion Rate) – 完成的动作数（即转化次数）除以样本量。
• 成为最佳的概率 (Probability to be Best) – 每个变体长期表现优于所有其他在线变体的概率。
• 预期损失 (Expected Loss) – 如果你宣布了错误的变体为获胜者，长期预期会损失的百分比。
• 差异的后验模拟 (Posterior Simulation of Difference) – 给定目前收集到的样本量，转化率的分布情况。

贝叶斯 A/B 测试时长与样本量计算器

不确定需要运行实验多久才能获得统计显著的结果？

我们免费的在线贝叶斯驱动 A/B 测试时长和样本量计算器将帮助你避免假阳性，并提高 A/B 测试的有效性。对于你可以针对对照组测试的变体数量没有硬性限制。

计算出的输出提供了获得统计显著结果所需运行测试的时间范围估计，以及支持该结果所需的最小样本量。

以下是我们运行的术语和指标的简要说明：

• 基准转化率 (Baseline conversion rate) – 你正在测试的体验的当前转化率。
• 预期转化率提升 (Expected uplift in conversion rate) – 你目标在基准转化率基础上实现的 X% 变化。
• 变体数量 (Number of variations) – 在单个测试中进行比较的变体数量。
• 每日平均样本量 (Average sample size per day) – 实验过程中一天内服务的访客数量。