先算样本量:A/B 测试最常见的自欺

A/B 测试翻车排行榜第一名不是"测了个没效果的方案",而是**“三天就下结论,因为 B 版本领先了 2%”**。样本量不足时,2% 的领先大概率是随机波动——这就是为什么实验开跑之前要先算样本量。

🔧 AB测试样本量计算器 用标准的双比例 z 检验公式反推:填基线转化率(比如 5%)、想检测的提升幅度 MDE(比如相对提升 5%,即 5%→5.25%)、显著性水平(0.05 常用)和功效(0.8 常用),它给出每组需要多少样本——基线 5%、相对提升 5% 的场景,每组约 12.2 万 UV。日 UV 两万的站,一组分一半流量,要跑 12 天。

数字大得吓人是常态,这正是计算器的价值:想检测的提升越小,样本量平方级增长。页面上的灵敏度表把这件事摆得很直白——同样的基线,测 10% 的提升每组一万多就够,测 1% 的提升每组要一百多万。看一眼这张表,多数人会对"我想测个 0.5% 的改动"重新思考。

再算投放账:保本 ROAS 那条线

投放侧的账更直接。🔧 广告指标换算器 按漏斗组织:曝光→点击→转化填进去,CPM、CPC、CTR、CVR、CPA、ROAS、ROI 八个指标一次全算出来,每个指标下面配一句人话(CPM=“一千次曝光花多少钱”)。

最有用的是盈亏平衡卡:填客单价和毛利率,它算出保本 ROAS 和保本 CPA。客单 199、毛利率 40% 的商品:保本 ROAS = 1 ÷ 0.4 = 2.5——ROAS 跑到 2 以上别高兴太早,还没回本;保本 CPA 约 79.6 元——获客成本压进这条线以内才是真赚。投放优化师每天看的数字,绕不开这两条线。

场景速查表还给了几个常识锚点:信息流 CPM 常见区间、电商 ROAS 2-4 的典型含义。行业数字仅供参考,自己的漏斗自己算。

两笔账其实是一笔

实验和投放是增长工作的两面:AB 测试决定"改版值不值",投放指标决定"流量买不买得起",而它们共享同一套漏斗数字。转化率从 5% 提到 5.5%,AB 测试里这是一次成功实验;投放账上,同样的 CPA 下 ROAS 直接抬升 10%——用换算器的漏斗填两组数字对比一下就看见了。

这套数字工作流往下还能接:素材和落地页的文案用🔧 违禁词检查 过一遍(广告法红线不等人),数据批量处理用🔧 统计计算器 ,客单价与进货价的关系用🔧 单价计算器 核。增长岗的工具箱,本地就够用了。

常见问题

为什么样本量公式和某些平台的内置计算器对不上?

平台可能用了不同口径:单侧检验、序贯检验修正、CUPED 降方差等都会让数字变小。本工具用最标准的双侧 z 检验口径——偏保守,样本量按它备足不会错,反之平台数字当真容易翻车。

ROAS 多少算健康?

没有统一答案,取决于毛利率:毛利 40% 的商品保本 ROAS 是 2.5,毛利 70% 只要 1.4。所以先算保本线,再谈"健康"——这就是盈亏平衡卡存在的意义。

实验天数算出来不到 7 天,能提前结束吗?

建议跑满一整周。工作日和周末的用户行为差异(周内效应)会系统性扭曲短期数据,样本量只是"够不够"的下限,“覆盖完整周期"是另一个必要条件。工具的提示条也是这么写的。

本章配套工具箱

边读边用:以下工具均在浏览器本地运行,数据不上传。