A/B 测试样本量计算器

#A/B 测试样本量计算器是什么？

在启动 A/B 测试前必须回答两个问题：每组要积累多少用户、实验要跑多少天，结果才可信？本工具围绕双侧 z 检验的双比例样本量公式给出三个视角的答案： 正向——给定基线转化率、最小可检测提升 MDE、显著性水平 α 与统计功效 1−β，算出每组所需样本量与预计天数； 反向——给定现有样本量，算出最多能可靠检出的最小提升；横向——用灵敏度对照表展示 MDE 与样本量的平方反比关系，帮助你在「测多小的提升」与「投入多少流量」之间做取舍。全部计算在浏览器本地完成。

A/B 测试样本量怎么算？（公式通俗版）

样本量由「信号与噪声之比」决定：信号是你想检出的提升幅度 δ = p₂ − p₁，噪声是转化率本身的随机波动。标准公式为 n = ( z₁₋α/₂·√(2·p̄(1−p̄)) + z₁₋β·√(p₁(1−p₁)+p₂(1−p₂)) )² ÷ (p₂−p₁)²，其中 p̄ = (p₁+p₂)/2。

通俗地说：根号里的第一项是「把假阳性控制在 α 以内」的门槛，第二项是「把漏检控制在 β 以内」的门槛，两道门槛相加后要被信号 δ 覆盖，再取平方折算成人数。 转化率越接近 50% 波动越大、所需样本越多；提升幅度越小，样本量按平方反比膨胀。

α 和 β 是什么？（第一类 / 第二类错误人话版）

α（显著性水平）是第一类错误的概率：实验组其实并没有更好，你却宣布有效，相当于「冤枉好人」——α=0.05 意味着长期看每 20 次无差别的实验里约有 1 次报假阳性。 β 是第二类错误的概率：真实存在的提升没有被检出，相当于「放走真凶」；统计功效 1−β=0.80 表示真实提升有 80% 的把握被检出。 想同时少冤枉、少漏判，唯一的途径就是增加样本量——α 调小、功效调大都会推高所需样本数。

MDE 为什么决定样本量？（平方反比）

MDE（Minimum Detectable Effect，最小可检测效应）是你愿意为之下结论的最小提升。信号越微弱，越需要更多样本把它从随机波动里分辨出来，而且是平方级关系： 其他条件不变时，MDE 缩小一半，每组样本量约增至 4 倍；MDE 放大一倍，样本量约降为四分之一。这也解释了为什么在低基数指标上「想测 1% 的提升」动辄需要每组数百万样本—— 请先用本页的灵敏度表估算你的指标量级是否撑得起目标 MDE。

实验要跑多久？（7 天周期效应）

预计天数 = 每组样本量 ÷（日流量 × 单组分流比例），向上取整。但样本量攒够并不意味着随时可以停：用户行为有很强的周内效应（工作日与周末的访问意愿、转化意愿差异明显）， 实验至少应完整覆盖一个周期（7 天），否则不同实验组可能落在不同的「星期几」上，引入系统性偏差。同理，也不建议每天盯着显著性「偷看」（peeking）—— 一不显著就停、一显著就停会显著抬高假阳性率；若确需中途决策，请使用序贯检验类方法而非固定样本量口径。

样本量不够怎么办？

四个方向按优先级尝试：① 提高 MDE——把正式实验留给足够大的改动（改版、新定价、新流程），微调类改动不必开实验；② 换更灵敏的指标或提高基线——把实验放到漏斗更靠后、 转化率更高的环节，或改用人均时长、客单价等连续指标，方差更小、所需样本更少；③ 接受更长的实验周期，用时间换检出力，并保证覆盖完整周；④ 若流量实在不足， 如实调低目标功效或改用支持中途决策的序贯/贝叶斯方案，而不是提前停实验宣布胜利——那只是把噪声当成了结论。

#常见问题 (FAQ)