寻求试验的成功是一个以量取胜的游戏,每一次成功不论大小都很重要。《增长黑客》第四章 · 快节奏试验
198人划线 · 微信读书缓存(2026.09.20)
假设20个改动都没有真实效果,检验互相独立,每次误报率5%。每项按预设样本只判读一次;误报指没有效果却被判有效。
单次的门槛,不等于整批的门槛
只做1个试验
出现误报的概率
5%
单次检验口径
无误报概率=95%
做20个,再挑赢家
至少出现一次误报的概率
64.2%
整批检验口径
1 − 0.95²⁰ ≈ 64.2%
20次全不误报,才没有假赢家
0.95²⁰ ≈ 35.8%
反过来,至少报喜一次
100% − 35.8%
即使所有方案无效,多试也容易碰到漂亮结果。64.2%说的是整批至少误报一次,不是“喜报里有64.2%是假的”;真实检验若不独立,不能直接套这个数。
快节奏应加速学习,不应加速挑中噪声。事先圈定要一起判定的一组检验并校正多重比较,或把筛出的方案固定后,用独立新样本做预设的确认试验;不能反复复测直到报喜。
听汇报时,问这一句
这个赢家是预先指定,还是从几十次里挑出来的?