增长图解 · 2026.10.07

同一方案,为什么换批用户
就从+7变−2?

《增长黑客》第四章 · 快节奏试验
教学假设 · 非真实试验或经营数据
对于这个标准的评分不应基于主观臆测,而是要根据某种实证经验《增长黑客》第四章 · 快节奏试验(信心评分)
110人划线 · 微信读书缓存(2026.09.20)

ICE按影响力、信心、简易性排试验。信心(Confidence)不能只看“旧试验赢过”,还要看证据能否支持这次要服务的人。

改版=精简商品说明。转化=入组后30天内购买人数÷全部入组人数,每人最多计一次;新老客按入组前是否买过划分。

同一改版,对两类人的作用相反

老客 · 已买过

+10
个百分点 · 改版相对原版的转化差

新客 · 未买过

−5
个百分点 · 改版相对原版的转化差

假设上述效果由分群随机试验得到;数值仅为教学设定。下面推广测算还假设两类人的效果保持不变。

方案没变,权重一换,结论翻转

老客新客条形=人群占比,均为100%

旧试验人群

老客80%新客20%
80% × (+10)+20% × (−5)
+7
个百分点 · 整体转化差

待推广人群

老客20%新客80%
20% × (+10)+80% × (−5)
−2
个百分点 · 按目标人群测算

真实证据也会用错地方:老客占多数时的成功,可能掩盖对新客的伤害。先按目标人群重新加权,再评信心;不能照抄旧试验的整体提升。

加权不是推广保证:分群估计有误差,人群内的需求也可能变,仍需在目标人群验证。

听汇报时,问这一句
证据里的人,和这次要服务的人一样吗?