增长图解 · 2026.09.25

注册后留存下降,
该不该撤回新方案?

《增长黑客》第二章 · 成为不可或缺的产品
教学假设 · 非任何公司的经营数据
为解决这一问题,数据分析必须能够在任何A/B测试中跟踪测试对象从点击到长期使用整个过程的行为。《增长黑客》第二章 · 成为不可或缺的产品
微信读书缓存:374人划线(2026.09.20)

同期随机分组,按人去重;仅改注册引导。每人从分组日起观察满30天,末步只计已注册者。

A · 原方案

1,000
初始分组人数
↓
200
7日内注册人数
↓
120
第30日仍使用人数
只看注册者
60%
120 ÷ 200
看全部分组者
12%
120 ÷ 1,000

B · 新方案

1,000
初始分组人数
↓
400
7日内注册人数
↓
140
第30日仍使用人数
只看注册者
35%
140 ÷ 400
看全部分组者
14%
140 ÷ 1,000

同一份结果:注册者留存变差,整体留下的人却更多。

关键不是挑好看的分母:注册已经被方案改变,两组注册者不再是随机可比的人群;新增注册者可能需求较弱,拉低比例,却仍带来额外留下的人。

评估方案总效果,要保留最初随机分组的全部人;注册后留存只用来诊断路径,不能单独判输赢。

14%对12%只是样本结果;是否推广,还需检验统计不确定性、成本及体验风险。

听汇报时,问这一句
按最初分组人数算,这个方案究竟多留下了多少人?