增长系统最容易高估的，不是某一次实验，而是把所有“赢过的实验”加起来，误以为它们就是产品真正创造的长期增量。短期指标会回落，多个动作会互相替代，系统又天然只挑赢家；所以 AI 把实验速度提高后，我们更需要保留一个 Counterfactual（反事实）：如果这些动作都没发生，结果本来会怎样？对 Momcozy APP，短期实验负责判断“这一步有没有用”，长期留出负责判断“整套增长动作到底有没有多创造价值”。
为什么需要这个概念？因为产品看板很擅长记录“发生了什么”，却不会自动告诉我们“如果不做这件事，会发生什么”。例如，一批绑定失败用户看到帮助卡后有 40% 最终成功，不能直接说帮助卡带来了 40% 的成功：其中一些人可能本来就会重试成功，一些人的问题来自网络恢复，还有一些人虽然完成当次连接，却没有稳定使用。
Incrementality（增量性），大白话是：一个动作相比“没有这个动作”真正多带来了多少结果。生活类比是下雨天在店门口发雨伞优惠券。拿券的人买了很多伞，不代表优惠券创造了全部购买；真正的增量，是“发券组的购买”减去“同样下雨但没发券组本来会买的部分”。后者就是 Counterfactual（反事实）——现实中无法同时看到，只能用随机对照或可信的比较组近似。
Holdout（留出组）是常用办法：随机保留一小群合格用户，不让他们进入某项新功能、触达或一组增长动作，用作“没有发生这些变化”的基线。普通 A/B test 往往回答一个版本在几天或几周内是否更好；长期留出则观察几个月甚至更久，检查短期提升是否持续、被后续功能抵消，或只是提前了本来会发生的行为。
Momcozy 的待验证例子是：新绑定帮助短期提高“完成绑定”，但我们真正关心的是首次稳定连接、后续设备可用、客服求助和信任。若没有对照，就可能把自然恢复、用户本来就会重试，以及同期其他产品变化都算给帮助卡。增量测量不是为了让所有动作都变慢，而是让我们知道哪些快速信号可以决策，哪些长期主张必须等待。
Airbnb：只把显著赢家相加，会遭遇 Winner’s Curse
当系统从许多实验中只挑显著正向者上线，再把这些实验的点估计相加，累计影响会系统性偏高。
关键事实
Airbnb 数据团队复盘了一组顺序运行的实验：六个显著正向实验上线，同时保留一个 split-holdout（分拆留出）观察累计效果。团队指出，即使每个实验都按标准方法分析，“先根据结果选赢家、再汇总赢家”也会引入 Winner’s Curse（赢家诅咒）：被选中的点估计往往混入了有利的随机波动。文章的简化示例中，三个被选实验的观察提升相加为 8.6%，真实效果之和却是 6%；在其内部方法示例里，偏差校正把累计估计从 7.2% 调整到 5.3%，且置信区间仍然很宽。
编辑视角它证明了什么： 这证明实验选择过程本身会放大累计增长主张，长期或组合留出能提供另一条校验路径。它不代表每个显著实验都是假的，也不说明 5.3% 是可复制的行业比例；文章讨论的是统计选择偏差，长期回落还可能来自动作互相蚕食、用户适应和外部变化。
GrowthBook：长期留出测的是“产品演进总和”，不是又一个小实验
单个实验告诉我们一个改动的局部效果；长期留出让一小群用户持续停留在旧体验，用来估计一组已上线变化的累计、长期影响。
关键事实
GrowthBook 的官方文档把 holdout 定义为：多数用户持续收到新功能和改进，少量控制用户不收到这些变化，从而形成长期基线。文档指出，把单个实验效果直接相加，即使再做折减，也可能因选择偏差、效果回落和功能间相互作用而高估总影响；组合留出天然测到这些正负交互，因此适合对“整套产品演进”做 back-test（事后总校验）。
编辑视角它证明了什么： 这是实验平台的方法说明，不是某家 APP 的效果复盘。它支持“组合效果不能由局部效果简单相加”，却不能替我们决定留出比例、周期或伦理边界。对安全修复、隐私修复和已知高风险问题，不能为了测量而故意让用户长期停留在较差版本；此时应使用历史基线、分阶段发布或其他证据。
先认识这个案例
Archie Abrams 当时是 Shopify 的 VP of Product 与 Head of Growth，负责横跨产品、工程、设计、数据和增长营销的组织。Shopify 的收入与商家是否真正成长高度相关，所以“今天多注册一个商家”与“这个商家几年后仍创造价值”之间有很长距离。这个案例值得听，不是因为 Momcozy 应照搬电商平台，而是它把一个常被忽略的问题说透：短期实验的赢家，未必是长期价值的赢家。
核心机制：同时保留短时钟和长时钟
在访谈 11:08 开始的长期实验部分，Archie 解释 Shopify 会维护 multi-year experiment holdouts（跨多年实验留出）。Lenny 节目页提炼的关键数字是：Shopify 发现约 30%–40% 短期呈正向的实验，长期没有影响。短期 lift（提升）可能随时间消失；反过来，一些短期看似中性甚至不利的动作，也可能后来产生价值。
过去常见做法是：实验达到显著 → 全量上线 → 把提升写进年度增长贡献。Shopify 的机制多加了一层：让一小群用户长期不进入新体验，比较累积产品变化后的长期结果。它不是否定快速实验，而是承认“决策时钟”不同：按钮理解、绑定步骤可在较短窗口学习；留存、商家成功或生命周期价值需要更长证据。
AI 改变了哪一步
AI 可以维护“证据时钟”：自动记录每个实验当时的假设、曝光、短期结果、护栏和预计成熟日；识别哪些短期赢家尚未经过长期验证；比较实验效果在不同 cohort 和时间窗里是持续、衰减还是反转；当累计主张与长期留出不一致时，生成竞争解释和待查旅程。
但自动生成实验总结仍是 AI-assisted Operations（AI 辅助运营）。更接近 AI-native 的系统，应把短期证据、长期留出和产品变化持续接成反馈回路：它可以降低已衰减策略的置信度，停止把同类短期代理指标当成功，并调整下一轮实验组合；人仍决定哪些用户可以留出、哪些安全修复绝不允许留出，以及何时接受长期不确定性。
最不能照抄什么
Shopify 商家有高频经营行为和很长的商业生命周期；Momcozy 的使用由设备任务与孕产育阶段驱动，阶段自然结束可能是成功，不是流失。我们不能照抄跨年留出，也不能把必要的设备可靠性、安全提示或高风险人工接管拿来做长期控制。能借的是“双时钟”：短期判断局部机制，长期检验累计价值，不把所有短期赢家相加后宣布增长已经兑现。
以“增量证据 Agent”为例：
系统读取什么：经授权、口径统一的实验资格、随机分组、真实曝光、短期主指标、长期结果、护栏、设备与 APP 版本、脱敏 VOC、人工接管，以及同期上线的其他变化。母婴、儿童、健康和设备数据必须最小化使用，不能为了补齐归因而跨场景拼接身份。
形成什么判断：区分“短期正向且长期未成熟”“效果持续”“效果衰减”“被其他动作替代”“总体赢但某分群受损”“数据或随机化失效”。它明确标记观察性相关、单实验因果与组合长期因果，不把三者混成一条增长数字。
能做什么：自动检查实验是否有可信对照与曝光事件；维护结果成熟日；生成累计影响的保守区间；发现短期赢家之和与长期留出不一致时，抽取代表性旅程、提出复核或新实验。未经明确授权，不向真实用户发送 Push、EDM、站内信，不扩大实验流量，也不修改生产策略。
如何看结果并更新策略：若短期提升在长期消失，系统不删掉旧结论，而是记录“该代理指标只适合短期方向判断”；若组合留出显示真实增量小于赢家相加值，就下调实验组合的累计贡献和同类机会优先级。若长期观察会伤害用户，系统应推荐停止留出，而不是为了统计完整继续。
何时交给人：安全与隐私修复、设备可靠性、高风险健康或儿童语境、小样本、分组污染、阶段迁移、跨实验干扰、长期结果尚未成熟，以及所有真实上线，都交给人。Amplitude 最近展示的可审计 AI 查询与数据质量检查仍主要是 AI-assisted；“持续追踪证据成熟度 → 校验累计增量 → 更新下一轮策略”才开始接近受治理的 AI-native 闭环。
场景一：设备绑定与首次稳定使用。 待验证假设是，新帮助卡可能提高当次绑定完成，但一部分只是把重试提前，未改善稳定连接。可以用短期随机实验看首次稳定成功与重复失败，再在安全允许的短窗口看客服和后续可用性。不能为长期测量扣留已知修复；最先需要的证据是“分组—真实曝光—稳定结果”能否可靠串联，而不是只有按钮点击。
场景二：AI 助手首次价值。 待验证假设是，引导更多用户进入助手会增加对话，却未必增加真实问题解决。短期看安全、正确、任务解决和应否转人工；较长期看重复求助、信任与合理情境下的再次使用。不能把高风险回答交给 A/B test 试错，也不能把“会话结束”当作解决。最值得保留的反事实，是合格低风险用户若没有新入口，本来会通过什么路径解决问题。
场景三：生命周期触达与阶段变化。 待验证假设是，多条个性化消息各自都有点击提升，但组合起来可能只是抢先拿走本来会发生的打开，还增加疲劳。可以借长期留出的思想，对事先批准、低风险触达保留小型 global holdout（全局留出），看累计增量、关闭通知、投诉和留存。不能依据推断的孕产育阶段自动触达；授权、频控和不动作选项必须先于优化。
- Incrementality｜增量性：一个动作相比“不做”真正多创造的结果。Momcozy 例子：帮助卡带来的稳定连接增量，不是看过帮助后的全部成功。
- Counterfactual｜反事实：同一批用户如果没有接受动作，本来会发生什么。Momcozy 无法同时看到两个现实，只能用随机对照近似。
- Holdout｜留出组：被随机保留、不进入某项或一组新动作的比较组。Momcozy 只能在低风险、合规、不会扣留必要修复的场景使用。
- Winner’s Curse｜赢家诅咒：从许多实验中挑出最漂亮的赢家后，它们的观察效果往往高估真实效果。Momcozy 若只汇总正向实验，会把随机好运也算成能力。
- Effect Decay｜效果衰减：短期提升随时间变小或消失。Momcozy 例子：新入口因好奇带来首次点击，但真实任务解决与后续使用没有持续改善。
写一张“双时钟证据卡”，只选 设备绑定帮助 或 AI 助手入口，不运行真实触达：
- 写一个 7 天内可判断的局部结果，以及一个必须更久才能成熟的真实结果；
- 写清“不做这个动作”的对照怎样建立，哪些用户绝不能被留在旧体验；
- 写两种可能：短期赢但长期归零；短期中性但长期变好；
- 为每种情况写一个系统应该更新的判断，而不是只写“继续观察”。
产出物是一页短期证据—长期证据—反事实—禁留出边界卡。完成后能更新的判断是：我们正在证明一个动作真的多创造了价值，还是只证明它比别的动作更早拿到了功劳？最后只回答一个具体问题：Momcozy APP 里，哪一个看起来很漂亮的短期指标，最可能在三个月后失去解释力？