先别急着推翻假设。未发生预期变化时,最该确认的是试验是否真的按计划跑起来了:目标页面是否真的返回了新版本,命中试验条件的流量是否真的进入了新版本,以及监控口径是否能看到这次变化。这三项里任何一项没落实,观察到的“没变化”都可能只是执行问题,而不是假设被证伪。
把“试验已实施”拆成可核对的节点,比反复看趋势图更有用。一条最小证据链通常包含四步:
这四步中任意一步断开,后续的趋势判断都不成立。实际操作上,可以先抓取目标 URL 的当前返回内容,确认版本标识或关键片段是否为新版本;再抽取若干条试验组与对照组的访问记录,核对分流标识是否按预期分布。如果抓取结果仍是旧版本,下一步不是延长观察期,而是先解决发布或缓存问题。
“没变化”至少有三种互不相同的解释,需要用不同证据区分:
还有一种容易被忽略的情况:变化确实发生了,但被更大的外部波动掩盖,例如整体需求走弱或季节性回落。这时单看总量会得出“没变化”的结论,需要按版本或按分组拆分后再看。不过,只有在执行与分流都确认无误之后,才有必要进入这一步。
确认执行无误后,再决定下一步动作,判断依据会更清晰。
保留适用于:执行链完整、分流正常、监控口径覆盖到位,但观察期偏短或样本偏少。此时继续积累数据是合理的,前提是你能说清还需要观察什么,而不是单纯等待。
改写适用于:执行链完整,但发现试验条件设置过窄或过宽,导致真正受影响的流量没有进入试验。例如命中规则只覆盖了少量 URL,而预期变化本应作用于更大的范围。改写的是试验范围或触发条件,而不是推翻假设本身。
退出适用于:执行链完整、分流正常、监控覆盖到位,且观察期足够,仍然没有出现预期方向的变化。此时更合理的做法是记录这次否证结果,把资源转向其他假设,而不是反复延长观察期。
这三种选择不要求全部走一遍。多数情况下,先修执行、再看数据、最后才做取舍,顺序本身就能过滤掉大量误判。
假设某次试验把一批产品页的标题模板做了调整,预期是相关查询的点击率上升。上线一周后,监控显示点击率基本持平。此时先做两件事:请求其中一个目标 URL,确认返回的是新标题;再抽取试验组与对照组的访问记录,确认分流标识确实按预期分布。
如果抓取结果显示仍是旧标题,那么“点击率持平”不能说明模板无效,只能说明试验没有真正生效,下一步是排查发布与缓存。如果抓取显示新标题已生效,但分流记录里试验组占比极低,那么问题在分流配置,下一步是修正分流规则后重新观察。只有当抓取与分流都确认无误,才轮到讨论模板本身是否需要改写或退出。这个顺序的价值在于:它把“执行问题”和“假设问题”分开,避免用错误的证据支持错误的结论。
无论最终选择保留、改写还是退出,都建议把本次核对结果记录下来:哪个节点被确认、哪个节点存疑、下一步要验证什么。这样下一次出现“没变化”时,你可以直接对照证据链,而不是从头猜测。需要强调的是,请求量、抓取量或某项统计归零,都不能单独证明处理正确或错误,它们可能来自口径差异、采集范围变化或外部波动,仍需结合执行与分流证据一起判断。