AI 产品的 A/B 实验设计

AI 场景的 A/B，特殊在哪

经典 A/B 方法论依然适用，但 AI 产品有三个特有干扰源，不处理就会得出错误结论：

• 输出方差：同一方案，用户这次体验好、下次体验差。单次满意度噪声极大，必须看用户多日的累计行为，而不是单次会话评分；
• 新奇效应：新版本刚上线指标普涨——用户在「尝鲜」而非「受益」。兴奋期一般持续 1~2 周，结论要等新鲜感褪去后再看；
• 指标延迟：回答质量的恶化不立刻显形——用户先默默忍受，几天后才流失。实验只跑三天，「看起来没问题」可能是还没到账的坏消息。

离线评测先行

AI 实验的正确顺序是先离线、后在线：任何改动（新 prompt、新模型、新参数）先在测试集与黄金标准集上回归，指标不退化才允许上流量。离线评测零用户风险、迭代快、可复现；跳过离线直接 A/B，等于拿真实用户做第一次测试。

小流量测试策略

• 灰度爬坡：1% → 5% → 20% → 50% → 全量，每一级观察核心指标与护栏指标，异常即回滚；
• 一致性分流：按 user_id 哈希分流，同一用户始终命中同一版本——对话产品里「今天聪明、明天笨」的摇摆体验，比稳定的平庸更伤口碑；
• 分群监控：新老用户、高低频用户对同一改动的反应常常相反，只看总体均值会掩盖分化。

显著性判断

• 样本量先行：先算清楚检测目标效应需要多少流量，量不够就延长周期或按用户聚合分析；
• 跑完整周期：即使第三天就显著也建议跑满预设周期——新奇效应与延迟指标常「先扬后抑」；
• 看区间不只看点：「+2.3%（95% 置信区间 [0.1%, 4.5%]）」与「+2.3%（置信区间 [−3%, 7%]）」是完全不同的结论。

实验思维：用数据验证猜想

实验的目的不是「证明我对」，而是让数据裁决猜想：提出假设（「示例越多回答越稳」）→ 定义指标与周期 → 小流量验证 → 结论沉淀为团队文档。被推翻的猜想同样是资产——它把团队的直觉校准得更准。

产品决策提示：为每个实验预先写好「什么算成功、什么算失败、结果不明确怎么办」，实验开始后不改判据。事后挑对自己有利的切法，是数据驱动的最大反面。

本节要点

• AI 的 A/B 有三个特有干扰源：输出方差、新奇效应、指标延迟，不看穿它们极易误判。
• 正确顺序是离线评测先行：测试集回归不退化，才允许消耗真实流量做在线实验。
• 发布纪律：1%→5%→20%→50% 灰度爬坡，按 user_id 一致性分流，分群监控差异。
• 显著性要看样本量、完整周期与置信区间，过早下结论是常见事故源。
• 实验思维是用数据裁决猜想：预注册成功标准，被推翻的猜想也是团队资产。