评估第一步：构建你的 AI 测试集

没有测试集，一切优化都是感觉

改了一版 prompt，效果是好是坏？换了新模型，是全面提升还是局部退化？没有测试集，答案只能是「我觉得」。测试集是 AI 产品的「尺子」：它把「效果」从主观感觉变成可复现、可对比的数字。建测试集是评估体系的第一步，也是 PM 必须亲自抓的工作——因为测试集的构成，决定你在为什么样的用户优化。

先分层：高频 query 与长尾 query

用户问题的分布高度不均：约 20% 的高频 query 贡献 80% 的流量。两类 query 的产品意义不同：

类型	特征	评估意义
高频 query	流量大、模式集中	决定基本盘体验，优先保障
长尾 query	单个量小、总量庞大	决定口碑与「问不倒」的感知

测试集应按真实流量比例分层抽样，并给长尾单独设一组——高频决定用户留不留，长尾决定用户夸不夸。

测试集从哪来：三条来源

1. 真实用户 query 收集：上线后从日志中按频率分层抽样，是最重要的来源。上线前的冷启动可用内部同事模拟、领域专家构造、竞品问题梳理，但要标注「待真实数据替换」。
2. badcase 沉淀：每修复一个线上 badcase，就把它固化进测试集。这是防止「改好一个、弄坏一个」反复回归的关键机制。
3. 边界 case 设计：人工构造对抗性输入——歧义表述、超出范围的问题、诱导性提问、超长输入、多语言混杂。模型最容易在边界翻车，用户也最爱试探边界。

黄金标准集与回归测试

黄金标准集（golden set） = 固定输入 + 人工标注的期望输出。它的角色类似传统软件的单元测试：

• 每次改 prompt、换模型、调参数，先在黄金集上全量跑一遍，对比分数变化——这就是 AI 产品的回归测试；
• 规模从 100~500 条起步即可，贵在覆盖分层与标注质量，而非数量堆砌；
• 期望输出允许「要点式」标注（回答必须包含哪些要点、不得出现什么），比逐字对拍更符合生成的开放性。

产品决策提示：黄金集要版本化管理，任何修改留痕。它是团队对「什么是好」的共识载体——标注时的争论，恰恰是 PM 澄清产品标准的最佳时机。

测试集的持续维护

• 定期换血：防止针对测试集过拟合（只为测试题优化），按季度从真实流量补充新题、归档旧题；
• 清洗标注：随产品标准演进，重新校准旧标注，剔除已不代表用户分布的样本；
• 用途隔离：测试集永远不进训练或优化数据，避免评估失去客观性。

本节要点

• 测试集是 AI 产品的尺子，把效果从「我觉得」变成可复现、可对比的数字，是评估体系的第一步。
• 按真实流量比例分层抽样：高频 query 保基本盘，长尾 query 保口碑，两者不可偏废。
• 三条来源：真实 query 收集、badcase 沉淀、边界 case 设计，上线后真实流量是第一来源。
• 黄金标准集支撑回归测试：每次改动先跑分再上线，100~500 条起步，重质不重量。
• 测试集要定期换血、清洗标注、与训练数据严格隔离，防止过拟合与评估失真。