模型效果对比评测报告

任务背景

「快答客服」是一家电商 SaaS 公司，其智能客服系统目前接入了模型 A。近期因流量上涨，推理成本压力增大，工程团队提出更换为性价比更高的模型 B 和模型 C 作为候选。三个模型在公开榜单上成绩接近，无法直接判断。

老板要求你（AI 产品经理）在两周内拿出一份基于真实业务数据的评测报告，回答“换还是不换、换哪个”。注意：客服场景对回答准确率和安全性格外敏感，一旦出错可能引发客诉。

任务要求

1. 构建业务评测集：从历史客服对话中整理不少于 30 条真实测试用例，覆盖常见问答、模糊提问、售后纠纷、情绪激动用户、超纲问题等类型，并标注期望回答要点。
2. 设计评测维度与标准：定义准确率、完整性、安全性、语气友好度、拒答合理性等维度，为每个维度制定 1-5 分的评分细则（rubric）。
3. 执行双盲评测：对三个模型的输出做匿名编号，可邀请同伴或用 LLM 辅助打分，记录原始评分。
4. 量化分析：汇总各维度均分与总分，分析不同问题类型下的表现差异，计算成本（可按公开定价估算每千 token 成本）。
5. 给出选型建议：综合效果与成本给出推荐方案，明确说明置信度与遗留风险，并设计上线后的验证方案（如灰度 + 人工抽检）。

交付物清单

• 评测方案文档：评测集构成说明、维度定义、评分细则、评测流程
• 评测集表格（不少于 30 条用例，含类型标注与期望要点）
• 评分原始数据表与汇总分析（含各模型各维度得分对比）
• 最终评测报告：结论、推荐方案、风险说明、上线验证计划

自评标准

维度	优秀标准
评测集代表性	用例来源于真实业务且覆盖主流与长尾场景，类型分布有明确配比理由
方法科学性	评分标准可操作、评分过程匿名，能识别并控制评分者主观偏差
分析严谨性	不仅给总分，还拆解到维度和问题类型，能解释“为什么好/差”
决策支撑度	结论直接回答选型问题，量化对比效果与成本，风险与验证方案完整
可复现性	他人可依据文档重复整个评测过程并得到一致结论

延伸思考

1. 用 LLM 给 LLM 打分存在“模型偏好”偏差，你如何在流程设计上缓解这个问题？
2. 公开榜单分数与你的业务评测结果如果不一致，哪个更应该被采信？为什么？
3. 评测是“一次性项目”还是“持续机制”？如果模型厂商每月更新版本，你的评测体系需要怎样演进？