AI 产品指标体系：召回率、准确率、幻觉率、拒答率

先分清：模型指标 vs 业务指标

模型指标（召回率、准确率等）是技术团队做优化用的内部语言；业务指标（留存率、任务完成率、转化率、NPS）才是产品成败的最终裁判。两者不能混用：准确率 95% 不等于用户满意度 95%——用户可能恰恰被那 5% 的高频错误劝退。PM 的职责是建立两者的映射：别在业务汇报里只报模型指标，也别拿业务波动直接指挥模型优化。

四大核心指标

指标	定义	产品含义
召回率（Recall）	应该找到的内容中，实际找到的比例	用户「问不倒」的程度
准确率（Precision）	给出的回答中，正确的比例	用户「敢不敢信」
幻觉率	回答中编造事实的比例	信任风险，直接关联投诉与事故
拒答率	模型有能力却拒绝回答的比例	体验损失，「过度谨慎」的信号

前两个是一对此消彼长的「质量对」，后两个是一对「安全—体验」跷跷板。

指标间的权衡

• 召回 vs 准确：放宽检索阈值，召回上升、准确下降——搜得全但夹带噪声；收紧则相反。资讯搜索偏召回（宁可多给再筛），医疗法律偏准确（宁缺毋滥）。
• 幻觉 vs 拒答：Prompt 约束越严（「资料没有就答不知道」），幻觉率下降，但拒答率上升——用户感觉「这也不肯、那也不肯」。优化目标不是把某个指标压到零，而是找到适合场景的平衡点。

单看任何一个指标都可能被骗，要组合阅读：准确率高 + 拒答率也高，说明模型「过度保守」——只挑最有把握的问题回答；幻觉率下降但留存也下滑，可能约束过头牺牲了有用性。四个指标放在一起看，才能定位真正的病因。

产品决策提示：指标权衡没有全赢的解，只有「按场景定优先级」。写 PRD 时明确：本场景哪个指标第一优先、哪个是护栏红线——这直接决定技术方案的取向。

把指标变成可汇报的语言

技术指标老板听不懂，也支撑不了资源决策。翻译三步走：

1. 技术指标 → 用户可感知：「召回率 78%」→「用户每问 10 个问题，约 8 个能得到答案」；
2. 用户可感知 → 业务影响：「答不上的问题导致 12% 用户转人工客服，每月多花 X 万人力」；
3. 业务影响 → 行动建议：「把召回率提到 85%，预计人工转接减少三成，需 Y 周优化检索」。

汇报的终点永远是行动建议，而不是指标本身。

本节要点

• 模型指标是内部优化语言，业务指标是最终裁判，两者要建立映射，不可混用。
• 四大指标：召回率管「问不倒」、准确率管「敢不敢信」、幻觉率管信任风险、拒答率管体验损失。
• 召回与准确、幻觉与拒答各是一对跷跷板，按场景定优先级，不存在全赢配置。
• 汇报时把技术指标翻译成「用户可感知 → 业务影响 → 行动建议」三段，指标才有决策价值。