RAG 产品决策点:何时引用、如何处理查不到、幻觉兜底
本课程聚焦 RAG 产品设计中三个高频决策:引用与溯源的展示方式、检索无结果时的诚实策略、幻觉的分层兜底方案。通过 Perplexity、ChatGPT 等案例,讲清信任体验的设计细节,帮助产品经理在准确性与体验之间做出清醒取舍。
📖 本页目录
技术之外,RAG 的成败在产品决策
两个检索质量相同的 RAG 产品,用户体验可以天差地别——差别在于三个产品决策:要不要展示引用、查不到时怎么办、幻觉如何兜底。这三件事决定了用户对产品的信任曲线。
决策一:引用与溯源
为什么引用重要
Perplexity 的核心差异化不是模型,而是每个论断都标注来源、可点击验证。引用解决三件事:可信度(用户可自行验证)、时效感(知道信息来自何时)、错误责任分担(是来源的问题而非产品瞎编)。
引用展示的三种粒度
| 粒度 | 做法 | 适用 |
|---|---|---|
| 文档级 | 回答末尾列出参考文档链接 | 内部知识库、轻信任场景 |
| 段落级 | 每个论断后标注 [1][2],点击跳转原文位置 | Perplexity 式搜索、高合规场景 |
| 原文对照 | 回答旁并排展示原文摘录 | 合同审查、医疗法律等高风险场景 |
粒度越细,信任越强,但对检索命中精度和前端工程的要求也越高。段落级引用如果经常“标错位置”,反而放大不可信感。
引用的诚实性红线
不能为了显得可信而硬凑引用。给无关段落贴编号,一旦被用户点开发现驴唇不对马嘴,信任崩塌比没有引用更彻底。
产品决策提示:引用位置要在 PRD 中明确定义展示规则(什么时候标、标在句末还是段末、多来源怎么合并),这是生成 Prompt 与前端渲染的共同契约,含糊不得。
决策二:查不到时怎么办
RAG 最危险的时刻不是检索到错误材料,而是检索不到材料时模型强行作答——模型会拿参数知识补位,幻觉由此产生。产品上要明确“无结果策略”:
三种策略
- 诚实拒答:“知识库中未找到相关信息。“最安全,但体验生硬,且拒答率过高用户就流失了。
- 降级作答:声明“以下是基于模型通用知识的回答,未在您的知识库中找到依据”,并视觉区分(灰底、标签)。兼顾体验与诚实,是推荐默认项。
- 引导行动:拒答的同时给出路径——“您可以上传相关文档”或“转人工咨询”。把死胡同变成产品闭环。
拒答率的运营
拒答率是 RAG 产品最该天天看的数据之一。拆解它:是语料缺失(该补文档)?检索失效(该优化召回)?还是阈值过严(该调参数)?
产品决策提示:为拒答设计一套“转人工 / 推荐补充语料 / 相关问题引导”的兜底动线。用户问不到答案的那一刻,恰恰是发现内容缺口的最佳信号源。
决策三:幻觉的分层兜底
指望“零幻觉”不现实,工程现实是分层设防,控制伤害面:
- 生成层:Prompt 明确约束“仅基于提供的资料回答,资料未提及即回答不知道”,并配合示例固化行为。
- 校验层:对生成结果做事实一致性校验——检查回答中的关键论断能否在检索到的原文中找到支撑(可用 NLI 模型或 LLM 复核)。高风险场景(医疗、金融、法务)必配。
- 产品层:免责声明、置信度提示、“AI 生成内容请核实”的常态化提示语,以及关键操作前的二次确认。
- 运营层:bad case 收集通道 + 用户点踩反馈,闭环修复。
按风险分级配置
| 场景风险 | 兜底配置 |
|---|---|
| 低(内部查询、创意辅助) | Prompt 约束即可 |
| 中(对外问答、客服) | Prompt 约束 + 引用展示 + 反馈通道 |
| 高(医疗、金融、法务) | 全套 + 事实校验 + 人工抽检 + 留痕审计 |
产品决策提示:幻觉治理的预算应该按错误的业务代价分配,而不是均匀撒在所有功能上。先做风险分级,再定兜底强度。
本节要点
- 引用展示分文档级、段落级、原文对照三档粒度,按信任需求和检索精度选择;硬凑引用比没有引用更伤信任。
- 检索无结果时默认采用“声明来源降级作答”,并为拒答设计转人工、补语料的闭环动线;拒答率要天天看并拆解归因。
- 幻觉无法清零,只能分层设防:Prompt 约束、事实校验、产品提示、运营反馈四层,按场景风险分级配置。
- 三个决策共同决定 RAG 产品的信任曲线,都应在 PRD 阶段明确,而非留给工程师默认实现。
章节小测
3 道题 · 检验一下刚学的内容
Q1.检索不到材料时,产品上最危险的行为是什么?
Q2.为什么硬凑引用比没有引用更伤产品?
Q3.医疗、金融、法务类 RAG 场景的兜底配置应是?
答题后显示结果
完成这一节了?
打卡记录保存在你的浏览器本地,方便追踪学习进度。
学习留言
写下你的疑问或心得 —— 仅你自己和站长可见
登录 后可发布私密留言,向站长提问。