🧭AI 产品修炼场
实战约 14 分钟第 11 / 30 章

RAG 产品决策点:何时引用、如何处理查不到、幻觉兜底

本课程聚焦 RAG 产品设计中三个高频决策:引用与溯源的展示方式、检索无结果时的诚实策略、幻觉的分层兜底方案。通过 Perplexity、ChatGPT 等案例,讲清信任体验的设计细节,帮助产品经理在准确性与体验之间做出清醒取舍。

📖 本页目录

    技术之外,RAG 的成败在产品决策

    两个检索质量相同的 RAG 产品,用户体验可以天差地别——差别在于三个产品决策:要不要展示引用、查不到时怎么办、幻觉如何兜底。这三件事决定了用户对产品的信任曲线。

    决策一:引用与溯源

    为什么引用重要

    Perplexity 的核心差异化不是模型,而是每个论断都标注来源、可点击验证。引用解决三件事:可信度(用户可自行验证)、时效感(知道信息来自何时)、错误责任分担(是来源的问题而非产品瞎编)。

    引用展示的三种粒度

    粒度 做法 适用
    文档级 回答末尾列出参考文档链接 内部知识库、轻信任场景
    段落级 每个论断后标注 [1][2],点击跳转原文位置 Perplexity 式搜索、高合规场景
    原文对照 回答旁并排展示原文摘录 合同审查、医疗法律等高风险场景

    粒度越细,信任越强,但对检索命中精度和前端工程的要求也越高。段落级引用如果经常“标错位置”,反而放大不可信感。

    引用的诚实性红线

    不能为了显得可信而硬凑引用。给无关段落贴编号,一旦被用户点开发现驴唇不对马嘴,信任崩塌比没有引用更彻底。

    产品决策提示:引用位置要在 PRD 中明确定义展示规则(什么时候标、标在句末还是段末、多来源怎么合并),这是生成 Prompt 与前端渲染的共同契约,含糊不得。

    决策二:查不到时怎么办

    RAG 最危险的时刻不是检索到错误材料,而是检索不到材料时模型强行作答——模型会拿参数知识补位,幻觉由此产生。产品上要明确“无结果策略”:

    三种策略

    1. 诚实拒答:“知识库中未找到相关信息。“最安全,但体验生硬,且拒答率过高用户就流失了。
    2. 降级作答:声明“以下是基于模型通用知识的回答,未在您的知识库中找到依据”,并视觉区分(灰底、标签)。兼顾体验与诚实,是推荐默认项。
    3. 引导行动:拒答的同时给出路径——“您可以上传相关文档”或“转人工咨询”。把死胡同变成产品闭环。

    拒答率的运营

    拒答率是 RAG 产品最该天天看的数据之一。拆解它:是语料缺失(该补文档)?检索失效(该优化召回)?还是阈值过严(该调参数)?

    产品决策提示:为拒答设计一套“转人工 / 推荐补充语料 / 相关问题引导”的兜底动线。用户问不到答案的那一刻,恰恰是发现内容缺口的最佳信号源。

    决策三:幻觉的分层兜底

    指望“零幻觉”不现实,工程现实是分层设防,控制伤害面

    • 生成层:Prompt 明确约束“仅基于提供的资料回答,资料未提及即回答不知道”,并配合示例固化行为。
    • 校验层:对生成结果做事实一致性校验——检查回答中的关键论断能否在检索到的原文中找到支撑(可用 NLI 模型或 LLM 复核)。高风险场景(医疗、金融、法务)必配。
    • 产品层:免责声明、置信度提示、“AI 生成内容请核实”的常态化提示语,以及关键操作前的二次确认。
    • 运营层:bad case 收集通道 + 用户点踩反馈,闭环修复。

    按风险分级配置

    场景风险 兜底配置
    低(内部查询、创意辅助) Prompt 约束即可
    中(对外问答、客服) Prompt 约束 + 引用展示 + 反馈通道
    高(医疗、金融、法务) 全套 + 事实校验 + 人工抽检 + 留痕审计

    产品决策提示:幻觉治理的预算应该按错误的业务代价分配,而不是均匀撒在所有功能上。先做风险分级,再定兜底强度。

    本节要点

    • 引用展示分文档级、段落级、原文对照三档粒度,按信任需求和检索精度选择;硬凑引用比没有引用更伤信任。
    • 检索无结果时默认采用“声明来源降级作答”,并为拒答设计转人工、补语料的闭环动线;拒答率要天天看并拆解归因。
    • 幻觉无法清零,只能分层设防:Prompt 约束、事实校验、产品提示、运营反馈四层,按场景风险分级配置。
    • 三个决策共同决定 RAG 产品的信任曲线,都应在 PRD 阶段明确,而非留给工程师默认实现。
    📝

    章节小测

    3 道题 · 检验一下刚学的内容

    Q1.检索不到材料时,产品上最危险的行为是什么?

    Q2.为什么硬凑引用比没有引用更伤产品?

    Q3.医疗、金融、法务类 RAG 场景的兜底配置应是?

    答题后显示结果

    完成这一节了?

    打卡记录保存在你的浏览器本地,方便追踪学习进度。

    💬

    学习留言

    写下你的疑问或心得 —— 仅你自己和站长可见

    🔒 私密