数据闭环：采集、清洗、标注与回流

数据是 AI 产品的飞轮

模型能力决定下限，数据质量决定上限。同一套基座模型、同一版 prompt，喂给系统干净、新鲜、覆盖完整的数据，效果可以上一个台阶——这正是多数 AI 产品中期迭代的主战场。数据闭环的意思是：产品使用产生数据，数据反哺模型效果，效果提升留住用户，用户又产生更多数据。飞轮转起来，产品才有复利。

全链路：五段工序

环节	做什么	PM 关注点
采集	日志、文档、用户行为入库	采哪些字段？有没有授权？
清洗	去重、纠错、格式统一	脏数据占比与清洗规则
标注	打标签、写期望输出	标注标准与多人一致性
数据集构建	划分训练 / 评估 / 测试集	测试集独立性，永不入训练
回流	新数据进入下一轮迭代	回流的延迟与自动化程度

数据质量如何影响效果

Garbage in, garbage out：知识库里的过期文档会直接变成过期回答；标注标准混乱（两个人对「好回答」理解不同），训练与评估都会失真。PM 要抓两件事：数据的保鲜机制（过期内容下线与更新节奏）和标注一致性（定期抽检标注重合度，分歧样本正是标准不清的信号）。

安全与合规边界

• 脱敏：手机号、身份证、聊天记录进入任何数据管道前先脱敏；
• 授权：用户数据用于「改进服务」需在协议中明示，用于「模型训练」是更高层级的授权；
• 用途隔离：评估数据、训练数据、运营数据分库管理，边界写进流程而非口头约定。

产品决策提示：数据合规六问——数据从哪来、用户是否知情、存在哪、谁能看、能否用于训练、保留多久。这六个问题答不清的功能，不要上线。

设计数据回流方案

让数据「自动变好」，三个抓手：

1. 埋点：记录完整三元组——用户 query、系统上下文、模型输出，再加行为信号（重问、复制、点赞点踩、放弃）。重问是最被低估的负信号：用户换个说法再问一次，多半是第一次没答好。
2. 用户反馈：点赞点踩只是原始信号，配上「错在哪」的结构化选项（答案错误 / 太啰嗦 / 没听懂问题）才能指导归因。
3. badcase 利用：badcase 走双通道——进测试集防回归，修复后的样本回流做优化；每周 badcase 分类例会，是迭代优先级最直接的输入。

本节要点

• 数据闭环 = 采集→清洗→标注→构建→回流五段工序，产品使用本身是最好的数据来源。
• 数据质量决定模型效果上限，PM 重点抓数据保鲜机制与标注一致性。
• 合规六问（来源、知情、存储、权限、用途、期限）答不清的功能不上线。
• 回流三抓手：完整埋点（重问是被低估的负信号）、结构化反馈选项、badcase 双通道利用。