AI 功能数据埋点与指标体系方案

任务背景

「墨记」是一款拥有 200 万月活的笔记应用，过去半年密集上线了三个 AI 功能：AI 总结（自动生成笔记摘要）、AI 问答（基于个人笔记库回答问题）、AI 改写（语气润色与格式整理）。上线时各自定义了一些零散指标，但口径不统一，老板在季度会上问“AI 到底对留存有没有用”时，没有人能回答。

你被任命从零搭建 AI 功能的统一指标体系与埋点方案，目标是既能监控各功能的健康度，也能回答 AI 对核心业务指标（留存、付费）的贡献。

任务要求

1. 设计指标体系：围绕“AI 功能渗透 → 使用 → 价值 → 留存/付费”的链路搭建层级指标：北极星指标 1 个、一级指标 4-6 个、二级指标若干，说明每个指标的定义、口径与更新频率。
2. 定义 AI 特有指标：设计采纳率、编辑距离、重新生成率、问题解决率等能刻画 AI 质量的指标，写清计算公式（如采纳率 = 用户未修改直接使用次数 / 总生成次数）。
3. 撰写埋点文档：为三个功能各设计事件埋点表，包含事件名、触发时机、属性字段、属性取值说明，事件命名遵守统一规范。
4. 设计分析框架：说明上线后如何用该体系回答三个关键问题——“谁在用 AI”“AI 用得好不好”“AI 是否提升留存与付费”，并给出对照组/同环比的分析思路。
5. 规划看板：设计面向不同角色（老板、PM、运营）的看板内容划分与刷新频率。

交付物清单

• 指标体系文档：指标树（北极星/一级/二级）、每个指标的定义、公式、口径、频率
• 埋点方案表：三个功能共不少于 15 个事件，字段完整、命名规范统一
• 分析方案：三大关键问题的分析思路与所需数据
• 看板规划说明（分角色）与指标异动排查 SOP（如采纳率下跌 10% 时如何定位原因）

自评标准

维度	优秀标准
体系逻辑性	指标层级清晰、相互支撑，北极星指标与业务价值直接挂钩，无虚荣指标
口径严谨性	每个指标定义无歧义，去重/时间窗口/分母等边界情况处理明确
埋点完备性	事件覆盖全链路，属性设计能支持下钻分析，命名规范可长期维护
分析可用性	能实际回答老板的留存归因问题，分析思路包含对照设计与干扰因素讨论
落地可行性	埋点成本合理，区分必做与可选，兼顾开发工作量与信息完整性

延伸思考

1. “AI 功能渗透率很高但留存无变化”，可能有哪些原因？你会如何逐一验证？
2. 采纳率高的功能一定是好功能吗？举例说明采纳率会“说谎”的场景。
3. AI 功能消耗真金白银的推理成本，指标体系中应如何纳入“成本效率”维度，使其与收入可以对比？