🧭AI 产品修炼场
实战约 13 分钟第 33 / 47 章

AI 产品指标设计:使用率、留存与任务完成率

指标是 AI 产品的方向盘:本课讲如何为 AI 产品选择北极星指标,如何设计使用率、留存、任务完成率与满意度四类核心指标,如何把大盘指标拆解到功能层定位问题,以及识别并远离虚荣指标。

📖 本页目录

    北极星指标:一个就够,但要对

    北极星指标是最能代表“产品为用户创造核心价值”的那个数。AI 产品选北极星的常见误区,是把“调用量”当价值——调用可能来自尝鲜、误触甚至爬虫。

    选择标准:

    • 与用户价值强相关:用户拿到可用结果才算数,而非点了按钮。
    • 可被团队影响:通过产品与算法迭代能真实改善。
    • 反映留存势能:北极星涨且留存涨,才是真增长。

    例如 AI 写作助手,北极星应是“每周被用户采纳(编辑后发布)的 AI 草稿数”,而不是“生成次数”。

    产品决策提示:北极星指标必须能回答“用户离开这个产品会损失什么”。答不上来,说明指标选错了。

    四类核心指标的设计

    指标 定义 设计要点 常见坑
    使用率 目标用户中真正使用 AI 功能的比例 分母定义为“有该痛点的目标用户” 分母放全量用户,使用率被稀释,问题被掩盖
    留存 次周/次月继续使用 AI 功能的比例 按功能单独埋点,别混在产品大盘里 大盘留存涨、AI 功能留存跌,被平均值掩盖
    任务完成率 用户带着任务来、拿到可用结果离开的比例 定义“完成”信号:采纳、发布、不再重试 只看会话结束率,用户可能是失望离开
    满意度 点赞点踩、评分、NPS 与任务完成率交叉验证 只收集好评渠道,样本偏差大

    特别强调任务完成率:AI 产品的输出是概率性的,“给了输出”不等于“完成了任务”。用户重试三次后放弃,和一次拿到满意答案,会话数据可能长得一样——必须用采纳、重试、放弃信号区分开。

    指标拆解到功能层

    大盘指标异常时要能下钻定位。拆解路径示例:

    周采纳草稿数(北极星)= 活跃用户 × AI 功能使用率 × 单用户采纳次数

    再往下:使用率 → 入口曝光 → 点击率 → 首次成功体验率;单用户采纳次数 → 生成次数 × 采纳率。

    每一层指标都应有明确 owner(产品、算法或运营),异常时按层排查:曝光掉了是入口问题,点击掉了是引导问题,采纳率掉了是模型质量问题。

    防虚荣指标

    虚荣指标的特征:只涨不跌、无法指导行动、无法归因到团队工作。

    虚荣指标 为什么虚 替代指标
    累计生成次数 只增不减,混入尝鲜与误触 周活跃采纳数
    累计注册用户 不代表任何使用行为 次周功能留存率
    平均会话时长 长可能是“用得顺”,也可能是“反复重试” 单任务完成时长 + 重试率
    总调用量 混入 API 搬运与爬虫流量 有效任务完成率

    产品决策提示:汇报里只放能指导决策的指标。每放一个数字先自问:“这个数变了,我会做什么?“答不出来就删掉。

    本节要点

    • 北极星选“用户拿到真实结果”的指标,而不是调用量等过程指标。
    • 使用率的分母用目标用户;功能留存单独埋点;任务完成率用采纳、重试、放弃信号定义。
    • 大盘指标拆解到功能层并明确 owner,异常时才能按层下钻定位。
    • 虚荣指标只涨不跌、无法指导行动;汇报只保留“变了就会行动”的指标。
    📝

    章节小测

    3 道题 · 检验一下刚学的内容

    Q1.为 AI 写作助手选北极星指标,最合适的是哪一个?

    Q2.设计"任务完成率"时,AI 产品最需要防的坑是什么?

    Q3.下列哪组指标属于"虚荣指标应被替代"的对应关系?

    答题后显示结果

    完成这一节了?

    打卡记录保存在你的浏览器本地,方便追踪学习进度。

    💬

    学习留言

    写下你的疑问或心得 —— 仅你自己和站长可见

    🔒 私密