部署链路与工程成本：从 API 到并发限流

一条最小部署链路

典型 AI 应用的调用链：用户端 → 业务后端 → LLM API（→ 向量数据库检索）→ 组装返回。PM 需要认识链路上的三个角色：

• LLM API：智能来源，按 token 计费，通常是成本大头；
• 向量数据库：RAG 场景存放知识库的向量化结果，是检索质量与存储成本的交汇点；
• 服务器 / 网关：业务逻辑、缓存与编排所在，弹性扩缩容的对象。

看懂这条链路，你就能听懂工程师说的「慢在检索」「卡在限流」「账单炸在输出」。

并发与限流：体验的隐形变量

LLM 推理是稀缺资源，服务商与自建集群都会限流（并发数、每分钟请求数限制）。高峰期排队、超时、直接报错——限流不是运维问题，是产品体验问题：

• 设计排队机制：优先级队列（付费用户优先）、预计等待时长提示、错峰引导；
• 明确降级预案：限流触发时是降级小模型、返回缓存答案还是让用户排队，每种选择的体验与成本都不同；
• 大促、开学季等可预见的高峰，提前向服务商申请扩容配额，而不是当天救火。

成本三件套的平衡

成本项	关键变量	平衡手段
Token 计费	输入与输出分开计价，输出贵数倍	压缩系统提示词、缓存高频问答、裁剪上下文
推理耗时	模型越大越慢	大小模型分层路由，简单请求走小模型
存储成本	向量库与会话记录持续膨胀	会话保留期限策略、冷热分层、定期归档

效果与预算的取舍框架

不做「全用最强模型」的粗暴选择，用三层框架决策：

1. 算清单用户成本：人均调用次数 × 单次 token 成本，对照 LTV 与定价画出可承受上限；
2. 按场景分层路由：闲聊与简单查询走便宜的小模型，复杂推理留给旗舰模型——多数产品可省一半以上成本而体验几乎无损；
3. 建立成本护栏：监控单用户日成本，突增即告警，防止 prompt 变更或恶意刷量把账单打爆。

产品决策提示：把「单次交互成本」写进每个 AI 功能的 PRD，与效果指标并列。上线后同时盯两条曲线——效果曲线和成本曲线，任何一条失控都算事故。

本节要点

• 最小链路三角色：LLM API（智能与成本大头）、向量数据库（检索与存储）、服务器网关（编排与缓存）。
• 限流是产品体验问题：排队机制、降级预案、高峰配额申请都要在 PRD 阶段定义。
• 成本三件套：token 计费（输出更贵）、推理耗时、存储膨胀，各有对应的平衡手段。
• 取舍框架：单用户成本对照 LTV + 大小模型分层路由 + 成本护栏告警，效果与预算兼得。