大模型是什么：从 Transformer 到 Token 预测

机器如何「理解」语言

让计算机处理语言，老思路是教它语法规则，失败了——语言太不规则。新思路是统计：给模型看海量文本，让它自己发现「接下来大概率出现什么」。大模型（LLM）本质上是一台概率机器：输入一段文字，输出下一个词的概率分布。

「理解」体现在哪？模型在预测下一个词时，必须隐式地处理语法、事实、逻辑甚至说话人的意图——预测「鸡蛋摔在地上，地上会有____」需要常识；预测代码的下一行需要编程知识。预测做得足够好，看起来就是理解。这个认知很重要：模型没有信念和意图，它做的是高精度续写。

Transformer 与注意力：一个产品视角的直觉

2017 年的 Transformer 架构是大模型的引擎，核心是注意力机制（Attention）。直觉版本：读一句话时，模型给每个词打分，决定「此刻应该重点关注哪些词」。

例：「苹果发布了新手机，它很贵」——模型要判断「它」指的是苹果公司还是手机，靠的就是注意力机制让「它」回看前文、分配权重。

对产品经理而言，不必懂矩阵运算，记住两个产品含义即可：

• 长文本能力来自注意力：模型能跨越长距离关联信息，这是长文档摘要、多轮对话的基础。
• 注意力有成本：处理越长上下文，计算越贵、延迟越高——这解释了后面课程讲的上下文窗口限制与定价差异。

Token：大世界的最小货币

模型不直接读文字，而是读 token——文本切成的小块。英文约 1 token ≈ 0.75 个单词；中文约 1 个汉字 ≈ 1~2 个 token（取决于分词器）。

为什么按 token 计费？因为模型的计算、显存占用都随 token 数量线性乃至平方级增长，token 就是算力的计量单位。你与模型的每一次交互都是两笔账：输入 token（prompt）+ 输出 token（completion），且输出通常贵数倍（生成比理解更费力）。

产品决策提示：token 数量直接决定成本与延迟。写 PRD 时估算功能成本，第一步就是把系统提示词、上下文、用户输入、预期输出全部折算成 token——这是 AI 产品经理的基本功（第 4 课展开）。

为什么「预测下一个词」能产生智能

单看一次预测平平无奇，威力来自三件事的叠加：

1. 规模：上千亿参数的模型，预测下一词被迫压缩海量世界知识；
2. 任务泛化：任何任务都能表述成续写——提问后预测答案、给出指令后预测执行、抛出 buggy 代码后预测修复；
3. 迭代生成：预测一个词，把它拼回输入，再预测下一个，循环往复就生成完整回答。思考的「步骤感」由此而来。

这解释了一个反直觉现象：模型的能力不是被逐个功能开发出来的，而是从单一目标中「长」出来的。产品视角的含义：模型能力是通用底座，你的产品是在底座上做选择、引导与约束，而非从零造智能。

预训练、微调、对齐：模型诞生的三阶段

阶段	做什么	成本	产品含义
预训练	在万亿级 token 上学「续写」	极高（数月、千万美元级）	决定模型的知识与能力上限
微调	用标注数据教特定行为（如指令跟随）	中	同一基座可分化出不同风格与专长
对齐	用人类反馈调教「有用、无害」	中	决定模型的「性格」与安全边界

三阶段解释了很多日常现象：模型为什么拒绝某些请求（对齐）；为什么不同厂商模型「画风」不同（微调数据不同）；为什么知识有截止日期（预训练数据是过去的快照）。

买模型 vs 造模型：预训练是巨头的游戏；产品团队通常在 API、微调或提示层做差异化。判断自己的产品该站在哪一层，是第一个技术-商业综合决策。

本节要点

• 大模型 = 概率续写机器，「理解」是高精度预测的涌现效果；模型没有意图，这决定了产品设计要靠引导而非命令。
• 注意力机制让模型关联长距离信息，是长文本与多轮对话能力的来源，也是长上下文更贵的原因。
• token 是算力的计量单位和计费货币，输入输出分开计价，估算是 PM 的基本功。
• 单一目标（预测下一词）+ 超大规模 = 通用能力，模型是底座，产品做的是选择、引导与约束。
• 预训练定上限、微调定专长、对齐定性格；多数产品团队的差异化空间在 API 与提示层。