LLM 是什么：从「续写机器」到能力涌现

一句话定义

大语言模型是一个预测下一个词片段的程序。它读入一段文字，输出「接下来最可能是什么」，然后把输出接回输入，反复做这件事——你在屏幕上看到的回答，就是这样一段一段生成出来的。

它没有联网、没有数据库、没有意图。所有看起来的「理解」和「知识」，都是这个预测任务在海量人类文本上训练后的副产品。

为什么「续写」能表现出能力

关键在于训练数据不是随机文字，而是人类写下的东西：教科书、论坛问答、代码、论文、说明书、翻译、争论、笑话。要把下一个词预测得足够准，模型被迫学会很多东西：

• 要预测「法国的首都是＿＿」，就得真的把「巴黎」放在高概率位置；
• 要预测证明的下一行，就得掌握某种推理的套路；
• 要预测代码的下一行，就得遵守语法和 API 约定。

所以模型不是「存了答案」，而是把人类文本里的规律压缩进了参数。这也是它同时擅长和不可靠的原因：规律强的地方它很稳，需要「事实唯一性」的地方它只会给出「最像答案的东西」。

三个数量级

理解 LLM 只需要记住三个量级，不需要记具体型号：

维度	常见量级	直觉
参数量	10 亿 ～ 数千亿	能装下多少规律。越大越会举一反三
训练数据	数万亿 token（约等于几千万本书）	见过的世界有多大
一次推理	每生成 1 个 token 就要过一遍全部参数	为什么它慢、为什么长文本贵

「大」之所以有用：小模型只能记住高频套路，大模型才装得下长尾知识和可迁移的抽象能力。当规模跨过某个范围，一些能力（多步推理、跟随复杂指令、写可运行代码）会明显出现——这就是常被提到的「涌现」。

它不是数据库，也不是搜索引擎

一个常见误解是「模型在内部查资料」。它不查。它做的事情更接近回忆加填空：给定的上下文越接近它见过的写法，它答得越好；给定一个它几乎没见过的冷门问题，它不会说「我不知道」，而是生成一个格式上完全正确的答案——哪怕内容是错的。这就是幻觉的根源（详见「幻觉与可靠性」）。

三个常见误解

误解	更准确的说法
「它懂我的意思」	它对「怎样回应这类输入」有极强的统计直觉，但没有意图和验证能力
「它记得上次聊过什么」	只有当前上下文窗口里的内容对它存在（详见「上下文窗口与记忆」）
「它答得流畅就是对的」	流畅度和正确性是两件独立的事

自检：这一档你该能做到

• 用三句话向外行解释：它能做什么、不能做什么、代价是什么；
• 听到「我们的模型记不住之前的话」时，能立刻判断问题出在上下文而不是「记忆力」；
• 看到任何 LLM 的输出，默认反应是「这段需要核查」，而不是「它说出来了应该就是对的」。