一句话结论
LLM(Large Language Model,大语言模型)是一个用海量文本训练出来的“下一个词预测器”——它只做一件事:根据已有的文字,算出下一个词最可能是什么。把这件事做到千亿参数规模后,它顺带学会了回答问题、写代码、做总结、翻译。所谓“基础知识”,真正需要搞懂的只有五个概念:Token(词元)、参数、上下文窗口、训练三阶段(预训练 / 微调 / 对齐)、推理与幻觉。这五个词吃透,网上九成的 LLM 文章你都能看懂在说什么。
速查清单:5 个必须先搞懂的词
- Token(词元):模型眼里的最小文字单位,中文通常 1 个字约 1~2 个 token,英文 1 个单词约 1~1.5 个 token。计费、上下文长度都按它算。
- 参数(Parameter):模型内部的“权重数字”,7B 指 70 亿个,量级决定能力上限,也决定显卡能不能跑得动。
- 上下文窗口(Context Window):模型一次能“同时看到”的 token 数,超出就要截断。它不等于记忆,关掉对话就没了。
- 训练三阶段:预训练学语言规律 → 微调学“按指令办事” → 对齐学“说人话、别乱来”。
- 幻觉(Hallucination):模型在没把握时也会流畅地编。这是机制自带的,不是 bug。
什么是大语言模型
严格定义:LLM 是基于 Transformer 架构(一种擅长并行处理长序列的神经网络结构,2017 年提出)、参数量在十亿级以上、用大规模无标注文本训练的神经网络语言模型。“大”不是形容词凑数——业界通常把百亿参数以上视为大模型分水岭,因为跨过这个量级后,模型会表现出小模型没有的“涌现能力”(Emergent Ability,指训练规模到某个点后突然出现、此前完全没有的能力,比如多步推理、代码生成)。
生活类比:它像一台读过几乎全部公开文字、但没有任何真实生活经验的“超级接话机器”。你说“今天天气真”,它接“好”“冷”“热”都合理,它靠统计概率选一个。这个类比很直观,但严格说:模型不是查数据库,而是把语义压缩进参数后重新生成,所以它能组合出训练集里从没出现过的句子。
原理拆解:它是怎么“说话”的
小白版:三步就能理解
- 你的输入被切成一段段 token,变成数字编号。
- 这些编号进入网络,经过几十层计算,输出“下一个 token 的概率分布”。
- 按概率抽一个(或选最高的),拼回去,再喂回去算下一个,循环往复。这就叫自回归生成。
进阶版:三个关键机制
- 注意力机制(Attention):每个词在处理时都会“看”一遍上下文里其他词,决定该关注谁。这是它能理解指代和长句的原因。
- 温度(Temperature):控制概率抽样的随机性。温度接近 0 时几乎总选最高概率词,输出稳定但发僵;调到 1 附近更发散。写作调高,写代码和抽取数据调低。
- 位置编码:让模型知道词的先后顺序,否则“狗咬人”和“人咬狗”在它眼里是一样的。
训练三阶段:为什么它“懂指令”又“会胡说”
| 阶段 | 干什么 | 代价与副作用 |
|---|---|---|
| 预训练 | 用 TB 级文本做“预测下一个词”,学到语言、常识、代码的统计规律 | 算力开销最大,通常占总体训练成本的绝大部分;此时模型只会接话,不会答题 |
| 指令微调(SFT) | 用人工标注的“问—答”对,教它按指令形式回应 | 数量级只需数万到数十万条,但标注质量直接决定回答风格 |
| 对齐(RLHF / DPO) | 用人类偏好排序,让它更安全、更有用、少废话 | 容易引入“过度拒答”——问正常问题被推回来,就是这一层的副作用 |
这里有个多数入门文章不会提的纠偏:很多人以为模型是先“理解”再“回答”,其实恰恰相反——它是在生成的过程中逐步形成判断的。所以让它先写推理过程再给结论,正确率通常比直接要答案高。这也是“思维链”(Chain-of-Thought)能生效的机制原因,不是玄学。
为什么它会一本正经地胡说
因为训练目标是“下一个词要像人写的”,不是“说的内容要真”。这两件事高度相关但不重合。遇到训练数据稀疏的领域(具体人名、编号、小语种、最新事件),它仍会按语言的“顺滑度”拼出一个像模像样的答案。
- 降低幻觉的做法:让它引用原文(检索增强 RAG)、要求“找不到就说找不到”、把温度调低、把问题拆小。
- 没用的做法:反复追问“你确定吗”。它可能顺着你改口,这叫“迎合性偏差”。
常见误区澄清
- “参数越大越聪明”——在同等训练数据与训练方法下大致成立,但数据质量和后训练策略的影响同样巨大,小模型在特定任务上超过大模型是常态。
- “它有记忆”——单次对话内的上下文是临时缓冲区,会话结束即清空。跨会话记住你,靠的是外部存储的用户画像,不是模型本身。
- “本地部署就等于免费”——电费、显存、量化带来的精度损失都是成本。7B 模型 4bit 量化后约需 5~6 GB 显存可跑,但复杂推理能力明显弱于云端大模型。
- “它是搜索引擎”——不联网时它只能凭参数说话,时效性受训练数据截止时间限制;联网检索是外挂能力,不是模型自带的。
关键参数对照(供进一步查阅时定位)
| 术语 | 单位 / 量级 | 影响什么 |
|---|---|---|
| 参数量 | B(十亿),常见 7B / 30B / 70B 级别 | 能力上限、显存占用、推理速度 |
| 上下文窗口 | 8K / 32K / 128K token | 一次能读多长的文档 |
| 量化精度 | FP16 / INT8 / 4bit | 越低位越省显存,精度损失越明显 |
| 温度 | 0 ~ 1(部分接口可更高) | 输出随机性 |
以上量级为行业常见区间,不同厂商命名口径不同(有按总参数算,有按激活参数算),对比时务必看清是哪种口径,否则容易得出错误结论。
自测:你真的入门了吗
把下面三个问题答上来,说明基础过关,不用再刷入门科普了:
- 同样一段中文,为什么按 token 计费时,价格和按字数算差得挺多?
- 为什么长文档问答时,把关键信息放在最开头或最末尾,效果往往好过放中间?
- 为什么调整温度能改善写作质量,却会让数据抽取任务变差?
这三个问题分别对应 token 切分、上下文注意力分布、概率采样三块机制。行动建议:不要从论文看起,先用同一个问题分别喂给两个不同规模的模型,对比它们在“不确定时会不会说不知道”,你对 LLM 的理解会比读十篇科普都深。







