什么是 LLM 大语言模型,基础知识点有哪些?

2026-11-20 10:42:47
622
从 Token、参数、上下文窗口、训练三阶段到幻觉机制,用一张速查清单加三张对照表讲清大语言模型的基础知识点,并纠正"参数越大越聪明""它有记忆"等常见误解。

一句话结论

LLM(Large Language Model,大语言模型)是一个用海量文本训练出来的“下一个词预测器”——它只做一件事:根据已有的文字,算出下一个词最可能是什么。把这件事做到千亿参数规模后,它顺带学会了回答问题、写代码、做总结、翻译。所谓“基础知识”,真正需要搞懂的只有五个概念:Token(词元)、参数、上下文窗口、训练三阶段(预训练 / 微调 / 对齐)、推理与幻觉。这五个词吃透,网上九成的 LLM 文章你都能看懂在说什么。

速查清单:5 个必须先搞懂的词

  • Token(词元):模型眼里的最小文字单位,中文通常 1 个字约 1~2 个 token,英文 1 个单词约 1~1.5 个 token。计费、上下文长度都按它算。
  • 参数(Parameter):模型内部的“权重数字”,7B 指 70 亿个,量级决定能力上限,也决定显卡能不能跑得动。
  • 上下文窗口(Context Window):模型一次能“同时看到”的 token 数,超出就要截断。它不等于记忆,关掉对话就没了。
  • 训练三阶段:预训练学语言规律 → 微调学“按指令办事” → 对齐学“说人话、别乱来”。
  • 幻觉(Hallucination):模型在没把握时也会流畅地编。这是机制自带的,不是 bug。

什么是大语言模型

严格定义:LLM 是基于 Transformer 架构(一种擅长并行处理长序列的神经网络结构,2017 年提出)、参数量在十亿级以上、用大规模无标注文本训练的神经网络语言模型。“大”不是形容词凑数——业界通常把百亿参数以上视为大模型分水岭,因为跨过这个量级后,模型会表现出小模型没有的“涌现能力”(Emergent Ability,指训练规模到某个点后突然出现、此前完全没有的能力,比如多步推理、代码生成)。

生活类比:它像一台读过几乎全部公开文字、但没有任何真实生活经验的“超级接话机器”。你说“今天天气真”,它接“好”“冷”“热”都合理,它靠统计概率选一个。这个类比很直观,但严格说:模型不是查数据库,而是把语义压缩进参数后重新生成,所以它能组合出训练集里从没出现过的句子。

原理拆解:它是怎么“说话”的

小白版:三步就能理解

  1. 你的输入被切成一段段 token,变成数字编号。
  2. 这些编号进入网络,经过几十层计算,输出“下一个 token 的概率分布”。
  3. 按概率抽一个(或选最高的),拼回去,再喂回去算下一个,循环往复。这就叫自回归生成。

进阶版:三个关键机制

  • 注意力机制(Attention):每个词在处理时都会“看”一遍上下文里其他词,决定该关注谁。这是它能理解指代和长句的原因。
  • 温度(Temperature):控制概率抽样的随机性。温度接近 0 时几乎总选最高概率词,输出稳定但发僵;调到 1 附近更发散。写作调高,写代码和抽取数据调低。
  • 位置编码:让模型知道词的先后顺序,否则“狗咬人”和“人咬狗”在它眼里是一样的。

训练三阶段:为什么它“懂指令”又“会胡说”

阶段 干什么 代价与副作用
预训练 用 TB 级文本做“预测下一个词”,学到语言、常识、代码的统计规律 算力开销最大,通常占总体训练成本的绝大部分;此时模型只会接话,不会答题
指令微调(SFT) 用人工标注的“问—答”对,教它按指令形式回应 数量级只需数万到数十万条,但标注质量直接决定回答风格
对齐(RLHF / DPO) 用人类偏好排序,让它更安全、更有用、少废话 容易引入“过度拒答”——问正常问题被推回来,就是这一层的副作用

这里有个多数入门文章不会提的纠偏:很多人以为模型是先“理解”再“回答”,其实恰恰相反——它是在生成的过程中逐步形成判断的。所以让它先写推理过程再给结论,正确率通常比直接要答案高。这也是“思维链”(Chain-of-Thought)能生效的机制原因,不是玄学。

为什么它会一本正经地胡说

因为训练目标是“下一个词要像人写的”,不是“说的内容要真”。这两件事高度相关但不重合。遇到训练数据稀疏的领域(具体人名、编号、小语种、最新事件),它仍会按语言的“顺滑度”拼出一个像模像样的答案。

  • 降低幻觉的做法:让它引用原文(检索增强 RAG)、要求“找不到就说找不到”、把温度调低、把问题拆小。
  • 没用的做法:反复追问“你确定吗”。它可能顺着你改口,这叫“迎合性偏差”。

常见误区澄清

  • “参数越大越聪明”——在同等训练数据与训练方法下大致成立,但数据质量和后训练策略的影响同样巨大,小模型在特定任务上超过大模型是常态。
  • “它有记忆”——单次对话内的上下文是临时缓冲区,会话结束即清空。跨会话记住你,靠的是外部存储的用户画像,不是模型本身。
  • “本地部署就等于免费”——电费、显存、量化带来的精度损失都是成本。7B 模型 4bit 量化后约需 5~6 GB 显存可跑,但复杂推理能力明显弱于云端大模型。
  • “它是搜索引擎”——不联网时它只能凭参数说话,时效性受训练数据截止时间限制;联网检索是外挂能力,不是模型自带的。

关键参数对照(供进一步查阅时定位)

术语 单位 / 量级 影响什么
参数量 B(十亿),常见 7B / 30B / 70B 级别 能力上限、显存占用、推理速度
上下文窗口 8K / 32K / 128K token 一次能读多长的文档
量化精度 FP16 / INT8 / 4bit 越低位越省显存,精度损失越明显
温度 0 ~ 1(部分接口可更高) 输出随机性

以上量级为行业常见区间,不同厂商命名口径不同(有按总参数算,有按激活参数算),对比时务必看清是哪种口径,否则容易得出错误结论。

自测:你真的入门了吗

把下面三个问题答上来,说明基础过关,不用再刷入门科普了:

  1. 同样一段中文,为什么按 token 计费时,价格和按字数算差得挺多?
  2. 为什么长文档问答时,把关键信息放在最开头或最末尾,效果往往好过放中间?
  3. 为什么调整温度能改善写作质量,却会让数据抽取任务变差?

这三个问题分别对应 token 切分、上下文注意力分布、概率采样三块机制。行动建议:不要从论文看起,先用同一个问题分别喂给两个不同规模的模型,对比它们在“不确定时会不会说不知道”,你对 LLM 的理解会比读十篇科普都深。

风险提示及免责声明

文章来源于IT资讯,转载注明原文出处,此文观点与指股网无关,理性阅读,版权属于原作者若无意侵犯媒体或个人知识产权,请联系我们,本站将在第一时间删掉 ,指股网仅提供信息存储空间服务。