大模型核心原理

Transformer / Self-Attention · 位置编码 · Tokenization · Scaling Law · 解码采样 · 涌现与对齐

名词速查

首次阅读可跳过本表，直接看「场景问题」，遇到生词再回查。

本篇是模型本体这一组名词的归属页——下面这些词的完整解释（后台类比 + 系统职责 + 类比失效边界）只在这里展开，其他篇提到它们时只给一句话并链回本表。反过来，本篇正文里出现的推理侧、检索侧名词，其完整解释在各自归属页，本表末尾给出跳转。

同名异义：embedding 在两个上下文里不是一回事

这是最容易埋雷的一处——两侧都叫 embedding，但指的是不同东西，各自只在自己的归属页展开：

一句话记住差别：token embedding 是模型肚子里的权重，文本 embedding 是模型吐出来的结果。把两者混为一谈，就会推出"换个 embedding 模型能改善模型的语言能力"这类错误结论。

本篇引用的其他上下文名词

场景问题

为什么是 Transformer，不是 RNN/LSTM？

一个绕不开的面试起点：给定一段文本预测下一个 token，为什么 2017 年后大家全换成了 Transformer？

• RNN/LSTM 的两个死穴：① 时序依赖无法并行——第 t 步必须等第 t-1 步算完，训练慢；② 长程依赖靠隐状态一路传递，梯度消失，隔几十个 token 的信息就丢了。
• Transformer 的答案：用 Self-Attention 让序列里任意两个位置直接建立连接（路径长度 O(1) 而非 O(n)），且整段序列可一次性并行计算。代价是注意力的 O(n²) 复杂度——这是后面所有"长上下文优化"的根源。

主流大模型都是 Decoder-only

原始 Transformer 是 Encoder-Decoder（翻译任务）。今天主流生成式大模型（GPT、LLaMA、Qwen、Claude）几乎都是 Decoder-only：

Decoder-only 胜出的核心原因：任务大一统——预训练与推理都是同一个"next-token prediction"，天然适配指令、对话、few-shot；架构简单、易 scale。

实现方案

Self-Attention：缩放点积注意力

打个比方：一次 attention 就是一条带权的 join ——Q 是查询条件，K 是索引列，V 是要取的值列。拿 Q 去和每个 K 比一比算出相似度当权重，再按权重把各个 V 加权求和。类比失效边界：SQL join 是硬匹配，不命中就没这行；attention 对所有行都给一个 softmax 软权重，没有"不命中"这回事——不相关的 token 也会带着小权重掺进结果。而且它是 all-to-all 的，代价是 O(n²)：序列翻倍算力翻四倍，这是后面所有长上下文优化的根源。

一句话：每个 token 用自己的 Query 去和所有 token 的 Key 做相似度打分，softmax 归一化成权重，再对所有 Value 加权求和——得到"融合了上下文的新表示"。

Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V

为什么要除以 √d_k：因为维度越高，点积的数值越大——两个 128 维向量的点积，天然比两个 8 维向量的点积大一个量级。而 softmax 只看数值的相对差距：喂给它一组差距悬殊的大数，它会把几乎全部权重压给最大的那一个，其余趋近 0。除以 √d_k 就是把分数拉回到与维度无关的尺度，让权重分布保持"有区分但不极端"。

代一遍数字（d_k = 128，两组打分只差一点）：

不缩放：点积 ≈ [40, 36, 32]  → softmax ≈ [0.98, 0.018, 0.0003]  几乎只看第一个
缩放后：除以 √128 ≈ 11.3
        → [3.54, 3.19, 2.83] → softmax ≈ [0.44, 0.31, 0.25]     三者都参与

所以工程上意味着什么：不缩放的话，注意力会退化成"只看最相似的那一个 token"，等于丢掉了加权聚合的全部意义；而且极端的 softmax 在训练时几乎传不回梯度，模型学不动。这个除法不是数学洁癖，是让 attention 能正常工作的必要条件。

下图直观展示这个过程：当前 token 的 Query 依次给每个 Key 打分（扫描光束），softmax 归一化成权重（右侧长条），再按权重把各 Value 加权汇聚成"新表示"。权重高的 Key（K2）贡献最大。

• Q/K/V 都是输入 embedding 经三个可学习矩阵 W_Q / W_K / W_V 线性变换得到。
• 除以 √d_k：见上文的算例——维度越高点积越大，不缩放 softmax 会把权重全压给最大那个，注意力退化成"只看最像的一个"且梯度传不回来。
• 多头（Multi-Head）：把 Q/K/V 切成 h 份并行做注意力，再拼接——每个头学不同的关注模式（语法 / 指代 / 位置…），类似 CNN 的多通道。
• 因果 mask（Causal Mask）：生成时第 t 个 token 只能看到 ≤ t 的位置，把上三角置为 -∞，softmax 后为 0——保证"不偷看未来"。

import numpy as np

def scaled_dot_product_attention(Q, K, V, causal=True):
    # Q,K,V: [seq_len, d_k]
    d_k = Q.shape[-1]
    scores = Q @ K.T / np.sqrt(d_k)          # [seq, seq] 相似度矩阵
    if causal:                                # 因果 mask：屏蔽未来位置
        mask = np.triu(np.ones_like(scores), k=1).astype(bool)
        scores[mask] = -1e9
    scores = scores - scores.max(-1, keepdims=True)   # 数值稳定
    weights = np.exp(scores)
    weights /= weights.sum(-1, keepdims=True)          # softmax
    return weights @ V                        # 对 Value 加权求和

打个比方：自回归生成就像接龙作文——每写一个字之前，都要把前面所有字从头扫一遍再决定下一个（Self-Attention 全上下文打分），因果 mask 又规定绝对不许偷看后面还没写的字（-∞ 屏蔽上三角）。KV Cache 相当于把"已经读过的段落"提前记好笔记，下一次接龙只算新字的问题，不再重扫一遍。类比失效边界：真实接龙可以停下来"这句不好"再改一遍，自回归却是一路向下、无法回退——早期一个错 token 会污染后面全部生成，只能从错处重开；KV Cache 又是显存换算力，超长上下文一撞显存红线要么截断、要么代价陡增，绝非"越长越聪明"。

一个完整的 Decoder Block = Masked Multi-Head Attention → 残差 + LayerNorm → FFN(前馈) → 残差 + LayerNorm，堆叠 N 层。残差连接解决深层网络梯度问题，LayerNorm 稳定训练（现代模型多用 Pre-LN + RMSNorm）。

位置编码：注意力本身"看不见顺序"

Self-Attention 是排列不变的——打乱输入顺序，输出集合不变。必须显式注入位置信息：

• 正弦绝对编码（原版）：用不同频率的 sin/cos 给每个位置一个固定向量，加到 embedding 上。简单但外推差。
• RoPE（旋转位置编码，LLaMA/Qwen 主流）：把位置信息以旋转方式作用到 Q/K 上，天然编码相对位置，且有一定长度外推能力（配合 NTK/YaRN 插值可扩窗口）。
• ALiBi：直接在注意力分数上按距离加线性偏置，训练短、推理长的外推能力强。

Tokenization：模型眼里没有"字"，只有 token

文本先切成 token（子词单元）再查 embedding 表。主流是 BPE / BBPE / SentencePiece：

• BPE（Byte-Pair Encoding）：从字符开始，反复合并"最高频相邻对"，直到词表达到设定大小。高频词整体成 token，低频词拆成子词——平衡词表大小与 OOV。
• BBPE（Byte-level BPE，GPT 系）：在字节上做 BPE，任何 UTF-8 文本都能编码，永不 OOV，对中文/emoji 友好。

工程影响：① 中文一个字常占 1~2+ token，计费和上下文长度按 token 算；② prompt 里的空格、换行都是 token；③ 数字/罕见词被拆碎会影响数学能力。

预训练目标与 Scaling Law

• 预训练目标：Decoder-only 用自回归语言建模——最大化整段序列的 ∏ₜ P(xₜ | x_<ₜ)，即"预测下一个 token"。损失是交叉熵（等价于最小化困惑度 Perplexity）。
• Scaling Law：模型能力随参数量 N、数据量 D、算力 C呈幂律平滑提升。Chinchilla（DeepMind）修正了早期"堆参数"的偏见：给定算力预算，参数与数据应大致等比例增长（约 20 tokens/参数），此前的大模型多是"参数过大、数据喂不够"。

解码采样：同一个模型，输出风格由采样决定

模型每步输出的是全词表的概率分布，怎么从中选下一个 token 就是解码策略：

面试常问："temperature=0 是否完全确定？"——理论上贪心确定，但受浮点/并行归约顺序、MoE 路由等影响，实际仍可能有微小非确定性。

这一步在完整推理流程中的位置：采样是 generate() 的第 ⑥ 步，位于「输出层算出 logits」之后、「停止条件判定」之前，每生成一个 token 就执行一次。从 tokenize 到流式回传的完整链路、以及每一步对应哪个可观测指标（TTFT / TPOT），见 推理与微调优化 · 一次 generate() 的端到端流程。

为什么这么做

为什么 O(n²) 是"原罪"也是"取舍"

注意力要算 n×n 的相似度矩阵，序列翻倍则计算和显存都是 4 倍。为什么还用它？

• 换来的是任意位置直连 + 全并行，这是 RNN 给不了的表达力与训练效率。
• n² 的痛点催生了一整套优化：稀疏/滑窗注意力、FlashAttention（省显存不改结果）、线性注意力、以及推理侧的 KV Cache——详见 推理与微调优化。

为什么需要对齐（Alignment）

预训练只学会了"续写互联网文本"，并不天然"听话、有用、无害"。要变成可用的助手需对齐三步：

1. SFT（监督微调）：用高质量"指令-回答"对，教模型follow instruction。
2. RLHF / DPO：用人类偏好数据训练，让输出更符合人类偏好（有用/诚实/无害）。
3. 系统提示 + 护栏：运行时约束角色与边界。

为什么别的选择不行

常见误区与澄清

为什么不直接无限堆层/堆窗口

• 层数堆太深收益递减且难训（靠残差 + Norm 缓解，但仍有瓶颈）。
• 窗口靠 O(n²) 硬扩会撞显存墙；工程上靠 RoPE 插值（NTK/YaRN）、稀疏注意力、外部检索（RAG）分摊，而非无脑加长。

沉淀结论

面试常见问题清单（按主题分类）

架构

• Q：为什么 Transformer 取代 RNN/LSTM？ A：Self-Attention 让任意两位置直连（路径 O(1)）且整段并行；RNN 串行不能并行、长程靠隐状态传递会梯度消失。代价是注意力 O(n²)。
• Q：为什么主流大模型是 Decoder-only？ A：任务大一统——预训练与推理都是同一个 next-token prediction，天然适配指令/对话/few-shot，架构简单易 scale。
• Q：Attention 为什么除以 √d_k？ A：维度越高点积数值越大，softmax 只看相对差距——不缩放它会把权重几乎全压给最大那一个（注意力退化成"只看最像的一个 token"），且极端 softmax 梯度趋零、训练不稳。缩放把分数拉回与维度无关的尺度。
• Q：多头注意力的意义？ A：把 Q/K/V 切成 h 份并行，各头学不同关注模式（语法/指代/位置），类似 CNN 多通道。

位置与分词

• Q：注意力知道词序吗？怎么注入位置？ A：不知道（排列不变），必须显式注入——正弦绝对编码 / RoPE（相对位置、可外推）/ ALiBi（距离线性偏置）。
• Q：一个中文字是几个 token？ A：不定，常 1~2+ 个；BPE/BBPE 按高频子词/字节切，计费与上下文长度都按 token 算。

训练与解码

• Q：Scaling Law 与 Chinchilla 的结论？ A：能力随 N/D/C 幂律提升；给定算力，参数与数据应约等比例增长（~20 tokens/参数），别一味堆参数。
• Q：temperature=0 是否完全确定？ A：理论上贪心确定，但受浮点/并行归约顺序、MoE 路由影响，实际仍可能有微小非确定性。
• Q：Top-k 与 Top-p 区别？ A：Top-k 固定候选个数；Top-p（Nucleus）按累积概率动态截断，是主流默认。

能力边界

• Q：加事实知识该微调还是 RAG？ A：微调擅长改风格/格式/能力；加事实/时效知识优先 RAG。
• Q：上下文窗口越大越好吗？ A：否，有 O(n²) 开销 + "迷失在中间"，长窗≠会用长窗。

延伸阅读：推理与微调优化 · RAG 检索增强生成 · Agent 开发

记忆口诀

• Self-Attention：QKV 打分 / softmax 加权 / 任意位置直连 O(1) / 代价 O(n²)
• 架构选型：Encoder-only 理解 / Encoder-Decoder 翻译 / Decoder-only 生成大一统
• 位置编码：注意力排列不变 / 正弦绝对 / RoPE 相对可外推 / ALiBi 距离偏置
• 分词计费：BPE 高频子词 / BBPE 字节永不 OOV / 中文一字多 token
• Scale 配比：Chinchilla / 参数数据等比 / ~20 tokens 每参数
• 解码采样：Greedy 确定 / Temperature 随机度 / Top-k 定数 / Top-p 动态截断
• 对齐三步：SFT 指令 → RLHF/DPO 偏好 → 系统提示护栏

内容来源

综合整理：Attention Is All You Need（Vaswani 2017）、GPT/LLaMA/Chinchilla 论文、RoPE/ALiBi 论文、Hugging Face 与各家官方文档（2026-07；领域更新快，请以最新论文与官方文档为准）。

自测：合上资料能说清楚吗？

1. Transformer 靠什么取代了 RNN/LSTM？付出的代价是什么？

2. 为什么 Self-Attention 需要额外的位置编码？列举两种主流方案。

3. 对比 Top-k 与 Top-p（Nucleus）采样的区别，各自特点是什么？

4. 对比"微调"与"RAG"，加入新知识该选哪个？

5. Chinchilla 修正了此前"堆参数"的什么偏见？给出结论。