本教程面向希望深入理解大语言模型(LLM,Large Language Model)底层机制的开发者,围绕注意力机制的三个层面展开:语义层面的信息路由、计算层面的 FlashAttention 加速、架构层面的注意力残差(AttnRes,Attention Residuals),并以技术全景章节对比 DeepSeek、GLM 等主流模型的注意力优化栈。每个层面配有可运行的 Python 演示,正文中的运行数据来自本机实测,论文报告的结论单独标注引用来源。
前置教程
- Python环境管理详解与UV的安装与使用教程,用于创建本教程示例项目的 Python 环境并安装依赖。
- Pytorch安装与版本选择问题详解,用于理解 CPU 版与 CUDA 版 PyTorch 的差异,FlashAttention 基准测试需要 CUDA 版。
资源下载
- attention-demo 示例代码,含全部演示脚本、训练语料与运行说明。
- bert-base-chinese 模型权重,注意力热力图演示所需,下载解压后放置到
attention-demo/models/bert-base-chinese/。 - FlashAttention 论文与FlashAttention-2 论文,计算层面优化的原始文献。
- Attention Residuals 论文与官方仓库 MoonshotAI/Attention-Residuals,架构层面改进的原始文献与官方伪代码。
- DeepSeek-V2 论文、NSA 论文、GLM-4.5 论文与GLM-5 论文,MLA、稀疏注意力与主流模型选型的原始文献;FlashMLA 内核库与DeepSeek-V3.2-Exp 仓库,DSA 与 MLA 内核的官方实现。
- GLM-5.3 技术报告与GLM-5.3-Flash 技术报告,GLM 最新旗舰与混合注意力基座的官方资料;DeepSeek-V4.1-Flash 技术报告解析,CED 与 CSA2 架构及 KV 缓存压缩数据的来源。
1. 语义层面:注意力是可学习的信息路由
1.1 加权聚合:Q、K、V 的分工
注意力对值向量做加权求和,权重由查询与键的相似度决定。每个 token 的表示经过三个线性变换,分别得到查询(Query)、键(Key)、值(Value)向量,合称 QKV:
- Q(查询):当前 token 想要寻找的内容。
- K(键):每个位置对外暴露的匹配特征。
- V(值):每个位置实际承载、等待被聚合的信息。
计算公式为 Attention(Q, K, V) = softmax(Q Kᵀ / √d) V,其中 d 为向量维度,除以 √d 用于控制分数的量级、稳定 softmax 的梯度。整个过程是一次软性的内容寻址:给定当前 token 的查询,决定从哪些位置读取多少信息。权重连续、可叠加、可微,训练过程塑造这些权重,使路由服务于任务目标。
注意力权重高,表示该位置对当前 token 的表示贡献大。这个贡献可能来自语法依存、指代关系或语义关联,与「这段文本是全文主干」属于不同层面的判断。模型在分类任务中学到的聚焦模式,与生成任务中「下一步该看哪里」的路由模式,也由各自的训练目标决定。
1.2 手写注意力:逐步看清每个张量
示例项目用 4 个 token、8 维向量演示完整计算过程。运行:
python cli.py basic
核心计算只有六行:
Q = X @ Wq
K = X @ Wk
V = X @ Wv
scores = Q @ K.T / d ** 0.5
weights = torch.softmax(scores, dim=-1)
out = weights @ V
完整代码请查看 attention-demo/basics.py。本机运行(torch 2.14.1,CPU)得到的注意力权重矩阵如下,行是查询位置,列是被读取的位置:
| 查询 \ 键 | 我 | 爱 | 机器 | 学习 |
|---|---|---|---|---|
| 我 | 0.449 | 0.150 | 0.180 | 0.221 |
| 爱 | 0.262 | 0.347 | 0.198 | 0.193 |
| 机器 | 0.152 | 0.221 | 0.351 | 0.276 |
| 学习 | 0.157 | 0.146 | 0.402 | 0.295 |
每行权重之和为 1。输出矩阵的第 0 行等于各位置 V 按第 0 行权重的加权和,演示中用手动加权求和与矩阵乘法结果做了断言比对,两者一致。
1.3 多头注意力:多种关系并行编码
多头注意力把 Q、K、V 切分到多个子空间,每个头独立计算一组权重,再拼接输出。不同头在训练中分化出不同的关系类型。示例用 bert-base-chinese(BERT,Bidirectional Encoder Representations from Transformers,基于 Transformer 的双向编码器表示)对一句中文提取全部注意力权重:
python cli.py heatmap
模型权重从资源下载区获取,解压后放置到 attention-demo/models/bert-base-chinese/。演示句子为「小明把苹果给了小红,因为她饿了。」,分词后共 18 个 token,模型输出 12 层 × 12 头的注意力矩阵。完整代码请查看 attention-demo/heatmap.py。
本机实测中,「她」指向其他 token 的注意力权重前五名:
| 层 | 头 | 她 → 目标 | 权重 |
|---|---|---|---|
| 7 | 4 | 为 | 0.999 |
| 9 | 2 | 红 | 0.712 |
| 7 | 9 | 饿 | 0.650 |
| 4 | 7 | 饿 | 0.618 |
| 9 | 7 | 红 | 0.569 |
第 9 层的两个头把「她」指向「红」,对应指代消解;第 7 层头 9 与第 4 层头 7 指向「饿」,对应给予行为的语义原因;第 7 层头 4 以 0.999 的权重指向相邻的「为」,对应局部句法搭配。同一个 token 在不同头里读取完全不同的位置,多头机制由此并行编码多种关系。

热力图中每个子图是一层一个头的 18×18 权重矩阵,横轴为被读取位置,纵轴为查询位置。可以看到浅层头偏向相邻位置,深层头出现跨距离的聚焦列。
1.4 平方复杂度:并行友好与计算量的取舍
注意力每层需要计算 n×n 个位置对的分数,计算复杂度为 O(n²·d)。与循环神经网络(RNN,Recurrent Neural Network)相比,它的优势体现在并行度与位置间路径长度上:
| 特性 | RNN | 自注意力 |
|---|---|---|
| 顺序依赖 | 逐位置串行计算 | 全位置并行计算 |
| 任意两位置的最长信息路径 | O(n) | O(1) |
| 每层计算复杂度 | O(n·d²) | O(n²·d) |
单层内任意两个位置直接交互,使远距离关联的建立摆脱了循环网络的逐步传递。「注意力计算快」的准确含义是并行友好与短路径依赖,计算量本身随序列长度平方增长。示例对朴素实现做了耗时实测:
python cli.py scaling
本机 CPU 实测(4 头、每头 64 维、float32):
| 序列长度 n | 单次前向耗时 | N×N 分数矩阵大小 |
|---|---|---|
| 128 | 0.71 ms | 0.2 MB |
| 256 | 1.45 ms | 1.0 MB |
| 512 | 1.68 ms | 4.0 MB |
| 1024 | 12.21 ms | 16.0 MB |
| 2048 | 45.41 ms | 64.0 MB |
| 4096 | 232.08 ms | 256.0 MB |

n 从 1024 增加到 4096(4 倍),耗时从 12.21 ms 增加到 232.08 ms(约 19 倍),接近平方关系;较小 n 时固定开销占比高,曲线偏离理论线。分数矩阵大小一列为理论值,GPU 环境下该子命令会改为记录实测峰值显存。
2. 计算层面:FlashAttention 把同一件事算得更快
2.1 瓶颈在内存搬运:HBM 与 SRAM 的不对称
FlashAttention 保持注意力的数学定义不变,改变计算的组织方式。它的出发点是 GPU(Graphics Processing Unit,图形处理器)内存层次的带宽不对称。以 A100 显卡为例(FlashAttention 论文数据):
| 存储层级 | 容量 | 带宽 |
|---|---|---|
| HBM(High Bandwidth Memory,高带宽内存) | 40 GB | 约 1.5 TB/s |
| SRAM(Static Random-Access Memory,静态随机存取存储器,片上缓存) | 约 20 MB | 约 19 TB/s |
标准实现先算出完整的 N×N 分数矩阵,写入 HBM(显存),再读回做 softmax,再写入、再读回乘 V。序列变长时,这个矩阵的读写量按平方增长,IO(Input/Output,输入输出)开销超过浮点计算本身,成为主要延迟来源。
FlashAttention 用分块(Tiling)、在线 softmax 与重计算消除这次平方级的显存往返:分块让 Q、K、V 的小块在 SRAM 内完成全部计算,完整的 N×N 矩阵从不整体写入 HBM;在线 softmax 让分块计算在数学上成立;重计算让反向传播无需读取前向保存的注意力矩阵。
2.2 在线 softmax:分块成立的数学关键
softmax 归一化需要一整行的最大值与指数和。分块处理时每次只能看到一部分分数,在线 softmax 用运行中的最大值 m 与指数和 l 解决这个问题:每读入一个新块,更新 m 为新旧最大值的较大者,并按 exp(m旧 - m新) 的比例修正已累积的 l,再累加新块的指数项。单遍扫描结束后,m 与 l 与整行计算的结果完全一致。
def online_softmax_stats(x, chunk_size):
m = torch.tensor(float("-inf"))
l = torch.tensor(0.0)
for start in range(0, x.numel(), chunk_size):
block = x[start:start + chunk_size]
m_new = torch.maximum(m, block.max())
l = l * torch.exp(m - m_new) + torch.exp(block - m_new).sum()
m = m_new
return m, l
完整代码请查看 attention-demo/flash.py。运行验证:
python cli.py online-softmax
本机实测:4096 个分数按 512 分块,单遍扫描得到 m=4.1015、l=112.6280,据此还原的权重与 torch.softmax 的最大误差为 9.31e-10,断言通过。
2.3 分块前向与重计算
把在线 softmax 嵌入注意力前向,就得到 FlashAttention 的分块算法:维护运行最大值 m、指数和 l 与输出累加器 acc,逐块读入 K、V,在片上算分数并更新这些中间量,全程不物化 N×N 矩阵。
for start in range(0, N, block_size):
kj = k[:, :, start:start + block_size]
vj = v[:, :, start:start + block_size]
s = q @ kj.transpose(-2, -1) * scale
m_new = torch.maximum(m_i, s.max(dim=-1).values)
alpha = torch.exp(m_i - m_new)
p = torch.exp(s - m_new.unsqueeze(-1))
l_i = l_i * alpha + p.sum(dim=-1)
acc = acc * alpha.unsqueeze(-1) + p @ vj
m_i = m_new
return acc / l_i.unsqueeze(-1)
完整代码请查看 attention-demo/flash.py。本机实测:序列 256 按 64 分块,输出与朴素注意力的最大误差为 2.38e-07(float32),断言通过。分块计算在数学上精确等价,FlashAttention 属于精确注意力,模型质量不受影响。
反向传播阶段,标准做法是从 HBM 读取前向保存的注意力矩阵。FlashAttention 只保存 softmax 的归一化因子(m 与 l),反向时在片上重计算需要的分数块。浮点运算量增加,慢速显存读写大幅减少,整体更快。论文证明该算法的 IO 复杂度在给定 SRAM 容量下达到理论最优,注意力部分的内存占用降为序列长度的线性级别。
2.4 在 PyTorch 中使用与基准测试
PyTorch 的缩放点积注意力接口(SDPA,Scaled Dot-Product Attention)torch.nn.functional.scaled_dot_product_attention 内置了 FlashAttention-2 内核,通过后端选择启用:
from torch.nn.attention import sdpa_kernel, SDPBackend
with sdpa_kernel([SDPBackend.FLASH_ATTENTION]):
out = F.scaled_dot_product_attention(q, k, v)
Flash 后端要求 CUDA(Compute Unified Device Architecture,统一计算设备架构)版 PyTorch、Ampere 架构及以上的 NVIDIA 显卡(如 RTX 30 系列)、float16 或 bfloat16(半精度浮点格式)输入。vLLM 等推理引擎默认启用同类内核,部署侧的用法参见vLLM的安装与多卡部署大语言模型完整教程。
示例提供基准子命令,对比朴素实现、SDPA-Flash 与 SDPA-MemEfficient 三种后端在序列长度 512 到 8192 上的耗时与峰值显存:
python cli.py flash-bench
完整代码请查看 attention-demo/flash.py。基准曲线中,朴素实现的峰值显存随 n 平方增长,SDPA-Flash 保持线性;长序列下 Flash 后端的耗时优势逐步扩大。本教程第 1 章的耗时曲线为本机 CPU 实测,GPU 基准脚本随示例提供,读者在符合要求的显卡上运行即可获得本机实测曲线。论文报告的参考数据如下:
FlashAttention 论文报告:在 GPT-2(Generative Pre-Trained Transformer,生成式预训练变换器)上将注意力计算提速最高 7.6 倍,注意力内存占用降为序列长度的线性级别(A100 显卡)。FlashAttention-2 在此基础上改进了并行划分与分块策略,进一步减少非矩阵乘法运算。
3. 技术全景:注意力优化栈与主流模型选型
3.1 优化栈的四个层面
FlashAttention 属于计算层面优化。主流大模型同时叠加多个层面的技术:
| 层面 | 代表技术 | 改变什么 | 是否需要训练 |
|---|---|---|---|
| 计算层面内核 | FlashAttention-2/3/4、FlashDecoding | IO 组织与并行划分,数学精确等价 | 否 |
| KV 缓存压缩 | MQA(Multi-Query Attention,多查询注意力)、GQA(Grouped-Query Attention,分组查询注意力)、MLA(Multi-head Latent Attention,多头潜在注意力) | KV 头数或存储维度 | 是 |
| 稀疏注意力 | 滑动窗口、NSA(Native Sparse Attention,原生稀疏注意力)、DSA(DeepSeek Sparse Attention,DeepSeek 稀疏注意力)、MoBA(Mixture of Block Attention,块混合注意力) | 参与计算的 token 对数量 | 是,可继续预训练引入 |
| 线性与混合注意力 | KDA(Kimi Delta Attention,Kimi Delta 注意力)、gated DeltaNet、Mamba 混合 | 用线性复杂度机制替代部分 softmax 注意力 | 是 |
| 深度方向聚合 | AttnRes(见第 4 章) | 各层输出的聚合方式 | 是 |
KV 缓存指推理时缓存的历史 token 的键与值向量,其大小直接决定单张显卡能容纳的上下文长度。MQA(arXiv:1911.02150)让所有查询头共享一组 KV;GQA(arXiv:2305.13245)把查询头分组,每组共享一组 KV;MLA(arXiv:2405.04434)把 KV 压缩为低维潜向量,缓存只存潜向量,计算时经上投影恢复 K 与 V。三者逐步降低 KV 缓存占用,MLA 把每 token 的缓存压缩到单个低维向量的量级。
稀疏注意力减少参与计算的 token 对数量。滑动窗口注意力只在固定的局部窗口内计算;NSA(arXiv:2502.11089)、DSA 与 MoBA(arXiv:2502.13189)按内容动态选择相关 token,MoBA 以块为粒度选择。线性注意力用线性复杂度的循环或状态空间机制替代 softmax 注意力,如月之暗面 Kimi Linear 的 KDA、Qwen3-Next 的 gated DeltaNet 与 Mamba 混合架构;GLM-5.3-Flash 已把线性注意力层与稀疏注意力层混合作为主干(见 3.3)。GLM-5 论文也报告了对滑动窗口与 gated DeltaNet 变体的消融实验。
计算层面内核保持数学定义不变:FlashAttention-3(arXiv:2407.08608)面向 Hopper 架构,利用异步执行与低精度计算;FlashAttention-4(2026-03)面向 Blackwell 架构(B200/GB200),以算法循环结构与内核流水线协同设计应对算力与带宽增速的失衡;FlashDecoding 在解码阶段沿 KV 序列拆分并行,提升单 token 生成速度。vLLM 等推理引擎还提供 PagedAttention,以分页方式管理 KV 缓存、消除显存碎片,与上述技术叠加使用,部署侧的用法参见vLLM的安装与多卡部署大语言模型完整教程。
这些层面相互正交,可按需叠加:架构层面技术决定算什么、存多少,计算层面内核决定怎么算得快。DeepSeek 与 GLM-5 都采用 MLA + DSA 架构,底层运行 FlashAttention 系内核。
3.2 DeepSeek:MLA + DSA
DeepSeek 在 V2(2024-05)引入 MLA,V3/R1/V3.1 沿用。MLA 把每个 token 的 KV 压缩为低维潜向量:缓存只存潜向量,计算时经上投影恢复,推理显存大幅下降,为更长上下文与更大批量腾出空间。
2025 年 2 月,DeepSeek 开源 FlashMLA 内核库,为 Hopper 架构 GPU 提供高效的 MLA 解码内核,采用与 FlashAttention 相同的分块与在线 softmax 技术;同月发布的 NSA 论文提出硬件对齐、原生可训练的稀疏注意力机制,是 DSA 的前身探索。
DSA 在 V3.2-Exp(2025-09)引入:轻量索引器(Lightning Indexer)先对全部历史 Key 快速打分,选出 top-k 个最相关 token,主注意力只对这些 token 计算。官方仓库的基准显示,V3.2-Exp 与 V3.1-Terminus 在公开基准上持平,长上下文训练与推理效率大幅提升。DSA 的稀疏注意力内核在 FlashMLA 中开源。
DSA 谱系在 V4 系列继续演进。V4(2026-04 预览发布)为支持百万 token 上下文,采用压缩稀疏注意力(CSA,Compressed Sparse Attention)与重度压缩注意力 HCA 的混合架构,引入序列维度压缩(每 r 个 token 合并为一个缓存条目)与滑窗注意力分支,V4-Flash 的全局 KV 缓存为 3514 字节/token(V3 为 576 字节/token)。V4.1-Flash(2026-09,技术报告《Pushing the Limits of KV Cache Compression》)转向 CED(Causal Encoder-Decoder,因果编码器-解码器)+ CSA2:40 层拆为 20 层编码器与 20 层解码器,解码器的全局 KV 由编码器末层隐状态经层独立投影生成,prefill 计算近乎减半;CSA2 在条目、序列、层三个维度联合压缩,配合 FP4 量化把全局 KV 缓存压至 890 字节/token,约为 V4-Flash 的 1/4。
内核侧,FlashMLA 已发布 V4.1 的 FP8/FP4 KV 缓存内核;2026-09-30 版本起移除 Hopper 架构与 V3/V3.2/V4.0 支持,转向 Blackwell(B200)与华为昇腾 950,昇腾稀疏 prefill 达 410 TFlops(硬件峰值的 95%)。
3.3 GLM:从 GQA 到 MLA + DSA
GLM-4.5/4.6 采用 GQA,96 个查询头配 8 个 KV 头,配合 QK-Norm(对查询与键向量做归一化,稳定注意力 logits 的范围)与部分 RoPE(Rotary Position Embedding,旋转位置编码,只在部分维度应用)(arXiv:2508.06471)。
GLM-5(2026-02,arXiv:2602.15763)转向 MLA + DSA,并对 MLA 做了两处适配:
- Muon Split:Muon 优化器原本对整体上投影矩阵做矩阵正交化;Muon Split 把上投影矩阵按注意力头拆分后独立正交化,让不同头的投影权重以不同尺度更新,使 MLA 在 Muon 下的性能追平 GQA-8(8 个 KV 头的 GQA),注意力 logits 在预训练中保持稳定,无需裁剪策略。
- MLA-256:MLA 解码时执行 576 维点积,高于 GQA 的 128 维;GLM-5 把头维度从 192 增至 256、头数减少 1/3,训练计算量与参数量保持不变,解码计算量下降。
DSA 从稠密基座模型经继续预训练引入,分两阶段:1000 步稠密热身,随后 20B token 的稀疏适配(DeepSeek-V3.2 的 DSA 训练用了 943.7B token)。论文报告长序列注意力计算降低约 1.5–2 倍,128K 上下文的 GPU 成本减半,长上下文基准与 MLA 基座模型持平。
GLM-5.3(2026-09)沿用与 GLM-5.2 相同的基础模型,提升全部来自后训练,注意力架构仍为 MLA + DSA,上下文扩展至 1M。
GLM-5.3-Flash(2026-08,320B 总参 / 18B 激活)是重新训练的原生多模态基座,也是首个采用稀疏注意力与线性注意力混合架构的开源前沿模型:45 层主干以线性注意力经状态建模捕获局部依赖,以稀疏注意力经轻量索引器召回全局上下文;IndexPool 通过加权池化把索引器的 4 个缓存向量压缩为 1 个,残差采用流形约束超连接(mHC,Manifold-Constrained Hyper-Connections)。据开源权重解析,45 层中 34 层为 KDA 线性注意力,11 层为 NoPE(No Position Embedding,无位置编码)MLA 配 IndexPool 稀疏注意力,语言主干不使用 RoPE。官方数据:相比 GLM-5.3,注意力计算量降低 3.01 倍,KV 缓存降低 4.44 倍。
| 模型 | 注意力架构 | KV 压缩 | 稀疏化 |
|---|---|---|---|
| DeepSeek-V3/R1 | MLA | 潜向量压缩 | 无 |
| DeepSeek-V3.2 | MLA + DSA | 潜向量压缩 | 索引器选 top-k token |
| DeepSeek-V4.1-Flash | CED + CSA2 | 条目/序列/层三维压缩 + FP4 | CSA2 稀疏选择 |
| GLM-4.5/4.6 | GQA(96 查询头 / 8 KV 头) | 头共享 | 无 |
| GLM-5 | MLA-256 + DSA | 潜向量压缩 | 索引器选 top-k token |
| GLM-5.3 | MLA + DSA(同 GLM-5 基座) | 潜向量压缩 | 索引器选 top-k token |
| GLM-5.3-Flash | KDA + NoPE MLA 混合(34:11 层) | 线性状态 + 潜向量 | IndexPool 池化索引器 |
4. 架构层面:注意力残差把注意力用到深度方向
4.1 残差连接的本意与 PreNorm 的副作用
标准 Transformer 的残差连接为 x + Sublayer(x):每个子层的输出以固定单位权重加回输入。它为梯度提供直通路径,使上百层的网络能够训练;某个子层学不到有用变换时,可以把输出压到接近零,等效跳过自身。残差的设计目标是保底,信息聚合方式写死为均匀累加。
现代 LLM 普遍采用 PreNorm(前置归一化)结构:归一化放在子层之前,残差流本身不做归一化。均匀累加在这种结构下使残差流的幅值近似按层数的平方根增长,同时使早期层写入的信息在总和中的相对占比持续下降。信息本身保留在残差流中,「稀释」描述的是相对占比的衰减与幅值的失衡,与「信息丢失」是两回事。月之暗面(Moonshot AI)Kimi 团队 2026 年 3 月发布的技术报告《Attention Residuals》(arXiv:2603.15031)将这一现象作为改进的出发点。
4.2 稀释现象:数值模拟与微型模型实测
示例对稀释现象做了数值模拟与微型模型实测:
python cli.py dilution
数值模拟:256 维向量,100 层独立子层输出逐层累加。本机实测残差流幅值从第 1 层的 15.03 增长到第 100 层的 168.54,与 √L 参考值 150.28 同量级;初始信息的相对占比从 1.000 衰减到 0.089。
微型模型实测:随机初始化的 8 层 PreNorm GPT(d=128),逐子层记录残差流 L2 范数,16 个子层从 1.19 增长到 11.15。PreNorm 的 LayerNorm 只约束子层输入,残差流的增长不受其限制。

左图为模拟的幅值增长与 √L 参考线,中图为初始信息相对占比的衰减曲线,右图为微型 GPT 的逐子层实测幅值。模拟与实测同向,稀释是均匀累加结构的固有数值现象。
4.3 AttnRes:用 softmax 注意力替代固定累加
注意力残差(AttnRes)把深度方向的信息聚合交给注意力:第 l 层的输入由前面各层输出的加权和给出,h_l = Σ α(i→l) · v_i,权重 α 由一个每层独立的可学习伪查询向量 w_l 与历史层表示计算得到,经 softmax 归一化。查询与层的前向计算解耦,权重随输入内容变化,每个 token 位置独立计算一组深度权重。第 50 层可以直接给第 2 层的表示分配高权重,中间层不再对该信号做均匀摊薄。
Full AttnRes 对全部历史层做注意力,算术开销 O(L²d)、内存 O(Ld)。大规模训练普遍启用激活重计算与流水线并行(Pipeline Parallelism),历史层输出需要显式保留并跨阶段传输,O(Ld) 的内存与通信开销随之显现。Block AttnRes 把 L 层划分为 N 个块:块内用标准残差累加,块间只对 N 个块级表示与 token 嵌入做注意力,内存与通信降为 O(Nd)。论文实验显示 N≈8 即可恢复 Full AttnRes 的大部分收益。
工程配套上,论文提出跨阶段缓存消除流水线下的重复传输,以及两阶段推理策略:块间查询批量计算,块内部分和顺序累加,两者用在线 softmax(见 2.2)合并。论文报告的开销为:典型推理负载下延迟增加低于 2%;启用流水线并行时训练端到端开销低于 4%。Kimi K3 基座的技术栈已包含注意力残差。
4.4 教学复现:微型 GPT 上的 Block AttnRes
示例依据官方仓库伪代码实现了教学版 Block AttnRes,在字符级微型 GPT 上与标准残差对照训练:
python cli.py attnres
| 配置 | 值 |
|---|---|
| 语料 | 3684 字符自编写中文文本,词表 658 |
| 模型 | d=128,8 层,4 头,序列 64,批 32 |
| 块大小 | 2 层/块 |
| 训练 | AdamW,学习率 3e-4,300 步,CPU |
块间聚合的核心实现与官方伪代码一致:块表示堆叠后做 RMSNorm(Root Mean Square Normalization,均方根归一化)得到键,可学习伪查询与键点积得到 logits,沿深度维度 softmax 后对块表示加权求和。
def block_attn_res(blocks, partial_block, proj, norm):
V = torch.stack(blocks + [partial_block])
K = norm(V)
logits = torch.einsum("d,nbtd->nbt", proj.weight.squeeze(), K)
weights = logits.softmax(0)
return torch.einsum("nbt,nbtd->btd", weights, V)
完整代码请查看 attention-demo/residual.py。每个子层(attn 与 mlp)之前各做一次块间聚合,块边界处把已完成块的部分和存入块列表并重置累加器。本机实测结果:
| 变体 | 参数量 | 最终平滑损失 | 末端残差流幅值 |
|---|---|---|---|
| standard | 1,763,072 | 0.5009 | 7.63 |
| attnres | 1,767,424 | 0.4527 | 4.21 |
Block AttnRes 仅增加 4352 个参数(约 0.25%)。训练损失曲线全程领先标准残差;残差流幅值曲线呈现锯齿形态,每个块边界处部分和重置、幅值回落,末端幅值 4.21 对比标准残差的 7.63,幅值增长受到约束。


深度注意力权重矩阵展示了学到的路由结构:浅层子层把大部分权重分配给嵌入与第一个块,深层子层的权重跨块分布,输出层更多读取当前块部分和。权重随层位置与内容变化,「该从哪些层读取多少」由训练决定。

教学复现基于单种子、300 步、3684 字符语料的小规模实验,用于观察机制与训练动态;损失差异的幅度不构成对论文性能结论的验证,论文结论以 48B 模型、1.4T token 的对照实验为准。
4.5 论文实验数据
以下数据引自《Attention Residuals》技术报告与官方仓库,实验基座为 Kimi Linear 架构(48B 总参数、3B 激活参数的混合专家模型),预训练 1.4T token:
| 类别 | 基准 | 标准残差 | AttnRes |
|---|---|---|---|
| 通用 | MMLU | 73.5 | 74.6 |
| 通用 | GPQA-Diamond | 36.9 | 44.4 |
| 通用 | BBH | 76.3 | 78.0 |
| 通用 | TriviaQA | 69.9 | 71.8 |
| 数学与代码 | Math | 53.5 | 57.1 |
| 数学与代码 | HumanEval | 59.1 | 62.2 |
| 数学与代码 | MBPP | 72.0 | 73.9 |
| 中文 | CMMLU | 82.0 | 82.9 |
| 中文 | C-Eval | 79.6 | 82.5 |
缩放定律(Scaling Law)实验中,Block AttnRes 在所有计算预算下一致优于基线,达到基线损失水平所需的计算量为基线的 1/1.25。训练动态分析显示 AttnRes 模型的输出幅值随深度保持有界,梯度范数在各层间分布更均匀。多步推理(GPQA-Diamond +7.5)与代码生成(HumanEval +3.1)的提升幅度最大。
5. 总结
5.1 核心内容回顾
- 注意力是可学习的内容驱动信息路由:Q、K、V 分工完成软性加权聚合,多头并行编码句法、指代、语义等多种关系,权重含义由任务与训练目标决定。
- 注意力的优势是并行友好与 O(1) 位置间路径,计算量随序列长度平方增长,本机 CPU 实测验证了平方关系。
- FlashAttention 通过分块、在线 softmax 与重计算消除 N×N 矩阵的显存往返,数学上精确等价,内存降为线性;PyTorch SDPA 已内置其内核。
- 注意力优化栈分层叠加:计算层面内核数学精确等价、即插即用,KV 压缩(MQA/GQA/MLA)、稀疏注意力(NSA/DSA)与线性注意力属于需要训练的架构改动;DeepSeek 与 GLM 的旗舰模型采用 MLA + DSA,底层运行 FlashAttention 系内核;新一代 Flash 型号(DeepSeek-V4.1-Flash、GLM-5.3-Flash)转向线性与稀疏混合架构,把 KV 缓存压缩推向极限。
- 均匀残差累加在 PreNorm 结构下带来幅值增长与早期信息稀释,本机模拟与微型模型实测均观察到该现象。
- AttnRes 用深度方向的 softmax 注意力替代固定累加,Block 变体把开销控制在推理 <2%、流水线训练 <4%,论文报告 1.25 倍计算效率与九项基准全面提升。
- 教学复现以 0.25% 的额外参数实现了 Block AttnRes 的完整机制,深度注意力权重与幅值约束均可可视化观察。
完成本教程后,可进入SFT监督微调概念详解与Unsloth进行SFT实战完整教程,在真实模型上实践训练流程。
5.2 常见问题与解答
问:注意力权重高,是否说明该 token 是全文的核心信息?
答:权重高表示该位置对当前 token 的表示贡献大,贡献来源可能是句法依存、指代或语义关联。重要性判断与任务相关,分类任务与生成任务学到的聚焦模式不同,全文主干的提取需要任务层面的额外设计。
问:FlashAttention 会改变模型输出吗?
答:FlashAttention 是精确注意力。本教程的分块演示在 float32 下与朴素实现的最大误差为 2.38e-07,在线 softmax 与标准 softmax 的最大误差为 9.31e-10。CUDA 内核使用半精度浮点,数值差异处于浮点舍入误差范围,模型质量不受影响。
问:FlashAttention 与 MLA、DSA 是互斥的吗?
答:三者作用于不同层面,可以叠加。FlashAttention 改变计算的组织方式,数学精确等价,任何注意力变体都能直接使用;MLA 改变 KV 的存储结构,DSA 改变参与计算的 token 对,两者属于架构改动,需要训练才能成立。DeepSeek 与 GLM-5 同时使用这三类技术。
问:没有 GPU 能完成本教程吗?
答:除 flash-bench 外的全部子命令均可在 CPU 运行,包括热力图(bert-base-chinese 单句推理)与 Block AttnRes 教学复现(300 步约数分钟)。flash-bench 需要 Ampere 架构及以上显卡与 CUDA 版 PyTorch。
问:残差连接会导致信息缺失吗?
答:早期层的信息保留在残差流中,均匀累加带来的是相对占比稀释与幅值无约束增长。AttnRes 针对聚合方式做改进,把固定累加替换为可学习的选择性读取。
问:Block AttnRes 能直接用于自己的模型吗?
答:官方伪代码按即插即用设计,块内保持标准残差、块间插入聚合即可。本教程的教学复现提供了最小可运行实现;大规模训练需要配套跨阶段缓存与两阶段推理等通信优化,这部分属于分布式训练基础设施话题。
评论