本教程面向希望深入理解大语言模型(LLM,Large Language Model)底层机制的开发者,围绕注意力机制的三个层面展开:语义层面的信息路由、计算层面的 FlashAttention 加速、架构层面的注意力残差(AttnRes,Attention Residuals),并以技术全景章节对比 DeepSeek、GLM 等主流模型的注意力优化栈。每个层面配有可运行的 Python 演示,正文中的运行数据来自本机实测,论文报告的结论单独标注引用来源。

前置教程

资源下载

1. 语义层面:注意力是可学习的信息路由

1.1 加权聚合:Q、K、V 的分工

注意力对值向量做加权求和,权重由查询与键的相似度决定。每个 token 的表示经过三个线性变换,分别得到查询(Query)、键(Key)、值(Value)向量,合称 QKV:

  • Q(查询):当前 token 想要寻找的内容。
  • K(键):每个位置对外暴露的匹配特征。
  • V(值):每个位置实际承载、等待被聚合的信息。

计算公式为 Attention(Q, K, V) = softmax(Q Kᵀ / √d) V,其中 d 为向量维度,除以 √d 用于控制分数的量级、稳定 softmax 的梯度。整个过程是一次软性的内容寻址:给定当前 token 的查询,决定从哪些位置读取多少信息。权重连续、可叠加、可微,训练过程塑造这些权重,使路由服务于任务目标。

graph LR X[词嵌入 X] --> Q[Q 查询] X --> K[K 键] X --> V[V 值] Q --> S[点积分数除以根号d] K --> S S --> W[softmax 归一化权重] W --> O[输出为权重乘V] V --> O style X fill:#e8f4f8,stroke:#1a6b8a style Q fill:#d6eaf8,stroke:#2980b9 style K fill:#d6eaf8,stroke:#2980b9 style V fill:#d6eaf8,stroke:#2980b9 style S fill:#ffecd6,stroke:#b7950b style W fill:#fdebd0,stroke:#e67e22 style O fill:#d5f5e3,stroke:#27ae60

注意力权重高,表示该位置对当前 token 的表示贡献大。这个贡献可能来自语法依存、指代关系或语义关联,与「这段文本是全文主干」属于不同层面的判断。模型在分类任务中学到的聚焦模式,与生成任务中「下一步该看哪里」的路由模式,也由各自的训练目标决定。

1.2 手写注意力:逐步看清每个张量

示例项目用 4 个 token、8 维向量演示完整计算过程。运行:

python cli.py basic

核心计算只有六行:

Q = X @ Wq
K = X @ Wk
V = X @ Wv
scores = Q @ K.T / d ** 0.5
weights = torch.softmax(scores, dim=-1)
out = weights @ V

完整代码请查看 attention-demo/basics.py。本机运行(torch 2.14.1,CPU)得到的注意力权重矩阵如下,行是查询位置,列是被读取的位置:

查询 \ 键 我 爱 机器 学习
我 0.449 0.150 0.180 0.221
爱 0.262 0.347 0.198 0.193
机器 0.152 0.221 0.351 0.276
学习 0.157 0.146 0.402 0.295

每行权重之和为 1。输出矩阵的第 0 行等于各位置 V 按第 0 行权重的加权和,演示中用手动加权求和与矩阵乘法结果做了断言比对,两者一致。

1.3 多头注意力:多种关系并行编码

多头注意力把 Q、K、V 切分到多个子空间,每个头独立计算一组权重,再拼接输出。不同头在训练中分化出不同的关系类型。示例用 bert-base-chinese(BERT,Bidirectional Encoder Representations from Transformers,基于 Transformer 的双向编码器表示)对一句中文提取全部注意力权重:

python cli.py heatmap

模型权重从资源下载区获取,解压后放置到 attention-demo/models/bert-base-chinese/。演示句子为「小明把苹果给了小红,因为她饿了。」,分词后共 18 个 token,模型输出 12 层 × 12 头的注意力矩阵。完整代码请查看 attention-demo/heatmap.py。

本机实测中,「她」指向其他 token 的注意力权重前五名:

层 头 她 → 目标 权重
7 4 为 0.999
9 2 红 0.712
7 9 饿 0.650
4 7 饿 0.618
9 7 红 0.569

第 9 层的两个头把「她」指向「红」,对应指代消解;第 7 层头 9 与第 4 层头 7 指向「饿」,对应给予行为的语义原因;第 7 层头 4 以 0.999 的权重指向相邻的「为」,对应局部句法搭配。同一个 token 在不同头里读取完全不同的位置,多头机制由此并行编码多种关系。

bert-base-chinese 多头注意力热力图

热力图中每个子图是一层一个头的 18×18 权重矩阵,横轴为被读取位置,纵轴为查询位置。可以看到浅层头偏向相邻位置,深层头出现跨距离的聚焦列。

1.4 平方复杂度:并行友好与计算量的取舍

注意力每层需要计算 n×n 个位置对的分数,计算复杂度为 O(n²·d)。与循环神经网络(RNN,Recurrent Neural Network)相比,它的优势体现在并行度与位置间路径长度上:

特性 RNN 自注意力
顺序依赖 逐位置串行计算 全位置并行计算
任意两位置的最长信息路径 O(n) O(1)
每层计算复杂度 O(n·d²) O(n²·d)

单层内任意两个位置直接交互,使远距离关联的建立摆脱了循环网络的逐步传递。「注意力计算快」的准确含义是并行友好与短路径依赖,计算量本身随序列长度平方增长。示例对朴素实现做了耗时实测:

python cli.py scaling

本机 CPU 实测(4 头、每头 64 维、float32):

序列长度 n 单次前向耗时 N×N 分数矩阵大小
128 0.71 ms 0.2 MB
256 1.45 ms 1.0 MB
512 1.68 ms 4.0 MB
1024 12.21 ms 16.0 MB
2048 45.41 ms 64.0 MB
4096 232.08 ms 256.0 MB

朴素注意力平方复杂度实测

n 从 1024 增加到 4096(4 倍),耗时从 12.21 ms 增加到 232.08 ms(约 19 倍),接近平方关系;较小 n 时固定开销占比高,曲线偏离理论线。分数矩阵大小一列为理论值,GPU 环境下该子命令会改为记录实测峰值显存。

2. 计算层面:FlashAttention 把同一件事算得更快

2.1 瓶颈在内存搬运:HBM 与 SRAM 的不对称

FlashAttention 保持注意力的数学定义不变,改变计算的组织方式。它的出发点是 GPU(Graphics Processing Unit,图形处理器)内存层次的带宽不对称。以 A100 显卡为例(FlashAttention 论文数据):

存储层级 容量 带宽
HBM(High Bandwidth Memory,高带宽内存) 40 GB 约 1.5 TB/s
SRAM(Static Random-Access Memory,静态随机存取存储器,片上缓存) 约 20 MB 约 19 TB/s

标准实现先算出完整的 N×N 分数矩阵,写入 HBM(显存),再读回做 softmax,再写入、再读回乘 V。序列变长时,这个矩阵的读写量按平方增长,IO(Input/Output,输入输出)开销超过浮点计算本身,成为主要延迟来源。

graph LR subgraph 标准实现 A1[计算 N*N 分数矩阵] --> A2[写入 HBM] A2 --> A3[读回做 softmax] A3 --> A4[权重写入 HBM] A4 --> A5[读回乘 V] end subgraph FlashAttention B1[Q K V 分块载入 SRAM] --> B2[片上完成分数 softmax 乘V] B2 --> B3[仅输出块写回 HBM] end style A1 fill:#fadbd8,stroke:#c0392b style A2 fill:#fadbd8,stroke:#c0392b style A3 fill:#fadbd8,stroke:#c0392b style A4 fill:#fadbd8,stroke:#c0392b style A5 fill:#fadbd8,stroke:#c0392b style B1 fill:#d5f5e3,stroke:#27ae60 style B2 fill:#d5f5e3,stroke:#27ae60 style B3 fill:#d5f5e3,stroke:#27ae60

FlashAttention 用分块(Tiling)、在线 softmax 与重计算消除这次平方级的显存往返:分块让 Q、K、V 的小块在 SRAM 内完成全部计算,完整的 N×N 矩阵从不整体写入 HBM;在线 softmax 让分块计算在数学上成立;重计算让反向传播无需读取前向保存的注意力矩阵。

2.2 在线 softmax:分块成立的数学关键

softmax 归一化需要一整行的最大值与指数和。分块处理时每次只能看到一部分分数,在线 softmax 用运行中的最大值 m 与指数和 l 解决这个问题:每读入一个新块,更新 m 为新旧最大值的较大者,并按 exp(m旧 - m新) 的比例修正已累积的 l,再累加新块的指数项。单遍扫描结束后,m 与 l 与整行计算的结果完全一致。

def online_softmax_stats(x, chunk_size):
    m = torch.tensor(float("-inf"))
    l = torch.tensor(0.0)
    for start in range(0, x.numel(), chunk_size):
        block = x[start:start + chunk_size]
        m_new = torch.maximum(m, block.max())
        l = l * torch.exp(m - m_new) + torch.exp(block - m_new).sum()
        m = m_new
    return m, l

完整代码请查看 attention-demo/flash.py。运行验证:

python cli.py online-softmax

本机实测:4096 个分数按 512 分块,单遍扫描得到 m=4.1015、l=112.6280,据此还原的权重与 torch.softmax 的最大误差为 9.31e-10,断言通过。

2.3 分块前向与重计算

把在线 softmax 嵌入注意力前向,就得到 FlashAttention 的分块算法:维护运行最大值 m、指数和 l 与输出累加器 acc,逐块读入 K、V,在片上算分数并更新这些中间量,全程不物化 N×N 矩阵。

for start in range(0, N, block_size):
    kj = k[:, :, start:start + block_size]
    vj = v[:, :, start:start + block_size]
    s = q @ kj.transpose(-2, -1) * scale
    m_new = torch.maximum(m_i, s.max(dim=-1).values)
    alpha = torch.exp(m_i - m_new)
    p = torch.exp(s - m_new.unsqueeze(-1))
    l_i = l_i * alpha + p.sum(dim=-1)
    acc = acc * alpha.unsqueeze(-1) + p @ vj
    m_i = m_new
return acc / l_i.unsqueeze(-1)

完整代码请查看 attention-demo/flash.py。本机实测:序列 256 按 64 分块,输出与朴素注意力的最大误差为 2.38e-07(float32),断言通过。分块计算在数学上精确等价,FlashAttention 属于精确注意力,模型质量不受影响。

反向传播阶段,标准做法是从 HBM 读取前向保存的注意力矩阵。FlashAttention 只保存 softmax 的归一化因子(m 与 l),反向时在片上重计算需要的分数块。浮点运算量增加,慢速显存读写大幅减少,整体更快。论文证明该算法的 IO 复杂度在给定 SRAM 容量下达到理论最优,注意力部分的内存占用降为序列长度的线性级别。

2.4 在 PyTorch 中使用与基准测试

PyTorch 的缩放点积注意力接口(SDPA,Scaled Dot-Product Attention)torch.nn.functional.scaled_dot_product_attention 内置了 FlashAttention-2 内核,通过后端选择启用:

from torch.nn.attention import sdpa_kernel, SDPBackend

with sdpa_kernel([SDPBackend.FLASH_ATTENTION]):
    out = F.scaled_dot_product_attention(q, k, v)

Flash 后端要求 CUDA(Compute Unified Device Architecture,统一计算设备架构)版 PyTorch、Ampere 架构及以上的 NVIDIA 显卡(如 RTX 30 系列)、float16 或 bfloat16(半精度浮点格式)输入。vLLM 等推理引擎默认启用同类内核,部署侧的用法参见vLLM的安装与多卡部署大语言模型完整教程。

示例提供基准子命令,对比朴素实现、SDPA-Flash 与 SDPA-MemEfficient 三种后端在序列长度 512 到 8192 上的耗时与峰值显存:

python cli.py flash-bench

完整代码请查看 attention-demo/flash.py。基准曲线中,朴素实现的峰值显存随 n 平方增长,SDPA-Flash 保持线性;长序列下 Flash 后端的耗时优势逐步扩大。本教程第 1 章的耗时曲线为本机 CPU 实测,GPU 基准脚本随示例提供,读者在符合要求的显卡上运行即可获得本机实测曲线。论文报告的参考数据如下:

FlashAttention 论文报告:在 GPT-2(Generative Pre-Trained Transformer,生成式预训练变换器)上将注意力计算提速最高 7.6 倍,注意力内存占用降为序列长度的线性级别(A100 显卡)。FlashAttention-2 在此基础上改进了并行划分与分块策略,进一步减少非矩阵乘法运算。

3. 技术全景:注意力优化栈与主流模型选型

3.1 优化栈的四个层面

FlashAttention 属于计算层面优化。主流大模型同时叠加多个层面的技术:

层面 代表技术 改变什么 是否需要训练
计算层面内核 FlashAttention-2/3/4、FlashDecoding IO 组织与并行划分,数学精确等价 否
KV 缓存压缩 MQA(Multi-Query Attention,多查询注意力)、GQA(Grouped-Query Attention,分组查询注意力)、MLA(Multi-head Latent Attention,多头潜在注意力) KV 头数或存储维度 是
稀疏注意力 滑动窗口、NSA(Native Sparse Attention,原生稀疏注意力)、DSA(DeepSeek Sparse Attention,DeepSeek 稀疏注意力)、MoBA(Mixture of Block Attention,块混合注意力) 参与计算的 token 对数量 是,可继续预训练引入
线性与混合注意力 KDA(Kimi Delta Attention,Kimi Delta 注意力)、gated DeltaNet、Mamba 混合 用线性复杂度机制替代部分 softmax 注意力 是
深度方向聚合 AttnRes(见第 4 章) 各层输出的聚合方式 是

KV 缓存指推理时缓存的历史 token 的键与值向量,其大小直接决定单张显卡能容纳的上下文长度。MQA(arXiv:1911.02150)让所有查询头共享一组 KV;GQA(arXiv:2305.13245)把查询头分组,每组共享一组 KV;MLA(arXiv:2405.04434)把 KV 压缩为低维潜向量,缓存只存潜向量,计算时经上投影恢复 K 与 V。三者逐步降低 KV 缓存占用,MLA 把每 token 的缓存压缩到单个低维向量的量级。

稀疏注意力减少参与计算的 token 对数量。滑动窗口注意力只在固定的局部窗口内计算;NSA(arXiv:2502.11089)、DSA 与 MoBA(arXiv:2502.13189)按内容动态选择相关 token,MoBA 以块为粒度选择。线性注意力用线性复杂度的循环或状态空间机制替代 softmax 注意力,如月之暗面 Kimi Linear 的 KDA、Qwen3-Next 的 gated DeltaNet 与 Mamba 混合架构;GLM-5.3-Flash 已把线性注意力层与稀疏注意力层混合作为主干(见 3.3)。GLM-5 论文也报告了对滑动窗口与 gated DeltaNet 变体的消融实验。

计算层面内核保持数学定义不变:FlashAttention-3(arXiv:2407.08608)面向 Hopper 架构,利用异步执行与低精度计算;FlashAttention-4(2026-03)面向 Blackwell 架构(B200/GB200),以算法循环结构与内核流水线协同设计应对算力与带宽增速的失衡;FlashDecoding 在解码阶段沿 KV 序列拆分并行,提升单 token 生成速度。vLLM 等推理引擎还提供 PagedAttention,以分页方式管理 KV 缓存、消除显存碎片,与上述技术叠加使用,部署侧的用法参见vLLM的安装与多卡部署大语言模型完整教程。

这些层面相互正交,可按需叠加:架构层面技术决定算什么、存多少,计算层面内核决定怎么算得快。DeepSeek 与 GLM-5 都采用 MLA + DSA 架构,底层运行 FlashAttention 系内核。

3.2 DeepSeek:MLA + DSA

DeepSeek 在 V2(2024-05)引入 MLA,V3/R1/V3.1 沿用。MLA 把每个 token 的 KV 压缩为低维潜向量:缓存只存潜向量,计算时经上投影恢复,推理显存大幅下降,为更长上下文与更大批量腾出空间。

2025 年 2 月,DeepSeek 开源 FlashMLA 内核库,为 Hopper 架构 GPU 提供高效的 MLA 解码内核,采用与 FlashAttention 相同的分块与在线 softmax 技术;同月发布的 NSA 论文提出硬件对齐、原生可训练的稀疏注意力机制,是 DSA 的前身探索。

DSA 在 V3.2-Exp(2025-09)引入:轻量索引器(Lightning Indexer)先对全部历史 Key 快速打分,选出 top-k 个最相关 token,主注意力只对这些 token 计算。官方仓库的基准显示,V3.2-Exp 与 V3.1-Terminus 在公开基准上持平,长上下文训练与推理效率大幅提升。DSA 的稀疏注意力内核在 FlashMLA 中开源。

DSA 谱系在 V4 系列继续演进。V4(2026-04 预览发布)为支持百万 token 上下文,采用压缩稀疏注意力(CSA,Compressed Sparse Attention)与重度压缩注意力 HCA 的混合架构,引入序列维度压缩(每 r 个 token 合并为一个缓存条目)与滑窗注意力分支,V4-Flash 的全局 KV 缓存为 3514 字节/token(V3 为 576 字节/token)。V4.1-Flash(2026-09,技术报告《Pushing the Limits of KV Cache Compression》)转向 CED(Causal Encoder-Decoder,因果编码器-解码器)+ CSA2:40 层拆为 20 层编码器与 20 层解码器,解码器的全局 KV 由编码器末层隐状态经层独立投影生成,prefill 计算近乎减半;CSA2 在条目、序列、层三个维度联合压缩,配合 FP4 量化把全局 KV 缓存压至 890 字节/token,约为 V4-Flash 的 1/4。

内核侧,FlashMLA 已发布 V4.1 的 FP8/FP4 KV 缓存内核;2026-09-30 版本起移除 Hopper 架构与 V3/V3.2/V4.0 支持,转向 Blackwell(B200)与华为昇腾 950,昇腾稀疏 prefill 达 410 TFlops(硬件峰值的 95%)。

graph LR Q[查询 token] --> I[Lightning Indexer 快速打分] K[全部历史 Key] --> I I --> S[选出 top-k 相关 token] S --> A[仅对选中 token 做精确注意力] V[选中 token 的 Value] --> A A --> O[注意力输出] style Q fill:#e8f4f8,stroke:#1a6b8a style K fill:#e8f4f8,stroke:#1a6b8a style I fill:#ffecd6,stroke:#b7950b style S fill:#fdebd0,stroke:#e67e22 style A fill:#d5f5e3,stroke:#27ae60 style V fill:#d6eaf8,stroke:#2980b9 style O fill:#d5f5e3,stroke:#27ae60

3.3 GLM:从 GQA 到 MLA + DSA

GLM-4.5/4.6 采用 GQA,96 个查询头配 8 个 KV 头,配合 QK-Norm(对查询与键向量做归一化,稳定注意力 logits 的范围)与部分 RoPE(Rotary Position Embedding,旋转位置编码,只在部分维度应用)(arXiv:2508.06471)。

GLM-5(2026-02,arXiv:2602.15763)转向 MLA + DSA,并对 MLA 做了两处适配:

  • Muon Split:Muon 优化器原本对整体上投影矩阵做矩阵正交化;Muon Split 把上投影矩阵按注意力头拆分后独立正交化,让不同头的投影权重以不同尺度更新,使 MLA 在 Muon 下的性能追平 GQA-8(8 个 KV 头的 GQA),注意力 logits 在预训练中保持稳定,无需裁剪策略。
  • MLA-256:MLA 解码时执行 576 维点积,高于 GQA 的 128 维;GLM-5 把头维度从 192 增至 256、头数减少 1/3,训练计算量与参数量保持不变,解码计算量下降。

DSA 从稠密基座模型经继续预训练引入,分两阶段:1000 步稠密热身,随后 20B token 的稀疏适配(DeepSeek-V3.2 的 DSA 训练用了 943.7B token)。论文报告长序列注意力计算降低约 1.5–2 倍,128K 上下文的 GPU 成本减半,长上下文基准与 MLA 基座模型持平。

GLM-5.3(2026-09)沿用与 GLM-5.2 相同的基础模型,提升全部来自后训练,注意力架构仍为 MLA + DSA,上下文扩展至 1M。

GLM-5.3-Flash(2026-08,320B 总参 / 18B 激活)是重新训练的原生多模态基座,也是首个采用稀疏注意力与线性注意力混合架构的开源前沿模型:45 层主干以线性注意力经状态建模捕获局部依赖,以稀疏注意力经轻量索引器召回全局上下文;IndexPool 通过加权池化把索引器的 4 个缓存向量压缩为 1 个,残差采用流形约束超连接(mHC,Manifold-Constrained Hyper-Connections)。据开源权重解析,45 层中 34 层为 KDA 线性注意力,11 层为 NoPE(No Position Embedding,无位置编码)MLA 配 IndexPool 稀疏注意力,语言主干不使用 RoPE。官方数据:相比 GLM-5.3,注意力计算量降低 3.01 倍,KV 缓存降低 4.44 倍。

模型 注意力架构 KV 压缩 稀疏化
DeepSeek-V3/R1 MLA 潜向量压缩 无
DeepSeek-V3.2 MLA + DSA 潜向量压缩 索引器选 top-k token
DeepSeek-V4.1-Flash CED + CSA2 条目/序列/层三维压缩 + FP4 CSA2 稀疏选择
GLM-4.5/4.6 GQA(96 查询头 / 8 KV 头) 头共享 无
GLM-5 MLA-256 + DSA 潜向量压缩 索引器选 top-k token
GLM-5.3 MLA + DSA(同 GLM-5 基座) 潜向量压缩 索引器选 top-k token
GLM-5.3-Flash KDA + NoPE MLA 混合(34:11 层) 线性状态 + 潜向量 IndexPool 池化索引器

4. 架构层面:注意力残差把注意力用到深度方向

4.1 残差连接的本意与 PreNorm 的副作用

标准 Transformer 的残差连接为 x + Sublayer(x):每个子层的输出以固定单位权重加回输入。它为梯度提供直通路径,使上百层的网络能够训练;某个子层学不到有用变换时,可以把输出压到接近零,等效跳过自身。残差的设计目标是保底,信息聚合方式写死为均匀累加。

现代 LLM 普遍采用 PreNorm(前置归一化)结构:归一化放在子层之前,残差流本身不做归一化。均匀累加在这种结构下使残差流的幅值近似按层数的平方根增长,同时使早期层写入的信息在总和中的相对占比持续下降。信息本身保留在残差流中,「稀释」描述的是相对占比的衰减与幅值的失衡,与「信息丢失」是两回事。月之暗面(Moonshot AI)Kimi 团队 2026 年 3 月发布的技术报告《Attention Residuals》(arXiv:2603.15031)将这一现象作为改进的出发点。

4.2 稀释现象:数值模拟与微型模型实测

示例对稀释现象做了数值模拟与微型模型实测:

python cli.py dilution

数值模拟:256 维向量,100 层独立子层输出逐层累加。本机实测残差流幅值从第 1 层的 15.03 增长到第 100 层的 168.54,与 √L 参考值 150.28 同量级;初始信息的相对占比从 1.000 衰减到 0.089。

微型模型实测:随机初始化的 8 层 PreNorm GPT(d=128),逐子层记录残差流 L2 范数,16 个子层从 1.19 增长到 11.15。PreNorm 的 LayerNorm 只约束子层输入,残差流的增长不受其限制。

残差流稀释现象模拟与实测

左图为模拟的幅值增长与 √L 参考线,中图为初始信息相对占比的衰减曲线,右图为微型 GPT 的逐子层实测幅值。模拟与实测同向,稀释是均匀累加结构的固有数值现象。

4.3 AttnRes:用 softmax 注意力替代固定累加

注意力残差(AttnRes)把深度方向的信息聚合交给注意力:第 l 层的输入由前面各层输出的加权和给出,h_l = Σ α(i→l) · v_i,权重 α 由一个每层独立的可学习伪查询向量 w_l 与历史层表示计算得到,经 softmax 归一化。查询与层的前向计算解耦,权重随输入内容变化,每个 token 位置独立计算一组深度权重。第 50 层可以直接给第 2 层的表示分配高权重,中间层不再对该信号做均匀摊薄。

Full AttnRes 对全部历史层做注意力,算术开销 O(L²d)、内存 O(Ld)。大规模训练普遍启用激活重计算与流水线并行(Pipeline Parallelism),历史层输出需要显式保留并跨阶段传输,O(Ld) 的内存与通信开销随之显现。Block AttnRes 把 L 层划分为 N 个块:块内用标准残差累加,块间只对 N 个块级表示与 token 嵌入做注意力,内存与通信降为 O(Nd)。论文实验显示 N≈8 即可恢复 Full AttnRes 的大部分收益。

graph LR subgraph 标准残差 C1[层1 输出] -->|固定 +1| C2[层2 输出] C2 -->|固定 +1| C3[层3 输出] C3 -->|固定 +1| C4[层4 输出] end subgraph Block AttnRes D0[嵌入] --> D1[块1 部分和] D1 --> D2[块2 部分和] D0 --> D3[深度注意力聚合] D1 --> D3 D2 --> D3 D3 --> D4[块3 输入] end style C1 fill:#fadbd8,stroke:#c0392b style C2 fill:#fadbd8,stroke:#c0392b style C3 fill:#fadbd8,stroke:#c0392b style C4 fill:#fadbd8,stroke:#c0392b style D0 fill:#e8f4f8,stroke:#1a6b8a style D1 fill:#d6eaf8,stroke:#2980b9 style D2 fill:#d6eaf8,stroke:#2980b9 style D3 fill:#d5f5e3,stroke:#27ae60 style D4 fill:#fdebd0,stroke:#e67e22

工程配套上,论文提出跨阶段缓存消除流水线下的重复传输,以及两阶段推理策略:块间查询批量计算,块内部分和顺序累加,两者用在线 softmax(见 2.2)合并。论文报告的开销为:典型推理负载下延迟增加低于 2%;启用流水线并行时训练端到端开销低于 4%。Kimi K3 基座的技术栈已包含注意力残差。

4.4 教学复现:微型 GPT 上的 Block AttnRes

示例依据官方仓库伪代码实现了教学版 Block AttnRes,在字符级微型 GPT 上与标准残差对照训练:

python cli.py attnres
配置 值
语料 3684 字符自编写中文文本,词表 658
模型 d=128,8 层,4 头,序列 64,批 32
块大小 2 层/块
训练 AdamW,学习率 3e-4,300 步,CPU

块间聚合的核心实现与官方伪代码一致:块表示堆叠后做 RMSNorm(Root Mean Square Normalization,均方根归一化)得到键,可学习伪查询与键点积得到 logits,沿深度维度 softmax 后对块表示加权求和。

def block_attn_res(blocks, partial_block, proj, norm):
    V = torch.stack(blocks + [partial_block])
    K = norm(V)
    logits = torch.einsum("d,nbtd->nbt", proj.weight.squeeze(), K)
    weights = logits.softmax(0)
    return torch.einsum("nbt,nbtd->btd", weights, V)

完整代码请查看 attention-demo/residual.py。每个子层(attn 与 mlp)之前各做一次块间聚合,块边界处把已完成块的部分和存入块列表并重置累加器。本机实测结果:

变体 参数量 最终平滑损失 末端残差流幅值
standard 1,763,072 0.5009 7.63
attnres 1,767,424 0.4527 4.21

Block AttnRes 仅增加 4352 个参数(约 0.25%)。训练损失曲线全程领先标准残差;残差流幅值曲线呈现锯齿形态,每个块边界处部分和重置、幅值回落,末端幅值 4.21 对比标准残差的 7.63,幅值增长受到约束。

标准残差与 Block AttnRes 训练损失对比

训练后残差流幅值对比

深度注意力权重矩阵展示了学到的路由结构:浅层子层把大部分权重分配给嵌入与第一个块,深层子层的权重跨块分布,输出层更多读取当前块部分和。权重随层位置与内容变化,「该从哪些层读取多少」由训练决定。

Block AttnRes 深度注意力权重

教学复现基于单种子、300 步、3684 字符语料的小规模实验,用于观察机制与训练动态;损失差异的幅度不构成对论文性能结论的验证,论文结论以 48B 模型、1.4T token 的对照实验为准。

4.5 论文实验数据

以下数据引自《Attention Residuals》技术报告与官方仓库,实验基座为 Kimi Linear 架构(48B 总参数、3B 激活参数的混合专家模型),预训练 1.4T token:

类别 基准 标准残差 AttnRes
通用 MMLU 73.5 74.6
通用 GPQA-Diamond 36.9 44.4
通用 BBH 76.3 78.0
通用 TriviaQA 69.9 71.8
数学与代码 Math 53.5 57.1
数学与代码 HumanEval 59.1 62.2
数学与代码 MBPP 72.0 73.9
中文 CMMLU 82.0 82.9
中文 C-Eval 79.6 82.5

缩放定律(Scaling Law)实验中,Block AttnRes 在所有计算预算下一致优于基线,达到基线损失水平所需的计算量为基线的 1/1.25。训练动态分析显示 AttnRes 模型的输出幅值随深度保持有界,梯度范数在各层间分布更均匀。多步推理(GPQA-Diamond +7.5)与代码生成(HumanEval +3.1)的提升幅度最大。

5. 总结

5.1 核心内容回顾

  • 注意力是可学习的内容驱动信息路由:Q、K、V 分工完成软性加权聚合,多头并行编码句法、指代、语义等多种关系,权重含义由任务与训练目标决定。
  • 注意力的优势是并行友好与 O(1) 位置间路径,计算量随序列长度平方增长,本机 CPU 实测验证了平方关系。
  • FlashAttention 通过分块、在线 softmax 与重计算消除 N×N 矩阵的显存往返,数学上精确等价,内存降为线性;PyTorch SDPA 已内置其内核。
  • 注意力优化栈分层叠加:计算层面内核数学精确等价、即插即用,KV 压缩(MQA/GQA/MLA)、稀疏注意力(NSA/DSA)与线性注意力属于需要训练的架构改动;DeepSeek 与 GLM 的旗舰模型采用 MLA + DSA,底层运行 FlashAttention 系内核;新一代 Flash 型号(DeepSeek-V4.1-Flash、GLM-5.3-Flash)转向线性与稀疏混合架构,把 KV 缓存压缩推向极限。
  • 均匀残差累加在 PreNorm 结构下带来幅值增长与早期信息稀释,本机模拟与微型模型实测均观察到该现象。
  • AttnRes 用深度方向的 softmax 注意力替代固定累加,Block 变体把开销控制在推理 <2%、流水线训练 <4%,论文报告 1.25 倍计算效率与九项基准全面提升。
  • 教学复现以 0.25% 的额外参数实现了 Block AttnRes 的完整机制,深度注意力权重与幅值约束均可可视化观察。

完成本教程后,可进入SFT监督微调概念详解与Unsloth进行SFT实战完整教程,在真实模型上实践训练流程。

5.2 常见问题与解答

问:注意力权重高,是否说明该 token 是全文的核心信息?

答:权重高表示该位置对当前 token 的表示贡献大,贡献来源可能是句法依存、指代或语义关联。重要性判断与任务相关,分类任务与生成任务学到的聚焦模式不同,全文主干的提取需要任务层面的额外设计。

问:FlashAttention 会改变模型输出吗?

答:FlashAttention 是精确注意力。本教程的分块演示在 float32 下与朴素实现的最大误差为 2.38e-07,在线 softmax 与标准 softmax 的最大误差为 9.31e-10。CUDA 内核使用半精度浮点,数值差异处于浮点舍入误差范围,模型质量不受影响。

问:FlashAttention 与 MLA、DSA 是互斥的吗?

答:三者作用于不同层面,可以叠加。FlashAttention 改变计算的组织方式,数学精确等价,任何注意力变体都能直接使用;MLA 改变 KV 的存储结构,DSA 改变参与计算的 token 对,两者属于架构改动,需要训练才能成立。DeepSeek 与 GLM-5 同时使用这三类技术。

问:没有 GPU 能完成本教程吗?

答:除 flash-bench 外的全部子命令均可在 CPU 运行,包括热力图(bert-base-chinese 单句推理)与 Block AttnRes 教学复现(300 步约数分钟)。flash-bench 需要 Ampere 架构及以上显卡与 CUDA 版 PyTorch。

问:残差连接会导致信息缺失吗?

答:早期层的信息保留在残差流中,均匀累加带来的是相对占比稀释与幅值无约束增长。AttnRes 针对聚合方式做改进,把固定累加替换为可学习的选择性读取。

问:Block AttnRes 能直接用于自己的模型吗?

答:官方伪代码按即插即用设计,块内保持标准残差、块间插入聚合即可。本教程的教学复现提供了最小可运行实现;大规模训练需要配套跨阶段缓存与两阶段推理等通信优化,这部分属于分布式训练基础设施话题。