2026 年 11 月 3 日——伦敦 AI 研究实验室 Prefrontal AI 联合苏黎世联邦理工学院（ETH Zurich）于 10 月 30 日在 arXiv 提交论文并开源 LSA（Latent Sparse Attention，潜在稀疏注意力）：在 Qwen-3.8-27B 上将上下文扩展到 1000 万 token，10M 长度下单注意力层预填充较全注意力提速 72.4 倍，知识与推理基准精度差距保持在 2 分以内，代码含 SGLang 推理框架集成与上下文并行支持。
论文题为「Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention」（arXiv:2610.42147），作者机构署名为 Prefrontal AI（伦敦）与 ETH Zurich，高级作者为 James C. R. Whittington。代码以 Apache 2.0 许可托管在 GitHub（Prefrontal-AI/latent-sparse-attention，创建于 10 月 27 日，截至发稿 191 星），同时发布 SGLang 定制分支（lsa-v0.1.0）与 Docker 镜像。
方法：潜空间分层聚类，注意力降为 O(T log T)
论文背景指出，注意力成本随上下文二次增长，1M 以上上下文中每个新 token 需与此前全部 token 交互；现有稀疏注意力方法在 10M token 规模下，约 98% 的耗时花在「检索该注意哪些 token」上。LSA 将键（key）在可学习潜空间中按相似度分层聚类，查询只对簇层级逐层打分并以树检索取回固定数量的键，使注意力复杂度从 O(T²) 降至 O(T log T)，与上下文长度无关的固定键数让超长上下文变得可行。
LSA 提供两种变体：D-LSA（Distilled）通过短程蒸馏为已训练模型替换注意力层，冻结主干、仅训练索引器（蒸馏数据 352M tokens，覆盖 16k 至 1M 文档长度）；N-LSA（Native）则在模型训练之初即引入 LSA，仅用下一词预测损失从头训练。
速度与精度：72.4 倍预填充提速，基准差距多在 2 分以内
速度测试在英伟达 H200 与 B300 GPU 上进行，覆盖单注意力层与 8 卡端到端推理（SGLang，单请求）。精度方面，两模型在知识与推理基准上与原模型差距均保持在 2 分以内；长上下文任务中 Qwen-3.8-27B 在 RULER（英伟达出品的 13 项长上下文合成任务）上直到 10M token 保持同步，LongBench v2 的 5 分下降处于 95% 置信区间内。
| 指标（10M tokens，H200） | Qwen-3.8-27B（D-LSA 对比全注意力） | GLM-5.3-Flash（D-LSA 替换其稀疏注意力） |
|---|---|---|
| 单注意力层预填充提速 | 72.4 倍 | 22.7 倍 |
| 单注意力层解码提速 | 42.5 倍 | 4.6 倍 |
| 端到端首 token 时间（TTFT） | 9.2 倍 | 2.2 倍 |
| 端到端每输出 token 耗时 | 2.9 倍 | 2.1 倍 |
| B300 单层预填充提速 | 42.9 倍 | 12.5 倍 |
| 精度基准（Qwen-3.8-27B，基线→D-LSA） | 分数变化 | |
| --- | --- | |
| MMLU-Pro | 83.2 → 83.0（-0.2） | |
| GPQA-Diamond | 88.4 → 87.9（-0.5） | |
| AIME25 | 98.3 → 97.5（-0.8） | |
| MATH500 | 98.0 → 99.0（+1.0） | |
| LongBench v2 | 70.0 → 65.0（-5.0，95% 置信区间内） | |
| RULER（4k-10M 全程） | 与基线保持同步 |
GLM-5.3-Flash 一侧：MMLU-Pro +0.3、GPQA-Diamond +1.0、AIME25 -1.7、MATH500 持平、LongBench v2 -1.7；RULER 在 2M-5M 区间落后基线至多约 8 分，10M 处差距收窄至 4 分以内（该基线同样经过微调）。
N-LSA 从头训练方面，论文口径为：在最高 128k token 的测试中匹配全注意力精度，128k 长度下每层训练提速 1.6 倍；在所对比的滑动窗口注意力（SWA）、NSA、PISA 等方法中，N-LSA 是唯一匹配全注意力精度的方案。官方并以约 0.5B 参数混合模型完成原生训练验证（4k 上下文 100B tokens 预热后以 128k 续训 12B tokens）。
开源内容：SGLang 集成、上下文并行与训练全细节
开源仓库包含 D-LSA 三种检索形态（平面检索、树检索、免训练 PCA 映射）、蒸馏训练代码、N-LSA 及全部对照方法的训练实现、H200 与 B300 的 GPU 内核，并直接提供集成 LSA 与上下文并行的 SGLang 分支（8×H200 采用 Mesh TP8+DCP8 部署，8×B300 采用 CP8+EP8），配套 Docker 镜像可复现论文全部推理与训练细节。官方同步发布了新的长上下文评测 PaperTrail：将关联合成事实链藏入大量近期科学论文中，模拟文献检索式任务，Qwen-3.8-27B 在该评测的长上下文科学事实检索上较基线提升，GLM-5.3-Flash 在 2M-10M 区间落后约 6-7 分。
口径说明
论文署名机构为 Prefrontal AI（伦敦）与 ETH Zurich，无英伟达署名；英伟达关联体现在三处：测试硬件为英伟达 H200/B300、RULER 为英伟达出品的长上下文评测套件、论文引用的 Skip Softmax（BLASST，MLSys 2026）此前已被英伟达集成进 TensorRT-LLM（2025 年 12 月技术博客）。论文作者 Torsten Hoefler 与 Radim Urban 的署名机构为 ETH Zurich。
传播内容中出现的「MBAS」字样，经检索论文、官方站点与公开报道均无对应实体或术语，按转写误差处理，未予采信。
「预填充最高提速 72.4 倍」的完整口径为：Qwen-3.8-27B 单注意力层、D-LSA 对比全注意力、10M token 长度、单张 H200、bf16 精度下的注意力层预填充测试值；端到端服务（8×H200）口径为 9.2 倍 TTFT 提升。
评论