2026 年 11 月 5 日——百度于 11 月 5 日正式开源基座模型 ERNIE-5.5-Flash-Base，模型采用稀疏 MoE 架构，总参数 280B、每 token 激活 14B，基于 33.5T tokens 从零完成预训练，FP8 与 BF16 两种精度的权重已同步上架 HuggingFace 与 ModelScope。

据官方技术博客与模型卡，ERNIE 5.5 Flash Base 开放的是预训练终点权重，未经任何中训练与后训练，官方将其定位为领域适配、指令微调和强化学习研究的共同起点；经过后训练的 ERNIE 5.5 Flash 将随后推出。

模型规格与开源情况

项目 数据
架构 稀疏 MoE + 混合注意力，43 层（1 层稠密 FFN + 42 层 MoE）
总参数量 280B
每 token 激活参数 14B
注意力层配置 37 层 HCA + 6 层 MLA-DSA，64 注意力头
专家配置 每 MoE 层 512 个路由专家（激活 top-10）+ 1 个共享专家
词表规模 201,216（BPE）
预训练数据 33.5T tokens，从零预训练，采用 Muon 优化器
预训练上下文 最高 128K
微调与推理上下文 最高 100 万 token
权重精度 FP8 与 BF16（safetensors）
许可证 ERNIE 5.5 Flash Base Model License v1.0
推理框架 官方支持 SGLang 与 vLLM

（数据来源：HuggingFace 官方模型卡）

权重分布在两个仓库：FP8 版为 baidu/ERNIE-5.5-Flash-Base，BF16 版为 baidu/ERNIE-5.5-Flash-Base-BF16，ModelScope 平台同步上架。

官方评测口径与对比数据

官方在统一评测管线（相同提示词与 few-shot 设置）下，将模型与三个同规模基座模型对比：DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B），覆盖知识、推理、数学、代码、多语言、长上下文等 7 个类别共 30 项基准。官方称多项测试超越上述同规模基座模型，其中代码基准 HumanEval+（Pass@1，1-shot）得分为 82.3，对比 DeepSeek-V4-Flash-Base 的 69.5。

部分代表性基准得分如下（数据来源：官方模型卡，均为官方报告口径）：

基准（口径） ERNIE 5.5 Flash Base DeepSeek-V4-Flash-Base Hy3-preview-Base MiMo-V2.5-Base
MMLU（EM，5-shot） 93.3 89.4 87.5 87.6
MMLU-Pro（EM，5-shot） 78.4 69.2 66.9 65.7
GPQA（EM，5-shot） 60.2 55.9 50.2 51.4
MGSM（EM，8-shot CoT） 87.0 84.6 76.9 83.8
HumanEval+（Pass@1，1-shot） 82.3 69.5 78.0 74.4
LiveCodeBench（Pass@1，1-shot） 40.1 31.9 33.5 32.4
LongBench-v2（EM，0-shot） 48.7 44.5 39.8 44.6

上述对比中 ERNIE 5.5 Flash Base 并非全部第一，30 项基准中共有 6 项落后：中文知识基准 ChineseSimpleQA 得分 73.0，低于 DeepSeek-V4-Flash-Base 的 75.3；推理基准 BBH CoT 得分 89.2，低于 Hy3-preview-Base 的 90.0；多语言基准 INCLUDE-lite 得分 79.5，低于 DeepSeek-V4-Flash-Base 的 79.8；代码基准 FullStackBench 得分 54.6，低于 Hy3-preview-Base 的 56.7；长上下文基准 InfiniteBench（46.5 对 48.0）与 HELMET-Rerank（56.2 对 60.0）也落后于 DeepSeek-V4-Flash-Base。

架构与训练要点

据官方技术博客，模型围绕效率主线在注意力机制、专家路由与训练目标上做了系统性调整：

  • 注意力采用 Latent-Gated Sparse Attention，将 HCA 重度压缩注意力（每 128 个 token 缓存一个条目）与 MLA 混合编排，43 层中仅 6 层保留完整上下文访问；低秩门控注意力把门控投影参数减少 75%；虚拟头注意力（VHA）在推理时融合进注意力算子。
  • 专家路由采用 Multi-Router Latent MoE，由多个独立初始化的路由器共同参与专家选择，激活专家数量、专家计算量与通信量保持不变。
  • 训练目标引入 ECHO，不增加独立的 MTP 模块，复用主干最后一层学习预测后续 token，该层同时可作为投机解码的草稿模型。
  • 训练系统侧采用通信优化的分布式 Muon 优化器与面向大 head dim 的注意力算子 FlashMask-4，官方称其在 SM100 上前向计算较 FlashAttention-4 MaskMod 快至 175%。

定位与后续计划

官方技术博客说明，直接开放预训练终点权重可以让开发者在受控条件下比较不同的训练方法、衡量每种方法带来的增益。经过后训练的 ERNIE 5.5 Flash 将随后推出，官方同时表示期待社区基于该基座开展领域适配、推理与 Agent 方向的开发。