2026 年 11 月 7 日——字节跳动 Seed 团队于 11 月 6 日在 GitHub 与 Hugging Face 开源连续潜变量(continuous latent)语言模型 Cola2,配套论文同步公布于 arXiv(编号 2610.31305);发布权重为 8 个 safetensors 分片、合计 32.66 GB,代码仓库采用 Apache-2.0 许可证。官方称该 checkpoint 仅用 346.03B token 完成预训练,在 HellaSwag 与 StoryCloze 两项任务上超过了预训练预算大 43 倍以上的 Llama-3-8B。

开源内容与获取方式

GitHub 仓库 ByteDance-Seed/Cola2 提供兼容 Hugging Face Transformers 的仅推理实现,包含配置、命令行工具、示例、CPU 单元测试,以及支持断点续跑的八任务 benchmark 与评分器。据官方 README 说明,本次发布不含训练代码;模型权重、tokenizer 与归一化评测数据托管在同一 Hugging Face 仓库 ByteDance-Seed/Cola2 中,并附 SHA256SUMS 校验文件。截至发稿,该模型页显示下载量 388 次、点赞 7 个。官方同步放出交互式项目主页与方法讲解视频,截至发稿未发现可直接试玩的在线 demo。

运行环境方面,官方要求 Python 3.10+、PyTorch 2.2+、Transformers 4.51 至 4.x、safetensors 0.4+,权重推理建议使用支持 bfloat16 的 CUDA 环境,加载时需开启 trust_remote_code=True。官方同时说明 Cola2 是 base model,不是经过指令微调的聊天助手。

方法架构与训练方式

官方中文 README 将 Cola2 定义为「让语义压缩与离散文本生成协同适配的连续 latent 语言模型」,由三个组件构成:动态压缩 VAE、block-causal Diffusion Transformer(DiT)与 span-causal token decoder,并引入 latent feedback 机制。模型先将文本动态划分为语义 span(长度 1 至 8 个 token),把每个 span 压缩为一个 64 维连续 latent,由 DiT 生成 latent block,再经 token decoder 实现为离散 token。

训练分两阶段:Stage I 联合训练动态压缩 encoder 与 token decoder;Stage II 在 token 侧监督下继续适配 VAE,同时由约 4B 参数的 DiT 通过 Flow Matching 学习 stop-gradient 之后的 latent 分布。推理时反复执行 latent block 生成、token 解码与固定 span layout 下的已生成文本重编码,使连续与离散历史保持对齐。Cola2 是 2026 年 5 月开源的 Cola DLM(Continuous Latent Diffusion Language Model,arXiv 2605.06548)的迭代版本。

评测结果与官方口径

发布 checkpoint 使用 346.03B source tokens 训练,官方称其 latent DiT 尚未收敛。据 arXiv 论文与官方 README,Cola2 八任务平均分为 60.10,低于全部对照模型;其官方强调的亮点是预训练 token 效率,即在报告的预训练 token 少 43 倍以上的情况下(346B 对 15T+),HellaSwag 与 StoryCloze 两项仍超过 Llama-3-8B。

任务 Llama-3-8B Qwen2.5-7B Qwen3-8B-Base LLaDA-8B-Base Cola2
预训练 tokens 15T+ 18T ~36T 2.3T 346B
RACE 75.77 89.95 90.65 87.40 69.91
NarrativeQA 42.70 32.90 37.30 36.00 32.70
HellaSwag 39.21 75.67 68.13 69.65 41.75
StoryCloze 79.49 95.09 97.44 95.94 80.42
LAMBADA 75.70 71.82 71.20 67.90 63.00
ARC-Easy 90.86 96.00 97.35 93.85 87.62
TruthfulQA 63.04 69.03 72.58 64.87 54.10
MMLU 63.19 70.16 72.31 61.27 51.32
八任务平均 66.25 75.08 75.87 72.11 60.10

官方 README 对该表作出限定:各模型采用不同的训练配方、tokenizer 与 token 统计方式,因此该表用于说明能力水平,不单独比较生成范式;除 token 行外数值均为准确率(%),Cola2 每项成绩为三次 latent-noise sampled evaluation 的均值。论文另附受控实验:在相同模型规模、数据与评测设置、约 210B token 训练量下对比 AR、LLaDA、Cola DLM 与 Cola2 变体,结果显示 Cola2 变体收敛较慢,但在约 150B tokens 后持续缩小与 LLaDA 的差距,至约 210B tokens 时仍未饱和。

默认推理配置为 8 步 low-noise-biased Euler DiT 调度、DiT CFG 10、decoder CFG -0.9、max_new_tokens 32;由于 latent 从高斯噪声起始,即使采用 greedy token 选择,模型输出仍非确定性。

关键数据

项目 数据
开源时间 2026 年 11 月 6 日(GitHub 与 Hugging Face)
配套论文 arXiv 2610.31305
代码许可 Apache-2.0(GitHub 仓库,仅推理实现)
权重体积 8 分片 safetensors,合计 32.66 GB
训练数据 346.03B source tokens
DiT 参数 约 4B(官方口径,Flow Matching 学习 latent 分布)
latent 维度 64 维连续 latent 对应 1 至 8 token 语义 span
词表规模 151936(Qwen 系 tokenizer)
八任务平均分 60.10(论文报告口径)
Hugging Face 下载量 388 次(截至发稿)