2026 年 11 月 7 日——字节跳动 Seed 团队于 11 月 6 日在 GitHub 与 Hugging Face 开源连续潜变量(continuous latent)语言模型 Cola2,配套论文同步公布于 arXiv(编号 2610.31305);发布权重为 8 个 safetensors 分片、合计 32.66 GB,代码仓库采用 Apache-2.0 许可证。官方称该 checkpoint 仅用 346.03B token 完成预训练,在 HellaSwag 与 StoryCloze 两项任务上超过了预训练预算大 43 倍以上的 Llama-3-8B。
开源内容与获取方式
GitHub 仓库 ByteDance-Seed/Cola2 提供兼容 Hugging Face Transformers 的仅推理实现,包含配置、命令行工具、示例、CPU 单元测试,以及支持断点续跑的八任务 benchmark 与评分器。据官方 README 说明,本次发布不含训练代码;模型权重、tokenizer 与归一化评测数据托管在同一 Hugging Face 仓库 ByteDance-Seed/Cola2 中,并附 SHA256SUMS 校验文件。截至发稿,该模型页显示下载量 388 次、点赞 7 个。官方同步放出交互式项目主页与方法讲解视频,截至发稿未发现可直接试玩的在线 demo。
运行环境方面,官方要求 Python 3.10+、PyTorch 2.2+、Transformers 4.51 至 4.x、safetensors 0.4+,权重推理建议使用支持 bfloat16 的 CUDA 环境,加载时需开启 trust_remote_code=True。官方同时说明 Cola2 是 base model,不是经过指令微调的聊天助手。
方法架构与训练方式
官方中文 README 将 Cola2 定义为「让语义压缩与离散文本生成协同适配的连续 latent 语言模型」,由三个组件构成:动态压缩 VAE、block-causal Diffusion Transformer(DiT)与 span-causal token decoder,并引入 latent feedback 机制。模型先将文本动态划分为语义 span(长度 1 至 8 个 token),把每个 span 压缩为一个 64 维连续 latent,由 DiT 生成 latent block,再经 token decoder 实现为离散 token。
训练分两阶段:Stage I 联合训练动态压缩 encoder 与 token decoder;Stage II 在 token 侧监督下继续适配 VAE,同时由约 4B 参数的 DiT 通过 Flow Matching 学习 stop-gradient 之后的 latent 分布。推理时反复执行 latent block 生成、token 解码与固定 span layout 下的已生成文本重编码,使连续与离散历史保持对齐。Cola2 是 2026 年 5 月开源的 Cola DLM(Continuous Latent Diffusion Language Model,arXiv 2605.06548)的迭代版本。
评测结果与官方口径
发布 checkpoint 使用 346.03B source tokens 训练,官方称其 latent DiT 尚未收敛。据 arXiv 论文与官方 README,Cola2 八任务平均分为 60.10,低于全部对照模型;其官方强调的亮点是预训练 token 效率,即在报告的预训练 token 少 43 倍以上的情况下(346B 对 15T+),HellaSwag 与 StoryCloze 两项仍超过 Llama-3-8B。
| 任务 | Llama-3-8B | Qwen2.5-7B | Qwen3-8B-Base | LLaDA-8B-Base | Cola2 |
|---|---|---|---|---|---|
| 预训练 tokens | 15T+ | 18T | ~36T | 2.3T | 346B |
| RACE | 75.77 | 89.95 | 90.65 | 87.40 | 69.91 |
| NarrativeQA | 42.70 | 32.90 | 37.30 | 36.00 | 32.70 |
| HellaSwag | 39.21 | 75.67 | 68.13 | 69.65 | 41.75 |
| StoryCloze | 79.49 | 95.09 | 97.44 | 95.94 | 80.42 |
| LAMBADA | 75.70 | 71.82 | 71.20 | 67.90 | 63.00 |
| ARC-Easy | 90.86 | 96.00 | 97.35 | 93.85 | 87.62 |
| TruthfulQA | 63.04 | 69.03 | 72.58 | 64.87 | 54.10 |
| MMLU | 63.19 | 70.16 | 72.31 | 61.27 | 51.32 |
| 八任务平均 | 66.25 | 75.08 | 75.87 | 72.11 | 60.10 |
官方 README 对该表作出限定:各模型采用不同的训练配方、tokenizer 与 token 统计方式,因此该表用于说明能力水平,不单独比较生成范式;除 token 行外数值均为准确率(%),Cola2 每项成绩为三次 latent-noise sampled evaluation 的均值。论文另附受控实验:在相同模型规模、数据与评测设置、约 210B token 训练量下对比 AR、LLaDA、Cola DLM 与 Cola2 变体,结果显示 Cola2 变体收敛较慢,但在约 150B tokens 后持续缩小与 LLaDA 的差距,至约 210B tokens 时仍未饱和。
默认推理配置为 8 步 low-noise-biased Euler DiT 调度、DiT CFG 10、decoder CFG -0.9、max_new_tokens 32;由于 latent 从高斯噪声起始,即使采用 greedy token 选择,模型输出仍非确定性。
关键数据
| 项目 | 数据 |
|---|---|
| 开源时间 | 2026 年 11 月 6 日(GitHub 与 Hugging Face) |
| 配套论文 | arXiv 2610.31305 |
| 代码许可 | Apache-2.0(GitHub 仓库,仅推理实现) |
| 权重体积 | 8 分片 safetensors,合计 32.66 GB |
| 训练数据 | 346.03B source tokens |
| DiT 参数 | 约 4B(官方口径,Flow Matching 学习 latent 分布) |
| latent 维度 | 64 维连续 latent 对应 1 至 8 token 语义 span |
| 词表规模 | 151936(Qwen 系 tokenizer) |
| 八任务平均分 | 60.10(论文报告口径) |
| Hugging Face 下载量 | 388 次(截至发稿) |
评论