2026 年 10 月 17 日——OpenMOSS 团队于 10 月 16 日发布并开源文生图模型 MOSS-Image,提供 MOSS-Image-Base 基础版与 MOSS-Image-SFT 监督微调版两个版本,代码与权重以 Apache 2.0 许可公开。模型采用 5B 单流扩散 Transformer(DiT)架构,原生支持 JSON 结构化布局控制、最长 4096 token 的提示词输入与中英文长文本渲染,官方报告称其在自建长文本渲染基准上的开源模型中排名第一。

发布概况与开源信息

MOSS-Image 由 OpenMOSS 团队推出。据项目官网与官方技术报告,该团队由上海创新研究院(SII)、复旦大学自然语言处理实验室与模思智能(MOSI Intelligence)联合组建,技术报告署名单位包括模思智能、SII、复旦大学与上海交通大学。团队此前已开源 MOSS 对话语言模型与 MOSS-TTS、MOSS-Transcribe-Diarize 等语音系列模型。

本次发布包含两个权重版本,两个版本共享同一架构与推理接口:

模型 说明 权重渠道
MOSS-Image-Base 基础版文生图模型,未做后训练 Hugging Face、ModelScope
MOSS-Image-SFT 在 Base 基础上经精选数据监督微调 Hugging Face、ModelScope

开源范围与许可情况如下:权重在 Hugging Face 与 ModelScope 均标注 Apache 2.0 许可;GitHub 仓库的流水线代码同样采用 Apache 2.0,官方说明第三方组件保留各自原有许可。除权重与代码外,官方还提供了 Hugging Face Spaces 在线演示、35 页技术报告 PDF 以及配套的提示词增强(Prompt Enhancer)技能文件。截至发稿,GitHub 仓库已获得 372 个星标,Hugging Face 上两个模型合计约 310 个点赞。

架构与技术特性

官方技术报告披露,MOSS-Image 的扩散生成器为从零预训练的 5B 单流 DiT,官方明确 5B 这一数字仅指扩散生成器本身,不含冻结的文本编码器与 VAE。模型组件与规格如下:

组件 规格
扩散生成器 5B 单流 Transformer,42 层主干
隐藏维度 3072,24 头注意力(每头 128 维),FFN 8192
文本编码器 Qwen3.5-9B(冻结),取最终层 4096 维隐状态
文本适配器 线性投影 4096→3072,加两层纯文本 Transformer
VAE FLUX.2 VAE(冻结,取自 FLUX.2-klein-4B),32 通道潜变量,有效图像步长 16 像素
位置编码 4D RoPE(参考索引、序列、宽、高四轴)
优化器 Muon 与 AdamW 混合(二维矩阵参数走 Muon)
训练 三阶段渐进训练,分辨率与文本长度逐级提升,最终在 31 万步取 EMA 权重

预训练语料来自 ReLAION、OmniCorpus、DataComp 等公开图文数据集,经 SSCD 去重与自研 AI 生成图像检测过滤,规模约从 50 亿张缩减至 30 亿张;训练标注以英文为主。官方 README 提到,训练使用了异构 GPU 平台。

能力层面,MOSS-Image 主打三项特性:一是复杂文字渲染,支持中英文文字生成与自动换行,可通过换行符精确控制排版;二是布局控制,用户在提示词中以 JSON 格式描述整体场景(summary)与各元素(items)的类别、描述和边界框(bbox),即可指定画面中文字与物体的位置,坐标系为以画布中心为原点的绝对像素坐标;三是长提示词支持,最终阶段训练的文本条件上限为 4096 token。模型同时支持自然语言、Danbooru 风格 tag 串以及 JSON 的混合输入,官方展示的效果覆盖动漫与写实两种风格。

Base 版未做任何后训练,也未做 CFG 等推理参数蒸馏,官方表示这是为了完整保留训练信息、便于社区训练 LoRA;SFT 版则在文字分组与版面组织上表现更清晰。官方后续规划包括 R2I 参考生图、DMD 少步蒸馏与布局增强模型。

官方评测数据

官方技术报告同时发布了两项自建基准,并给出了与闭源、开源系统的对比数据:

基准 MOSS-Image 成绩 对照
LongLongTextBench(LLTB,自建,中英长文本渲染) Mean-6 均值 96.3 Qwen Image 2512 为 64.9,落后 31.4 个百分点
RealLayoutArena(RLA,自建,端到端系统对比) 1698.70 Elo,排名第二 次于 GPT Image 2,领先 Seedream 5.0 Pro
RLA 共享增强提示词(仅比拼生成器) 1807.34 Elo,排名第一 ERNIE Image 1748.5,SenseNova U1 1689.2
7Bench 布局控制 检出目标 mIoU 0.6788 Ideogram 4.0 为 0.2433,Qwen Image 3.0 Pro 为 0.1694,GPT Image 2 为 0.1431

在 LLTB 的六组子项中,MOSS-Image 最长中文文本组得分 92.4,为六组中最低,官方亦说明长中文文本的召回率相对偏低。

注:LLTB 与 RLA 均为官方自建基准,上述分数为官方技术报告自评口径;7Bench 为第三方布局评测,但对比结果同样出自官方报告。

上手方式

MOSS-Image 提供三种主要接入方式。ComfyUI 方面,仓库提供原生插件,在 ComfyUI Manager 中搜索 MOSS-Image 即可安装,官方称接入 ComfyUI 官方仓库的工作正在进行。Diffusers 方面,模型以自定义流水线形式接入,要求 Python 3.10 以上、PyTorch 2.9 以上,以及 diffusers 0.38、transformers 5.3 以上版本,运行于支持 CUDA 的 NVIDIA GPU。此外仓库内置 Gradio 网页界面,提供整卡常驻、组件调度与顺序推理三种显存模式。

官方推荐的推理配置为:Flow-matching Euler 采样器、50 步以上、CFG 3.0、Shift 5.0、负分支跳层取第 22 层;推荐输出总像素 1M、1.5M 或 2M,可外推至 0.25M(512×512)至 4M(2K)的任意分辨率,任意长宽比均支持,但宽高需为 16 的整数倍。