2026 年 11 月 13 日——珠海无界方舟智能技术有限公司(AutoArk)于 11 月 13 日开源端侧模型 Edge0-145B 与 Edge0-120B,同步开放统一推理框架与部署工具。官方博客称,Edge0-145B 是首个 145B 参数的开源端侧模型,实测峰值内存 29GB,可在 48GB 内存的笔记本上离线运行;其 Terminal-Bench 2.1 得分 86.52,高于 Claude Opus 4.6(Max)的 78.2。
模型架构与内存口径
GitHub 仓库 README 显示,两款模型是由 Qwen3.8-Flash-Next 派生的 latent MoE(潜在混合专家)模型,原生 4 比特训练,提供 Q3_K 与 NVFP4 两种量化版本。官方博客强调模型与推理引擎协同设计、端侧约束从训练之初即纳入架构;团队 9 月在 arXiv 公开的技术报告《The Other Half of the Memory Wall》提出训练路由预判机制,将稀疏激活从计算侧延伸到内存侧,专家按需调度、随取随用。
| 项目 | 数据 |
|---|---|
| 总参数量 | 145B,每词元激活约 10.12B |
| 层数与注意力 | 48 层混合注意力,每 4 层一次全注意力 + 稀疏索引器 |
| 专家配置 | 每层 512 专家,路由 10 个 + 1 个共享专家,每 64 专家共享两个大投影矩阵 |
| 潜在宽度 | 145B 为 1792,120B 为 1280,注意力保持全宽 2560 |
| 上下文 | 256K,KV int8,32K 常驻 |
| 词表 | 51.2B 参数 n-gram 嵌入表,fp8 内存映射,存 SSD 按需读取 |
| 推测解码 | 1.26B MTP 草稿头 |
| 权重体积 | 145B:Q3_K 40.81 GiB / NVFP4 47.79 GiB;120B:27.98 / 32.96 GiB |
| 基座与许可 | Qwen3.8-Flash-Next 衍生;Edge0 社区许可证 1.0 + Qwen 社区许可证 1.0 |
29GB 是峰值内存口径,而非全部权重驻留内存。推理框架采用显存、系统内存、SSD 三级流水线:常用热专家常驻显存,约 40GB 专家库放在系统内存,约 48GB 词表数据存于 SSD;145B Q3_K 权重共 40.81 GiB,官方实测驻留拆分为 23.14 GiB 显存 + 31.28 GiB 内存,两侧专家集合互不重叠。Hacker News 社区讨论指出这属于卸载(offloading)方案,需约 30GB 显存加系统内存分担其余权重。官方参考配置为 48GB 内存笔记本(如 MacBook Pro),博客另给出预填充 1100+ tokens/s、解码 80+ tokens/s、典型功耗约 120W 的笔记本口径。
基准测试成绩
官方博客给出六项基准对比,Edge0、Qwen、DeepSeek、Claude 的成绩均来自 Edge0 内部评测,Flint、Muse Glimmer、Gemma 4 的部分成绩来自 Recursive Flint 评测与 Artificial Analysis(下表未列):
| 模型 | Terminal-Bench 2.1 | DeepSWE 1.1 | GPQA-Diamond | IFBench | HLE | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 86.52 | 64.6 | 90.4 | 80.6 | 35.4 | 79.3 |
| Edge0-120B | 81.3 | 53.6 | 87.4 | 79.3 | 31.0 | 81.0 |
| Qwen3.8-Flash-Next | 83.3 | 58.7 | 91.7 | 81.3 | 35.9 | 79.1 |
| DeepSeek-V4-Flash-0731 | 82.7 | 54.4 | 90.8 | 79.2 | 33.8 | 79.7 |
| Claude-Opus-4.6(Max) | 78.2 | — | 91.3 | 62.5 | 40.0 | 78.0 |
数据单位为百分比,越高越好,"—"表示无公开成绩。六项均分 Edge0-145B 为 72.8(实测峰值内存 29GB),Edge0-120B 为 68.9(29GB);对比基线 Qwen3.8-Flash-Next 均分 71.7,标准 4 比特部署估算占用约 70GB,官方称 Edge0-145B 以约四成的内存占用取得相当或更高的能力。相对端侧基线 Qwen3.8-27B,官方称提升集中在智能体与编程任务(Terminal-Bench 相对提升 18.5%、DeepSWE 提升 53.1%)。完整评测设置、硬件环境与复现说明将随技术报告发布,截至发稿报告尚未公开。另需注意,GitHub 仓库的量化版基准表中 Edge0-120B 的 Terminal-Bench 2.1 为 75.3、DeepSWE 1.1 为 51.3,与博客口径不一致。
实测速度与平台支持
GitHub 与 Hugging Face 模型卡给出 NVIDIA 等平台的实测吞吐(145B Q3_K,tokens/s):
| 硬件 | 16K 预填充 | 聊天解码 | 智能体解码 |
|---|---|---|---|
| RTX 5090 D 24GB | 3554.9 | 99.7 | 121.2 |
| RTX 4090 24GB | 3179.4 | 69.9 | 91.7 |
| RTX Spark N1X 60GiB | 770.3 | 37.7 | 36.7 |
| Apple M2 Ultra(Metal 实测) | 800.3 | 60.9 | 57.0 |
| 16GiB 显存 + 20GiB 内存预算 | 335 | 36.8 | 44.9 |
最后一行是同一张 RTX 5090 D 用 cgroup 限制出的测试预算,不是最低系统要求。首发支持 Linux 与 Windows 的 NVIDIA GPU(CUDA 13,x64/ARM64);官方博客称首日覆盖 macOS、Windows、Linux 并支持 Apple M 系列,但 GitHub README 注明 M2 Ultra 一行是 Metal 实测数据、不构成 macOS 正式可用声明,macOS/iOS/Android 目前仅支持上一代 35B 原生引擎。有 HN 用户称已自行将 145B 移植到 M5 Max,NVFP4 解码约 50 tokens/s。
许可证与获取方式
权重发布于 Hugging Face 的 Edge0 组织,共四个仓库:Edge0-145B-q3k、Edge0-145B-NVFP4、Edge0-120B-q3k、Edge0-120B-NVFP4。推理框架在 GitHub 的 Edge0-AI/Edge0 开源,edge0-infer 提供统一入口,145B/120B 运行于 edge0-strata 引擎(Strata 的分支,扩展了 latent MoE 支持),本地服务兼容 OpenAI 与 Anthropic 接口;另有 Windows 桌面应用 Edge0 Chat,核心能力离线可用、无需账号与额度。
edge0-infer serve --model /path/to/Edge0-145B-q3k
许可证为双重条款:Edge0 自有贡献适用 Edge0 Community Model License 1.0,Qwen 派生部分仍受 Qwen Community License 1.0 约束,两者须同时遵守。个人使用、研究、修改、非商业分享、内部使用以及生成物的商业使用均被允许;出售或商业捆绑模型本体、运营商业模型服务、基于模型提供独立的商业编程或办公助手,需另行获得 Edge0 书面授权(info@edge0.ai)。
从手机到笔记本的端侧路线
无界方舟是一家专注端侧模型的珠海公司,官网列出的合作方包括韶音、地瓜机器人、松延动力、莫界等消费硬件厂商。今年 9 月 10 日其发布 Edge0-35B,在 iPhone 18 Pro Max 上以低于 2.5GB 的峰值内存运行 35B 模型、解码 37+ tokens/s,发布帖首日浏览量超 120 万并登上 Hugging Face Trending 总榜第一;官方另称模型组合已覆盖超 500 万台量产设备、开源模型三个月下载超 1500 万次、截至 2026 年 10 月客户组织超 11 万家。本次发布把开源端侧模型的规模上限从 35B 推进到 145B,官方演示了一小时内生成特斯拉 Roadster 讲解视频、Blender 曼哈顿 3D 场景、无人机避障寻物程序与 KiCad PCB 设计等本地智能体工作流,并将其定位为从"云端优先"转向"端侧优先、云端兜底"的节点。截至发稿,Hacker News 发布帖获 284 点、83 条评论,Hugging Face 的 Edge0-145B-q3k 仓库下载 8317 次。需要留意的是,目前全部基准成绩为官方内部评测,第三方复现、macOS 支持的实际口径,以及商业授权与 Qwen 上游许可的边界,仍是后续值得跟踪的问题。
评论