2026 年 8 月 26 日——OpenAI 于 8 月 25 日（当地时间周二）在 Hot Chips 2026 大会上公布自研推理芯片 Jalapeño 的首批基准测试结果：在 SemiAnalysis 的 InferenceX 基准测试中，Jalapeño 在单用户生成 Token 数与每千瓦吞吐量两项指标上均超过当前在售的最先进推理处理器，对比对象为 NVIDIA Blackwell 系统。
Jalapeño 由 OpenAI 与 Broadcom 联合设计，于 2025 年 10 月首次披露。OpenAI 硬件负责人 Richard Ho 称测试结果"显示出相比业界最先进水平非常显著的性能进步"，并表示该芯片计划 2026 年底以极小批量部署，2027 年进入更大规模的部署（据 TechCrunch 报道）。
2026-08-26 · AI芯片 · 大模型推理 · 半导体
1. 概览
Hot Chips 是处理器行业每年 8 月在硅谷举办的技术会议，各厂商通常选择在该会议披露新架构的细节。2026 年 8 月 25 日，OpenAI 在该会议上首次公开 Jalapeño 推理系统的详细设计思路与第一批基准测试数据。
本轮披露的核心事实有三条。第一，Jalapeño 在 SemiAnalysis 的 InferenceX 基准上取得双项领先：单用户产出的 Token 更多，每千瓦功耗的吞吐量更高。第二，对比基线是当前在售的最先进推理处理器，即 NVIDIA Blackwell 系统。第三，部署节奏确认为 2026 年底小批量、2027 年放量。
Richard Ho 在媒体电话会议中表示："总体结论是，这些结果显示出相比业界最先进水平非常、非常显著的性能进步。""Jalapeño 能够以更少的电力服务更多 AI 工作，同时更快地返回响应。它既能高效地服务大量客户，也能做到很低的延迟。"（引文自英文原文翻译）
2. 项目背景：从 10 GW 合作到多代平台
2.1 与 Broadcom 的合作沿革
2025 年 10 月，OpenAI 与 Broadcom 公布战略合作，双方联合设计并部署总计 10 GW 的定制 AI 加速器，部署周期覆盖 2026 年下半年至 2029 年底（据双方当时公告），Jalapeño 即为该合作下的产物。TechCrunch 本次的报道确认，Jalapeño 由 OpenAI 与 Broadcom 密切协作开发，且开发过程中使用了 OpenAI 自己的模型参与辅助。
另据路透社等媒体此前报道，该合作下的系统采用以太网而非 NVIDIA NVLink 类专有互连来连接芯片。截至发稿，OpenAI 未在本轮披露中公布具体的互连规格。
2.2 多代平台规划
OpenAI 计划将 Jalapeño 打造为跨代际平台，使 AI 产品、模型、芯片与内存在同一规划体系下协同演进。TechCrunch 分析指出，正是这种全栈方式让 OpenAI 有条件针对推理流程中经常造成摩擦的特定环节做专门优化——OpenAI 点名的两个环节是 prefill（预填充）阶段与通信阶段，称二者是推理处理中的常见瓶颈。
| 时间 | 事件 |
|---|---|
| 2025 年 10 月 | OpenAI 与 Broadcom 公布 10 GW 定制加速器合作，Jalapeño 首次披露 |
| 2026 年 8 月 25 日 | Hot Chips 2026 公布首批 InferenceX 基准测试结果 |
| 2026 年底 | 计划以极小批量开始部署（Richard Ho 口径） |
| 2027 年 | 计划进入更大规模部署（Richard Ho 口径） |
3. 技术架构分析：官方披露透露了什么
本轮披露未公布制程工艺、晶体管规模、HBM 容量等硬件参数，但 OpenAI 官方博客的一段表述给出了明确的设计取向：
OpenAI 在发布测试结果的博客文章中表示："我们设计 Jalapeño 是为了最小化数据搬运与通信延迟。这意味着包括生成响应时所用的 KV Cache 在内的模型状态，可以被显式放置并保持在本地，同时系统为每个推理阶段激活计算、内存与网络的正确组合。"
以下从工程角度解读这段表述背后的技术含义。
3.1 推理的两阶段与第三个瓶颈
大语言模型推理包含两个性质迥异的阶段：
- Prefill（预填充）：一次性并行处理全部输入 Token 并产出第一个输出 Token。该阶段以大批量矩阵乘法为主，属于算力受限（compute-bound），直接决定首 Token 延迟（TTFT）。
- Decode（解码）：逐 Token 自回归生成。每生成一个 Token 都需要完整读取模型权重与 KV Cache，属于访存受限（memory-bandwidth-bound），决定整体吞吐与逐 Token 延迟（TPOT）。
在这两个阶段之外，通信构成第三个瓶颈来源：当推理任务切分到多颗芯片上执行（张量并行）时，每一层网络都要执行 AllReduce、AllGather 等集合通信操作；若芯片之间依靠常规网络而非紧耦合互连相连，通信等待时间会直接转化为算力空转。上下文越长、模型越大、并行度越高，prefill 与通信的开销占比就越显著。OpenAI 将 prefill 与通信并列点名，与此工程规律一致。
3.2 KV Cache 显式放置意味着什么
KV Cache 是 Decode 阶段的工作记忆，其规模随上下文长度线性增长。以一组示意配置估算（80 层、8 组 KV 头、每头 128 维、FP16 存储的通用 GQA 结构），单个序列每生成一个 Token 约累积 320 KB 的 KV Cache，一段 10 万 Token 的上下文即对应约 32 GB——超过多数单卡显存容量。长上下文、多轮对话与 Agent 类工作负载正在持续放大这一压力。
说明：上述为便于理解的示意性估算，采用通用 GQA 配置推导，不代表任何特定模型的实际参数。
传统 GPU 集群通常依赖分页化管理（如 PagedAttention 类机制）、缓存换出或跨节点迁移来扩展 KV Cache 容量，但每一次搬运都消耗带宽与电力，跨节点迁移还会中断计算。对照之下，官方所称"显式放置并保持本地"指向的工程方向包括：
- 会话亲和调度：将请求绑定到持有其 KV Cache 的芯片与内存域，避免重算或迁移；
- 内存层级由软件显式管理而非透明分页，把容量与放置决策前置到调度层；
- 通过扩大本地内存池（例如直连更大容量 HBM 或近存方案），使长上下文的 KV Cache 全程驻留计算单元附近。
3.3 按阶段激活计算、内存与网络
"为每个推理阶段激活正确的资源组合"这一表述显示，系统内部的资源组织方式与通用 GPU 集群不同：后者通常是所有节点同时承担所有阶段的混合负载，prefill 任务挤占 Decode 资源会造成相互干扰。业界近年发展的 Prefill/Decode 分离部署（PD 分离，如 vLLM 生态与 DistServe 等工作所验证的方向）正是为了解决该干扰问题。从公开表述看，Jalapeño 更接近把这类解耦下沉到硬件系统层：prefill 引擎、Decode 引擎、内存池与网络路径按推理阶段按需组合，从而减少通用集群中普遍存在的资源错配。此解读为本报告依据官方表述的分析推断，具体实现细节有待 OpenAI 进一步公开。
3.4 数据搬运的能耗账
"最小化数据搬运"之所以能直接转化为每瓦吞吐量优势，源于数字电路的一个基本事实：搬移数据的能耗显著高于计算本身的能耗，且搬运距离越远代价越高。按业内常用的数量级口径，片上 SRAM 访问约为零点几 pJ/bit 量级，读取 HBM 高出一个数量级以上，跨芯片的网络通信还要再高一个数量级。而大模型推理恰是典型的访存密集型负载，减少数据搬运的次数与距离，几乎等价于压低每个 Token 的能耗。
专用推理芯片的结构性优势也在于此：它服务的模型谱系封闭且已知，可以采取比通用 GPU 更激进的算子融合与就近计算布局，把通用平台上需要反复搬运的数据尽量驻留在计算单元旁边。这解释了 OpenAI 为什么把"每千瓦吞吐量"而不是峰值算力放在成绩单的核心位置。
3.5 Broadcom 的角色与以太网互连
Broadcom 向 Google TPU、Meta MTIA 等多家客户提供定制 ASIC 设计服务，在高性能 SerDes、先进封装与以太网交换芯片领域具备工业化能力。此前媒体报道称 OpenAI 与 Broadcom 的合作系统将以太网作为芯片间互连。若该口径属实，意味着 OpenAI 选择借助成熟的以太网生态构建大规模组网，而不是复制 NVIDIA 的紧耦合专有互连路线；相应的代价是以太网的单跳通信开销更高，系统必须依靠软件与拓扑调度把这部分开销压回来——这与前述"最小化通信延迟"的设计目标相互印证。互连路线目前仍为媒体报道口径，官方尚未确认技术细节。
4. 数据与规格
| 项目 | 内容 |
|---|---|
| 产品代号 | Jalapeño（墨西哥辣椒） |
| 类型 | 面向大规模推理的定制 AI 加速器系统 |
| 主导方 | OpenAI（硬件业务负责人 Richard Ho） |
| 设计合作方 | Broadcom |
| 首次披露 | 2025 年 10 月 |
| 基准测试 | SemiAnalysis InferenceX |
| 对比基线 | 当前在售最先进推理处理器（NVIDIA Blackwell 系统） |
| 相对成绩 | 单用户 Token 数更多；每千瓦吞吐量更高 |
| 绝对数值 | 截至发稿未随报道公开 |
| 部署计划 | 2026 年底极小批量；2027 年更大规模部署 |
| 平台规划 | 多代平台：产品、模型、芯片、内存协同开发 |
注：截至发稿，OpenAI 与 SemiAnalysis 均未在公开渠道公布本次测试的绝对读数（如每用户 Token 数、每千瓦 Token 数的具体数值）与测试配置详情，本文引用的均为相对比较结论。
5. 指标解读：为什么是这两个指标
单用户 Token 数衡量交互质量：在同一时延约束下，系统能为每个用户产出更多 Token，意味着回答返回更快，或在相同等待时间内支持更长的输出。对 ChatGPT 这类面向数亿用户的交互产品，这是直接的用户体验变量。
每千瓦吞吐量衡量经济性：大型数据中心扩建的现实约束已从芯片供应逐步转向电力供给，电网接入与散热能力决定了站点上限。在这种背景下，每瓦特能产出的有效 Token 数直接决定单位电力可承载的业务量，进而影响每百万 Token 的服务成本中电费与基础设施摊销的占比。这也是 Google TPU、AWS Trainium 等自研芯片项目共同的立项逻辑。
关于基准口径的可信度：SemiAnalysis 为独立研究机构，InferenceX 基准在统一的服务等级目标（如首 Token 时延、逐 Token 时延约束）下横向对比各家推理系统。本次结果出自该第三方基准而非厂商自建测试环境，横向可比性相对较高；但测试所用模型、上下文长度配置与时延目标尚未随报道公开，结论的外推边界待定。
6. 竞争格局：领先的是当下，考验在 2027
6.1 对比基线的时间差
TechCrunch 明确提示，本轮对比对象是当前的 NVIDIA Blackwell 系统，而到 Jalapeño 规模部署的 2027 年，竞争对手的产品线大概率已经完成代际更新——按 NVIDIA 此前公布的公开路线图，下一代 Rubin 平台将在 2026 至 2027 年间推出。"超过当前最先进水平"是一个静态快照，商业竞争则是动态过程：OpenAI 首代定制芯片上市时要面对的是对手的下一代产品。Richard Ho 给出的"极小批量先行"时间表，客观上也承认了爬坡周期的存在。
6.2 垂直整合的收益与风险
收益方面，模型与硬件协同设计的自由度是最直接的资产：芯片可以为自家模型序列的注意力结构、稀疏化策略与典型上下文长度定制，模型团队反过来可以针对芯片特性调整训练与量化方案。同时，只服务自家封闭模型谱系大幅缩小了软件栈的兼容负担——不需要覆盖 CUDA 生态的全部通用性，只需为一组已知模型维护编译器与算子库。Google 以 TPU 支撑搜索与 Gemini 业务的路径是该模式已验证的先例。
风险方面有三点值得关注。第一，首代定制芯片的良率与量产爬坡历来是不确定性最大的环节，"very small volumes"（极小批量）的措辞本身就是谨慎信号。第二，模型架构仍在快速演化，芯片设计期固化的硬件假设存在过时风险，多代平台规划正是为了对冲这一点。第三，对比基线随时间前移，2026 年底至 2027 年的实际竞争力需要届时重新检验。
对 Broadcom 而言，该项目叠加 Google、Meta 等既有客户，进一步强化其定制 AI 加速器业务的增长曲线；10 GW 级别的合作承诺亦属该公司历史上最大规模的订单之一（据双方 2025 年 10 月公告口径）。
7. 行业观察
- 推理专用芯片成为主战场：训练芯片的叙事围绕峰值算力展开，推理芯片的叙事则围绕每瓦有效 Token 展开。Jalapeño 选择以效率指标作为首发成绩单，印证行业竞争重心正向推理经济性迁移。
- 效率指标取代峰值参数成为采购决策中心：在电力约束趋紧的背景下，性能功耗比与单位电力业务承载量正在取代浮点峰值性能，成为算力基础设施建设方更关心的指标。
- 全栈协同设计从前置实验室扩散：产品、模型、芯片、内存四层同步规划的思路，此前主要见于 Google 等云端巨头，如今头部模型公司也开始以同等深度介入底层硬件定义。
- 后续关注点：InferenceX 绝对读数与测试配置的完整披露、2026 年底小批量部署的实际形态、软件栈是否会对第三方开放，以及该进展对 NVIDIA 数据中心业务定价与出货结构的边际影响。
举手提问