OpenAI Jalapeño 完全拆解:9 个月从零到流片,凭什么超越英伟达 Blackwell

9870 字
49 分钟
OpenAI Jalapeño 完全拆解:9 个月从零到流片,凭什么超越英伟达 Blackwell

引言:一颗「辣椒芯」引发的讨论#

2026 年 8 月 25 日,OpenAI 在 Hot Chips 2026 大会第二天公布了自己的首颗自研 AI 芯片 Jalapeño(墨西哥辣椒)的首批实测基准数据。这颗与博通(Broadcom)合作、台积电(TSMC)代工的推理专用 ASIC(Application-Specific Integrated Circuit,专用集成电路),在半导体研究机构 SemiAnalysis 使用其 InferenceX 基准套件的实测中,几乎在所有测试场景下都击败了英伟达(NVIDIA)当前在售的 Blackwell 旗舰平台 GB200 与 GB300。SemiAnalysis 的评价是:Jalapeño「击败了我们所能测试的每一颗英伟达、AMD 和谷歌芯片」。

Jalapeño 芯片(Hot Chips 2026 官方图片,来源:ServeTheHome)
Jalapeño 芯片(Hot Chips 2026 官方图片,来源:ServeTheHome)

这颗芯片的代号、性能数字与背后的开发速度都很有戏剧性:从 2024 年底提出架构概念到 2025 年 11 月完成包含 CoWoS 先进封装的流片,只用了约 9 个月,行业常规周期是 18 到 36 个月;OpenAI 自己把 Hot Chips 的演讲标题起名为「You Can Just Build Things… Chips」(你可以直接造东西……芯片)。消息公布次日(8 月 26 日),英伟达股价不跌反涨 2.19%,结束了连续七个交易日的下跌——市场没有恐慌,却在重新审视一个此前几乎不需要回答的问题:CUDA 生态与英伟达 GPU,在推理这件事上还是不可替代的吗?

本文会从头拆解这颗芯片:OpenAI 为什么要造芯片、9 个月是怎么做到的、芯片内部长什么样、软件栈如何运作、那些惊人的数字(包括「104.3 倍」)是怎么测出来的、含金量几何,以及它对英伟达和整个 AI 算力产业意味着什么。Jalapeño 在 Hot Chips 2026 大会上的整体位置可以参考本站此前的 Hot Chips 2026 全景拆解,本文聚焦这颗芯片本身。

背景:OpenAI 为什么要自研芯片#

推理成本与电力约束:OpenAI 面对的两个账本#

先厘清一个容易混淆的事实:OpenAI 是一家模型公司,不是传统意义上的芯片公司。它之所以下场造芯片,直接原因有两个账本算不过来了。

第一个账本是推理成本。ChatGPT 及各类 agent 应用的推理量按年增长数倍,而推理硬件仍然被英伟达一家垄断定价。英伟达毛利率长期维持在 88% 上下——这不是普通生意的利润率,而是「市场上没有替代品」的垄断定价权。对 OpenAI 来说,每节省 1% 的推理成本,都是十亿美元量级的利润。Jalapeño 在 2026 年 6 月首次公开时就宣称「推理成本比英伟达 GPU 低 50%」,这是它立项时的核心目标。

第二个账本是电力。OpenAI 如今限制数据中心扩张的瓶颈早已不是预算或机房面积,而是电网。SemiAnalysis 在 Computex 2026 上引用英伟达 CEO 黄仁勋的原话:「如果你有 1 吉瓦电力,那么每瓦吞吐量就是收入。」一个数据中心的上限由电力接入(utility interconnection)、冷却、UPS 与备用发电能力共同决定,而电网扩容的速度远远慢于硬件迭代。超大规模客户为此纷纷建设表后电力(behind-the-meter)设施。在这样的约束下,「每兆瓦能产出多少 token」比「单颗芯片峰值算力」重要得多——这正是 Jalapeño 设计的北极星指标。

两年半的布局:从收购传闻到 40 人团队#

OpenAI 的芯片计划可以追溯到 2023 年底。关键节点如下:

时间事件
2023-10路透社报道 OpenAI 评估收购芯片公司(曾考虑自建晶圆厂,因耗资与周期放弃)
2024-07媒体报道 OpenAI 招募前谷歌 TPU 团队成员,与博通洽谈定制芯片
2024-10路透社确认 OpenAI 联手博通与台积电开发首颗自研 AI 芯片,团队约 20 人
2024-11前谷歌 TPU 负责人(Tensor Processing Unit,张量处理单元)Richard Ho 加入 OpenAI 任硬件负责人
2025-02路透社报道芯片设计团队扩至约 40 人,设计接近完成、将送台积电流片(3nm、脉动阵列、HBM)
2025-09-05金融时报报道 OpenAI 与博通敲定总值约 100 亿美元的芯片协议(博通 CEO 陈福阳此前在财报电话会上提到一位承诺下单 100 亿美元的「神秘新客户」)
2025-09-22OpenAI 与英伟达达成千亿美元级合作协议——规模是博通合约的十倍
2025-11Jalapeño 完成 CoWoS 封装流片(9 个月 RTL 到流片)
2026-01OpenAI 内部模型 Codex 在 Jalapeño 上运行
2026-06Jalapeño 首次公开,宣称推理成本比英伟达 GPU 低 50%
2026-08-25Hot Chips 2026 公布首批 InferenceX 实测基准

两个细节值得注意。其一,Richard Ho 是前谷歌 TPU 项目核心人物,团队核心成员还包括同样来自谷歌 TPU 团队的 Thomas Norrie——OpenAI 相当于把谷歌最强芯片团队的一支嫡系挖了过来。其二,OpenAI 从始至终执行的是双轨战略:一边自研,一边和英伟达签下千亿美元订单。自研芯片不是要替代英伟达,而是要让英伟达的报价从「垄断价」变成「有参照物的竞争价」,同时把自家最大宗的推理负载逐步搬到成本更可控的硅片上。Richard Ho 在 Hot Chips 上明确表示:「英伟达是一家非常优秀的合作伙伴,我们仍然需要大量使用英伟达的芯片。」

首秀:Jalapeño 的一组关键数字#

规格一览#

先看这颗芯片的纸面规格。Jalapeño 由一颗接近光刻掩膜极限的巨型计算 die 加一颗 I/O chiplet 构成:

Jalapeño 芯片与系统概览(Hot Chips 2026 官方幻灯片)
Jalapeño 芯片与系统概览(Hot Chips 2026 官方幻灯片)

项目Jalapeño对比对象
工艺台积电 N3P(3nm 级),计算 die 约 840 mm²(接近 858 mm² 的 EUV 掩膜极限)+ N3E I/O chipletGB300 为台积电 4NP
矩阵算力13.4 PFLOPS(MXFP4 × MXFP4)Rubin 单计算 die 约 17.5 PFLOPS(NVFP4)
内存6 组 HBM4 共 216 GiB,带宽 15.4 TB/s(pin 速率 10 Gbps)GB300:288 GB HBM3E,8 TB/s;Rubin:HBM4,9.6 Gbps
功耗700 W TDP,实测负载持续功耗 ≤ 550 WGB200 1200 W / GB300 1400 W
计算单元weight-stationary 脉动阵列 + 64 位乱序标量核(带 L1)+ FP32/INT32 向量核通用 GPU SM
系统规模128 芯片/机架(1.7 EFLOPS、27.5 TB HBM4、近 2 PB/s);2048 芯片/16 机架(27 EFLOPS、432 TiB)GB300 NVL72:72 颗 GPU/机架

「13.4 PFLOPS」需要说明口径:这是 MXFP4 微指数格式(Microscaling FP4)下的峰值,不是传统 FP16/BF16 算力。MXFP4 是 OCP 组织定义的微缩放格式(Microscaling Formats)家族成员:每个元素只有 4 位(1 位符号 + 2 位指数 + 1 位尾数),每 32 个元素共享一个 8 位块级缩放因子(micro-exponent,微指数):

1符号2指数1尾数+8 bit每 32 元素共享的块级指数\underbrace{1}_{\text{符号}} \quad \underbrace{2}_{\text{指数}} \quad \underbrace{1}_{\text{尾数}} + \underbrace{8\text{ bit}}_{\text{每 32 元素共享的块级指数}}

共享指数的思路是:深度学习权重和激活的数值范围在局部是接近的(同一 block 内数量级一致),没有必要给每个元素都配一套完整的指数位。相比 FP8,MXFP4 可以把同样的显存带宽装下两倍的元素,对带宽瓶颈的推理场景收益直接。关于浮点格式与量化精度的背景,可参考本站 浮点数与数值稳定性

这颗芯片没有图形单元、没有训练专用硬件——它只做推理。700 W 的 TDP 也说明它不是按「峰值算力最大化」设计的,而是按「能效最大化」设计的:推理负载吃的是内存带宽和延迟,不是裸算力,把功耗压下来、把频率定在甜点区,每瓦产出反而更高。

基准测试:SemiAnalysis 的 InferenceX#

先介绍测试方法,这是判断所有成绩的前提。InferenceX 是 SemiAnalysis 推出的公开基准套件,核心特点是功率归一化(power-normalized):所有成绩都按芯片封装 TDP(Thermal Design Power,热设计功耗)归一化——Jalapeño 按 700 W 计,GB200 按 1200 W、GB300 与 AMD MI355X 按 1400 W 计,并把每个平台的「请求延迟 × 每 token 能耗」画成帕累托前沿(Pareto frontier)曲线来比较,而不是只比单点吞吐。OpenAI 用它测了三个开源模型:

  • GPT-OSS 120B——OpenAI 自己的开源模型,用来压延迟极限;
  • DeepSeek R1 670B——推理成本敏感的典型模型(也是投机解码的好样本,小 draft 模型多);
  • Kimi K2.5(1 万亿参数)——月之暗面的大模型,用来验证跨 128 颗芯片的扩展性。

三个模型都没有为 Jalapeño 做过任何适配——OpenAI 特别强调这一点:从 A0 样片回片到跑通这三个模型,团队没有为其中任何一个改模型。

三组核心数据#

1. 每瓦吞吐与延迟(匹配工作点):

模型每千瓦吞吐(相对 GB200/GB300)端到端延迟降低超高交互场景(低延迟点)
GPT-OSS 120B≈1.9×(对 GB200)1.7×
DeepSeek R1 670B≈1.7×(对 GB300)3.6×2.1–4.1×
Kimi K2.5 1T≈1.5×(对 GB300)3.4×

SemiAnalysis 对三组结果的总结口径是:每千瓦吞吐为 GB200/GB300 的 1.5 至 1.9 倍,端到端延迟低 1.7 至 3.6 倍,超高交互(ultra-low-latency)场景快 2.1 至 4.1 倍

GPT-OSS 120B 的每千瓦吞吐帕累托前沿(Hot Chips 2026 官方幻灯片)
GPT-OSS 120B 的每千瓦吞吐帕累托前沿(Hot Chips 2026 官方幻灯片)

这张图是 GPT-OSS 120B 的结果:横轴是请求延迟,纵轴是每千瓦吞吐。Jalapeño 在 700 W 的功率包络下整条曲线都在 GB200(1200 W)之上——注意「每千瓦」的含义,它把两边的功耗差异直接抹平后再比,仍然领先,这才是能效优势的干净表达。

2. 用户感知速度: 在低并发下,GPT-OSS 与 Kimi K2.5 上每用户生成速度约 1400 token/秒,DeepSeek R1 在并发为 1 时超过 700 token/秒。作为参照,GB300 在同样极端低延迟配置下约为 169 token/秒量级。中文媒体报道的细节是:GPT-OSS 上单个任务端到端完成时间 1.65 秒,GB300 需要近 6 秒;SemiAnalysis 另指出在 Kimi K2.5 上,当第二名芯片做到 100 token/秒/用户时,Jalapeño 是它的 9 倍以上。OpenAI 还声称在「经济的吞吐点」上实现了前沿模型亚毫秒级 token 间隔(token-to-token latency)。

3. 数据中心视角: 在 GPT-OSS 上,Jalapeño 每兆瓦每秒输出约 5300 万个 token,GB200 NVL72 机架约 1000 万个——即约 5 倍的数据中心能效差。换算成成本:按包含供电、散热、网络在内的系统级 TCO(Total Cost of Ownership,总拥有成本)模型,Jalapeño 每芯片每小时约 1.56 美元,与 H100 的 1.55 美元基本持平,而英伟达下一代 Vera Rubin 平台单芯片每小时约 3.61 美元。

每瓦吞吐与每焦耳 token 本质是同一个数——瓦特是焦耳每秒:

Rper-MW=tokens106Ws=tokensMJR_{\text{per-MW}} = \frac{\text{tokens}}{10^6\,\text{W}\cdot\text{s}} = \frac{\text{tokens}}{\text{MJ}}

所以「每兆瓦 token 吞吐」就是「每兆焦耳产出 token 数」,它是把电变成 token 的兑换率。这就是为什么业内把 tok/s/MW 当作数据中心能效的北极星指标。

Jalapeño 完整规格(Hot Chips 2026 官方幻灯片)
Jalapeño 完整规格(Hot Chips 2026 官方幻灯片)

SemiAnalysis 对这批数据的总体判断是:「Jalapeño 击败了我们能测试的每一颗英伟达、AMD 和谷歌芯片。」但注意这句话的边界——「我们能测试的」,即不包含英伟达新一代 Vera Rubin。这个口径问题非常重要,下文单列一节分析。

为什么这么快:AI 参与设计的芯片#

9 个月从 RTL 到流片,这个速度需要解释。行业共识是 18–36 个月,即便是最快的团队也很难低于 18 个月。SemiAnalysis 用更保守的口径计算:从 2024 年中组建团队算起,到流片约 16 个月——仍然快得反常。

项目时间线(Hot Chips 2026 官方幻灯片)
项目时间线(Hot Chips 2026 官方幻灯片)

设计流程本身被 AI 重构#

OpenAI 的硬件团队把芯片设计流程的多个环节交给了自己的 AI 模型:

  • 使用谷歌开源的 XLS 硬件描述语言(hardware description language)做高层综合,配合内部 AI 模型自动搜索微架构决策;
  • 流程是「度量 → 验证 → 学习 → 修改 → 重复」的收敛循环,规格不是在流片前就全部确定的,而是在设计循环中持续逼近;
  • 大量修改一直持续到 RTL 冻结当天;
  • AI 辅助设计带来了可度量的 PPA(Performance-Power-Area,性能-功耗-面积)收益:BF16 乘法单元的功耗-性能提升 56%,矩阵单元面积缩小 10%,SIMD 单元面积缩小 8%,且 AI 生成的模块在时序和功耗上全面优于人类初版。

AI 帮助 OpenAI 更快更好地造出 Jalapeño(Hot Chips 2026 官方幻灯片)
AI 帮助 OpenAI 更快更好地造出 Jalapeño(Hot Chips 2026 官方幻灯片)

更简单的目标本身就是速度来源#

除了 AI,还有几个结构性因素:

  1. 不做训练、不做通用 GPU。没有图形管线、没有训练专用的张量核与数据通路,芯片面积与验证工作量都大幅缩减。
  2. 追求能效而非极限频率。700 W 的 TDP 意味着时序收敛压力远小于 1400 W 的旗舰——频率越低、余量越大,物理设计越容易收敛,迭代越快。
  3. 复用成熟生态。台积电 N3P 成熟制程、标准 HBM4、博通现成的 Tomahawk 6 交换芯片(switch ASIC)、标准 PCIe——OpenAI 造的是自己最需要的部分,其余全部采购。
  4. 团队是「老 TPU 人」。Richard Ho 与 Thomas Norrie 团队在谷歌做过五代 TPU,对推理 ASIC 的架构陷阱了如指掌,第一版架构就踩在正确的方向上。

对照同样是 Hot Chips 2026 的主角:英伟达 Rubin 的 CoWoS 流片在 2025 年 10 月完成,比 Jalapeño 还早一个月,但到 2026 年 8 月为止,外界看到的 Rubin 早期成绩仍只有 CoreWeave 工程样片的有限数据,英伟达并未开放同样的实测对比——SemiAnalysis 的结论是:两家的芯片都在早期 bring-up 阶段,而 OpenAI 的软件成熟度反超了英伟达。这引出一个反直觉的结论:从零开始反而是优势——没有向后兼容包袱,架构可以 clean-sheet 设计,软件栈可以从第一天就为自家模型与 AI 编程优化。

架构详解:为「每个 token 的延迟和能耗」设计#

设计指标:Time-to-Last-Token 与 Tokens/Joule#

Jalapeño 的优化目标不是峰值算力、不是单芯片吞吐,而是两个系统级指标:time-to-last-token(最后一个 token 的时间,即用户感受到的完整响应时长)和 tokens/joule(每焦耳产出的 token)。OpenAI 明确表示,比较系统时看的是「请求延迟 × 每 token 能耗」的帕累托前沿,而不是堆芯片数量。

一个请求的三个硬件阶段#

先看一次典型的 LLM 推理请求会经历什么。OpenAI 在演讲中把请求拆成三个硬件阶段:

一个请求跨越三个硬件阶段(Hot Chips 2026 官方幻灯片)
一个请求跨越三个硬件阶段(Hot Chips 2026 官方幻灯片)

  • Prefill(预填充):处理输入的提示词,一次性算出所有位置的注意力中间结果并写入 KV 缓存。计算密集(compute-bound),形状是「大矩阵 × 大矩阵」;
  • Draft(草稿生成):投机解码中的小模型以极低 batch 快速生成候选 token,延迟敏感(latency-sensitive);
  • Verify(验证解码):大模型并行验证候选 token,从 KV 缓存读数据,内存带宽密集(memory-bandwidth-bound),且 MoE(Mixture of Experts,混合专家)模型的专家路由会产生突发性通信。

三个阶段分别卡在计算、延迟、带宽三个不同的瓶颈上,而且三者的占比随工作负载漂移:模型从「知识时代」走向「推理时代」「agent 时代」,输入 token、缓存写入、缓存读取与输出 token 的比例一直在变。

为什么不做 P/D 分离:一个反行业共识的决策#

行业(包括英伟达、AMD 生态与本站拆解过的 ExpertPlex 等系统)的主流做法是prefill/decode 分离(P/D disaggregation,PDD):把 prefill 和 decode 分别部署到不同的芯片池,各自调优。Jalapeño 明确不做 PDD,draft 模型、主模型共用同一批芯片和同一张网络。原因有三层:

  1. 负载比例时刻在变。输入/输出长度、并发度、缓存命中率、投机接受率都在一天内不断波动。一旦把芯片物理分成 prefill 池和 decode 池,需求偏到一边时另一边就空转——本地利用率好看,全局利用率难看。OpenAI 选择同构池,让同一颗芯片在三个阶段都能干活,某阶段闲置的单元直接关断(clock gating),而不是让整颗芯片空转。
  2. KV 缓存的本地性。prefill 产出的 KV 缓存要交给 decode 用。P/D 分离意味着 KV 要跨网络搬运——这既是带宽开销,也是延迟与故障域。Jalapeño 的选择是让 KV 留在芯片本地,通过调整芯片内计算/内存/网络的活跃比例来适配不同阶段,而不是让状态在网络里旅行。
  3. 投机解码的耦合。draft 模型必须以极低延迟把候选喂给验证模型,把这对「生产者-消费者」拆到两个池子里,等于把一个紧耦合的解码循环变成分布式协议,通信开销会吃掉投机省下的延迟。

系统级选择:KV 迁移还是活跃硅片比例变化(Hot Chips 2026 官方幻灯片)
系统级选择:KV 迁移还是活跃硅片比例变化(Hot Chips 2026 官方幻灯片)

当然这不是免费的:同构芯片在某个阶段必然有一部分单元闲置,峰值效率低于「为每阶段专门调优」的异构方案。这是用理论峰值换实际利用率——OpenAI 的判断是,在生产负载永远在变的前提下,理论峰值换不到。

内存切片:整颗芯片最重要的设计#

现在进入核心架构。Jalapeño 的架构目标是消除一切「固定开销」(fixed overhead):长延迟路径、共享内存子系统的争用、昂贵的全局内存栅栏(memory fence)——这些都会让计算单元等数据,拉低利用率。

协同设计架构:核心切片与 HBM 切片的本地视图(Hot Chips 2026 官方幻灯片)
协同设计架构:核心切片与 HBM 切片的本地视图(Hot Chips 2026 官方幻灯片)

做法是切片化(slicing):把芯片的计算核心与 HBM 分成一一对应的切片(slice),每个核心切片对它「自己的」那部分 HBM 拥有低延迟本地视图。跨切片的同步走一条专用高带宽 collective 网络(collective network,集合通信网络),其余通用通信走另一条通用 NoC。也就是说:权重和 KV 缓存通过精心放置后,跨核心通信被限制在少量已知的高带宽路径上(比如张量并行通信),可以和计算重叠;而 GPU 里那种「任何访问都要穿过复杂内存系统」的路径被绕开了。

这条设计思路值得展开。GPU 的内存系统(L2、各种交叉开关与协议)为「任意访问模式」设计,延迟高且不可预测,必须靠大 batch 或大形状来摊薄。Jalapeño 赌的是:推理的访存模式是可预测的——权重按层、KV 按 token 位置,放置得当后大部分访问都落在本地切片。这个赌注是整颗芯片能耗和延迟优势的主要来源。SemiAnalysis 的评价是:「与英伟达和谷歌相比,OpenAI 用简化的 NoC 和内存子系统省下了大量功耗、获得了大量性能。」

计算单元:脉动阵列 + 乱序标量核 + 向量核#

Jalapeño 的矩阵引擎是 weight-stationary 脉动阵列(systolic array):权重一次性载入阵列,数据在单元间流动,避免重复读写。这与 TPU 同源——脉动阵列的时序原理、三种数据流模式与 Roofline 归因,本站 TPU v1 完全拆解(二) 有完整推导,这里不重复。

但与 TPU 大阵列不同,Jalapeño 支持小矩阵维度:小 shape 的矩阵乘不会像 TPU 那样因为阵列尺寸不对齐而掉进性能悬崖(tiling 效率骤降)。对推理来说这很关键——decode 阶段的矩阵乘 batch 极小,大脉动阵列恰恰在最需要的场景最无力。

脉动阵列之外还有两类核:

  • 64 位乱序标量核(out-of-order scalar core,带 L1 缓存):负责控制流、内存管理与把数据流送进硬件队列;
  • FP32/INT32 向量核:负责 softmax、归一化这类需要高精度的逐元素运算。

SemiAnalysis 特别指出,用乱序标量核 + L1 替代行业惯例的「软件管理 scratchpad + 异步 DMA」是一个显著偏离。好处是没有 barrier 这类固定延迟——GPU 里 warp 同步、内存栅栏的开销在小形状负载上占比极大,而乱序执行让「等数据」变成「做别的」;代价是依赖预取的及时性(prefetching),这对人类程序员是噩梦,但对能翻看详细 trace 的 Codex 来说是可以搜索的优化空间。这正是 OpenAI 赌的第二个点:硬件把上限做高,让 AI 去把上限做满

HBM4 与带宽账本#

Jalapeño 用 6 组 HBM4,共 216 GiB、15.4 TB/s 带宽,pin 速率 10 Gbps——比英伟达 Rubin 从 HBM4 里拿到的 9.6 Gbps 还略高,据 TrendForce 报道内存由三星供应。HBM4 的选择没有悬念:Jalapeño 的一切都围绕榨干 HBM 带宽设计,内存自然是能买到的最好的。

OpenAI 自己算过一笔带宽账:以 128 芯片机架近 2 PB/s 的聚合带宽为天花板,假设只受带宽限制,单用户输出速度理论上可达 1000–2000 token/秒(无投机解码)乃至 5000–10000 token/秒(开启投机解码):

RtokenBHBMbytes per tokenR_{\text{token}} \le \frac{B_{\text{HBM}}}{\text{bytes per token}}

其中 BHBMB_{\text{HBM}} 是聚合内存带宽,bytes per token\text{bytes per token} 是每生成一个 token 需要读取的字节数(KV 缓存读取量 + 权重读取量,随 batch 增大,KV 读取被多个请求摊薄)。OpenAI 坦言实测远低于这个天花板——说明原始带宽不是唯一瓶颈,这正是他们花大力气消除固定延迟的原因。

冗余与良率收割#

工程细节上,Jalapeño 在托盘(tray)、核心(core)与通道(channel)三级做了冗余和良率收割(yield harvesting)设计——局部失效的芯片不必整颗报废,可以关掉坏切片继续用。这对 840 mm² 的巨型 die 尤其重要,巨 die 的缺陷概率与面积成正比。

系统:Katsu、Vindaloo 与 Chana 机架#

芯片之外,OpenAI 同时设计了一整套机架系统,命名延续了印度菜主题:CPU 宿主机架 Katsu、加速器机架 Vindaloo、交换托盘 Chana

Jalapeño 网络拓扑:本地域与全域(Hot Chips 2026 官方幻灯片)
Jalapeño 网络拓扑:本地域与全域(Hot Chips 2026 官方幻灯片)

  • Katsu 宿主机架:16 个 CPU 托盘,每个托盘装两颗 AMD EPYC「Turin」CPU、1.5 TB DRAM、E1.S 与 M.2 固态盘、2×200G 前端网络;
  • Vindaloo 加速器机架:16 个托盘 × 8 颗 Jalapeño = 128 颗芯片,功耗约 130 kW;每个 Katsu 托盘与对应 Vindaloo 托盘之间用 8 根可插拔 PCIe DAC(Direct Attach Copper,直连铜缆)连接——现场可更换的线缆而不是背板;
  • Chana 交换托盘:8 个交换托盘,中间 6 个用于本地域(各含一颗博通 Tomahawk 6 交换芯片,102.4 Tb/s),顶部与底部 2 个用于全域(各含两颗,合计 204.8 Tb/s);
  • 两个机架合计功耗约 160 kW(宿主机架预置 50 kW、实际生产 31 kW,加速器机架 130 kW)——大约是「双宽」GB300 机架的功耗水平;
  • 128 芯片机架合计 1.7 EFLOPS(MXFP4)、27.5 TB HBM4、近 2 PB/s 带宽。

网络分两个域:

  • 本地域(rack 内 128 颗):每颗芯片单向往 4.8 Tb/s(600 GB/s),经铜背板全互连(all-to-all)到 6 颗 Tomahawk 6,每机架约 6144 对差分信号线;
  • 全域(最多 16 机架、2048 颗芯片):每颗芯片 1.6 Tb/s(200 GB/s)单向,采用 rail-only 架构(8 条轨),铜背板 + 电交换 + 1.6T 光模块 + 光路交换(Optical Circuit Switch,OCS)混合组网,扩展到 2048 颗 = 27 EFLOPS、432 TiB 内存。

值得注意的设计取舍:全域带宽只按每芯片 200 GB/s 配,远低于本地域的 600 GB/s——因为跨机架通信只有张量并行(tensor parallel,吃高带宽)和专家并行(expert parallel,吃低带宽)两种模式,OpenAI 按「张量并行高带宽、专家并行低带宽」分别供给。SemiAnalysis 指出,scale-up 网络只占总系统成本约 10%,而 2048 颗芯片的单一全域给未来 10–20 万亿参数模型、200 万–400 万 token 上下文窗口留了余地。

软件栈:Gluon、Linear Layouts 与 AI 写内核#

Gluon:基于 Triton 的 kernel 语言#

芯片硬件只是故事的一半,另一半是软件栈。OpenAI 为 Jalapeño 写了全新的 kernel 编程语言 Gluon,构建在开源 Triton 之上:保留 Triton 的 SPMD(Single Program Multiple Data,单程序多数据)编程模型,同时暴露底层硬件抽象——在英伟达侧这些 API 直接映射到 PTX 指令(MMA 矩阵指令、TMA 张量内存加速器指令、mbarrier 机制等)。

Gluon 最独特的抽象是 layout(布局):一个 layout 定义「硬件资源(比如 warp 9 的 5 号寄存器)↔ 张量元素(比如第 6 行第 7 列)」之间的映射。OpenAI 发明了一套叫 Linear Layouts(线性布局)的布局代数,用数学语言形式化「布局是什么」,并提供操作布局的工具——比如可证明正确的布局转换最优的内存 swizzle(打散重排)。配套的 TensorInfo 抽象把布局显式编码进程序。这套东西解决的是异构硬件上最折磨人的一类 bug:数据在内存里摆放的形状和计算单元期望的形状不一致,导致访存效率崩坏或结果错位。

Jalapeño 的空间架构编程模型(Hot Chips 2026 官方幻灯片)
Jalapeño 的空间架构编程模型(Hot Chips 2026 官方幻灯片)

每个 Gluon 程序映射到一条持久线程(persistent thread)——即持久 kernel 风格:程序由程序员(而不是硬件调度器)跨多个 tile 分配工作。每个核心提供数据预取与解耦乱序单元,程序员可以「等待某个预取完成」,由信号量(semaphore)在数据就绪时解锁。把「等数据」从程序员手里拿走、交给乱序硬件,是这套模型的核心体验。

Codex 写内核:从功能正确到 1.5–1.8 倍#

OpenAI 把「内核由 AI 编写」执行到了量产程度:

  • 从功能正确的内核出发,内部 AI 系统驱动实现走向高性能。优化的注意力与 MoE 内核比现有专家手写实现快 1.5–1.8 倍,且在芯片上端到端验证;
  • 为 DeepSeek 写 MLA(Multi-head Latent Attention,多头潜在注意力,见本站 MLA 完全拆解)内核时,OpenAI 内部此前根本没有人类实现的 MLA 内核——Codex 直接写出了功能正确且高效的内核;
  • 每个内核像汇编一样手工打磨,部分达约 3000 行,配套正确性检查与自定义 sanitizer;
  • 开发节奏惊人:两周内特定交互度下吞吐提升 2 倍以上;8 天之内从 TP8 扩展配置做到 TP32 全机架配置;
  • 芯片模拟器 chilisim 与实测硬件误差在 5% 以内,性能验证可以大规模并行于真实硬件;
  • 工程演示:Codex CLI 跑内部模型「Raiku」(5.3 Codex Spark)实现 1.2 ms 的 TPOT(Time Per Output Token,每输出 token 时间);Codex 写的演示程序直接在芯片上跑起 Doom(36 FPS)、FP32 流体动力学模拟与「Liquid Light」拖拽可视化。

AI 把功能正确的内核变成高性能实现(Hot Chips 2026 官方幻灯片)
AI 把功能正确的内核变成高性能实现(Hot Chips 2026 官方幻灯片)

内核之上还有两层:内部 serving 引擎叫 Teacup;OpenAI 还在探索「gigakernel」——把整个推理流程做成单一大内核,在设备上循环,消除 CPU 启动与调度开销。SemiAnalysis 据此给出了一个尖锐的判断:CUDA 护城河可能已经死了——因为护城河的本质是「软件生态迁移成本」,而当 AI 能以周为单位在新硬件上把模型跑起来时,迁移成本这个变量本身正在消失。OpenAI 用跑在英伟达 GPU 上的自家模型(GPT 5.6 Sol)设计出了一颗威胁 CUDA 的芯片——英伟达的 GPU 正在亲手孵化自己的潜在继任者。

性能对比的「含金量」:口径、方法与保留意见#

最关键的保留:单 token 预测 vs 多 token 预测#

Jalapeño 的所有成绩都是在单 token 预测(Single-Token Prediction,STP)下取得的:每步只预测一个 token。而对比基准英伟达系统使用的是多 token 预测(Multi-Token Prediction,MTP)/投机解码(speculative decoding,见本站 DSpark 拆解):小 draft 模型先快速猜 7 个候选 token,大模型一次并行验证 8 个,把大模型的前向次数最多减少 8 倍。

MTP 投机解码:8 个 token 一次大模型前向(Hot Chips 2026 官方幻灯片)
MTP 投机解码:8 个 token 一次大模型前向(Hot Chips 2026 官方幻灯片)

也就是说,Jalapeño 是「裸奔」状态,英伟达是「满配」状态,而 Jalapeño 仍然赢了。SemiAnalysis 对此的补充是:一旦在 Jalapeño 上开启投机解码,还能再获得 3–5 倍的每 token 成本下降——它的上限还远没摸到。

单 token vs 多 token 的直接对比:在 DeepSeek R1 上,OpenAI 把「裸奔的 Jalapeño」直接对「开启 MTP 的 GB300」:

STP 的 Jalapeño vs MTP 的 GB300 直接对比(Hot Chips 2026 官方幻灯片)
STP 的 Jalapeño vs MTP 的 GB300 直接对比(Hot Chips 2026 官方幻灯片)

即使如此,Jalapeño 每千瓦峰值吞吐仍高约 1.5 倍,端到端延迟低 2.2 倍——优势收窄,但仍然为正。

那些「上百倍」的数字是怎么来的#

「104.3 倍」这类数字需要拆解:它不是在相同配置下比出来的。方法是把 GB300 压到它的最优 token 间隔(time between tokens)——即单并发、最低延迟的极端点(约 169 token/秒)——然后看 Jalapeño 在同一延迟点上能承担多少吞吐。因为 Jalapeño 在低延迟下的并发能力远超 GB300,同一延迟点上的吞吐差距被放大到几十上百倍。同样的对比在 GPT-OSS 上是 53.7 倍(对 GB200)、Kimi K2.5 上是 56.1 倍(对 GB300)。这类数字表达的是「延迟约束下的吞吐弹性」,不是平均快 100 倍——媒体标题里的「狂飙 104 倍」不算错,但要说清楚口径。

还没有做的事:AgentX、Vera Rubin、量产步进#

  • 没有 AgentX 结果:InferenceX 的这批运行是 8k1k(8K 上下文、1K 输出)负载,相对容易调优;SemiAnalysis 强调多轮长上下文 agent 负载(其 AgentX 基准)会压榨路由、前缀缓存(prefix cache)等更多环节,结果未可知;
  • 没有对标 Vera Rubin:Rubin 是英伟达新一代平台(同样用 HBM4,每瓦性能据称是 GB200 NVL72 的 5.4 倍),Jalapeño 没有和它正面对测。纸面对比(同为 N3P、同为掩膜极限 die):Rubin 单 die 17.5 PFLOPS(NVFP4、900–1150 W),Jalapeño 13.4 PFLOPS(700 W)——算力密度上 Rubin 更高,但每瓦与每 token 成本口径上两者接近:SemiAnalysis 的模型显示每 token TCO 两者打平,而 Jalapeño 还没开投机解码;
  • 样片 vs 量产:成绩全部来自 A0 步进(engineering sample),量产步进 B0 正在晶圆厂中,预计带来约 25% 的每瓦性能提升;目前 13.4 PFLOPS 正是 B0 的目标规格;
  • 正确性:GSM8k 评测与英伟达芯片持平,但这只是单点验证。

SemiAnalysis 的立场与利益披露#

SemiAnalysis 的 Dylan Patel 直言:「被掀翻的不只是 Blackwell,Rubin 也被超越了。」但也要看到:测试由 SemiAnalysis 在 OpenAI 实验室中进行,数据由 OpenAI 提供,SemiAnalysis 现场验证了 InferenceX 的运行时行为;对比功耗采用双方公开的封装 TDP 而非同实验室实测电表。这是一组「可信但尚未第三方独立复现」的数字。

影响:英伟达、CUDA 护城河与产业格局#

市场反应:股价不跌反涨#

8 月 26 日(消息次日),美股科技股回暖,英伟达结束七连跌、涨超 2%,存储与光模块龙头同步走高。市场没有把 Jalapeño 解读为英伟达的丧钟——原因很实在:Jalapeño 2026 年底才极小批量部署、2027 年才爬坡,且不对外销售;英伟达的订单簿(包括 OpenAI 自己的千亿美元订单)没有变化。但这不意味着市场无动于衷:Silicon Analysts 的估算显示,英伟达在 AI 加速器市场的收入份额已从高峰的 87% 滑向 75%——增量市场正在被切走,存量依然是英伟达的。

CUDA 护城河的三道裂痕#

新浪财经、华尔街见闻等中文财经媒体把这次事件总结为「CUDA 神话松动」。护城河(moat)这个词描述的是英伟达最核心的竞争壁垒:二十年积累的 CUDA 软件生态让开发者「只有英伟达 GPU 才能跑我的模型」。Jalapeño 的意义在于它证明了裂痕存在,而裂痕有三条:

  1. ASIC 侧击:Jalapeño 只做推理,目标是把推理成本降低 30–50%——专用斧头砍柴远比瑞士军刀经济。Anthropic 已经验证了这条路的可行性:其算力底座形成「TPU 训练 + Trainium 推理 + GPU 探索」三级架构,Claude Code 的推理相当一部分跑在亚马逊 Trainium 上;
  2. AMD 补位:MI400 系列(CDNA 5)剑指 2026 年 72 亿美元营收,Meta 砸下 6 GW 采购承诺——「唯一选择」的叙事正在崩塌;
  3. 软件解耦:PyTorch + Triton 已经实现「CUDA-Free」推理路径,JAX 天生硬件无关——开发者迁移成本比五年前低一个数量级,OpenAI 的 Gluon 又给「新硬件 + AI 写内核」这个组合提供了实证。

OpenAI 仍然是英伟达最大的客户之一#

「自研芯片超越英伟达」的标题之下,容易被忽略的事实是:Jalapeño 不对外销售,只服务 OpenAI 自家推理;下一代 GPT 模型的训练依然依赖英伟达;OpenAI 同时是英伟达千亿美元级订单的客户。Richard Ho 的原话是:「英伟达是一家非常优秀的合作伙伴,我们仍然需要大量使用英伟达的芯片。」博通一侧,AI 半导体收入已到 84 亿美元年化运行率(同比增 106%),手握六个超大规模客户的定制芯片项目,OpenAI 是第六个——英伟达的对手从来不是一个 OpenAI,而是一条「模型厂商 + 博通 + 台积电 + 三星」的定制化产业链。

更长的叙事:推理专用化的时代#

把视野拉远,Jalapeño 只是 2025–2026 年「推理专用化」浪潮的最新一浪:谷歌双芯片 TPU v8(训练/服务分离)、微软 Maia 200、Meta MTIA、亚马逊 Trainium、Cerebras 晶圆级引擎、SambaNova SN50 同台竞逐。与它们相比,Jalapeño 的特殊性有三点:一是速度(9 个月),二是 AI 全面参与设计与编程,三是 OpenAI 同时掌握「模型 + 软件栈 + 芯片」三张牌,可以端到端协同设计。英伟达的回应是加快 Rubin 的软件成熟度与下一代平台迭代,并强调「数据中心是电力受限的」——这句话其实双方都同意,分歧只在谁把每瓦产出做得更高。

局限与未解问题#

  • 生产负载未验证:8k1k 之外,多轮长上下文 agent 场景(AgentX)还没有结果,而 OpenAI 自己把 agent 负载列为设计目标——这是最大的待验证项;
  • 规模爬坡:2026 年底极小批量、2027 年逐步爬坡(大部分产量计划在 2027 年第四季度),首个规模化部署目标约 100 MW;OpenAI 正与 neocloud 合作收集可靠性数据;
  • 供应链:HBM4 供应紧张将持续到 2027 年,三星供货的产能分配是现实约束;
  • 成本透明度:TCO 模型包含大量假设,芯片单价(含博通设计服务费、台积电 N3P 巨 die 良率)未披露;840 mm² die 的良率成本不低;
  • 训练缺席:Jalapeño 不碰训练,训练芯片仍是英伟达的领地;
  • 软件生态封闭:Gluon、Linear Layouts、Teacup 均为内部工具,短期内不会开源——它证明「AI 写内核」可行,但业界无法直接复用这套方法论;
  • 对比公允性:所有成绩为 OpenAI 实验室 + SemiAnalysis 验证,与 Rubin 的对比不是同实验室同轮测试,第三方独立复现尚未发生。

多代路线图(Hot Chips 2026 官方幻灯片)
多代路线图(Hot Chips 2026 官方幻灯片)

小结#

把整件事压缩成几句话:

  • OpenAI 用 9 个月(2024 年底架构概念 → 2025 年 11 月 CoWoS 流片)造出了首颗推理专用 ASIC Jalapeño,与博通合作、台积电 N3P 代工、三星 HBM4,700 W 功耗包络下实现 13.4 PFLOPS(MXFP4)与 15.4 TB/s 带宽;
  • 在 SemiAnalysis 的 InferenceX 实测中,Jalapeño 以单 token 预测(未开投机解码)对满配 MTP 的 GB200/GB300,每千瓦吞吐仍高 1.5–1.9 倍、端到端延迟低 1.7–3.6 倍;单 token 对 MTP 的直接对比仍有 1.5 倍每千瓦优势;
  • 架构上它赌三件事:内存切片消除固定延迟、乱序核 + 预取替代 scratchpad、不做 P/D 分离保住 KV 本地性——全部围绕「每个 token 的延迟与能耗」设计,而非峰值算力;
  • 软件栈 Gluon(基于 Triton + Linear Layouts 布局代数)由 AI(Codex)写内核,从零到跑通三个前沿模型只用了几个月,attention/MoE 内核比人类专家快 1.5–1.8 倍;
  • 成绩的边界同样明确:没有 AgentX、没有对测 Vera Rubin、A0 样片、量产在 2027 年——「超越英伟达」目前是一个有充分数据支撑、但仍在工程样片阶段的命题;
  • 产业意义上,它把「AI 参与芯片设计」与「推理专用化」两个趋势推到台前,并第一次让「CUDA 护城河」成为一个被公开质疑的命题——尽管 OpenAI 自己依然是英伟达最大的客户之一。

这颗芯片的后续——B0 量产、Gen 2(每瓦性能提升约 25%,预计未来几个月流片)、Gen 3 概念设计,以及 ChatGPT 大规模迁到自家硅片上的时间表——值得继续跟踪。若 Jalapeño 成功,它将成为「前沿模型 + 定制芯片 + AI 编程」这一新范式的第一个完整样本。

参考资料#

  1. OpenAI Jalapeno Custom AI ASIC at Hot Chips 2026(ServeTheHome,含官方幻灯片逐张解读)
  2. OpenAI Jalapeño: Better Than Nvidia Blackwell(SemiAnalysis)
  3. OpenAI details Jalapeño AI chip, with 700W TDP(Data Center Dynamics)
  4. OpenAI Debuts Jalapeño AI Inference Chip, with Samsung Reportedly Supplying HBM4(TrendForce)
  5. OpenAI’s First-Gen Jalapeno ASIC Blows Competition Out Of The Park(WCCFTech)
  6. OpenAI「辣椒芯」干翻英伟达!老黄股价不跌反涨(量子位)
  7. OpenAI 掀桌!自研推理芯片墨西哥辣椒性能超越英伟达(36氪)
  8. 9 个月造出 3nm 芯片!OpenAI 自研芯片 Jalapeño 全解析(网易科技)
  9. 消息称 OpenAI 正联手博通和台积电打造自研芯片(中国电子网转载路透社)
  10. 自研晶片、深化 Nvidia 合作 OpenAI 雙軌佈局 AI 算力版圖(電子工程專輯)
  11. OpenAI custom chip project aims to challenge Nvidia’s dominance(TechSpot)
  12. 英伟达 CUDA 神话松动(新浪财经)
  13. Rubin 缩水背后,英伟达的 CUDA 神话正在松动(华尔街见闻)
  14. 本站:Hot Chips 2026 全景拆解
  15. 本站:TPU v1 完全拆解(二):脉动阵列、weight-stationary 数据流与 Roofline 性能归因

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

OpenAI Jalapeño 完全拆解:9 个月从零到流片,凭什么超越英伟达 Blackwell
https://pinghaoyang.com.cn/aigc/posts/openai-jalapeno-chip/
作者
平昊阳
发布于
2026-08-26
许可协议
CC BY-NC-SA 4.0

评论区

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
--
总访问量
--
访客数
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
86
分类
18
标签
110
总字数
726,072
运行时长
0
最后活动
0 天前

文章目录