音乐
暂未播放
OpenAI Jalapeño 完全拆解:9 个月从零到流片,凭什么超越英伟达 Blackwell
引言:一颗「辣椒芯」引发的讨论#
2026 年 8 月 25 日,OpenAI 在 Hot Chips 2026 大会第二天公布了自己的首颗自研 AI 芯片 Jalapeño(墨西哥辣椒)的首批实测基准数据。这颗与博通(Broadcom)合作、台积电(TSMC)代工的推理专用 ASIC(Application-Specific Integrated Circuit,专用集成电路),在半导体研究机构 SemiAnalysis 使用其 InferenceX 基准套件的实测中,几乎在所有测试场景下都击败了英伟达(NVIDIA)当前在售的 Blackwell 旗舰平台 GB200 与 GB300。SemiAnalysis 的评价是:Jalapeño「击败了我们所能测试的每一颗英伟达、AMD 和谷歌芯片」。

这颗芯片的代号、性能数字与背后的开发速度都很有戏剧性:从 2024 年底提出架构概念到 2025 年 11 月完成包含 CoWoS 先进封装的流片,只用了约 9 个月,行业常规周期是 18 到 36 个月;OpenAI 自己把 Hot Chips 的演讲标题起名为「You Can Just Build Things… Chips」(你可以直接造东西……芯片)。消息公布次日(8 月 26 日),英伟达股价不跌反涨 2.19%,结束了连续七个交易日的下跌——市场没有恐慌,却在重新审视一个此前几乎不需要回答的问题:CUDA 生态与英伟达 GPU,在推理这件事上还是不可替代的吗?
本文会从头拆解这颗芯片:OpenAI 为什么要造芯片、9 个月是怎么做到的、芯片内部长什么样、软件栈如何运作、那些惊人的数字(包括「104.3 倍」)是怎么测出来的、含金量几何,以及它对英伟达和整个 AI 算力产业意味着什么。Jalapeño 在 Hot Chips 2026 大会上的整体位置可以参考本站此前的 Hot Chips 2026 全景拆解,本文聚焦这颗芯片本身。
背景:OpenAI 为什么要自研芯片#
推理成本与电力约束:OpenAI 面对的两个账本#
先厘清一个容易混淆的事实:OpenAI 是一家模型公司,不是传统意义上的芯片公司。它之所以下场造芯片,直接原因有两个账本算不过来了。
第一个账本是推理成本。ChatGPT 及各类 agent 应用的推理量按年增长数倍,而推理硬件仍然被英伟达一家垄断定价。英伟达毛利率长期维持在 88% 上下——这不是普通生意的利润率,而是「市场上没有替代品」的垄断定价权。对 OpenAI 来说,每节省 1% 的推理成本,都是十亿美元量级的利润。Jalapeño 在 2026 年 6 月首次公开时就宣称「推理成本比英伟达 GPU 低 50%」,这是它立项时的核心目标。
第二个账本是电力。OpenAI 如今限制数据中心扩张的瓶颈早已不是预算或机房面积,而是电网。SemiAnalysis 在 Computex 2026 上引用英伟达 CEO 黄仁勋的原话:「如果你有 1 吉瓦电力,那么每瓦吞吐量就是收入。」一个数据中心的上限由电力接入(utility interconnection)、冷却、UPS 与备用发电能力共同决定,而电网扩容的速度远远慢于硬件迭代。超大规模客户为此纷纷建设表后电力(behind-the-meter)设施。在这样的约束下,「每兆瓦能产出多少 token」比「单颗芯片峰值算力」重要得多——这正是 Jalapeño 设计的北极星指标。
两年半的布局:从收购传闻到 40 人团队#
OpenAI 的芯片计划可以追溯到 2023 年底。关键节点如下:
| 时间 | 事件 |
|---|---|
| 2023-10 | 路透社报道 OpenAI 评估收购芯片公司(曾考虑自建晶圆厂,因耗资与周期放弃) |
| 2024-07 | 媒体报道 OpenAI 招募前谷歌 TPU 团队成员,与博通洽谈定制芯片 |
| 2024-10 | 路透社确认 OpenAI 联手博通与台积电开发首颗自研 AI 芯片,团队约 20 人 |
| 2024-11 | 前谷歌 TPU 负责人(Tensor Processing Unit,张量处理单元)Richard Ho 加入 OpenAI 任硬件负责人 |
| 2025-02 | 路透社报道芯片设计团队扩至约 40 人,设计接近完成、将送台积电流片(3nm、脉动阵列、HBM) |
| 2025-09-05 | 金融时报报道 OpenAI 与博通敲定总值约 100 亿美元的芯片协议(博通 CEO 陈福阳此前在财报电话会上提到一位承诺下单 100 亿美元的「神秘新客户」) |
| 2025-09-22 | OpenAI 与英伟达达成千亿美元级合作协议——规模是博通合约的十倍 |
| 2025-11 | Jalapeño 完成 CoWoS 封装流片(9 个月 RTL 到流片) |
| 2026-01 | OpenAI 内部模型 Codex 在 Jalapeño 上运行 |
| 2026-06 | Jalapeño 首次公开,宣称推理成本比英伟达 GPU 低 50% |
| 2026-08-25 | Hot Chips 2026 公布首批 InferenceX 实测基准 |
两个细节值得注意。其一,Richard Ho 是前谷歌 TPU 项目核心人物,团队核心成员还包括同样来自谷歌 TPU 团队的 Thomas Norrie——OpenAI 相当于把谷歌最强芯片团队的一支嫡系挖了过来。其二,OpenAI 从始至终执行的是双轨战略:一边自研,一边和英伟达签下千亿美元订单。自研芯片不是要替代英伟达,而是要让英伟达的报价从「垄断价」变成「有参照物的竞争价」,同时把自家最大宗的推理负载逐步搬到成本更可控的硅片上。Richard Ho 在 Hot Chips 上明确表示:「英伟达是一家非常优秀的合作伙伴,我们仍然需要大量使用英伟达的芯片。」
首秀:Jalapeño 的一组关键数字#
规格一览#
先看这颗芯片的纸面规格。Jalapeño 由一颗接近光刻掩膜极限的巨型计算 die 加一颗 I/O chiplet 构成:

| 项目 | Jalapeño | 对比对象 |
|---|---|---|
| 工艺 | 台积电 N3P(3nm 级),计算 die 约 840 mm²(接近 858 mm² 的 EUV 掩膜极限)+ N3E I/O chiplet | GB300 为台积电 4NP |
| 矩阵算力 | 13.4 PFLOPS(MXFP4 × MXFP4) | Rubin 单计算 die 约 17.5 PFLOPS(NVFP4) |
| 内存 | 6 组 HBM4 共 216 GiB,带宽 15.4 TB/s(pin 速率 10 Gbps) | GB300:288 GB HBM3E,8 TB/s;Rubin:HBM4,9.6 Gbps |
| 功耗 | 700 W TDP,实测负载持续功耗 ≤ 550 W | GB200 1200 W / GB300 1400 W |
| 计算单元 | weight-stationary 脉动阵列 + 64 位乱序标量核(带 L1)+ FP32/INT32 向量核 | 通用 GPU SM |
| 系统规模 | 128 芯片/机架(1.7 EFLOPS、27.5 TB HBM4、近 2 PB/s);2048 芯片/16 机架(27 EFLOPS、432 TiB) | GB300 NVL72:72 颗 GPU/机架 |
「13.4 PFLOPS」需要说明口径:这是 MXFP4 微指数格式(Microscaling FP4)下的峰值,不是传统 FP16/BF16 算力。MXFP4 是 OCP 组织定义的微缩放格式(Microscaling Formats)家族成员:每个元素只有 4 位(1 位符号 + 2 位指数 + 1 位尾数),每 32 个元素共享一个 8 位块级缩放因子(micro-exponent,微指数):
符号1指数2尾数1+每 32 元素共享的块级指数8 bit共享指数的思路是:深度学习权重和激活的数值范围在局部是接近的(同一 block 内数量级一致),没有必要给每个元素都配一套完整的指数位。相比 FP8,MXFP4 可以把同样的显存带宽装下两倍的元素,对带宽瓶颈的推理场景收益直接。关于浮点格式与量化精度的背景,可参考本站 浮点数与数值稳定性。
这颗芯片没有图形单元、没有训练专用硬件——它只做推理。700 W 的 TDP 也说明它不是按「峰值算力最大化」设计的,而是按「能效最大化」设计的:推理负载吃的是内存带宽和延迟,不是裸算力,把功耗压下来、把频率定在甜点区,每瓦产出反而更高。
基准测试:SemiAnalysis 的 InferenceX#
先介绍测试方法,这是判断所有成绩的前提。InferenceX 是 SemiAnalysis 推出的公开基准套件,核心特点是功率归一化(power-normalized):所有成绩都按芯片封装 TDP(Thermal Design Power,热设计功耗)归一化——Jalapeño 按 700 W 计,GB200 按 1200 W、GB300 与 AMD MI355X 按 1400 W 计,并把每个平台的「请求延迟 × 每 token 能耗」画成帕累托前沿(Pareto frontier)曲线来比较,而不是只比单点吞吐。OpenAI 用它测了三个开源模型:
- GPT-OSS 120B——OpenAI 自己的开源模型,用来压延迟极限;
- DeepSeek R1 670B——推理成本敏感的典型模型(也是投机解码的好样本,小 draft 模型多);
- Kimi K2.5(1 万亿参数)——月之暗面的大模型,用来验证跨 128 颗芯片的扩展性。
三个模型都没有为 Jalapeño 做过任何适配——OpenAI 特别强调这一点:从 A0 样片回片到跑通这三个模型,团队没有为其中任何一个改模型。
三组核心数据#
1. 每瓦吞吐与延迟(匹配工作点):
| 模型 | 每千瓦吞吐(相对 GB200/GB300) | 端到端延迟降低 | 超高交互场景(低延迟点) |
|---|---|---|---|
| GPT-OSS 120B | ≈1.9×(对 GB200) | 1.7× | — |
| DeepSeek R1 670B | ≈1.7×(对 GB300) | 3.6× | 2.1–4.1× |
| Kimi K2.5 1T | ≈1.5×(对 GB300) | 3.4× | — |
SemiAnalysis 对三组结果的总结口径是:每千瓦吞吐为 GB200/GB300 的 1.5 至 1.9 倍,端到端延迟低 1.7 至 3.6 倍,超高交互(ultra-low-latency)场景快 2.1 至 4.1 倍。

这张图是 GPT-OSS 120B 的结果:横轴是请求延迟,纵轴是每千瓦吞吐。Jalapeño 在 700 W 的功率包络下整条曲线都在 GB200(1200 W)之上——注意「每千瓦」的含义,它把两边的功耗差异直接抹平后再比,仍然领先,这才是能效优势的干净表达。
2. 用户感知速度: 在低并发下,GPT-OSS 与 Kimi K2.5 上每用户生成速度约 1400 token/秒,DeepSeek R1 在并发为 1 时超过 700 token/秒。作为参照,GB300 在同样极端低延迟配置下约为 169 token/秒量级。中文媒体报道的细节是:GPT-OSS 上单个任务端到端完成时间 1.65 秒,GB300 需要近 6 秒;SemiAnalysis 另指出在 Kimi K2.5 上,当第二名芯片做到 100 token/秒/用户时,Jalapeño 是它的 9 倍以上。OpenAI 还声称在「经济的吞吐点」上实现了前沿模型亚毫秒级 token 间隔(token-to-token latency)。
3. 数据中心视角: 在 GPT-OSS 上,Jalapeño 每兆瓦每秒输出约 5300 万个 token,GB200 NVL72 机架约 1000 万个——即约 5 倍的数据中心能效差。换算成成本:按包含供电、散热、网络在内的系统级 TCO(Total Cost of Ownership,总拥有成本)模型,Jalapeño 每芯片每小时约 1.56 美元,与 H100 的 1.55 美元基本持平,而英伟达下一代 Vera Rubin 平台单芯片每小时约 3.61 美元。
每瓦吞吐与每焦耳 token 本质是同一个数——瓦特是焦耳每秒:
Rper-MW=106W⋅stokens=MJtokens所以「每兆瓦 token 吞吐」就是「每兆焦耳产出 token 数」,它是把电变成 token 的兑换率。这就是为什么业内把 tok/s/MW 当作数据中心能效的北极星指标。

SemiAnalysis 对这批数据的总体判断是:「Jalapeño 击败了我们能测试的每一颗英伟达、AMD 和谷歌芯片。」但注意这句话的边界——「我们能测试的」,即不包含英伟达新一代 Vera Rubin。这个口径问题非常重要,下文单列一节分析。
为什么这么快:AI 参与设计的芯片#
9 个月从 RTL 到流片,这个速度需要解释。行业共识是 18–36 个月,即便是最快的团队也很难低于 18 个月。SemiAnalysis 用更保守的口径计算:从 2024 年中组建团队算起,到流片约 16 个月——仍然快得反常。

设计流程本身被 AI 重构#
OpenAI 的硬件团队把芯片设计流程的多个环节交给了自己的 AI 模型:
- 使用谷歌开源的 XLS 硬件描述语言(hardware description language)做高层综合,配合内部 AI 模型自动搜索微架构决策;
- 流程是「度量 → 验证 → 学习 → 修改 → 重复」的收敛循环,规格不是在流片前就全部确定的,而是在设计循环中持续逼近;
- 大量修改一直持续到 RTL 冻结当天;
- AI 辅助设计带来了可度量的 PPA(Performance-Power-Area,性能-功耗-面积)收益:BF16 乘法单元的功耗-性能提升 56%,矩阵单元面积缩小 10%,SIMD 单元面积缩小 8%,且 AI 生成的模块在时序和功耗上全面优于人类初版。

更简单的目标本身就是速度来源#
除了 AI,还有几个结构性因素:
- 不做训练、不做通用 GPU。没有图形管线、没有训练专用的张量核与数据通路,芯片面积与验证工作量都大幅缩减。
- 追求能效而非极限频率。700 W 的 TDP 意味着时序收敛压力远小于 1400 W 的旗舰——频率越低、余量越大,物理设计越容易收敛,迭代越快。
- 复用成熟生态。台积电 N3P 成熟制程、标准 HBM4、博通现成的 Tomahawk 6 交换芯片(switch ASIC)、标准 PCIe——OpenAI 造的是自己最需要的部分,其余全部采购。
- 团队是「老 TPU 人」。Richard Ho 与 Thomas Norrie 团队在谷歌做过五代 TPU,对推理 ASIC 的架构陷阱了如指掌,第一版架构就踩在正确的方向上。
对照同样是 Hot Chips 2026 的主角:英伟达 Rubin 的 CoWoS 流片在 2025 年 10 月完成,比 Jalapeño 还早一个月,但到 2026 年 8 月为止,外界看到的 Rubin 早期成绩仍只有 CoreWeave 工程样片的有限数据,英伟达并未开放同样的实测对比——SemiAnalysis 的结论是:两家的芯片都在早期 bring-up 阶段,而 OpenAI 的软件成熟度反超了英伟达。这引出一个反直觉的结论:从零开始反而是优势——没有向后兼容包袱,架构可以 clean-sheet 设计,软件栈可以从第一天就为自家模型与 AI 编程优化。
架构详解:为「每个 token 的延迟和能耗」设计#
设计指标:Time-to-Last-Token 与 Tokens/Joule#
Jalapeño 的优化目标不是峰值算力、不是单芯片吞吐,而是两个系统级指标:time-to-last-token(最后一个 token 的时间,即用户感受到的完整响应时长)和 tokens/joule(每焦耳产出的 token)。OpenAI 明确表示,比较系统时看的是「请求延迟 × 每 token 能耗」的帕累托前沿,而不是堆芯片数量。
一个请求的三个硬件阶段#
先看一次典型的 LLM 推理请求会经历什么。OpenAI 在演讲中把请求拆成三个硬件阶段:

- Prefill(预填充):处理输入的提示词,一次性算出所有位置的注意力中间结果并写入 KV 缓存。计算密集(compute-bound),形状是「大矩阵 × 大矩阵」;
- Draft(草稿生成):投机解码中的小模型以极低 batch 快速生成候选 token,延迟敏感(latency-sensitive);
- Verify(验证解码):大模型并行验证候选 token,从 KV 缓存读数据,内存带宽密集(memory-bandwidth-bound),且 MoE(Mixture of Experts,混合专家)模型的专家路由会产生突发性通信。
三个阶段分别卡在计算、延迟、带宽三个不同的瓶颈上,而且三者的占比随工作负载漂移:模型从「知识时代」走向「推理时代」「agent 时代」,输入 token、缓存写入、缓存读取与输出 token 的比例一直在变。
为什么不做 P/D 分离:一个反行业共识的决策#
行业(包括英伟达、AMD 生态与本站拆解过的 ExpertPlex 等系统)的主流做法是prefill/decode 分离(P/D disaggregation,PDD):把 prefill 和 decode 分别部署到不同的芯片池,各自调优。Jalapeño 明确不做 PDD,draft 模型、主模型共用同一批芯片和同一张网络。原因有三层:
- 负载比例时刻在变。输入/输出长度、并发度、缓存命中率、投机接受率都在一天内不断波动。一旦把芯片物理分成 prefill 池和 decode 池,需求偏到一边时另一边就空转——本地利用率好看,全局利用率难看。OpenAI 选择同构池,让同一颗芯片在三个阶段都能干活,某阶段闲置的单元直接关断(clock gating),而不是让整颗芯片空转。
- KV 缓存的本地性。prefill 产出的 KV 缓存要交给 decode 用。P/D 分离意味着 KV 要跨网络搬运——这既是带宽开销,也是延迟与故障域。Jalapeño 的选择是让 KV 留在芯片本地,通过调整芯片内计算/内存/网络的活跃比例来适配不同阶段,而不是让状态在网络里旅行。
- 投机解码的耦合。draft 模型必须以极低延迟把候选喂给验证模型,把这对「生产者-消费者」拆到两个池子里,等于把一个紧耦合的解码循环变成分布式协议,通信开销会吃掉投机省下的延迟。

当然这不是免费的:同构芯片在某个阶段必然有一部分单元闲置,峰值效率低于「为每阶段专门调优」的异构方案。这是用理论峰值换实际利用率——OpenAI 的判断是,在生产负载永远在变的前提下,理论峰值换不到。
内存切片:整颗芯片最重要的设计#
现在进入核心架构。Jalapeño 的架构目标是消除一切「固定开销」(fixed overhead):长延迟路径、共享内存子系统的争用、昂贵的全局内存栅栏(memory fence)——这些都会让计算单元等数据,拉低利用率。

做法是切片化(slicing):把芯片的计算核心与 HBM 分成一一对应的切片(slice),每个核心切片对它「自己的」那部分 HBM 拥有低延迟本地视图。跨切片的同步走一条专用高带宽 collective 网络(collective network,集合通信网络),其余通用通信走另一条通用 NoC。也就是说:权重和 KV 缓存通过精心放置后,跨核心通信被限制在少量已知的高带宽路径上(比如张量并行通信),可以和计算重叠;而 GPU 里那种「任何访问都要穿过复杂内存系统」的路径被绕开了。
这条设计思路值得展开。GPU 的内存系统(L2、各种交叉开关与协议)为「任意访问模式」设计,延迟高且不可预测,必须靠大 batch 或大形状来摊薄。Jalapeño 赌的是:推理的访存模式是可预测的——权重按层、KV 按 token 位置,放置得当后大部分访问都落在本地切片。这个赌注是整颗芯片能耗和延迟优势的主要来源。SemiAnalysis 的评价是:「与英伟达和谷歌相比,OpenAI 用简化的 NoC 和内存子系统省下了大量功耗、获得了大量性能。」
计算单元:脉动阵列 + 乱序标量核 + 向量核#
Jalapeño 的矩阵引擎是 weight-stationary 脉动阵列(systolic array):权重一次性载入阵列,数据在单元间流动,避免重复读写。这与 TPU 同源——脉动阵列的时序原理、三种数据流模式与 Roofline 归因,本站 TPU v1 完全拆解(二) 有完整推导,这里不重复。
但与 TPU 大阵列不同,Jalapeño 支持小矩阵维度:小 shape 的矩阵乘不会像 TPU 那样因为阵列尺寸不对齐而掉进性能悬崖(tiling 效率骤降)。对推理来说这很关键——decode 阶段的矩阵乘 batch 极小,大脉动阵列恰恰在最需要的场景最无力。
脉动阵列之外还有两类核:
- 64 位乱序标量核(out-of-order scalar core,带 L1 缓存):负责控制流、内存管理与把数据流送进硬件队列;
- FP32/INT32 向量核:负责 softmax、归一化这类需要高精度的逐元素运算。
SemiAnalysis 特别指出,用乱序标量核 + L1 替代行业惯例的「软件管理 scratchpad + 异步 DMA」是一个显著偏离。好处是没有 barrier 这类固定延迟——GPU 里 warp 同步、内存栅栏的开销在小形状负载上占比极大,而乱序执行让「等数据」变成「做别的」;代价是依赖预取的及时性(prefetching),这对人类程序员是噩梦,但对能翻看详细 trace 的 Codex 来说是可以搜索的优化空间。这正是 OpenAI 赌的第二个点:硬件把上限做高,让 AI 去把上限做满。
HBM4 与带宽账本#
Jalapeño 用 6 组 HBM4,共 216 GiB、15.4 TB/s 带宽,pin 速率 10 Gbps——比英伟达 Rubin 从 HBM4 里拿到的 9.6 Gbps 还略高,据 TrendForce 报道内存由三星供应。HBM4 的选择没有悬念:Jalapeño 的一切都围绕榨干 HBM 带宽设计,内存自然是能买到的最好的。
OpenAI 自己算过一笔带宽账:以 128 芯片机架近 2 PB/s 的聚合带宽为天花板,假设只受带宽限制,单用户输出速度理论上可达 1000–2000 token/秒(无投机解码)乃至 5000–10000 token/秒(开启投机解码):
Rtoken≤bytes per tokenBHBM其中 BHBM 是聚合内存带宽,bytes per token 是每生成一个 token 需要读取的字节数(KV 缓存读取量 + 权重读取量,随 batch 增大,KV 读取被多个请求摊薄)。OpenAI 坦言实测远低于这个天花板——说明原始带宽不是唯一瓶颈,这正是他们花大力气消除固定延迟的原因。
冗余与良率收割#
工程细节上,Jalapeño 在托盘(tray)、核心(core)与通道(channel)三级做了冗余和良率收割(yield harvesting)设计——局部失效的芯片不必整颗报废,可以关掉坏切片继续用。这对 840 mm² 的巨型 die 尤其重要,巨 die 的缺陷概率与面积成正比。
系统:Katsu、Vindaloo 与 Chana 机架#
芯片之外,OpenAI 同时设计了一整套机架系统,命名延续了印度菜主题:CPU 宿主机架 Katsu、加速器机架 Vindaloo、交换托盘 Chana。

- Katsu 宿主机架:16 个 CPU 托盘,每个托盘装两颗 AMD EPYC「Turin」CPU、1.5 TB DRAM、E1.S 与 M.2 固态盘、2×200G 前端网络;
- Vindaloo 加速器机架:16 个托盘 × 8 颗 Jalapeño = 128 颗芯片,功耗约 130 kW;每个 Katsu 托盘与对应 Vindaloo 托盘之间用 8 根可插拔 PCIe DAC(Direct Attach Copper,直连铜缆)连接——现场可更换的线缆而不是背板;
- Chana 交换托盘:8 个交换托盘,中间 6 个用于本地域(各含一颗博通 Tomahawk 6 交换芯片,102.4 Tb/s),顶部与底部 2 个用于全域(各含两颗,合计 204.8 Tb/s);
- 两个机架合计功耗约 160 kW(宿主机架预置 50 kW、实际生产 31 kW,加速器机架 130 kW)——大约是「双宽」GB300 机架的功耗水平;
- 128 芯片机架合计 1.7 EFLOPS(MXFP4)、27.5 TB HBM4、近 2 PB/s 带宽。
网络分两个域:
- 本地域(rack 内 128 颗):每颗芯片单向往 4.8 Tb/s(600 GB/s),经铜背板全互连(all-to-all)到 6 颗 Tomahawk 6,每机架约 6144 对差分信号线;
- 全域(最多 16 机架、2048 颗芯片):每颗芯片 1.6 Tb/s(200 GB/s)单向,采用 rail-only 架构(8 条轨),铜背板 + 电交换 + 1.6T 光模块 + 光路交换(Optical Circuit Switch,OCS)混合组网,扩展到 2048 颗 = 27 EFLOPS、432 TiB 内存。
值得注意的设计取舍:全域带宽只按每芯片 200 GB/s 配,远低于本地域的 600 GB/s——因为跨机架通信只有张量并行(tensor parallel,吃高带宽)和专家并行(expert parallel,吃低带宽)两种模式,OpenAI 按「张量并行高带宽、专家并行低带宽」分别供给。SemiAnalysis 指出,scale-up 网络只占总系统成本约 10%,而 2048 颗芯片的单一全域给未来 10–20 万亿参数模型、200 万–400 万 token 上下文窗口留了余地。
软件栈:Gluon、Linear Layouts 与 AI 写内核#
Gluon:基于 Triton 的 kernel 语言#
芯片硬件只是故事的一半,另一半是软件栈。OpenAI 为 Jalapeño 写了全新的 kernel 编程语言 Gluon,构建在开源 Triton 之上:保留 Triton 的 SPMD(Single Program Multiple Data,单程序多数据)编程模型,同时暴露底层硬件抽象——在英伟达侧这些 API 直接映射到 PTX 指令(MMA 矩阵指令、TMA 张量内存加速器指令、mbarrier 机制等)。
Gluon 最独特的抽象是 layout(布局):一个 layout 定义「硬件资源(比如 warp 9 的 5 号寄存器)↔ 张量元素(比如第 6 行第 7 列)」之间的映射。OpenAI 发明了一套叫 Linear Layouts(线性布局)的布局代数,用数学语言形式化「布局是什么」,并提供操作布局的工具——比如可证明正确的布局转换与最优的内存 swizzle(打散重排)。配套的 TensorInfo 抽象把布局显式编码进程序。这套东西解决的是异构硬件上最折磨人的一类 bug:数据在内存里摆放的形状和计算单元期望的形状不一致,导致访存效率崩坏或结果错位。

每个 Gluon 程序映射到一条持久线程(persistent thread)——即持久 kernel 风格:程序由程序员(而不是硬件调度器)跨多个 tile 分配工作。每个核心提供数据预取与解耦乱序单元,程序员可以「等待某个预取完成」,由信号量(semaphore)在数据就绪时解锁。把「等数据」从程序员手里拿走、交给乱序硬件,是这套模型的核心体验。
Codex 写内核:从功能正确到 1.5–1.8 倍#
OpenAI 把「内核由 AI 编写」执行到了量产程度:
- 从功能正确的内核出发,内部 AI 系统驱动实现走向高性能。优化的注意力与 MoE 内核比现有专家手写实现快 1.5–1.8 倍,且在芯片上端到端验证;
- 为 DeepSeek 写 MLA(Multi-head Latent Attention,多头潜在注意力,见本站 MLA 完全拆解)内核时,OpenAI 内部此前根本没有人类实现的 MLA 内核——Codex 直接写出了功能正确且高效的内核;
- 每个内核像汇编一样手工打磨,部分达约 3000 行,配套正确性检查与自定义 sanitizer;
- 开发节奏惊人:两周内特定交互度下吞吐提升 2 倍以上;8 天之内从 TP8 扩展配置做到 TP32 全机架配置;
- 芯片模拟器 chilisim 与实测硬件误差在 5% 以内,性能验证可以大规模并行于真实硬件;
- 工程演示:Codex CLI 跑内部模型「Raiku」(5.3 Codex Spark)实现 1.2 ms 的 TPOT(Time Per Output Token,每输出 token 时间);Codex 写的演示程序直接在芯片上跑起 Doom(36 FPS)、FP32 流体动力学模拟与「Liquid Light」拖拽可视化。

内核之上还有两层:内部 serving 引擎叫 Teacup;OpenAI 还在探索「gigakernel」——把整个推理流程做成单一大内核,在设备上循环,消除 CPU 启动与调度开销。SemiAnalysis 据此给出了一个尖锐的判断:CUDA 护城河可能已经死了——因为护城河的本质是「软件生态迁移成本」,而当 AI 能以周为单位在新硬件上把模型跑起来时,迁移成本这个变量本身正在消失。OpenAI 用跑在英伟达 GPU 上的自家模型(GPT 5.6 Sol)设计出了一颗威胁 CUDA 的芯片——英伟达的 GPU 正在亲手孵化自己的潜在继任者。
性能对比的「含金量」:口径、方法与保留意见#
最关键的保留:单 token 预测 vs 多 token 预测#
Jalapeño 的所有成绩都是在单 token 预测(Single-Token Prediction,STP)下取得的:每步只预测一个 token。而对比基准英伟达系统使用的是多 token 预测(Multi-Token Prediction,MTP)/投机解码(speculative decoding,见本站 DSpark 拆解):小 draft 模型先快速猜 7 个候选 token,大模型一次并行验证 8 个,把大模型的前向次数最多减少 8 倍。

也就是说,Jalapeño 是「裸奔」状态,英伟达是「满配」状态,而 Jalapeño 仍然赢了。SemiAnalysis 对此的补充是:一旦在 Jalapeño 上开启投机解码,还能再获得 3–5 倍的每 token 成本下降——它的上限还远没摸到。
单 token vs 多 token 的直接对比:在 DeepSeek R1 上,OpenAI 把「裸奔的 Jalapeño」直接对「开启 MTP 的 GB300」:

即使如此,Jalapeño 每千瓦峰值吞吐仍高约 1.5 倍,端到端延迟低 2.2 倍——优势收窄,但仍然为正。
那些「上百倍」的数字是怎么来的#
「104.3 倍」这类数字需要拆解:它不是在相同配置下比出来的。方法是把 GB300 压到它的最优 token 间隔(time between tokens)——即单并发、最低延迟的极端点(约 169 token/秒)——然后看 Jalapeño 在同一延迟点上能承担多少吞吐。因为 Jalapeño 在低延迟下的并发能力远超 GB300,同一延迟点上的吞吐差距被放大到几十上百倍。同样的对比在 GPT-OSS 上是 53.7 倍(对 GB200)、Kimi K2.5 上是 56.1 倍(对 GB300)。这类数字表达的是「延迟约束下的吞吐弹性」,不是平均快 100 倍——媒体标题里的「狂飙 104 倍」不算错,但要说清楚口径。
还没有做的事:AgentX、Vera Rubin、量产步进#
- 没有 AgentX 结果:InferenceX 的这批运行是 8k1k(8K 上下文、1K 输出)负载,相对容易调优;SemiAnalysis 强调多轮长上下文 agent 负载(其 AgentX 基准)会压榨路由、前缀缓存(prefix cache)等更多环节,结果未可知;
- 没有对标 Vera Rubin:Rubin 是英伟达新一代平台(同样用 HBM4,每瓦性能据称是 GB200 NVL72 的 5.4 倍),Jalapeño 没有和它正面对测。纸面对比(同为 N3P、同为掩膜极限 die):Rubin 单 die 17.5 PFLOPS(NVFP4、900–1150 W),Jalapeño 13.4 PFLOPS(700 W)——算力密度上 Rubin 更高,但每瓦与每 token 成本口径上两者接近:SemiAnalysis 的模型显示每 token TCO 两者打平,而 Jalapeño 还没开投机解码;
- 样片 vs 量产:成绩全部来自 A0 步进(engineering sample),量产步进 B0 正在晶圆厂中,预计带来约 25% 的每瓦性能提升;目前 13.4 PFLOPS 正是 B0 的目标规格;
- 正确性:GSM8k 评测与英伟达芯片持平,但这只是单点验证。
SemiAnalysis 的立场与利益披露#
SemiAnalysis 的 Dylan Patel 直言:「被掀翻的不只是 Blackwell,Rubin 也被超越了。」但也要看到:测试由 SemiAnalysis 在 OpenAI 实验室中进行,数据由 OpenAI 提供,SemiAnalysis 现场验证了 InferenceX 的运行时行为;对比功耗采用双方公开的封装 TDP 而非同实验室实测电表。这是一组「可信但尚未第三方独立复现」的数字。
影响:英伟达、CUDA 护城河与产业格局#
市场反应:股价不跌反涨#
8 月 26 日(消息次日),美股科技股回暖,英伟达结束七连跌、涨超 2%,存储与光模块龙头同步走高。市场没有把 Jalapeño 解读为英伟达的丧钟——原因很实在:Jalapeño 2026 年底才极小批量部署、2027 年才爬坡,且不对外销售;英伟达的订单簿(包括 OpenAI 自己的千亿美元订单)没有变化。但这不意味着市场无动于衷:Silicon Analysts 的估算显示,英伟达在 AI 加速器市场的收入份额已从高峰的 87% 滑向 75%——增量市场正在被切走,存量依然是英伟达的。
CUDA 护城河的三道裂痕#
新浪财经、华尔街见闻等中文财经媒体把这次事件总结为「CUDA 神话松动」。护城河(moat)这个词描述的是英伟达最核心的竞争壁垒:二十年积累的 CUDA 软件生态让开发者「只有英伟达 GPU 才能跑我的模型」。Jalapeño 的意义在于它证明了裂痕存在,而裂痕有三条:
- ASIC 侧击:Jalapeño 只做推理,目标是把推理成本降低 30–50%——专用斧头砍柴远比瑞士军刀经济。Anthropic 已经验证了这条路的可行性:其算力底座形成「TPU 训练 + Trainium 推理 + GPU 探索」三级架构,Claude Code 的推理相当一部分跑在亚马逊 Trainium 上;
- AMD 补位:MI400 系列(CDNA 5)剑指 2026 年 72 亿美元营收,Meta 砸下 6 GW 采购承诺——「唯一选择」的叙事正在崩塌;
- 软件解耦:PyTorch + Triton 已经实现「CUDA-Free」推理路径,JAX 天生硬件无关——开发者迁移成本比五年前低一个数量级,OpenAI 的 Gluon 又给「新硬件 + AI 写内核」这个组合提供了实证。
OpenAI 仍然是英伟达最大的客户之一#
「自研芯片超越英伟达」的标题之下,容易被忽略的事实是:Jalapeño 不对外销售,只服务 OpenAI 自家推理;下一代 GPT 模型的训练依然依赖英伟达;OpenAI 同时是英伟达千亿美元级订单的客户。Richard Ho 的原话是:「英伟达是一家非常优秀的合作伙伴,我们仍然需要大量使用英伟达的芯片。」博通一侧,AI 半导体收入已到 84 亿美元年化运行率(同比增 106%),手握六个超大规模客户的定制芯片项目,OpenAI 是第六个——英伟达的对手从来不是一个 OpenAI,而是一条「模型厂商 + 博通 + 台积电 + 三星」的定制化产业链。
更长的叙事:推理专用化的时代#
把视野拉远,Jalapeño 只是 2025–2026 年「推理专用化」浪潮的最新一浪:谷歌双芯片 TPU v8(训练/服务分离)、微软 Maia 200、Meta MTIA、亚马逊 Trainium、Cerebras 晶圆级引擎、SambaNova SN50 同台竞逐。与它们相比,Jalapeño 的特殊性有三点:一是速度(9 个月),二是 AI 全面参与设计与编程,三是 OpenAI 同时掌握「模型 + 软件栈 + 芯片」三张牌,可以端到端协同设计。英伟达的回应是加快 Rubin 的软件成熟度与下一代平台迭代,并强调「数据中心是电力受限的」——这句话其实双方都同意,分歧只在谁把每瓦产出做得更高。
局限与未解问题#
- 生产负载未验证:8k1k 之外,多轮长上下文 agent 场景(AgentX)还没有结果,而 OpenAI 自己把 agent 负载列为设计目标——这是最大的待验证项;
- 规模爬坡:2026 年底极小批量、2027 年逐步爬坡(大部分产量计划在 2027 年第四季度),首个规模化部署目标约 100 MW;OpenAI 正与 neocloud 合作收集可靠性数据;
- 供应链:HBM4 供应紧张将持续到 2027 年,三星供货的产能分配是现实约束;
- 成本透明度:TCO 模型包含大量假设,芯片单价(含博通设计服务费、台积电 N3P 巨 die 良率)未披露;840 mm² die 的良率成本不低;
- 训练缺席:Jalapeño 不碰训练,训练芯片仍是英伟达的领地;
- 软件生态封闭:Gluon、Linear Layouts、Teacup 均为内部工具,短期内不会开源——它证明「AI 写内核」可行,但业界无法直接复用这套方法论;
- 对比公允性:所有成绩为 OpenAI 实验室 + SemiAnalysis 验证,与 Rubin 的对比不是同实验室同轮测试,第三方独立复现尚未发生。

小结#
把整件事压缩成几句话:
- OpenAI 用 9 个月(2024 年底架构概念 → 2025 年 11 月 CoWoS 流片)造出了首颗推理专用 ASIC Jalapeño,与博通合作、台积电 N3P 代工、三星 HBM4,700 W 功耗包络下实现 13.4 PFLOPS(MXFP4)与 15.4 TB/s 带宽;
- 在 SemiAnalysis 的 InferenceX 实测中,Jalapeño 以单 token 预测(未开投机解码)对满配 MTP 的 GB200/GB300,每千瓦吞吐仍高 1.5–1.9 倍、端到端延迟低 1.7–3.6 倍;单 token 对 MTP 的直接对比仍有 1.5 倍每千瓦优势;
- 架构上它赌三件事:内存切片消除固定延迟、乱序核 + 预取替代 scratchpad、不做 P/D 分离保住 KV 本地性——全部围绕「每个 token 的延迟与能耗」设计,而非峰值算力;
- 软件栈 Gluon(基于 Triton + Linear Layouts 布局代数)由 AI(Codex)写内核,从零到跑通三个前沿模型只用了几个月,attention/MoE 内核比人类专家快 1.5–1.8 倍;
- 成绩的边界同样明确:没有 AgentX、没有对测 Vera Rubin、A0 样片、量产在 2027 年——「超越英伟达」目前是一个有充分数据支撑、但仍在工程样片阶段的命题;
- 产业意义上,它把「AI 参与芯片设计」与「推理专用化」两个趋势推到台前,并第一次让「CUDA 护城河」成为一个被公开质疑的命题——尽管 OpenAI 自己依然是英伟达最大的客户之一。
这颗芯片的后续——B0 量产、Gen 2(每瓦性能提升约 25%,预计未来几个月流片)、Gen 3 概念设计,以及 ChatGPT 大规模迁到自家硅片上的时间表——值得继续跟踪。若 Jalapeño 成功,它将成为「前沿模型 + 定制芯片 + AI 编程」这一新范式的第一个完整样本。
参考资料#
- OpenAI Jalapeno Custom AI ASIC at Hot Chips 2026(ServeTheHome,含官方幻灯片逐张解读)
- OpenAI Jalapeño: Better Than Nvidia Blackwell(SemiAnalysis)
- OpenAI details Jalapeño AI chip, with 700W TDP(Data Center Dynamics)
- OpenAI Debuts Jalapeño AI Inference Chip, with Samsung Reportedly Supplying HBM4(TrendForce)
- OpenAI’s First-Gen Jalapeno ASIC Blows Competition Out Of The Park(WCCFTech)
- OpenAI「辣椒芯」干翻英伟达!老黄股价不跌反涨(量子位)
- OpenAI 掀桌!自研推理芯片墨西哥辣椒性能超越英伟达(36氪)
- 9 个月造出 3nm 芯片!OpenAI 自研芯片 Jalapeño 全解析(网易科技)
- 消息称 OpenAI 正联手博通和台积电打造自研芯片(中国电子网转载路透社)
- 自研晶片、深化 Nvidia 合作 OpenAI 雙軌佈局 AI 算力版圖(電子工程專輯)
- OpenAI custom chip project aims to challenge Nvidia’s dominance(TechSpot)
- 英伟达 CUDA 神话松动(新浪财经)
- Rubin 缩水背后,英伟达的 CUDA 神话正在松动(华尔街见闻)
- 本站:Hot Chips 2026 全景拆解
- 本站:TPU v1 完全拆解(二):脉动阵列、weight-stationary 数据流与 Roofline 性能归因
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
部分内容可能已过时
评论区
分享你的想法,与大家交流讨论
音乐
暂未播放



