Hot Chips 2026 全景拆解：Agentic AI 时代，CPU、GPU 与内存的重新分工

背景：从 Grace 到 Vera#

Vera 是 NVIDIA 自研服务器 CPU Grace 的继任者，也是 Vera Rubin 平台（Vera CPU + Rubin GPU + BlueField-4 网络芯片）的核心组件。它于 2026 年 6 月进入全面生产，首批系统已交付 Anthropic、OpenAI、SpaceXAI、Oracle Cloud Infrastructure 等客户，Dell、HPE、联想、超微（Supermicro）都将推出 Vera 服务器。NVIDIA 在会上把它定位为”首款为智能体 AI 打造的 CPU”，直接向 Intel 和 AMD 主导的 x86 服务器 CPU 市场发起挑战。

规格速览#

设计哲学：高 IPC 而不是多核心#

Vera 最反直觉的设计决策是：88 个核心在今天的服务器 CPU 里算”少”的（AMD EPYC 旗舰有 192 核，Intel Diamond Rapids 有 256 核）。NVIDIA 的解释直指服务器 CPU 市场的一个惯性误区：

服务器经济学长期奖励”出租核心数”——云厂商按核收费，所以 CPU 厂商拼命堆核，导致单核性能（IPC，Instructions Per Cycle，每周期执行的指令数）长期停滞。但智能体工作负载恰恰相反：任务是串行的，单线程性能决定任务切换的速度，决定 GPU 等待的时间。

因此 Olympus 核心把预算全部砸在单核上：10 宽的指令获取/解码前端（一个周期取回并解码 10 条指令，主流服务器核心一般是 4-6 宽）、巨大的乱序执行缓冲（massive buffers）、以及一个神经分支预测器（neural branch predictor，用一个小型神经网络预测分支走向，替代传统的模式匹配表）。下图是 NVIDIA 官方公布的 Olympus 核心逻辑框图：

空间多线程：静态划分代替资源共享#

传统 CPU 的多线程（Simultaneous Multithreading，SMT）让两个线程共享一个核心的执行资源：取指、解码、执行单元动态分时复用。优点是硬件利用率高，缺点是线程之间互相干扰——一个线程的突发负载会拖慢另一个线程，造成延迟抖动（noise）。这在智能体场景是致命的：编排任务对延迟敏感，抖动意味着 GPU 多等。

Vera 的做法叫空间多线程（Spatial Multithreading）：不共享，而是把核心资源在运行时物理划分成两个独立的分区，每个分区完整执行一个线程。NVIDIA 声称同样的硬件能获得与传统 SMT 相同的总性能，但线程之间互不干扰、延迟确定（deterministic）：

对读者来说，这里有个值得记住的工程教训：共享资源会引入性能耦合，隔离资源要付面积代价，延迟敏感负载往往选择后者。类似的选择在本届大会反复出现。

内存子系统：LPDDR5X 与 SOCAMM#

Vera 的另一个与众不同之处是用 LPDDR5X（Low Power Double Data Rate 5X，低功耗内存）而不是服务器常用的 DDR5 或 HBM 做系统内存。原因有两层：

1. 能效：LPDDR5X 每比特传输功耗不到传统 DDR 的一半，而能效是整机散热预算的关键约束；
2. 容量与带宽足够：1.5 TB 容量、1.2 TB/s 带宽，是上一代 Grace 的三倍左右，足以支撑几十个并发智能体沙箱的上下文。

内存采用可拆卸的 SOCAMM 模块（Small Outline Compression Attached Memory Module，压缩贴合式小尺寸内存模组），可以像普通内存条一样更换升级，解决了 LPDDR 通常焊死在板上、无法维修的问题。

性能数据：厂商口径与独立基准#

NVIDIA 在 Hot Chips 上公布了如下性能主张（注意这些都是厂商数据，但比发布会数字可核验得多）：

• 智能体工作负载：任务完成速度比 x86 CPU 快最高 1.8 倍（数据密集型工作负载更接近 1.5 倍；NVIDIA 强调这些是”代理工作负载”的代理基准）；
• SPEC CPU 2026 整数性能：双路 Vera 基础分数 925，超过双路 AMD EPYC 9755 的 898——用更少的线程数（176 线程 vs 192 线程）取得约 3% 的领先；
• 独立云厂商 DeepInfra 的基准：并发智能体支持数量最多提升 1.6 倍，编排速度最多快 2.2 倍；
• 机架规模：一个 Vera CPU 机架可承载超过 22,500 个并发沙箱，是 x86 机架的 4 倍以上，每瓦性能为 2 倍。

NVIDIA 还展示了”吞吐-交互性”曲线（token throughput vs interactivity）：在高交互水平（每个用户每秒 token 率高）下，Vera Rubin 平台的总吞吐量可达 Grace Blackwell 的 30 倍。这个数字的潜台词是：交互式智能体场景下，过去”堆批处理”的优化思路失效了——批处理越大延迟越高，而智能体要求低延迟，只能靠更快的单请求完成速度，这正是 Vera 高 IPC 设计的用武之地。

Diamond Rapids：256 核的编排中枢#

Diamond Rapids 是下一代至强（Xeon）处理器，角色是”编排中枢”——在智能体工作流里负责调度、协调 GPU 与各类加速器，而不是自己算大矩阵。核心规格：

• 256 个物理核心（无超线程 SMT，Intel 认为智能体编排更吃单核与缓存），基于增强版 18A-P 工艺；
• 1.28 GB 末级缓存（Last Level Cache，LLC）——这个容量在服务器 CPU 里史无前例，是为了让整个工作流的工作集留在片上；
• 16 个内存通道，速率 12,800 MT/s（每秒 128 亿次传输）；
• 128 条 PCIe Gen6 与 CXL 3.0 通道（Compute Express Link，计算快速链接，用于挂加速器与内存扩展）；
• 封装采用 Foveros Direct 3D 堆叠与 UCIe-S（Universal Chiplet Interconnect Express-S，通用小芯片互连标准的服务器变体），架构上拆成最多 4 个计算块（Compute Building Block，CBB），每块最多 64 核，计算 die 通过 Foveros Direct 直接堆在基底 die 上；
• 指令集扩展：Intel 高级性能扩展（Advanced Performance Extensions，APX，增加通用寄存器数量）与新一代高级矩阵扩展（Advanced Matrix Extensions，AMX，矩阵乘加速指令）。

一句话理解 Diamond Rapids：它不和 GPU 比算力，它的存在是为了让 256 个核 + 1.28 GB 缓存把”几十次 AI 调用的编排”全部吃下，让 GPU 专注推理。

Crescent Island：480 GB 内存的风冷推理卡#

Crescent Island 是 Intel 面向推理的数据中心 GPU（对应此前 Battlemage/数据中心 GPU 路线），定位是”高密度实时推理与长上下文智能体模型”：

• Xe3P 架构，32 个 Xe 核心（Xe cores）、256 个 XMX 引擎（Xe Matrix Extension，Intel 的矩阵乘加速单元，对标 NVIDIA 的 Tensor Core）；
• 最高 480 GB LPDDR5X 内存——注意这里刻意不用 HBM（High Bandwidth Memory，高带宽内存），而是用便宜的 LPDDR5X 堆容量；
• 350 W 风冷 PCIe 卡，无需液冷改造即可直接插入现有数据中心机架。

这个设计思路值得展开：推理（尤其是长上下文智能体）场景的瓶颈往往不是算力而是”模型放不放得下、KV 缓存够不够”。480 GB 内存意味着能整卡容纳超大模型参数和百万级 token 的上下文窗口。代价是 LPDDR5X 带宽远低于 HBM——这是一个”容量换带宽”的明确取舍，面向的是内存容量敏感的部署场景，而不是 decode 带宽饥渴的场景（后者正是 HBM 的天下，见后文内存专场）。

Wildcat Lake：第一款用上 UCIe 的主流客户端芯片#

Wildcat Lake 就是已经上市的 Intel Core Series 3（酷睿 3 系列），面向廉价笔记本与边缘设备，是 Panther Lake（Core Ultra Series 3）的低端同门。它的规格并不惊人——2 个性能核（Panther Cove）+ 4 个能效核（Darkmont）、Xe3 核显（保留了 XMX 矩阵单元但砍掉了光线追踪）、最高 17 TOPS 的 NPU（Neural Processing Unit，神经网络处理单元）、LPDDR5X-7467 内存、Wi-Fi 7 与蓝牙 6.0——但它在本届大会的价值在于工程取舍的示范意义。

三个关键决策：

1. 跳过一代工艺：上一代同类产品 Raptor Lake-U 还是 Intel 7 工艺，Wildcat Lake 直接跳到 18A——低端产品反而用上最新工艺，因为 Intel 18A 的良率爬坡需要大量出货来摊薄成本，低端走量芯片正好当”排头兵”；
2. 用 UCIe 而不是 Foveros：这是 Intel 主流客户端处理器首次使用 UCIe 互连。Foveros 3D 封装能让 chiplet 间间距做到约 36 微米，但成本高；Wildcat Lake 改用便宜的有机多芯片封装（organic MCP，Multi-Chip Package），UCIe 的焊点间距约 110 微米，密度低一档但成本大幅下降——因为这块芯片本来就没多少数据要在 die 之间搬运（PCIe 通道少了、显示带宽需求低了）。Intel 还为此把 die-to-die 通信从 Foveros 的”裸线”改成了 UCIe 的包化协议（packetized protocol），并实现了持续显示数据流跨 die 的低功耗传输；
3. 把 I/O chiplet 砍掉 15% 面积：移除摄像头物理层（PHY）、减少 PCIe 通道、显示控制器去掉 UHBR 高带宽模式，而保留”全局”（globals，跨平台通用模块）不变以避免重复验证。

Intel 的总结很有代表性：“低端芯片的竞争本质是物料清单（Bill of Materials，BOM）与功耗预算的竞争，架构上每一分钱都要花在刀刃上。” Wildcat Lake 演示了一个完整的方法论——先定 BOM 目标，再反推该保留什么、该砍什么。

为什么 IBM 要这么做#

背景数据：约 70% 的世界交易量（银行、保险、航空等核心交易系统）运行在 IBM Z 主机（mainframe）上。IBM Z 的核心竞争力是极致的可靠性与安全，但软件生态封闭。Arm 生态（云原生、开源软件、以及大量 AI 推理栈）是主机接不到的新应用群体。IBM 的选择不是”加几颗 Arm 核心”（那只是异构），而是让每一颗核心都同时是 Z 核心和 Arm 核心——Z 客户保留全部存量代码，同时原生跑起整个 Arm 软件生态。

硬件规格#

• 11 个 Z 核心，主频 5.7 GHz 以上，2nm 工艺（这使 IBM 成为首批公开 2nm 主处理器的厂商之一）；
• 每核心 36 MB 私有 L2 缓存，聚合为 432 MB 虚拟 L3 与 3.5 GB 虚拟 L4 缓存（“虚拟”指跨核心共享的逻辑缓存层次）；
• 片上集成专用 DPU（Data Processing Unit，数据处理单元，负责 I/O 卸载）、AI 加速、压缩、加密与排序（sort）专用模块；
• SMT=2（每核 2 线程），并通过 RAIM（Redundant Array of Independent Memory，独立内存冗余阵列，类似内存 RAID）等机制支撑 99.999999% 的可用性目标（一年约 0.3 秒停机时间）。

双指令集是怎么实现的#

IBM 公开了三个层次的实现细节，非常值得读：

1. 指令解码：Arm 的指令集描述是机器可读的 XML 文件，IBM 写了一套自动化流程，直接从 Arm 的 XML 架构描述生成解码逻辑——不需要人工一条条翻译指令；
2. 乱序执行复用：AArch64 的寄存器重命名直接复用 Z 核心的寄存器重命名单元（把 GR16-31 通用寄存器区间映射到 Arm 的 31 个通用寄存器），分支预测、访存流水线大量复用现有 Z 核心设计，只新增了 SVE（Scalable Vector Extension，可伸缩向量扩展）所需的控制逻辑与 FP16/BF16/加密的新数据通路；
3. RISC 的”冷幽默”：IBM 表示 AArch64 的 2,792 条指令是 Z 指令数的两倍多，演讲者顺势调侃了 RISC（Reduced Instruction Set Computer，精简指令集计算机）名不副实。

结果：AArch64 v9.3、SVE/SVE2 全支持，2,792 条指令完整实现，并声称通过 Arm SystemReady 规范——这意味着 Arm 生态的现成软件（Linux 发行版、容器、数据库、AI 推理框架）可以不改一行代码、原封不动地跑在 IBM 主机上。Arm 软件看到的是一个”标准 Arm 处理器”。

软件共存与第二代 AI 加速器#

软件层面，IBM 通过 Linux KVM 与 OpenShift 虚拟化让 s390x（Z 架构的 Linux 端口）与 ARM64 Linux 在同一颗处理器上共存，逻辑分区（logical partition）共享同一批核心；Z 的加速器（加密、GZIP 压缩、AI 单元）对 Arm 侧暴露为 Linux 平台设备，延迟与原生 Z 指令相当。

随处理器一同公布的还有第二代片上 AI 推理加速器：16 个主动 AI 核心 + 1 个冗余核心（冗余核心用于故障替换，IBM 称之为”带冗余的 AI”），支持 FP4 与 MXFP4 数据类型（MX 是 OCP 的 MicroScaling 格式，4 位浮点带 8 位共享缩放因子，详见本博客量化专题），TOPS 数提升最高 4 倍；配套 96 GB HBM3e，带宽约 4 TB/s（上一代的约 20 倍），通过 PCIe Gen6 低延迟互联。这套组合的定位是”关键任务 AI”（mission-critical AI）：机密计算（confidential computing，数据与模型在使用中加密）、量子安全加密、99.999999% 可用性，直接瞄准金融、政务等既需要 AI 又不能接受宕机的场景。

NVIDIA Rubin：Blackwell 之后的下一代加速器#

Rubin GPU 是 Blackwell 的继任者（对应平台 Vera Rubin），由 Manas Mandal 等工程师主讲。由于 Rubin 的详细微架构将在后续文章单独拆解，这里只交代与本届主题相关的两个点：一是 Rubin 与 Vera CPU 的协同设计（co-design）贯穿从指令集到机架的每一层——NVIDIA 把整个平台描述为”横跨七款芯片、五种专用机架类型的极端协同设计（extreme co-design）“；二是与 Groq 的整合，NVIDIA 在会上宣布 Groq 3 LPX 交互式推理加速器全面投产：在 Gemma 4 31B 模型、10 万 token 上下文下实现每秒 3,400 个输出 token，响应速度比最接近的替代平台快 4 倍，单机架集成 256 个 LP30 加速器。LPX 的定位是接住 Vera Rubin 在最高交互水平下仍会”崩溃”的性能曲线——用专用解码加速器把吞吐-交互性边界再往外推。

AMD MI400 系列与 Helios 机架#

AMD 用两场演讲完整公开了 MI400 系列 GPU 架构与系统架构。MI400 的旗舰是 MI455X（CDNA 5 架构，此前于 2026 年 7 月的 Advancing AI 大会公布，Hot Chips 上补充了架构细节）：台积电 2nm/3nm 混合工艺、3,200 亿晶体管、432 GB HBM4（每堆栈 2,048 位接口，带宽 23.3 TB/s）、峰值算力 MXFP4 40 PFLOPS；系统侧是 Helios 机架：72 颗 MI455X + EPYC “Venice” CPU（Zen 6，最高 256 核）+ Pensando 网络，整机架 2.9 EFLOPS（FP4）、31 TB 聚合 HBM4、1.7 PB/s 聚合内存带宽，机架内通过 UALoE（Ultra Accelerator Link over Ethernet，超加速器链路以太网版）实现单跳 260 TB/s 互连，整机架功耗约 225-245 kW。

Helios 最有意思的地方是它对标物不是单颗 GPU，而是 NVIDIA 的 NVL72 机架——AMD 声称 Helios 每美元 token 产出比 NVL72 高约 30%。注意这些仍是纸面数字，且 AMD 也坦诚软件生态（ROCm）与系统可用性是追赶的关键。

Google TPU v8、OpenAI 与各家自研芯片#

Google 的演讲标题点破了本世代自研芯片的方向：第八代 TPU 家族（Eighth Generation TPU Family）包含两枚芯片，一枚偏训练、一枚偏服务（serving），专为智能体时代设计——训练与服务分离说明 Google 认为推理（尤其智能体场景的高交互推理）已经值得一颗专用芯片。

OpenAI 的演讲标题极具个人风格：“You Can Just Build Things… Chips”（你可以直接造东西……芯片），由 Richard Ho 主讲，内容覆盖其与博通（Broadcom）、台积电（TSMC）合作的首颗自研推理 ASIC Jalapeño（2026 年 6 月发布，宣称推理成本比 NVIDIA GPU 低 50%）背后的战略逻辑。

其余厂商：Meta 的 MTIA（Meta Training and Inference Accelerator，Meta 训练推理加速器）程序覆盖 400 至 500 代际；Microsoft 展示 MAIA 200 数据中心 AI 系统；Cerebras 展示晶圆级引擎（Wafer Scale Engine）机架方案；SambaNova 展示 SN50 数据流处理器（RDU，Reconfigurable Dataflow Unit）。

网络专场：智能体把网络也变成了推理瓶颈#

周二上午的网络与互连专场同样围绕智能体展开——“一次用户提示触发几十次模型与工具调用”意味着网络流量与 KV 缓存放置（KV cache placement）成为新的推理瓶颈。核心发布：

• NVIDIA BlueField-4 DPU：最高 800 Gb/s 以太网或 InfiniBand，集成 64 核 Grace CPU、PCIe Gen6 与 LPDDR5X 内存；相比 BlueField-3，网络带宽 2 倍、计算能力最高 6 倍、内存容量 4 倍。其中尤其值得关注的是 BlueField-4 STX 版本：Vera CPU + ConnectX-9 SuperNIC + 1.6 Tb/s Spectrum-X 以太网，配 DOCA Memos 框架直接管理 KV 缓存——把 KV 缓存从 GPU 显存扩展到可共享的闪存层（CMX context memory 平台）。这是”KV 缓存池化”从论文走向产品的标志性事件；
• Spectrum-X Multiplane：两层网络架构，支持扩展到 512,000 个 GPU 的 AI 工厂（AI factory）；
• 博通（Broadcom）的 Thor Ultra 以太网 NIC（面向 AI 与高性能计算）、Mojo Vision 的并行光互连（optical I/O）。

4.1 为什么都盯着内存：Memory Wall 与 Roofline 模型#

先建立理论框架。内存墙（Memory Wall）指处理器算力增速远高于内存带宽增速的现象：2017-2027 年间，AI 加速器算力（TFLOPS）大约以 每两年 3 倍的速度增长，而 HBM 带宽只有每两年不到 2 倍的增长——两者形成巨大的剪刀差：

为什么带宽跟不上算力会致命？这要用 Roofline 模型（屋顶模型，一种把程序可达性能表示为算术强度函数的性能分析模型）解释。定义一个程序或算子的算术强度（arithmetic intensity）：

可达性能（achievable performance）由算力上限与带宽上限共同决定，取两者较小值：

其中 $\mathcal{P}_{\text{peak}}$ 是峰值算力（FLOPs/s），$\mathcal{B}$ 是内存带宽（Bytes/s）。当算术强度低于某个阈值（机器平衡点，machine balance point）时，程序是**内存受限（memory-bound）**的：再翻倍算力也毫无用处，性能严格正比于带宽。

LLM 推理恰好落在内存受限区：decode 阶段（逐 token 生成）每个 token 的核心计算是 GEMV（General Matrix-Vector Multiplication，矩阵向量乘），权重只被用一次、没有复用，算术强度只有约 1-2 OPs/byte——正好在 Roofline 的红区（memory-bound 区）。这就是为什么：LLM 推理的性能几乎线性正比于 HBM 带宽，所有厂商都愿意为带宽付出巨大的功耗与封装代价。

Micron 还补充了两个触目惊心的数据：Meta 训练 Llama 3 期间，17% 的意外中断由 HBM 故障导致；在典型 GPU 系统里，内存芯片已经占据约 90% 的硅面积。

4.2 HBM 内部结构速成课#

在讲三家路线之前，先建立 HBM 的解剖学。**HBM（High Bandwidth Memory，高带宽内存）**是用 TSV（Through-Silicon Via，硅通孔，垂直贯穿芯片的导线）把多片 DRAM 裸片堆叠起来、再通过硅中介层（silicon interposer）以极宽并行总线与 GPU 相连的存储器。三个关键概念必须区分：

HBM 的逻辑架构（并行度来源）如下：每片 DRAM die 包含多个独立通道（channel），每个通道再分为 2 个伪通道（pseudo-channel，PC）——伪通道共享命令/地址（C/A）总线但拥有独立数据总线，用较小硬件代价换取更细粒度的访存并行性；bank 数从 HBM3E 的 128 个/die 翻倍到 HBM4 的 256 个/die：

HBM 与主机通信时存在两级 PHY：microbump PHY（微凸点物理层，连接主机与 base die）与 3D TSV PHY（连接 DRAM 堆叠与 base die）。中介层上则是高密度极短的点对点连线：HBM3E 为 1,024 个 I/O，HBM4 翻倍到 2,048 个 I/O。

把三家的代际数据合并，HBM 的演进可以归纳为五条并行主线，它们的增速与”健康度”差别很大：

一句话结论：HBM 已经走完了”靠 DRAM 工艺 + 堆得更高”的红利期，HBM4 是明确的架构拐点——主战场从 core die 转移到用先进逻辑工艺制造的 base die。

4.3 SK hynix：封装与散热成为竞争焦点#

SK hynix 副总裁 Lee Jae-sik 的演讲《HBM 的高科技封装》把竞争焦点定在封装上，核心论点是：AI 时代内存竞争的焦点正在从内存性能转向封装技术。

先看物理极限。 HBM 立方体（cube）的总厚度被限制在 775 微米——这个数字与 300mm 逻辑晶圆的厚度一致，因为 HBM 与 GPU 并排贴装在中介层上，后续还要被散热器与封装基板夹住，厚度超了就无法与 GPU 匹配。这意味着：每增加一层 DRAM，晶粒（die）就必须更薄、层间间隙必须更窄。16 层堆叠的 die 厚度已经薄到 30 微米量级，而 20 层以上堆叠还在研究阶段。

再看两条键合技术路线。 目前 HBM 使用 TC-NCF（Thermo-Compression bonding with Non-Conductive Film，热压键合 + 非导电薄膜）或 MR-MUF（Mass Reflow with Molded Underfill，整体回流焊 + 模塑底部填充）两种堆叠键合方式：

• TC+NCF：逐片热压键合，对薄片翘曲不敏感，但产能低、热阻高；
• MR+MUF：一次性批量回流，产能高、热阻低，但对芯片翘曲敏感、窄间隙填充困难。

SK hynix 是 MR-MUF 路线的主要推动者，用”Adv. MR-MUF”（先进版）逐步补掉翘曲与窄间隙两个短板，而不是退回 TC-NCF——因为在 AI 时代，产能与热阻的价值远高于翘曲容忍度。16 层堆叠走”Adv. MR-MUF + 混合键合过渡”的混合路线。

下一代技术是混合键合（hybrid bonding）：Cu pad（铜焊盘）直接对 Cu pad 压合，物理上消除焊料凸块（microbump）与底填胶的间隙——省下的垂直高度可以多堆几层 DRAM，铜直接导热又去掉了低导热胶层，一步同时缓解容量与散热两个问题。凸点间距可缩到 18 微米以下，20 层堆叠时核心晶粒可增厚 24%、热阻降低约 35%。但 SK hynix 明确表示：混合键合赶不上 HBM4E，最早要到 HBM5（约 2029-2030 年）才能量产。热阻演进的量化收益如下表（以 HBM2 的 TC-NCF 为 1x 基准）：

四代累计把热阻压到 40%，这是 HBM 能在带宽涨 8 倍的同时不被热击穿的关键。

散热也是新战场：HBM 堆叠顶端有冷板、温度控制较好，但底部（靠近 GPU 与中介层）最难散热。SK hynix 发布 iHBM 技术：通过添加耐高温导热材料，只对 HBM 内部热量集中的”热点”区域进行集中冷却，而不是整体加厚散热路径。

4.4 Samsung：把 base die 从”通道”改造成”逻辑平台”#

Samsung 的演讲是三家之中逻辑最完整的。起点是一个残酷的事实：core die 的工艺已经八年没有进步了——从 HBM2E（2019 年）到 HBM4E（2027 年），C-die 始终停留在 1x nm（只有 HBM2 时代是 2x nm）。原因是 DRAM 存储电容器的 3D 缩放极其困难，制程红利基本耗尽。这个事实带来两个推论：

1. 容量增长不能靠 die 密度，只能靠堆更高——容量挑战全部变成封装问题而非工艺问题；
2. 性能增长不能靠 C-die，只能靠 B-die——这是 Samsung 整场演讲的逻辑起点。

为什么带宽扩展必须改 B-die？ 下图是 Samsung 的详细分析：左图是 B-die 的 PHY I/O——DQ 数量（数据线数）从 HBM 到 HBM3E 全部是 1,024，HBM4 阶跃到 2,048 后不再增加；DQ 速率（单线速率）从约 1 Gbps 一路爬升到 HBM4E 的 16 Gbps、HBM5 的 24 Gbps。I/O 数量这条路已经走完了，未来带宽全部要从 pin 速率上榨取；而 pin 速率翻倍意味着 PHY 功耗与 SerDes（串行器/解串器）复杂度大幅上升，这只有先进逻辑工艺能承受。右图是 TSV（硅通孔）阵列的演进——为了喂饱 2,048 根更快的 I/O，TSV 必须同时”更多 + 更密”，推高 TSV 占用的面积与工艺难度：

换工艺的收益直接落在最痛的地方：HBM4 的功耗大头就是 PHY + TSV 这条数据路径，B-die 从 DRAM 工艺换成 4nm 逻辑工艺后，中继器的功耗与延迟大幅下降。

B-die 的面积腾出来了，然后呢？ 标准 HBM4（sHBM4，standard HBM4）的 B-die（11 mm × 12.8 mm）由三大块构成：HBM PHY（超过 8 mm × 4 mm，约 32 mm²，是面积最大的模块，负责驱动 2,048 根 microbump I/O）、TSV 阵列（中央区域）、测试/DFT 电路（边缘区域）。Samsung 一针见血地指出：标准 HBM 的 base die 大部分面积只是被动地用于走线——而且 GPU/xPU 侧也需要同样 32 mm² 的 PHY 面积与之对接。

于是 Samsung 提出**定制 HBM（custom HBM，cHBM）**路线：既然 B-die 改用 4nm 逻辑工艺后有额外空间，就可以按客户需求定制 B-die 的功能：

• 内存控制器下移（controller offload）：把 HBM 控制器从 GPU 搬到 B-die 上，用更小的 die-to-die 互连替代庞大的 PHY——GPU/xPU 省出 10-20% 的硅面积放更多计算核心，性能提升 10-20%；
• SRAM 冗余修复：考虑 DRAM 良率与失效问题，把 B-die 剩余面积放 SRAM 做修复，或增强 RAS（Reliability, Availability, Serviceability，可靠性-可用性-可维护性）能力；
• 算力卸载：在 B-die 里放少量处理单元，执行 cross-line shuffle（跨行重排）、permutation（置换）与简单 reduction（归约）等数据预处理——这些操作正是张量并行（tensor parallelism）与 MoE（Mixture of Experts）路由中频繁出现的小计算。

长期看，Samsung 提出了三阶段”base die 激活”路线图，把 HBM 从被动的”连接器”进化为”AI 系统半导体”：

1. 阶段一（Advanced HBM，aHBM）：内存控制器从 GPU 移到 B-die（上述 controller offload），I/O 转向 die-to-die 结构；
2. 阶段二：在 B-die 增加 SoC 级可靠性特性与数据预处理处理单元；
3. 阶段三（zHBM）：彻底去掉中介层（interposer），把计算 die 与 DRAM 直接垂直堆叠——DRAM 功耗比 HBM5 降低约 70%，带宽达到 HBM4E 的 2.3 倍。

zHBM 的工程挑战也很大：逻辑 die 放最底部散热困难、放最顶部供电困难——这正是 d-Matrix 在 3D-DRAM 方案中需要正面回答的问题。

4.5 d-Matrix Raptor：3D-DRAM 的激进答案#

如果说三巨头是在”HBM 框架内”做文章，创业公司 d-Matrix 则直接在 Hot Chips 上抛出了一个框架外的方案——Raptor 3D-DRAM。

核心思想：把 PHY 整个干掉。 标准 HBM 在 GPU 与 HBM 之间隔着一整条昂贵的路径：GPU 的 PHY → 中介层走线 → HBM 的 microbump PHY → 3D TSV PHY → DRAM。d-Matrix 的做法是把台积电 4nm（N4）逻辑 die 以 36 微米间距 face-to-face 直接贴合在定制的 3D-DRAM 上——逻辑 die 的整个表面就是接口，PHY、驱动器、中介层信号全部消失。

规格与对比：单卡 32 GB 3D-DRAM（最多 4 个封装、每个封装 4 个 chiplet），实测带宽 105 TB/s（标称 100 TB/s 以上），垂直内存连接能效 0.37 pJ/bit（对比 HBM4 的约 2-3 pJ/bit）。这个数字的冲击力在于对比：一个 192 GB 的 HBM4 配置只有约 18 TB/s 带宽——Raptor 用 1/6 的容量换来约 5.6 倍带宽、5-8 倍能效。100 TB/s 的内存 I/O 功耗约 296 W，仍是必须继续压缩的数字。

为什么赌带宽不赌容量？ Raptor 瞄准的负载是 LLM 推理的 decode 阶段——正如 4.1 节 Roofline 分析所示，decode 是纯带宽饥渴负载，带宽翻倍系统性能近乎翻倍，而容量需求（模型权重 + KV 缓存）可以靠多卡与模型并行分摊。d-Matrix 声称一个机架的 Raptor 卡能容纳前沿三万亿参数级模型（点名 GLM 5.2 与 Kimi K3）在百万 token 上下文下以约 1,000 tokens/s/用户运行——注意这是公司自建模型的数据。

工程上付出了什么代价？ 把大功率逻辑 die 直接压在 DRAM 上，带来了四个必须解决的难题，d-Matrix 的解法个个精彩：

1. bank 到 channel 除不尽（Stream Blocking）：每个张量引擎（Tensor Engine，TE）每次访问需要 128 B 的 flit（流式数据包），每个 chiplet 有 16 个 TE-Group、每组 16 个 channel，共 256 channel/chiplet；每个 bank 一次列访问输出 32 B，凑出 128 B 需要 4 个 bank/channel。但 DRAM die 物理布局决定的 840 个 bank 扣掉 72 个备用后只剩 768 个，768 ÷ 256 = 3 个 bank/channel——差 1 个 bank，128 B 除不尽。解法是”流阻塞”：把一次访问对应一个 flit 改成一批访问对应一批 flit——把 128 B flit 拆成”96 B 主体 + 32 B 尾巴”，对连续 3 个 flit 做 3 次对齐访问拿主体，再做 1 次共享访问拿三条尾巴（P0/P1/P2），拼装出 3 个完整 flit。这一招回收了 33 TB/s 的带宽损失。
2. I/O 功耗墙（Stream Flipping）：标准答案是 DBI（Data Bus Inversion，数据总线反转）——一次传输超过一半位翻转时整体取反，省约 20% I/O 功耗。但 DBI 依赖两个前提：能看到完整 burst（DDR/HBM 是多周期 burst，PHY 可以整体判断），以及一根通告引脚——3D-DRAM 是单周期 256 位传输、没有任何前瞻窗口，也没有边带引脚（在约 700 TSVs/mm² 的密度下每加一根信号线都要和供电接地抢）。d-Matrix 在架构层实现了 DBI：不向前看，向后看——每个硬件 tile（16 KB = 128 个 flit）天然存在很长的 flit 流，拿当前 flit 与前一个比较，翻转位过多就整体取反，取反标记（tag）写进 DRAM 与 ECC 元数据同位置（读时先取 1 bit tag）。代价是 0.8% 存储开销，PHY 零改动，换回约 20% I/O 功耗节省。
3. 高温刷新：结温 105°C 下 DRAM 刷新周期从 32 ms 缩短到 4 ms，刷新开销剧增。d-Matrix 用 microbank 设计（每 bank 1,366 行、5.33 MB）把带宽惩罚压到仅 1.37%。
4. 可靠性：高温与 3D 堆叠推高软错误率，逻辑 die 上集成 Reed-Solomon T=2 ECC 纠错；制造缺陷靠 72 个备用 bank（约 8.6% 容量）配合两级多路复用旁路存活。

d-Matrix 把 Raptor 定位为 HBM 的补充而非替代（32 GB 容量确实是硬约束），主张在 decode 带宽饥渴的场景里，3D-DRAM 是比”更大 HBM”更划算的答案。Raptor 目前还是早期硅片（early silicon），没有公布上市时间与价格；其前身是 SRAM 方案的 Corsair 加速器（约 300 TB/s 但只有约 4 GB 容量）与测试芯片 Pavehawk，封装合作方为 Alchip。创始架构师是英属哥伦比亚大学教授 Prashant J. Nair，该架构此前也出现在 ISCA 2026。