正在获取所在地区…
正在读取天气
音乐
暂未播放
世界模型从零讲起(九):一枚 token 要多久才能变成下一刻——世界模型的推理系统账本
前八篇把世界模型从概念、三条路线、评测一直讲到了规划。可无论哪条路线,最后都要落回一个很朴素的问题:在机器人或自动驾驶的闭环里,这个模型每一刻只能分到几十毫秒,它怎么把「下一刻」算出来? 这个问题在 Dreamer 时代几乎不存在——潜空间里的一次 rollout 只有几毫秒;到了视频生成式世界模型和 WAM,单帧的生成要跑几十步去噪,缓存随帧数线性增长;到了 Genie 3 这类可交互世界模型,模型还要一边接收用户输入一边以 20 帧以上的节奏吐出画面。世界模型从「能预测」到「能实时预测」,中间隔着的正是 LLM 推理系统过去几年走过的同一条路:KV 缓存、批处理、调度、量化、并行。
这一篇是系列的第九篇,专门讲这条系统层的问题。它不重复(七)里部署环节的延迟预算与安全兜底,而是往下挖一层:世界模型的推理负载在机器上究竟长什么样,为什么它和 LLM 的 decode 那么像又那么不像,以及现成的推理框架能直接复用什么、必须改什么。
先把负载画出来:世界模型推理的四种形态
要谈系统,先得把「一次世界模型推理」拆成可计量的部分。按计算图的结构,现有世界模型大致落在四种形态里,它们的成本结构完全不同。
上图把两种最典型的计算图摆在一起:左边是自回归模型逐 token 展开,每一步只算一个新 token,但要把之前所有 token 的 K/V 重新读一遍;右边是扩散模型对整段序列反复去噪,每一步都要重算整个序列(除非用缓存)。这个差别决定了后面所有优化手段的归属。
形态一:潜空间 rollout(Dreamer、TD-MPC2)。 一次前向只推进一个时间步,状态是一个几十到几百维的向量,计算量在毫秒级。它的问题不是算力,而是被调用的次数:规划时可能一次展开上千条轨迹,每条几十步。这类负载更像「小模型的高 QPS 服务」,优化点在批处理与状态复用。
形态二:自回归 token 生成(GAIA-1、Genie 式模型、部分 Cosmos 变体)。 视频被 tokenizer 压成离散 token 序列,模型按下一个 token 预测的方式逐 token 生成。它和 LLM decode 的结构几乎同构:KV 缓存、prefill/decode 两阶段、连续批处理、prefix caching 都能直接套用。区别在于序列长度——一段 4 秒、16 fps 的视频,即使经过 8×8 空间压缩与 4× 时间压缩,token 数也可能上万,而且这个序列在交互式场景里会不断增长。
形态三:扩散/流匹配去噪(Sora 式 DiT、Cosmos、WAM)。 一次生成要对整段 latent 反复去噪 N 步,每步都是一次完整的 Transformer 前向。成本约等于 N 次 prefill,而不是一次 prefill 加 L 次 decode。这里的机会在于「步与步之间高度相似」——相邻去噪步的输入差别很小,缓存、少步采样、蒸馏都在利用这一点。
形态四:联合生成(WAM)。 视频 token 与动作 token 在同一序列里,被同一次去噪或自回归过程生成。它继承形态二或形态三的成本,另外多一层约束:动作部分必须在控制截止时间前可用,而画面部分可以稍晚。这个「同一序列、不同截止时间」的结构,是 WAM 推理系统最独特的地方。
四种形态的共同点在于:它们都是「序列生成」问题,而序列生成的成本都随上下文长度增长。 所以 LLM 推理系统里那套围绕 KV 缓存建立起来的方法论,构成了理解世界模型推理的起点。
为什么自回归世界模型和 LLM decode 同构
先看形态二。设视频 tokenizer 把一段视频压成 T 个 token,模型是一个因果 Transformer,参数为 θ。生成过程就是
p(x1:T∣c)=t=1∏Tpθ(xt∣x<t,c)其中 c 是条件(语言指令、动作、初始帧)。这和语言模型完全一样,唯一的区别是 token 的语义——语言 token 对应词片段,视频 token 对应一小块时空区域。
同构带来两个直接后果。
第一,KV 缓存的形式完全一样。 第 t 步解码时,第 l 层要读取前 t−1 个位置的 key 和 value:
Attnl(xt)=softmax(dqtKl,<t⊤)Vl,<t显存占用是 2⋅L⋅T⋅dkv⋅b 字节,L 是层数,dkv 是每层 K/V 的维度,b 是每元素字节数。这个式子和 LLM 一字不差,所以 vLLM 的 PagedAttention、SGLang 的 RadixAttention 在原理上可以直接用于视频 token 序列。
第二,prefill 的占比完全不同。 LLM 的一次请求通常是「几千 token 的 prompt + 几百 token 的输出」,prefill 占大头,decode 的 token 数少。视频生成反过来:条件可能只有一句话加一帧图像(几十个 token),而要生成的视频 token 有上万。decode 阶段被拉长了两个数量级,于是 KV 缓存的读写带宽成为主要瓶颈,而不是矩阵乘的算力。
这个差别可以用一个简单的 roofline 估算说明。单步 decode 的计算量约 2⋅P FLOPs(P 为参数量),需要读取的权重是 2⋅P 字节(fp16),需要读取的 KV 缓存是 2⋅L⋅T⋅dkv⋅2 字节。当 T 很大时,第二项超过第一项,单步变成「读缓存为主」。在 A100 上,HBM 带宽约 2 TB/s,若缓存读取达到 1 GB,单步下限就是 0.5 ms——听上去不多,但一段视频要 decode 上万步,总时间就落在几十秒量级。
这一节的结论可以概括成一句话:自回归世界模型是「decode 密集型」负载,它的系统优化目标不是提高算力利用率,而是降低每步的显存读写量。
视频 token 的序列到底有多长
上面的估算里 T 是关键变量,值得单独算一遍。设视频分辨率为 H×W,帧率 f,时长 τ 秒,tokenizer 的空间压缩率为 s×s,时间压缩率为 k(每 k 帧压成一个时间 token)。则 token 数为
T=sH⋅sW⋅kfτ代入几组典型数字:
| 设置 | 分辨率 | 压缩 | 时长/帧率 | token 数 |
|---|---|---|---|---|
| 低分辨率预览 | 256×256 | 16×16,k=4 | 4 s,16 fps | 64 |
| 中等质量 | 512×512 | 16×16,k=4 | 4 s,16 fps | 256 |
| 高质量 | 1024×1024 | 16×16,k=4 | 4 s,16 fps | 1024 |
| 长视频 | 1024×1024 | 8×8,k=1 | 30 s,24 fps | 115200 |
差别极大。前几行看起来很少,是因为空间压缩率取到了 16×16——这已经接近「每帧只剩 64 个 token」的极端压缩,画质损失明显。真正用于高质量生成的配置通常落在最后一行附近:十万级 token。作为对照,LLM 的长上下文请求常见规模是 32K 到 128K token,也就是说一段 30 秒的高质量视频,其 token 预算与一次超长文档推理相当。

上图来自 NVIDIA 的 Cosmos 世界基础模型平台(2025 年 1 月发布,arXiv:2501.03575),是 Cosmos Tokenizer 的时序因果设计示意图:输入帧 x0,x1,… 先经过分组处理得到中间输出,再经由时空卷积与注意力融合。因果结构在这里不是可选项——tokenizer 如果在时间上双向依赖,生成第 t 帧就要等后面的帧编码完成,整条自回归流水线就无法流式推进。Cosmos 提供了连续与离散两套 tokenizer,连续版本用 16 维 latent,离散版本用 FSQ 量化,但两者都做了时间因果约束,这是它能被当作世界模型前端的原因。
这张图对系统设计的直接含义是:token 数不是由分辨率单独决定的,而是由「压缩率 × 因果结构」共同决定。压缩率决定 T 的量级,因果结构决定这个 T 能否被逐块生成。
十万 token 的 KV 缓存有多大?取 L=32、dkv=128、fp16:
2×32×115200×128×2 B≈1.9 GB单条请求就要 1.9 GB,一条 80 GB 的卡最多并发四十条左右,还没算权重与激活。这就是为什么世界模型的推理系统必须把「缓存怎么放、怎么复用、怎么压」当成一等公民。
三层成本:算、读、等
把一次世界模型推理的总时间拆开,可以分成三层性质不同的成本。
算力成本是矩阵乘的 FLOPs,决定它在算力 roofline 上的位置。对于自回归 decode,这部分通常不是瓶颈;对于扩散的整段前向,这部分才是主项,因为每一步都在算全序列。
显存带宽成本是把权重和缓存从 HBM 搬到 SM 的时间。decode 密集的负载几乎完全被这一项支配。它的优化手段是减少搬运量:量化权重、压缩 KV、把不活跃的缓存换出。
等待成本是调度造成的空转:批没有凑满、请求之间的长度差异导致 padding、流水线阶段之间的气泡、扩散步之间的同步。这一项在单请求测试里看不见,在多请求服务里往往是最大的一项。
在这三层之间真正做实「把 219 秒压到 1.3 秒」的,是 CausVid(来自 MIT 与 Adobe,2024 年 12 月提出,arXiv:2412.07772)。它把双向注意力的大步数视频扩散模型蒸馏成一个 4 步的因果学生模型,再用 KV 缓存流式生成,最终在单卡上做到 9.4 FPS。这个案例值得单独看,因为它几乎每一处优化都对应上面三层成本中的一层。

上图是 CausVid 的延迟对比:最上方的双向 teacher 模型要等 128 帧全部生成完才输出,用时 219 秒;下方经过非对称蒸馏得到的因果 student 首帧只要 1.3 秒,之后持续滚动输出,速度约 9.4 FPS。对交互式生成来说,首帧延迟决定了「什么时候能开始看」,持续帧率决定了「看得舒不舒服」,两者必须分开度量,这也是(七)里把「响应延迟」与「输出延迟」区分开的原因。

上图是它的训练流程,分两段。上面是学生初始化:从 teacher 的 ODE 轨迹里采样噪声到干净帧的解,让学生用回归损失(MSE)在这些解对上预训练,避免一开始就用分布匹配损失导致训练不稳。下面是非对称蒸馏:teacher 保持双向注意力,学生只能是因果注意力,两者用 DMD 损失对齐。这个「teacher 全看、student 只能看过去」的非对称设计是它的关键——如果直接用一个因果 teacher 去蒸馏,学生的能力上限就被一个更弱的模型锁死了。
落到推理层,CausVid 的设计给出三条可复用的结论:
- 步数:50 步蒸馏到 4 步,单帧去噪成本降了一个数量级,这是第二层(读取整段 latent 与权重)的直接收益。
- 因果化:分块因果注意力让每块只需读历史块,配合 KV 缓存,块与块之间不必重算,这是第三层(调度等待)与第一层的共同收益。
- 块的作用域:块内仍是双向注意力,块间因果。块大小取 5 个 latent 帧,这既是 VAE 解码器一次至少需要一批帧的下限,也是并行效率与首帧延迟之间的折中。
一个容易忽略的细节是:即使做了分块因果,推理时的注意力也和训练时不同——因为用了 KV 缓存,块内的双向注意力在推理时只剩新块与历史缓存的部分,块内自注意力被摊进了缓存。这也是为什么论文会强调「块内双向 + 块间因果」的掩码设计必须与缓存实现保持一致,否则会悄悄丢掉块内上下文,画面出现局部不一致。
三层成本的优化手段互不相同,也经常互相冲突。比如把 batch 凑大能摊薄权重读取(降低第二层),但会增加单请求的排队时间(提高第三层);把 KV 量化能降低第二层,但可能要求反量化,反而增加第一层的开销。一个世界模型推理系统的设计,本质上是在这三层之间找平衡点。
KV 缓存管理:PagedAttention 能直接用吗
答案是能,但需要改两处。先回顾 PagedAttention 的核心:把 KV 缓存切成固定大小的 block,用块表把逻辑位置映射到物理块,从而消除碎片、支持共享。这套机制由 UC Berkeley 团队在 2023 年提出(arXiv:2309.06180),随后成为 vLLM 的基石;SGLang 在此之上用基数树组织前缀共享(RadixAttention,2023 年 12 月,arXiv:2312.07104),把「多个请求共享同一段前缀」的复用做到了请求之间。这部分逻辑与模态无关,视频 token 也一样适用。
第一处改动是块的大小与形状。LLM 的 block 通常存 16 个 token 的 K/V,形状是 [2, num_layers, block_size, num_heads, head_dim]。视频 token 在时间维上有强局部性:相邻时间步的 token 常常被一起读取、一起淘汰。因此更自然的做法是按「时间块」组织,让一个 block 覆盖若干个连续时间步的所有空间 token。这样在丢弃旧帧、滑动窗口时,可以整块释放,而不是逐 token 回收。
第二处改动是淘汰策略。LLM 的 KV 缓存通常只在请求结束时释放;交互式世界模型的缓存则要长期存活,因为世界状态需要跨请求延续——用户松开按键再按下,世界不应该重置。这意味着缓存的生命周期与「会话」绑定,而不是与「请求」绑定。系统需要一个会话级的缓存管理器,支持保存、恢复、分叉(同一个初始状态展开多条可能未来)。这一点在 (七) 里从状态管理角度提过,这里补上它在缓存层的实现形态。
CausVid 在长视频上采用的就是滑动窗口:模型只在 10 秒片段上训练,超出训练窗口的历史不进入缓存,而是被整体丢弃,靠窗口内的 KV 维持连贯性。这样一来缓存大小有一个上界,长视频的成本不再随总时长增长,而是被「窗口长度」封顶。代价是超出窗口的世界记忆被彻底忘掉——如果窗口外的事物再次进入画面,模型只能重新「想象」它,前后一致性就断了。对世界模型来说,这个代价比语言模型更敏感:语言丢掉一段旧上下文最多是忘了说过什么,世界模型丢掉一段历史则可能让同一个物体换一个样子。
一个现实的折中是分层缓存:最近若干帧的 KV 放在 HBM 的常驻区,较旧的帧换出到 host 内存或 NVMe,需要时再换入。换入换出的带宽与延迟要计入截止时间预算,所以换出阈值不能只按容量定,还要按「这段历史在多长时间内可能被重新访问」定。对交互式世界模型,用户的视角通常不会瞬间跳回很久以前,所以按时间距离做 LRU 是合理的近似。
扩散世界模型:去噪步之间的缓存
形态三的成本结构和自回归完全不同。一次生成是 N 步去噪,每步对整段 latent 做一次前向。直接算是 N 次全序列前向,N 常取 20 到 50,成本是自回归同长度 prefill 的几十倍。但相邻步之间有一个可利用的事实:输入 latent 的变化幅度随去噪进程递减。
记第 i 步的 latent 为 zi,去噪网络为 ϵθ(zi,i,c)。在去噪后段,zi 与 zi−1 的差异很小,网络对它们的响应也高度相关。于是可以把「每步都重算」改成「隔几步重算一次,中间复用缓存的特征」。这一类方法在扩散加速里已经形成了一条线:DeepCache 复用 U-Net 浅层特征,DiT 上的 TeaCache 用输入差分的累积量决定是否跳过计算,Δ-DiT 则让网络直接学习相邻步输出之差。它们的共同点是把「步间冗余」变成一个可调度的预算:给定质量容限,决定哪几步必须算、哪几步可以省。
上图是这类方法的时间线示意:横轴是去噪步,纵轴是「是否重算主干」。前几步 latent 变化大,每步都算;后几步进入稳定区,隔步复用。省下来的计算直接换成延迟,代价是少量质量损失。
对世界模型而言,这条线还有一个额外的用法:跨帧复用。视频的相邻帧在内容上高度相似,第 t 帧与第 t−1 帧的 latent 在大部分区域几乎一样。于是可以把上一帧的去噪轨迹当作这一帧的初始化或缓存,只对发生变化的区域重新计算。这实质上是把「帧间冗余」也纳入预算,和步间冗余叠加。工程上要小心的是误差累积:复用带来的偏差会在自回归 rollout 中逐帧放大,所以需要一个周期性「全量重算」的锚点帧,类似视频编码里的关键帧。
从「一次生成一段」到「持续流式生成」
真正部署时,世界模型很少被这样调用:「给我生成一段 4 秒视频」。更多是这样:「维持一个以 30 fps 更新的世界,我随时可能改变动作」。这两种调用的系统设计完全不同。
上图是流式生成的典型流水线。它包含四个阶段:观测编码(把新到的相机帧压成 token 或 latent)、生成(推进世界状态、产出下一批 token)、解码(把 token 还原成像素)、显示/消费。要让端到端延迟稳定,关键是让这四个阶段在时间上重叠:当第 k 帧在解码时,第 k+1 帧应该在生成,第 k+2 帧的观测应该在编码。任何一处串行化都会把端到端延迟拉长到四段之和。
这和 LLM 服务里的「prefill 与 decode 分离」是同一个思路,只是阶段更多、依赖更紧。具体到实现,有三条经验。
这套「分块 + 重叠」的思路在图像与视频的实时扩散里已有成熟先例。StreamDiffusion(2023 年 12 月,arXiv:2312.12491)把流式生成拆成批处理、去噪与解码三级流水,并用「无分类器引导的并行化」把每步的两次前向合并,从而在单卡上把交互式扩散推到实时。它的经验对世界模型同样成立:实时性来自流水线,而不是单步速度。单步能压到多快有物理下限,而把不同帧的不同阶段叠在一起,能让端到端吞吐突破单帧延迟的倒数。
其一是分块生成。 不要等一整段视频生成完再解码,而是每生成一个时间块就立刻送去解码与显示。块的大小是一个可调参数:块太小,每块的前向利用率低;块太大,首帧延迟高。典型取值是 2 到 8 帧。
其二是把解码放到独立设备或独立流上。 视频解码(VAE decoder 或 tokenizer decoder)的计算量与主干生成相当甚至更大,放在同一张卡上会和生成抢资源。把它放到另一张卡或另一个 CUDA stream,能让生成与解码真正并行。
其三是为交互留出输入通道。 用户的动作输入必须在生成下一块之前被吸收,这意味着系统要有一个低延迟的输入队列,并且生成循环要在块边界检查新输入。如果输入到达时当前块已经开算,系统要决定是「等这一块算完」还是「丢弃并重算」——前者增加延迟,后者浪费算力。多数系统选择前者,并把块大小调到与输入帧率匹配。
交互式世界模型的实时性:Genie 3 给出的坐标
Genie 3 是这类系统里公开信息较多的一个。它在 2025 年 8 月发布,主打「可交互、可提示的世界生成」:用户用文字描述一个世界,模型以 720p、24 fps 实时生成,并且在生成过程中可以接受新的提示来改变世界。这些数字本身就是系统指标:720p 24 fps 意味着每帧 41.7 ms 的预算,其中还要扣除网络往返、解码与显示。
从公开描述可以推断它的系统形态:模型是自回归的,世界状态以隐式方式在 token 序列里延续;为了支持「几分钟内保持一致性」,它需要维护一段相当长的上下文;为了实时,它必须用少步生成而不是几十步扩散。这几条约束叠加起来,指向的正是上面讨论的组合:分块自回归 + 少步解码 + 长会话缓存 + 流水线重叠。
值得注意的是 Genie 3 没有公开模型规模与具体架构,所以上面的推断只能作为「这类系统必须满足的约束」来读,不能当作它的实现细节。真正可复用的结论是那组数字给出的预算:实时交互世界模型的单帧预算在 40 ms 量级,任何单帧成本超过这个数的设计都必须靠流水线或降分辨率来摊。
缓存之外:注意力 kernel 与内存层次
KV 缓存回答的是「缓存放哪里、怎么复用」,另一个同样重要的问题是「缓存读进来之后怎么算」。自回归世界模型单步的注意力是典型的 decode 注意力形态:一个或少数几个 query,对上万到十万个 key。这种形状和训练时的注意力完全不同——训练时 query 和 key 数量相当,注意力是计算密集的;decode 时 query 只有一行,注意力退化成「读一大块 K/V、做一次加权求和」,几乎完全受带宽约束。
这就是 FlashDecoding 这类 kernel 要解决的问题。常规 FlashAttention 在序列维上把 key 切成若干块,各个块并行计算局部的 softmax 分子与分母,最后用一个 reduction 合并。FlashAttention(2022 年提出,arXiv:2205.14135)的设计目标是让整段注意力在 SRAM 里完成、不落地中间矩阵;到了 decode 阶段,它的并行度只剩下 batch 维度,当 batch 小于 SM 数时,大量 SM 空闲。FlashDecoding 的思路是沿着 key 维进一步切分,把「一个 head 的注意力」拆成多个部分归约,从而把序列长度这个维度也变成并行维度。对十万 token 的世界模型,这一步的收益很直接:原本串行扫完的缓存,现在可以由多个 SM 并行扫。
站内的 FlashAttention 系列 详细推导了分块 softmax 的数学依据,这里只提炼它对世界模型推理的含义:
- 当 T 很大时,单步延迟的下界是「缓存字节数 ÷ 有效带宽」,kernel 能做的是逼近这个下界,而不是突破它。
- 并行切分 key 维后,每个 SM 只读一段缓存,总线利用率更高;代价是需要一次跨 SM 的 reduction,这一步的通信量很小,通常可以忽略。
- 对视频 token,缓存的空间局部性比语言 token 更好:相邻时间步的 key 来自内容相近的帧,量化或稀疏化时更容易判断「哪些可以粗放处理」。
与注意力配套的还有另一个常被低估的成本:解码器(VAE / tokenizer decoder)的内存流量。它要把 latent 还原成几千乘几千的像素图,上采样卷积的输出往往是输入的几十倍大,这部分带宽开销在整条流水线里占比可观。把它放到独立设备上,不只是为了并行计算,更是为了不和主干的缓存争抢同一个 HBM 带宽。
批处理与调度:世界模型服务的特殊之处
LLM 服务的调度目标是吞吐与尾延迟的平衡,常用连续批处理:请求随到随进,每步 decode 把所有活跃请求拼成一个 batch。世界模型服务能直接套用吗?部分能,但有三处特殊。
第一,请求的持续时间差异极大。 一次 LLM 请求可能几秒结束,而一个世界模型会话可能持续几分钟甚至更久。如果按「请求」为单位调度,长会话会长期占用 batch 名额;更合理的单位是「块」——每个会话在每个调度周期提交一个块的生成任务,调度器按块排队。这样长会话不会饿死短请求,也让块级优先级成为可能。
第二,截止时间不是统一的。 交互式场景里,画面帧和动作 token 的截止时间不同。WAM 的动作部分必须在控制周期内交付,画面可以晚一两帧。这要求调度器支持「同一会话内不同输出流的优先级」,而不是把所有 token 一视同仁。
第三,缓存的复用率取决于会话结构。 如果多个会话共享同一个初始世界(比如同一个场景的多个视角),它们的 prefix 可以共享,RadixAttention 式的树形缓存能显著降低显存。如果每个会话的世界都是独立的,共享率为零,缓存的收益主要来自会话内的复用。
一个可用的调度策略是分层队列:实时交互会话进高优先级队列,按块调度并保证最小配额;离线批量生成进低优先级队列,用剩余算力填充。两层的比例可以按 SLA 动态调整。这套结构和 LLM 服务里的「在线/离线混布」是同一套思路,只是世界模型的在线部分对延迟更敏感。
量化:世界模型能压到几位
量化在 LLM 推理里已经是标准手段,世界模型能不能照搬?要分部件看。
主干 Transformer 的权重量化几乎可以直接套用。W8A8 或 W4A16 的收益与 LLM 类似:权重读取量减半或减到四分之一,decode 密集的负载直接受益。风险在于扩散主干对数值误差更敏感——去噪是一个迭代过程,每步的小误差会累积。经验上,fp8 或 int8 的权重量化在扩散模型上通常可用,4 bit 则需要更仔细的校准,尤其是时间步嵌入与调制层。
激活量化要更谨慎。扩散模型的激活分布随去噪步变化,早期步的动态范围远大于后期。固定尺度的激活量化会在某些步上溢出或精度不足,需要按步或按通道的动态缩放。
缓存的量化收益最大,风险也最大。KV 缓存量化到 fp8 能把显存减半,对十万 token 的序列是实打实的容量翻倍。但缓存里的数值会参与后续所有步的注意力计算,误差会沿时间累积。一个常见的折中是「近期缓存高精度、远期缓存低精度」:近期帧对当前生成影响大,用 fp16;远期帧只提供背景,用 fp8 甚至更粗的表示。
视频 tokenizer 的量化常被忽略。VAE 解码器在整条流水线里占的计算比例不低,量化它能直接缩短解码阶段。但它对画质的影响是全局的,压缩伪影会被放大到整帧,所以通常只做 W8A8,不做更低比特。
并行:序列、帧与专家三个维度
单卡放不下时,世界模型需要并行。LLM 的张量并行、流水线并行、序列并行都能用,但世界模型多出一个自然的切分维度:时间。
序列并行切的是空间 token 维度。一帧内的 token 在注意力之外的计算是完全独立的,可以按 token 切分到多卡;注意力部分需要 all-gather 或 ring attention。这和长上下文 LLM 的序列并行一样。
时间并行切的是帧维度。自回归生成本身是串行的,看起来无法并行,但有两类例外。一是「投机式」并行:用一个小模型或上一帧的轨迹先猜出若干未来帧,再用大模型并行验证,验证可以一次前向覆盖多帧。二是「分块扩散」:如果生成是按块扩散而不是逐 token 自回归,不同块之间可以在时间上重叠计算,类似流水线。
专家并行针对 MoE 主干。Cosmos 与一些 WAM 用了 MoT(Mixture of Transformers)结构,不同模态走不同专家,专家可以分布到不同卡上。这会引入 all-to-all 通信,在 decode 密集的负载里通信开销占比更高,需要把专家放置得与路由分布匹配。
三种并行可以组合,但组合后的通信模式很复杂。一个实用的原则是:先按时间与序列切,把单卡上的计算填满,再考虑专家并行。 因为前两者的通信是规整的 all-gather/ring,后者是动态的 all-to-all,在小 batch 下更难隐藏。
少步生成与蒸馏:把步数这个乘数压下去
在上面的成本式里,Nstep 是一个乘数,它对总延迟的影响是线性的。扩散世界模型的 N 通常是几十步,把这个乘数压到个位数,相当于把整个生成过程加速一个数量级。这条线有三类做法,理解它们的差别对系统选型很重要。
第一类是「更好的求解器」。 训练时的离散时间步可以换成更高效的时间离散方式,例如用二阶或更高阶的数值积分替代 Euler 步,在相同步数下误差更小。这类方法不改模型,只改采样轨迹,是成本最低的一种,但加速比有限,通常只能把步数砍掉一半左右。
第二类是「蒸馏」。 让一个多步 teacher 教会一个少步 student,把「沿 ODE 轨迹走几十步」压缩成「一步跨过去」。CausVid 用的 DMD 属于这一类:它不要求学生逐时刻匹配 teacher 的输出,而是让学生生成的分布在整体上与 teacher 对齐。这样学生可以一步走出很大的距离,而不必被中间轨迹束缚。代价是训练复杂、需要 teacher 常驻,而且 student 一旦「一步跨太大」,画面容易出现结构性崩坏。
第三类是「缓存与跳过」。 不改步数,而是让某些步直接复用前一步的结果。DeepCache(2024 年,arXiv:2312.00858)在 U-Net 架构上复用浅层特征,TeaCache(2024 年 11 月,arXiv:2411.19108)在 DiT 上按时间步嵌入决定是否跳过去噪计算。这类方法训练无关、易于集成,但对 video 场景要额外小心:单帧缓存看不出问题,累积几十帧后画面会逐渐漂移,所以必须配合定期的全量重算。
三类方法在系统层的取舍不同:蒸馏需要重新部署模型,但步数收益最大;缓存即插即用,但需要按质量容限调阈值;更好的求解器几乎零成本,但收益最小。实际部署往往是组合使用——先蒸馏到一个基础步数,再用缓存做进一步的按需跳步,把 Nstep 从一个常数变成一个可以随负载动态调整的变量。
一个可复用的成本模型
把上面的讨论收拢成一个可以用于估算的式子。设一次世界模型生成的总延迟为 D,它由四部分组成:
D≈prefillF2PTpre+decode 单步max(B2P+2LTdkvb,F2PTdec)×Nstep+解码FdecCdec+等待Wsched其中 P 是参数量,Tpre 是条件 token 数,Tdec 是生成 token 数,F 是有效算力,B 是有效带宽,Nstep 是步数(自回归为 token 数,扩散为去噪步数),Cdec 是解码计算量,Wsched 是调度等待。decode 单步取「带宽受限」与「算力受限」两者的较大值,这正是 roofline 的形式。
这个式子的用处不在于精确预测,而在于定位瓶颈。把实际数字代进去,哪一项占主导,优化就该往哪里去:
- 若 prefill 占主导,说明条件很长(比如多视角初始帧),应优化编码器或做条件缓存。
- 若 decode 单步的带宽项占主导,说明缓存太大,应做 KV 压缩、量化、滑动窗口。
- 若 decode 单步的算力项占主导,说明 batch 已经很大或序列很短,应优化 kernel 或换更小的模型。
- 若解码项占主导,说明 tokenizer 是瓶颈,应把解码分离到独立设备。
- 若等待项占主导,说明调度有问题,应调整块大小或队列策略。
显存账本:一个并发数能被算出来
前面几节都在讲单条请求的成本,服务系统真正的约束是「一条 80 GB 的卡能同时跑几条」。把显存拆开算一遍,会发现世界模型服务的并发数常常比 LLM 低一个数量级,原因并不在权重。
权重部分相对固定:7B 模型 fp16 约 14 GB,14B 约 28 GB。剩下的显存要分给三块。
第一块是 KV 缓存。 按前面十万 token 的例子,单条请求 1.9 GB。这还没有算激活值和临时 workspace。
第二块是激活值。 扩散主干每一步都跑整段序列,即使不做完整前向,中间激活的峰值也不小;视频 tokenizer 的解码阶段尤其吃显存,因为上采样层需要保留较大的特征图。
第三块是框架预留。 CUDA context、NCCL buffer、page table、日志与指标缓冲区,通常占几 GB。
于是并发数的近似表达式是
Nbatch≈Mkv(T)Mtotal−Mweight−Mact−MoverheadMkv(T) 随序列长度线性增长,所以并发数随视频长度线性下降。一段 30 秒的高质量视频,单卡可能只能跑一两条;要让并发上去,要么缩序列(降分辨率、降帧率、增大压缩率),要么压缓存(量化、滑动窗口、分层换出)。这也是为什么很多交互式世界模型在工程上会自动把「用户的交互时长」限制在一个区间内——不是模型不想要长历史,而是长历史的缓存账本撑不住。
一个值得注意的设计选择是把「世界状态」和「显存里的 KV」解耦。世界状态是一段几十到几百维的隐向量或近期若干帧的 summary,它可以常驻在 host 内存甚至磁盘;KV 缓存只是它在 GPU 上的「展开」。当会话暂停时,系统把状态序列化保存,释放 KV;恢复时从状态重建 KV 的近期部分,远期部分按需重算。这个「状态为真、缓存为影」的模型让并发数不再被「最长的历史」锁死。
一个端到端算例:97k token 的视频要走多久
把前面的式子代进一组具体数字,能看清各项的量级。假设目标是 720×480、12 fps、6 秒的一段视频,tokenizer 做 8×8 空间压缩与 4× 时间压缩,主干是一个 7B 的扩散 Transformer,去噪步数取 30,目标是单卡 H100(有效算力按 500 TFLOPS 计,HBM 带宽按 3 TB/s 计)。
先算 token 数:6 秒 × 12 fps = 72 帧,时间压缩 4 倍后剩 18 个 latent 帧;每帧空间 token 为 (720/8)×(480/8)=90×60=5400;总数为
T=18×5400=97,200再看单步前向的算力:Transformer 的 FLOPs 约 2PT,加上注意力的 4T2d 项。2×7×109×9.72×104≈1.36×1015 FLOPs;注意力项在 T=97k 时达到 4×(9.72×104)2×4096≈1.55×1014,约为前者的十分之一,还不能忽略但也不是主项。按 500 TFLOPS 的有效算力,单步约 3.0 秒。
于是 30 步去噪约 90 秒。若蒸馏到 4 步,降到 12 秒;若再配合步间缓存把有效步数降到 12 步,约 36 秒。三个数字对应三种系统能力:90 秒是离线批处理的水平,12 秒是「准实时」,36 秒则只能用于非交互场景——这也说明为什么少步化不是可选优化,而是交互式世界模型的入场券。
再看缓存:按 L=32、dkv=128、fp16,KV 约 1.6 GB。它相对权重(14 GB)不算大,但相对「单条请求」的显存预算就很可观;批处理时每条请求都要一份,并发一上去就迅速吃掉显存。这个算例也解释了为什么扩散世界模型常用「小模型 + 大压缩率」:把 T 减半,算力与缓存同时减半,比换更大的卡更划算。
以上数字是用于定位瓶颈的量级估算,不是某个具体模型的实测值;真实系统的有效算力会因 kernel 效率、并行度与内存布局而偏离这个上限。
现成框架能复用什么
最后落到工程:如果今天要搭一个世界模型推理服务,哪些东西可以直接拿,哪些必须自己写。
一个可以参照的公开例子是 PhysisServe(逆矩阵、智源研究院等,2026 年 10 月)。它是为物理 AI 推理设计的系统,直接把 vLLM 作为起点,在它之上加了虚拟 rank、阶段化流水线这类为「自回归去噪 + 高频控制」准备的机制。这条路径本身就说明:世界模型推理系统是在 LLM 推理框架的骨架上长出来的,而不是另起炉灶。 站内的 PhysisServe 完全拆解 对它的流水线做了更细的拆解,这里只借用它「复用骨架、重写组合」的思路。Cosmos 这类平台则展示了另一个层面:把 tokenizer、扩散主干、Video2World 后训练模型和护栏打包成一套可下载、可微调的推理资产,让上层系统不必从零训练。
可以直接复用的:
- PagedAttention 式的分页 KV 管理(vLLM、SGLang 都有成熟实现),需要改块形状与淘汰策略。
- 连续批处理与 chunked prefill 的调度骨架。
- 张量并行、流水线并行的通信原语。
- 权重量化与 KV 量化的 kernel(fp8、int8)。
- 指标与可观测性:每步延迟、缓存命中率、batch 利用率。
必须自己写的:
- 会话级缓存管理:保存、恢复、分叉、跨请求存活。
- 块级调度:以「时间块」而不是「请求」为调度单位。
- 多截止时间输出流:同一会话内画面与动作的不同优先级。
- 帧间缓存复用与关键帧锚定。
- 流式解码流水线:生成、解码、显示的阶段重叠。
这份清单说明一件事:世界模型的推理系统不是「LLM 推理框架加个视频插件」,而是同一套原语在新负载下的重新组合。 原语是通用的,组合方式必须重写。
小结
这一篇把世界模型推理拆成了可计量的四层:负载形态、序列长度、三层成本、优化手段。
核心结论有三条。第一,自回归世界模型与 LLM decode 同构,KV 缓存是主要成本项,序列长度可达十万 token 量级,显存是硬约束。第二,扩散世界模型的成本是「步数 × 全序列前向」,优化空间在步间与帧间的冗余复用,代价是误差累积,需要关键帧锚定。第三,实时交互场景把单帧预算压到 40 ms 量级,系统必须靠分块、流水线与独立解码来摊薄,调度单位要从「请求」下沉到「块」。
系列走到这里,世界模型的「是什么、怎么建、怎么用、怎么测、怎么部署、怎么规划、怎么跑得快」已经连成一条完整的链路。剩下的空白在更细的层面:更激进的缓存压缩、跨会话的世界状态迁移、以及当模型规模继续增长时,这套系统账本会怎样重新排布。这些留待后续。
参考资料
- Efficient Memory Management for Large Language Model Serving with PagedAttention(vLLM,arXiv:2309.06180,2023-09)
- SGLang: Efficient Execution of Structured Language Model Programs(RadixAttention,arXiv:2312.07104,2023-12)
- From Slow Bidirectional to Fast Autoregressive Video Diffusion Models(CausVid,MIT & Adobe,arXiv:2412.07772,2024-12)
- Cosmos World Foundation Model Platform for Physical AI(NVIDIA,arXiv:2501.03575,2025-01)
- Genie 3: A new frontier for world models(Google DeepMind 官方博客,2025-08)
- FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion(arXiv:2406.06858,分布式推理中的通信重叠)
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness(arXiv:2205.14135,2022-05)
- StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation(arXiv:2312.12491,2023-12)
- DeepCache: Accelerating Diffusion Models for Free(CVPR 2024,arXiv:2312.00858,扩散步间特征复用)
- Timestep Embedding Tells: It’s Time to Cache for Video Diffusion Model(TeaCache,arXiv:2411.19108,按时间步嵌入决定是否跳过去噪计算)
- Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion(NeurIPS 2024,arXiv:2407.01392)
- PhysisServe: Efficient Autoregressive Denoising Serving with Fine-Grained Stage-wise Pipelining(逆矩阵、智源研究院等,2026-10)
- GAIA-1: A Generative World Model for Autonomous Driving(Wayve,arXiv:2309.17080,2023-09)
- World Action Models are Zero-shot Policies(DreamZero,NVIDIA,arXiv:2602.15922,2026-02)
图源说明:Cosmos Tokenizer 架构图取自 arXiv:2501.03575 的 Figure 9;CausVid 的延迟对比与学生初始化流程取自 arXiv:2412.07772 的 Figure 1 与 Figure 5;其余四张为本站根据正文机制绘制的示意图。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



