扩散模型从零讲起(五):视频扩散——时空注意力、3D VAE 与蒸馏后的少步生成

12286 字
61 分钟
扩散模型从零讲起(五):视频扩散——时空注意力、3D VAE 与蒸馏后的少步生成

写在前面:这一篇在系列里的位置

这个系列前四篇的主线可以概括为:

前四篇讲的都是图像与文本。这一篇补上视频:一段 720p、5 秒、24 fps 的视频(约 120 帧),像素数约为一张 1024×1024 图像的 71 倍;即便 3D VAE 把时间轴压掉 4 倍,去噪主干要处理的 token 数仍是图像扩散的约 18 倍。视频扩散不是”把图像扩散多跑几帧”,它迫使架构、压缩、注意力形态和采样步数都重新设计。

本篇沿着四个问题展开:

  1. 视频为什么要把空间和时间分开建模(factorized attention),后来又为什么很多人合并成三维全注意力(full 3D attention)?
  2. 3D 因果 VAE 如何把 T×H×WT\times H\times W 帧压成 (T/4+1)×H/8×W/8(T/4+1)\times H/8\times W/8 的 latent,为什么要求时间因果性?
  3. 视频扩散的一次请求到底贵在哪、显存峰值在哪里,上下文并行(context parallelism)为什么成为扩到多卡单请求的默认手段?
  4. 蒸馏(consistency distillation、DMD2、CFG 蒸馏)把 50 步压到 4 步甚至 1 步之后,剩下的成本结构是什么?

背景:视频扩散的三个难处

视频扩散的开山之作是 Ho 等人 2022 年发表的 Video Diffusion Models(NeurIPS 2022)。它把图像扩散直接推广到视频块(a block of FF frames),并提出了至今仍被广泛使用的两个结构性决策:

  • 空间-时间因子化(space-time factorized)的 3D U-Net:2D 卷积换成只作用在空间上的 1x3x3 卷积,空间注意力把帧轴当 batch 处理,再在空间注意力后插入一层时间注意力。
  • 重建引导采样(reconstruction-guided sampling):用于”续写视频”这种条件采样(给定前一段,生成后一段),替代朴素的 replacement 方法。

这两个决策背后的困难至今存在:

其一,维度的代价是乘法而不是加法。 图像序列长度 n=HW/p2n=HW/p^2;未压缩的视频序列长度 n=F⋅HW/p2n=F\cdot HW/p^2。假设一张 1024 图的 latent token 数是 4096,81 帧 720p(1280×720)在相同 patch 面积下 token 数是 81×1280×7201024×1024×4096≈2.9×10581\times\frac{1280\times720}{1024\times1024}\times4096\approx 2.9\times10^5——是图像的 71 倍;注意力矩阵元素数正比于 n2n^2,开销就要涨约 5000 倍。即使 3D VAE 把时间轴压 4 倍,Wan 的序列长度仍是 7.6 万,是图像 token 的 18 倍,注意力开销约 340 倍。全注意力的计算与激活显存都不会允许直接照搬图像模型的做法。

其二,时间维度有因果约束,但双向注意力质量更好。 图像里没有”前一张图”。视频里第 tt 帧应当只依赖前 tt 帧的像素才符合因果物理过程;但扩散去噪是双向的、非因果的,所以网络结构上只能通过”因果卷积”来近似时间因果性——尤其对 VAE 编码器,因为它是逐帧在线编码/解码的。

其三,条件更丰富、更易错。 文本条件之外,视频还有相机运动、首帧(在图生视频里)以及”续写”这类时空扩展条件。条件越复杂,CFG 这类两路前向的成本就越难忽略。

本篇会看到,2024–2025 年开放权重的三支主流模型——CogVideoX、HunyuanVideo、Wan——在这三个难处上给出的答案是不同的组合。

第一层:视频 token 到底有多少——先把账算明白

在讲任何架构之前,先把 token 数与注意力开销算出来,后面的每个设计决策都与这组数字挂钩。

设 3D VAE 的空间压缩率为 ss、时间压缩率为 cc,视频为 FF 帧、H×WH\times W 分辨率,latent 形状为 (F−1c+1)×Hs×Ws×C(\frac{F-1}{c}+1)\times\frac{H}{s}\times\frac{W}{s}\times C。再设 patch 为 p×pp\times p 的空间、qq 帧的时间,则扩散主干序列长度为:

n=⌈(F−1)/c+1q⌉⋅Hsp⋅Wspn = \left\lceil\frac{(F-1)/c+1}{q}\right\rceil \cdot \frac{H}{sp}\cdot\frac{W}{sp}

举例:Wan 的配置为 c=4c=4、s=8s=8、patch 1×2×21\times2\times2。81 帧 1280×720:

n=(804+1)⋅128016⋅72016=21×80×45=75600n = \left(\frac{80}{4}+1\right)\cdot\frac{1280}{16}\cdot\frac{720}{16} = 21\times80\times45 = 75600

HunyuanVideo 13B 的 VAE 同为 c=4,s=8c=4,s=8,patch 也是 1×2×21\times2\times2,所以同样的视频约 7.6 万 token。HunyuanVideo 1.5 把空间压缩率提到 16 倍:在 latent 层面,同样的 720p 只剩约 11 万个元素(121 帧),比 8 倍压缩少 4 倍。压缩率是能在源头削减整条成本链的参数,这也是它宁可把 VAE 做得更复杂的原因。

再算注意力开销。每个 transformer block 单次前向的注意力乘加约为 2⋅2⋅n2d=4n2d2\cdot2\cdot n^2 d = 4n^2d(QK^T 与 PV 各 n2dn^2 d 一次)。以 HunyuanVideo 13B 为例,d=3072d=3072、24 头、n=75600n=75600:

4n2d≈4×(7.56×104)2×3072≈7.0×1013 MAC≈1.4×1014 FLOPs4n^2d \approx 4\times(7.56\times10^4)^2\times3072 \approx 7.0\times10^{13}\ \text{MAC} \approx 1.4\times10^{14}\ \text{FLOPs}

每个 block 一次,60 个 block 就是约 8.4×10158.4\times10^{15} FLOPs 每个去噪步。50 步、CFG 两次前向就是约 8.4×10178.4\times10^{17} FLOPs——一次 5 秒视频的生成量级。显存上,bf16 下一个 block 的注意力矩阵是 24×756002×224\times 75600^2\times2 字节 ≈274\approx 274 GB,必须在线 softmax 分块(FlashAttention)才能跑。

这组数字解释了后面三件事:为什么要 3D VAE 把 token 压到十万级、为什么要上下文并行把 nn 切到多卡、以及为什么稀疏注意力与缓存在视频里比在 LLM 里收益更大。

第二层:空间-时间因子化注意力——最省的第一步

Video Diffusion Models 的 3D U-Net 用因子化注意力把 O(n2)O(n^2) 降下来。把 token 看成三维张量 F×H′×W′F\times H'\times W'(H′,W′H',W' 为 patch 网格):

  • 空间注意力:固定帧,在 H′×W′H'\times W' 的二维网格内做注意力;
  • 时间注意力:固定空间位置,在 FF 帧之间做注意力。

各自的开销是 O(F⋅(H′W′)2)O(F\cdot (H'W')^2) 与 O(H′W′⋅F2)O(H'W'\cdot F^2),两者之和远小于 O((FH′W′)2)O((FH'W')^2)。例如 21×80×45 的网格:全注意力约 (75600)2≈5.7×109(75600)^2\approx 5.7\times 10^9;空间注意力约 21×(3600)2≈2.7×10821\times(3600)^2 \approx 2.7\times 10^8,时间注意力约 3600×212≈1.6×1063600\times 21^2\approx 1.6\times10^6。两者相加仍比全注意力小约 20 倍。

因子化还有两个附带好处:图像训练可以无成本混入——把时间注意力的注意力矩阵固定成”每个位置只注意自己”,模型就退化为图像模型,因此可以在视频和图像上联合训练;显存上每个分块注意力只需处理一个二维或一维序列。

Latte(Ma 等人,2024 年发表于 ICLR 2025,Latte: Latent Diffusion Transformer for Video Generation)把这一思路从 U-Net 推到 transformer:在潜空间 DiT 主干里插时间注意力层。论文比较了四种变体:模型 A 在每个空间注意力后插入时间注意力(interleaved);模型 B 只对前 kk 层做时间注意力、其余层做空间注意力;模型 C 两种交替;模型 D 只对最后 kk 层做时间注意力。

Latte 的四种时空注意力变体

图中四种变体从左到右:每个空间注意力后接时间注意力、仅前若干层用时间注意力、两类交替、仅后若干层用时间注意力。论文的结论是”前层时间注意力、后层空间注意力”在参数效率与质量间取得较好平衡——前层负责建立帧间对应关系,后层负责细化空间纹理。这个结论虽然实验规模有限(在 UCF101 等数据集上),但方向上被后续模型普遍采纳。

第三层:三维全注意力——CogVideoX 为什么反其道而行

CogVideoX(Yang 等人,2024 年,CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer)给出了与因子化相反的判断:把视频和文本拼成一条序列,做三维全注意力。理由是分离的空间-时间注意力需要视觉信息”隐式传输”。

CogVideoX 论文对比分离注意力与全注意力的信息流

图中对比了三格:左格只有空间注意力,相邻两帧的同一物体(人物的头部)无法直接相互注意;中格加了时间注意力,信息要经由背景 patch 间接传递;右格是全注意力,第 ii 帧与第 i+1i+1 帧的对应位置直接建立联系。论文指出分离注意力在大运动场景下最容易失效:物体位移超过一个 patch,就找不到对应关系,只能靠背景去”拐弯”,生成的视频会出现抖动与不一致。

这里有一个值得讨论的取舍。因子化注意力的收益是算力,而三维全注意力在序列长度十万级时,单块注意力矩阵就要几百 GB,只能靠 FlashAttention 的在线分块在 HBM 里”流过”而从不落地。换句话说,全注意力在 2024 年变得可负担,前提是 FlashAttention 这类 IO 感知内核已经足够成熟——这一点与本站 FlashAttention 完全拆解(一):IO 感知与分块注意力算法 里讲的机制是同一个。

CogVideoX 的其余结构决策同样值得展开:

  • 3D 因果 VAE:空间压缩 8×、时间压缩 4×,latent 通道 16。因果卷积保证第 tt 个 latent 只依赖前 tt 个 latent。
  • 3D-RoPE:把 RoPE 分别作用在 (x,y,t)(x,y,t) 三个轴上,通道按 3/8、3/8、2/8 分配。HunyuanVideo 13B 则把 128 维头维度按 (16,56,56)(16,56,56) 分配给 (t,h,w)(t,h,w);两者的时间轴通道占比都明显低于空间——一个合理的解释是视频的时间关系在短期内比空间细节更”平滑”,同时空间轴需要更多通道来承载高分辨率细节(CogVideoX 论文并未给出分配比例的消融,此处属于基于两篇论文设置的推断)。
  • Expert Adaptive LayerNorm:文本和视频拼接成一条序列后,两种模态的特征尺度差异很大,各自一套 adaLN 调制参数,比 MMDiT 的双流结构简单,也更接近 LLM 的写法。
  • Multi-Resolution Frame Pack:把不同分辨率、不同时长的视频打包进同一 batch(借鉴 Patch’n Pack),batch 形状一致后可以混时长训练。

对比第四篇讲的图像 MMDiT:MMDiT 把图像与文本 token 分成两条独立流,只在注意力处融合;CogVideoX 干脆把两者放进同一条三维全注意力,用 Expert AdaLN 在归一化处分开。两者计算量近似,但后者的实现更简单、更适合 LLM 生态的并行工具。

第四层:3D 因果 VAE——视频扩散的”压缩税”

图像潜伏扩散(第四篇)用 VAE 把 1024×1024×3 压成 128×128×4 的 latent。视频 VAE 的压缩收益更大,但必须同时处理时间轴。

Wan 的 Wan-VAE 设计可以作为模板:

Wan-VAE 的时空压缩结构

图中橙色块表示”2× 时空压缩”,绿色块表示”2× 空间压缩”。输入视频形状 (1+T)×H×W×3(1+T)\times H\times W\times 3,输出 latent 形状 [1+T/4,H/8,W/8,C][1+T/4, H/8, W/8, C],通道数扩到 16。具体做法:

  1. 下采样阶段交替进行空间 2× 下采样与时空 2× 下采样,时空下采样只发生在时间维与空间同时减半;
  2. 首帧只做空间压缩——图像条件(图生视频的首帧、图像训练样本)不经过时间轴,这样图像与视频可以共用一套 VAE,这与 MagViT-v2 的做法一致;
  3. 上采样阶段的空间层把输入通道减半,显存降 33%;
  4. 所有 GroupNorm 换成 RMSNorm,保住时间因果性并启用特征缓存(见下);
  5. 基础通道数调小后整个 VAE 只有 127M 参数。

为什么必须时间因果? VAE 编码器是逐帧编码的,第 tt 帧的输出不能依赖第 t+1t+1 帧——否则在线解码时就要等全部帧编码完毕,长视频就会 OOM。Wan-VAE 用特征缓存机制实现这一点:把视频按 latent 帧数切成 (1+T/4)(1+T/4) 个 chunk,每个 chunk 只处理最多 4 帧输入;因果卷积核为 3,所以每个 chunk 只需缓存前一个 chunk 的最后 2 帧特征;时间下采样(stride=2)的 chunk 只需缓存 1 帧。这样无论视频多长,编码/解码的显存都是常数。

HunyuanVideo 3DVAE 的因果卷积结构

HunyuanVideo 的 3DVAE 走的是另一条路线:它使用 CausalConv3D,把 (T+1)×3×H×W(T+1)\times 3\times H\times W 压成 (T/4+1)×C×H/8×W/8(T/4+1)\times C\times H/8\times W/8,ct=4c_t=4、cs=8c_s=8、C=16C=16。一个与 Wan 不同的选择是:它不从预训练图像 VAE 初始化,而是从零训练,并按 4:1 混合视频和图像数据,配 L1L_1 重建损失、LlpipsL_{lpips}、GAN 对抗损失与 LklL_{kl}:

LVAE=L1+0.1 Llpips+0.05 Ladv+10−6 Lkl\mathcal{L}_{\text{VAE}} = L_1 + 0.1\,L_{\text{lpips}} + 0.05\,L_{\text{adv}} + 10^{-6}\,L_{kl}

Wan-VAE 则相反:先训练一个同结构的 2D 图像 VAE,再”膨胀”成 3D 因果 VAE——这一步叫 inflate,把 2D 卷积核复制成 3D 核并在时间维上初始化,显存与收敛速度都明显更好。这是工程上很常见的迁移策略,也是为什么 2D VAE 的质量对视频 VAE 有直接约束。

解码侧的工程:分块(tiling)。 HunyuanVideo 在推理时沿空间与时间分块,重叠区域线性混合,从而在单卡上解码任意分辨率、任意长度的视频。分块带来的问题是训练-推理不一致(训练时没有分块边界),论文的做法是训练时随机启用/禁用分块,让模型适应两种模式。这与第四篇中”VAE 是质量上限的隐性约束”是同一件事的另一个面向:解码策略本身会改变输出画质。

CogVideoX 的 3D VAE 则展示了更激进的压缩为什么失败:论文的消融把时空压缩提到 16×16×8,即便同比例增加 latent 通道,收敛也变得极困难。压缩率、通道数与收敛难度之间存在一条现实上限。

Wan 论文做过一组横向对比,可以作为选择压缩率的参照:Open-Sora Plan 用 4×8×8、latent 4 通道;SVD 用 1×8×8(只在空间压缩)、4 通道;Mochi 用 6×8×8、12 通道;StepVideo 用 8×16×16、64 通道;Wan-VAE 选择 4×8×8、16 通道,并在 720×720、25 帧的 200 条视频上报告其重建速度约为当时最优视频 VAE 的 2.5 倍。这组对比的启示是:时间压缩率不是越大越好——时间压得越狠,latent 帧数越少、去噪越便宜,但运动细节与快速动作最先被抹掉;空间压缩造成的细节损失可以用增加通道数部分补偿。4×8×8 因此成为 2024–2025 年的折中点,直到 HunyuanVideo 1.5 用更强的因果 3D transformer VAE 把空间压到 16× 并保持质量。

第五层:条件采样——首帧、掩码与重建引导

图生视频(I2V)是视频扩散最常用的形态:给定一张图,生成一段动作。它天然对应第一篇里的”条件采样”问题——如何让生成的视频块与给定的首帧一致。

Wan 的 I2V 做法是在输入里传入一个 mask:

Wan 的整体 DiT 架构

图中可以看到主干由 patchify、若干 DiT block、unpatchify 组成;文本经 umT5 编码 512 token,通过 cross-attention 注入各 block;时间步由一个各 block 共享的 MLP 预测 6 个调制参数(论文说这个共享设计使参数量减少约 25%)。I2V 变体在此基础上加入 mask 机制:

Wan-I2V 的 mask 条件机制

图中输入包含首帧(First frame)与文本。首帧经 Wan-Encoder 得到 latent,再用 CLIP 图像编码器提取特征、经过三层 MLP 投影后作为全局上下文注入;带噪的视频 latent 与这些条件一起进入 Diffusion Process(时间步作为另一个输入),输出视频。mask 让模型把首帧对应区域视为已知、只对其余区域去噪。论文说明这套机制同时支撑”视频续写”与”首帧-末帧插值”两类任务——因为它们都是”部分帧已知、其余帧去噪”的特例,区别只在于已知区域的 mask 覆盖哪几帧。与下文 reconstruction guidance 的关系在于:前者在学习阶段就见过 mask,后者用梯度项在采样时近似条件分布;Wan 的 mask 方式是训练侧实现,重建引导是免训练实现。

另一条路线不需要为条件单独训练,而是在采样时用梯度近似条件分布,即 reconstruction guidance。Video Diffusion Models 论文推导了朴素的”replacement”方法为何失败——把条件帧替换成前向加噪样本后,模型对 ztb\mathbf{z}^b_t 的更新方向仍是 Eq[xb∣zt]E_q[\mathbf{x}^b|\mathbf{z}_t],而需要的是 Eq[xb∣zt,xa]E_q[\mathbf{x}^b|\mathbf{z}_t,\mathbf{x}^a],二者之差是:

Eq[xb∣zt,xa]=Eq[xb∣zt]+σt2αt∇ztblog⁡q(xa∣zt)E_q[\mathbf{x}^b|\mathbf{z}_t,\mathbf{x}^a] = E_q[\mathbf{x}^b|\mathbf{z}_t] + \frac{\sigma_t^2}{\alpha_t}\nabla_{\mathbf{z}^b_t}\log q(\mathbf{x}^a|\mathbf{z}_t)

这项梯度可以用高斯近似 q(xa∣zt)≈N[x^θa(zt),(σt2/αt2)I]q(\mathbf{x}^a|\mathbf{z}_t)\approx\mathcal{N}[\hat{\mathbf{x}}^a_\theta(\mathbf{z}_t),(\sigma_t^2/\alpha_t^2)I] 来算,于是得到重建引导采样的修改版去噪模型(wrw_r 为引导权重):

x~θb(zt)=x^θb(zt)−wrσt2αt∇ztb∥xa−x^θa(zt)∥22\tilde{\mathbf{x}}^b_\theta(\mathbf{z}_t) = \hat{\mathbf{x}}^b_\theta(\mathbf{z}_t) - w_r\frac{\sigma_t^2}{\alpha_t}\nabla_{\mathbf{z}^b_t}\|\mathbf{x}^a - \hat{\mathbf{x}}^a_\theta(\mathbf{z}_t)\|_2^2

也就是说,条件信息的注入本质上是把”重建误差的梯度”加回到去噪方向里。这解释了为什么”续写视频”如果用纯 replacement,帧间会失去连贯性,而用重建引导能保持连贯:

Video Diffusion Models 论文对比 replacement 与重建引导的续写效果

图中左侧是 replacement 方法生成的分块续写样本,右侧是重建引导的样本。左侧的视频块之间存在明显的不相关感(不同块像是各自独立采样的),右侧则保持整体连贯。这是重建引导最直观的证据,也说明”把条件帧硬塞回去”并不能替代对条件分布的建模。

对推理系统的启示是:首帧条件、续写、编辑本质上都在对”条件区域”做显式或隐式的重建引导,实现上通常用 mask 把条件 token 冻结、只对被 mask 区域计算梯度或只更新非条件区域。区别只在”梯度怎么算”和”条件如何编码”。

第六层:文本编码器、3D RoPE 与调制参数

文本条件进入视频主干的通路沿用了第四篇的三条主干。视频模型的具体选择值得单独看,因为它直接决定显存与延迟。

  • Wan 用 umT5(512 token),论文给出的理由是:多语言能力强(中英文、画面内文字都能理解)、组合性优于使用单向注意力的 LLM 文本编码器、相同参数规模下收敛更快。Wan 的 T2V 主干不用 CLIP,只在 I2V 里用 CLIP 图像编码器提取首帧的全局特征(见第五层)。umT5 的逻辑与第四篇里 Flux/SD3 使用 T5-XXL 相同——长文本编码器擅长复杂提示词,但显存常驻成本高。
  • HunyuanVideo 用 MLLM(多模态大模型)+ CLIP-L 双路。MLLM 是基于视觉指令微调过的仅解码器模型,论文指出它比 T5 在图文对齐上更好;但仅解码器是因果注意力,需要额外一个双向 token refiner 把文本特征提纯。CLIP-L 的池化向量作为全局条件注入双流与单流 block。
  • HunyuanVideo 1.5 升级成 Qwen2.5-VL + Glyph-ByT5 双通道,后者专门负责视频内文字渲染(glyph-aware),面向”画面里出现字幕/招牌”的场景。

两种路线都印证:视频模型对文本的依赖比图像更重(动作、镜头、时序都得靠文字说清楚),所以主流模型普遍用 5B 以上的文本编码器,这类编码器的权重常驻显存 10–20 GB 量级,是单机部署时的固定成本。Wan 论文给出了量化参照:文本编码器在训练时需要 20 GB 以上显存,因此必须用 FSDP 切分权重(论文里提到 VAE 与文本编码器部分用 DP,DiT 部分用 DP+CP,并在模块切换时做数据广播以避免 CP 组内重复计算),而在推理阶段它又是一段与主干并行的独立流水。

提示词改写与对齐。视频模型对提示词的敏感度高于图像:训练用的视频描述通常包含镜头、光照、动作序列等结构化信息,用户输入的短句与训练分布差距更大。Wan 的做法是在推理前用改写模型把用户提示扩充成训练分布的写法(加入景别、光线、运镜),HunyuanVideo 则用结构化描述(JSON 字段包含镜头类型、光照、氛围)并训练一个能识别 14 类运镜的分类器。这类”推理前预处理”不改变模型结构,却常是提示词遵循度差异的主要来源——它相当于把一部分对齐能力从模型内部搬到推理管线里,代价是增加一次文本模型前向。

3D RoPE。 HunyuanVideo 把通道按 (16,56,56)(16,56,56) 分给 (t,h,w)(t,h,w);CogVideoX 为 (3/8,3/8,2/8)(3/8,3/8,2/8) 的 (x,y,t)(x,y,t)。分配本身就表达了一种设计假设:Wan 与 Hunyuan 更看重空间分辨率(给 hh、ww 各 56 个通道),而 CogVideoX 时长较短,可以给时间轴更少通道。3D RoPE 同样带来长度外推能力——配合 bucket 训练与扩展位置表,Wan 可以用同一套权重生成 480p 与 720p、5 秒与 10 秒的视频。

调制参数。 Wan 用一个各 block 共享的 MLP 从时间步嵌入预测 6 个调制参数(scale/shift/gate 各两组)。共享 MLP 减少了参数,但每个 block 保留各自的 bias,这样既有 adaLN-Zero 的表达能力又节省约 25% 参数——这个”参数去重”技巧在大模型时代很实用。

第七层:一次视频生成请求的成本结构与上下文并行

把视频一次的推理拆成四段:

阶段主导开销显存峰值来源可并行的方式
文本编码数百 GFLOPs,取决于文本编码器规模文本编码器权重常驻 10–20 GB独立部署/流水
VAE 编码(I2V/编辑)与帧数线性逐帧因果,显存随 chunk 固定帧级流水或 tiling
去噪主干L⋅(αn2d+βnd2)×L\cdot(\alpha n^2 d + \beta n d^2)\times步数×\timesCFG注意力矩阵,O(n2)O(n^2)上下文并行(CP)
VAE 解码数百 GFLOPs整段视频 latent 一次解码的激活最大tiling

Wan 的论文给出了清晰的算力/显存分离公式。每个 DiT block 的计算量约为 L(αbsh2+βbs2h)L(\alpha b s h^2 + \beta b s^2 h),其中 ss 是序列长度、hh 隐层维度、bb 微批:线性层部分随 ss 线性增长,注意力部分随 ss 平方增长;非因果注意力时 β=4\beta=4(前向)/ 88(前向+反向)。显存则大致为 γLbsh\gamma L b s h,随 ss 线性增长,但 γ\gamma 在 DiT 里超过 60(LLM 约 34),因为视频 token、提示词、时间步都进入输入。

在序列长度到 1M token 时,注意力可能占端到端训练时间的 95%;1M token、微批为 1 时,14B DiT 的激活显存可超过 8 TB。这两个数字直接决定了系统设计:算力是平方瓶颈,显存是线性瓶颈——计算要并行到更多 GPU,显存要靠重算、卸载或更低精度的注意力。

上下文并行(Context Parallelism)。 这是视频扩散能够”单请求多卡”的关键。与张量并行切权重不同,CP 沿序列维切 token,每个 GPU 只有一段 n/Pn/P 的 Q/K/V,注意力时通过环状(Ring Attention,逐次发送 KV 块给下一卡)或 all-to-all(Ulysses,把多头拆到各卡、每步做一次 all-to-all 重排)交换信息。两者各有一个短板:Ulysses 的 all-to-all 跨机很慢,Ring 在切分后每卡块过小会降低计算效率。Wan 因此采用二维 CP:外层 Ring、内层 Ulysses,256K 序列、16 卡跨 2 机的通信开销从 10%+ 降到 1% 以下,并且推理时几乎线性加速:

Wan 论文中单视频生成随 GPU 数量的加速曲线

图中横轴是 GPU 数(4 到 16),纵轴是相对单卡的加速倍数,实际加速(曲线)接近理论线性加速(虚线)。这说明视频扩散的并行效率远高于 LLM 推理——因为视频是一个”一个大请求、token 极多”的任务,天然适合把序列拉开。对比 LLM 服务里连续批处理要装很多小请求,视频推理正好相反:请求少、每个请求大。

这也解释了为什么视频扩散的部署优化重心与 LLM 服务不同:LLM 服务追求吞吐与请求级并行,而视频生成(除了批量离线渲染)通常追求单请求延迟,因此 FSDP/CP 的组合比 TP + continuous batching 更重要。Wan 在推理时选择 FSDP(而非 TP)切模型权重,理由是长序列下 FSDP 通信更少且可与计算重叠。

视频扩散没有 token 级的 KV 缓存可复用

LLM 推理的核心优化是 KV 缓存:已生成 token 的 K/V 不再变化,后续每步只算新 token 的 Q,再对缓存做注意力。视频扩散没有这个结构——每个去噪步输入的都是整段带噪 latent,而且注意力是双向的:第 tt 帧要 attend 第 t+1t+1 帧,反之亦然。因此每步都必须重算全部 token 的 Q/K/V,上文的 O(n2)O(n^2) 每步都要重新付一遍。这正是视频扩散单步成本远高于同 token 数 LLM prefill 的原因,也是为什么第八层的”跨步缓存”只能作为近似优化,无法像 KV 缓存那样精确。

唯一精确可复用的是文本侧:Wan 这类用 cross-attention 注入文本的模型,文本 K/V 在整个去噪过程中不变,可以在第一步算好后缓存给所有 block、所有步使用。生产实现通常把文本编码与主干解耦,文本 embedding 连同投影后的 K/V 一起缓存,既省一次文本编码器前向,也省每步的 K/V 投影。这与第三篇 dLLM 里”哪些缓存可以精确复用、哪些会失效”是同一类判断——精确复用只存在于”输入不随步变化”的那一条边上。

变长请求如何进同一个 batch

视频的时长与宽高比是连续变量,直接把不同长度的样本 pad 到最长会让 padding token 也参与全注意力,浪费的算力可能超过有效计算。两类做法:

  • 分桶:HunyuanVideo 按时长桶 BTB_T 与宽高比桶 BARB_{AR} 划分出 BT×BARB_T\times B_{AR} 个桶,每个桶给定一个不 OOM 的最大 batch;训练时数据就近入桶,每个 rank 随机从桶里预取 batch,从而在每一步看到不同尺寸。
  • 打包:CogVideoX 的 Multi-Resolution Frame Pack 把不同时长、不同分辨率的视频放进同一个 batch,用 3D RoPE 表达各自的位置;为了让 batch 形状一致,位置编码采用”扩展位置表再截取前段”的外推方式,而不是把固定长度的表缩放到目标分辨率的内插方式——论文认为后者会损失细节清晰度。

对推理服务而言,分桶的意义不止是省算力:它把”分辨率/时长”变成调度维度,同一 bucket 的请求可以共享 kernel 形状与编译缓存;跨 bucket 的请求则需要重新编译或回退通用 kernel,这与 LLM 服务里变长序列的处理是同构问题。

第八层:去噪步数与缓存——DiTFastAttn、FasterCache 与步复用

上一节算的成本还要再乘以去噪步数与 CFG 倍率。一个纯加速的方向是跨步复用:相邻去噪步的输出高度相似,某些计算可以跳过。

  • DiTFastAttn(Yuan 等人,2024 年)把 DiT 推理中的注意力冗余分成三类:空间冗余(不少 head 只关注局部)、时间冗余(相邻步的注意力输出高度相似)、条件冗余(CFG 的条件与无条件推断相似)。对应三招:窗注意力 + 残差共享、跨步注意力共享、跨 CFG 注意力共享。
  • FasterCache(Lv 等人,2024 年,FasterCache: Training-Free Video Diffusion Model Acceleration with High Quality)指出”直接复用相邻步特征会损失细节”,于是设计动态特征复用,在保留特征区分度的同时维持时序连续性;对 CFG,它发现同一步内条件与无条件特征存在显著冗余,用 CFG-Cache 跳过部分无条件计算。论文报告视频模型约 1.6 倍加速、且质量保持。
  • Wan 在实践中采用更保守的版本:在验证集上挑选”哪些步做完整前向”(attention cache),并对 CFG 的无条件分支做条件分支的复用,再用类似 FasterCache 的残差补偿防止细节退化。Wan 论文的观察与 FasterCache 略有不同:它指出在采样后期条件与无条件 DiT 输出才明显相似。最终在 14B T2V 模型上得到 1.62× 加速。

这些方法的核心是一个验证级假设:模型输出在时间步上的平滑性。这与第四篇里”CFG 仅在中间区间使用”的观察同源——CFG 系数太大或太小都会劣化,所以不是所有步都值得算两次前向。

需要强调的是,缓存复用与稀疏注意力、蒸馏是三个正交的轴:缓存砍步内重复计算、稀疏砍 token、蒸馏砍步数。生产系统会同时叠加它们。

第九层:稀疏注意力——HunyuanVideo 1.5 的 SSTA

视频的 token 冗余远高于图像:相邻帧的同一位置几乎相同,视频块内大量 token 彼此”互为副本”。利用这一点最直接的手段是块稀疏注意力。

HunyuanVideo 1.5(Hunyuan 团队,2025 年 11 月发布,HunyuanVideo 1.5 Technical Report)提出 SSTA(Selective and Sliding Tile Attention):把 token 按三维网格切成瓦片块,每块大小 N=tilet×tileh×tilewN=\text{tile}_t\times\text{tile}_h\times\text{tile}_w,块数 B=(F/tilet)⋅(H/tileh)⋅(W/tilew)B=(F/\text{tile}_t)\cdot(H/\text{tile}_h)\cdot(W/\text{tile}_w),然后:

  1. 块重要性打分:对每个块做自适应池化得到 Qˉb\bar Q_b、Kˉb\bar K_b,计算块间相似度 Scores=QˉbKˉb⊤∈Rh×B×B\text{Score}_s=\bar Q_b\bar K_b^\top\in\mathbb{R}^{h\times B\times B},以及块内冗余度 Scorer=1N−1∑i≠j[KˉbKˉb⊤]ij\text{Score}_r=\frac{1}{N-1}\sum_{i\ne j}[\bar K_b\bar K_b^\top]_{ij},合成 Scorei=λ⋅Scores−β⋅Scorer \text{Score}_i=\lambda\cdot\text{Score}_s-\beta\cdot\text{Score}_r,取 top-kk 块作为选中块;
  2. 滑窗块:与当前块在 (wt,wh,ww)(w_t,w_h,w_w) 邻域内的块永远选中(局部先验);
  3. 合并掩码:选中块掩码与滑窗掩码取交集后做块稀疏注意力,用 ThunderKittens 实现 flex_block_attention。

它的设计动机非常清晰:局部窗口保证时空细节,全局选择保证长程关系,冗余度项剔除”内容重复”的块。与 LLM 侧 NSA 的”压缩-选择-滑窗”三分支(见本站 NSA 原生稀疏注意力(一):压缩-选择-滑窗三分支架构)几乎同构,只是视频侧的选择以块为单位、用池化特征而非学到的小网络打分,从而做到无参数、可在任何训练阶段接入。

效果数据来自论文的两组表:

  • 不做工程优化时,720p 241 帧的每步时间从 5.51 s 降到 2.95 s(FlashAttention-3 基线);
  • 开启工程加速(SageAttention、torch.compile、特征缓存)后,720p 241 帧的 50 步总时长从 96.78 s 降到 58.39 s;论文给出的端到端结论是 10 秒 720p 合成相对 FlashAttention-3 加速 1.87×。

另一个更直接的信号是显存:开启流水卸载、分组卸载与 VAE tiling 后,720p 121 帧的整条流程峰值显存降到 13.6 GB,可以在单张 4090 上跑通。这是”压缩 + 稀疏 + 分块 + 少步”组合的结果,而不是单项技术。

第十层:视频主干的显存结构——为什么 VAE 解码是峰值

上文成本表里,VAE 解码被标为显存峰值来源。原因值得单独展开:去噪主干是逐 block 流式计算的,FlashAttention 让注意力矩阵从不落地,所以显存峰值约等于”单个 block 的激活 + 权重”;而 VAE 解码器要把整段视频的 latent 一次解压回 (1+T)×H×W×3(1+T)\times H\times W\times 3,中间激活与输出缓冲都随视频长度线性涨。

一个具体数字能说明 latent 与像素的差距:720p、121 帧的视频,Wan 的 latent 形状为 31×45×80×1631\times45\times80\times16,bf16 下约 3.6 MB;解码回像素后是 121×720×1280×3121\times720\times1280\times3,bf16 约 669 MB,相差约 186 倍。解码器的中间激活还要再乘上若干倍,所以”去噪时显存够、一解码就 OOM”是视频推理中最常见的现象。

这就是 Wan 用 chunk 级特征缓存、HunyuanVideo 用时空 tiling、HunyuanVideo 1.5 用”主模型 480p/720p + 级联视频超分”三段式的原因:

  • 主模型只在低分辨率上做去噪(token 少,注意力便宜);
  • 超分网络在 latent 空间里把分辨率放大到 1080p(输入是 LR latent,不需要从头去噪整段高清视频);
  • VAE 解码只对最终 HR latent 做一次。

这种”生成-超分两段式”把最贵的注意力留在低分辨率域,代价是多了一个 8.3B 量级的超分网络权重与一次额外的前向。这和图像生成里”低分辨率主干 + 超分”的路线本质相同,只是视频里多了一个时间轴的一致性约束。

HunyuanVideo 1.5 还给出了显存随分辨率的表:720p 121 帧、整条流程开启卸载与 tiling 时峰值 13.6 GB;不开启时则需要多卡。这类”卸载能换显存但要吃 PCIe 带宽”的权衡,与第三篇 dLLM 服务里”缓存能换算力但可能失效”同类。

第十一层:蒸馏——用更少步数换延迟

步数是控制视频生成延迟最直接的旋钮:50 步、CFG 两次前向 = 100 次主干前向。把步数降到 4–8 步并去掉 CFG 的第二次前向,理论上就是 10 倍以上的压缩。

一致性模型(Consistency Models,Song 等人,2023 年)的出发点是:训练一个函数 ff,把同一条扩散轨迹上的任意点都映射到同一点 x0\mathbf{x}_0。多步一致性(Multistep Consistency)与潜在一致性模型(LCM,Luo 等人,2023 年,Latent Consistency Models)把它做在 latent 空间里,用少量步数采样。其自一致性损失可写成(以相邻两个噪声水平 tn>tn+1t_n>t_{n+1} 为例):

LCM=E[∥fθ(xtn+1,tn+1)−sg(fθ(xtn,tn))∥22]\mathcal{L}_{\text{CM}} = \mathbb{E}\left[\|\mathbf{f}_\theta(\mathbf{x}_{t_{n+1}},t_{n+1}) - \mathrm{sg}(\mathbf{f}_\theta(\mathbf{x}_{t_n},t_n))\|_2^2\right]

其中 sg\mathrm{sg} 是 stop-gradient。直观含义是:同一个学生在更大的噪声点与更小的噪声点上都必须预测到同一终点,这样少跑几步不改变终点。连续时间版本(iCT,Lu 与 Song,2024 年)把这一约束推广到任意 tt,只在”与前一点的差足够大”时才触发一致性约束,避免模型在相邻的小噪声差上记忆离散网格;后续的 sCM 进一步修正了训练不稳定问题,并把一致性模型扩展到 1.5B 级文生图主干(其中也用到了 DiT 架构)。

一致性模型还有一个对模块化部署很重要的变体:LCM-LoRA 把一致性训练做成一个低秩适配器,接在任何 SD 系列主干上即可把步数压到 4–8 步。这意味着蒸馏不必为每个模型单独生成一份全量权重,一个很小的 LoRA 权重就能改变采样器——视频侧的公开蒸馏权重多为全量微调或专门蒸馏,少见可插拔的 LoRA,因为视频模型对步数更敏感、对质量退化也更敏感。

分布匹配蒸馏(DMD/DMD2,Yin 等人 2024 年、Improved Distribution Matching Distillation for Fast Image Synthesis)走的是另一条路:让学生模型每一步的输出分布直接匹配教师模型(含 CFG)的分布,损失由真实数据分数与教师分数之差驱动:

∇θLDMD=Et[Ext[(sreal(xt)−sfake(xt))dxtdθ]]\nabla_\theta \mathcal{L}_{\text{DMD}} = \mathbb{E}_{t}\left[\mathbb{E}_{\mathbf{x}_t}\left[(\mathbf{s}_{\text{real}}(\mathbf{x}_t) - \mathbf{s}_{\text{fake}}(\mathbf{x}_t))\frac{d\mathbf{x}_t}{d\theta}\right]\right]

DMD2 论文的贡献在于把两阶段 DMD 合并成单阶段,并在训练中重新引入 GAN 损失以补足生成分布与真实分布之间的差距。它在图像上把步数压到 1–4 步的同时保持生成质量,方法本身与模态无关,扩散视频模型可以直接套用。

视频侧的蒸馏:

  • HunyuanVideo 1.5 的评测口径明确说明”所有速度测量均在 CFG 蒸馏模型上、8 张 H800、上下文并行开启”——这说明发布形态本身就是蒸馏模型。
  • 开源社区围绕 Wan 系列发布的少步蒸馏权重把步数压到个位数;HunyuanVideo 1.5 的官方评测口径本身就是”CFG 蒸馏模型 + 50 步”,并用卸载与 tiling 把 720p 121 帧压到单张 4090 可跑。Wan 原论文还给出一个实时部署案例:借助流式生成与 int8/TensorRT 量化,单张 4090 达到实时 20 FPS 级别的输出速率——它依赖分块流水与量化,而不是单步去噪更快。
  • 蒸馏与稀疏注意力的叠加并不简单:稀疏注意力的训练通常放在蒸馏阶段(HunyuanVideo 1.5 原文即如此),因为此时学生模型的注意力模式已经稳定,掩码选择的统计更可靠。

蒸馏的代价必须说清楚:一旦把 CFG 烘进学生网络,guidance 强度就固定在蒸馏时的教师设置。需要更强/更弱的引导时,要么重新蒸馏、要么用标准 CFG 回退。这在第四篇的”CFG 与蒸馏之间的自由度交换”里也提到过;视频模型因为每次前向更贵,对蒸馏的依赖更强。

第十二层:完整成本账——一次 720p 视频生成的数字

把上面的公式串起来,以一个 14B 级视频 DiT、n≈7.56×104n\approx 7.56\times10^4、L=40L=40 层、d=3072d=3072 粗算:

配置主干前向次数相对延迟(近似)
50 步 + CFG(两次前向)1001.0
50 步 + 缓存复用(CFG 后段复用 + 注意力复用)约 62–70约 0.62–0.7(Wan 实测 1.62×)
CFG 蒸馏 + 稀疏注意力(HunyuanVideo 1.5,720p 241 帧,工程加速)50 次(每步只跑一次前向)相对未蒸馏 50 步 CFG 约 0.1–0.15 量级
蒸馏到 4 步4约 0.04–0.06
蒸馏到 1–2 步(DMD2 级)1–2约 0.01–0.03

这一表只能给出量级。真实延迟还叠加 VAE 解码、文本编码、超分与调度开销;单步越低,与 VAE 解码的固定成本相比,“去噪占总时长的比例”就越小——蒸馏到 1 步时,瓶颈会从主干转移到 VAE。这是视频模型推理工程中一个重要的转折点,也解释了为什么 HunyuanVideo 1.5 要专门做级联超分:主模型步数越少,VAE 与解码的优化价值越高。

再叠加并行倍率:多卡 CP 让延迟随 GPU 数近线性下降(Wan 的图 12),因此端到端延迟大致是:

延迟≈N前向⋅T单步(n)PCP⋅E+T文本编码+TVAE解码\text{延迟} \approx \frac{N_{\text{前向}} \cdot T_{\text{单步}}(n)}{P_{\text{CP}} \cdot E} + T_{\text{文本编码}} + T_{\text{VAE解码}}

其中 EE 是 CP 效率(实测接近 1),T单步T_{\text{单步}} 随 nn 近平方增长。要降低延迟,可优化的三项分别是:N前向N_{\text{前向}}(缓存/蒸馏)、T单步T_{\text{单步}}(稀疏/低精度/VAE 压缩)、PCPP_{\text{CP}}(多卡并行)。

第十三层:低精度——8-bit 注意力比 8-bit GEMM 难得多

视频推理的另一个热点是 FP8。Wan 的实践给出了一组非常具体的工程经验:

  • FP8 GEMM 容易:权重按 tensor 量化、激活按 token 量化,对 DiT block 内所有 GEMM 使用 FP8,精度损失很小,DiT 模块加速 1.13×。
  • FP8 注意力不容易:原生 FA3-FP8 视频生成质量显著下降。Wan 的做法是把 S=QK⊤S=QK^\top 用 INT8、把 O=PVO=PV 用 FP8 混合量化(借鉴 SageAttention),并且跨块累加用 FP32(类比 DeepSeek-V3 的 FP8 GEMM 两级累加),块内 PV 用 FP8 WGMMA。调整块大小以缓解寄存器压力后,在 H20 上达到 95% MFU,整体推理效率提升 1.27×。

为什么注意力对精度更敏感?因为 softmax 的输入 sij/ds_{ij}/\sqrt{d} 的分布随序列长度与位置变化很大,量化它的误差会被 softmax 的非线性放大;同时 PVPV 阶段的 V 在长序列上需要更高的累加精度以避免溢出。这与本站 FlashAttention 完全拆解(三):Warp 特化异步流水线与 FP8 低精度 里讨论的非相干处理是同一类问题的不同解法。

HunyuanVideo 1.5 在工程加速配置里采用了 SageAttention,且明确把稀疏注意力与低精度注意力视为互补的两层优化:低精度降常数、稀疏降复杂度。

第十四层:长视频——分块自回归与流式生成

单次生成一段 5 秒视频,已经是 10510^5 token 量级;要生成几分钟到十几分钟的视频,序列长度还会线性上涨,而注意力按平方上涨。长视频因此回到视频扩散最早的思路:分块生成。

Video Diffusion Models 在 2022 年就给出了 block-autoregressive 的时空扩展:先生成 16 帧的块,再把这一块的末尾若干帧作为条件(用重建引导)生成下一块。这与 LLM 的自回归在形式上相似,但有一处根本差异——块内是双向扩散,块间是条件续写。因此每块都要跑完整的去噪循环,无法像 LLM decode 那样逐 token 增量计算;“上下文”也不是 KV 缓存,而是被重新加噪、作为条件输入的若干帧。

分块方案的核心问题是漂移与条件衰减:

  • 每一块都以”上一块的末尾帧”为条件,但上一块本身是生成的,误差会逐块累积,表现为颜色漂移、物体缓慢变形或镜头运动不连续。
  • 条件的强度随块数增加而衰减(重建引导权重 wrw_r 是最直接的控制柄),过度依赖条件又会让动作趋于静止。
  • 帧数越长,“保持同一场景”与”允许场景切换”之间越难平衡。

工程上通常用三类手段缓解:重叠帧(生成时多生成若干帧,只保留中间部分,下一块从重叠区续)、残差式条件(把条件的 latent 与生成 latent 相加而非替换)、以及按块重新加噪时的噪声日程分段(不同块用不同的初始噪声水平)。

流式生成把分块推到极致:不追求一次生成完整视频,而是按块连续输出,保持一个滚动的上下文窗口。Wan 论文演示了两种形态:8 张 A100 上实时 8 FPS 生成 15 分钟视频;单张 4090 上配合 int8/TensorRT 量化达到实时 20 FPS 级别的输出速率。这类实现的关键不在单步 kernel,而在块间流水:VAE 解码、超分、编码下一块的条件可以同时进行,把显存与算力错峰使用。

这与世界模型里的长时生成是同一个问题:本站 WorldAttention 完全拆解:分层 KV 缓存如何支撑长时交互式视频生成 讲的”按时间轴滚动、分层保留远距离上下文”,本质上是在给扩散模型的块间条件做更精细的记忆管理;CSBP 完全拆解:块并行如何让长上下文扩散语言模型少传无效 KV 则从并行角度处理同一类”块间依赖”。区别在于视频是三维、双向的,块间条件的结构比语言模型的 token 序列更复杂。

小结

视频扩散是在图像扩散的四层结构(VAE、主干、条件注入、采样器)之上,叠加了时间维度与更大的 token 规模。本篇把这条链讲完:

  • token 数是帧数与每帧 token 数的乘积:注意力开销随它平方级上涨。3D VAE 的压缩率(Wan/Hunyuan 的空间 8×、时间 4×,HunyuanVideo 1.5 的空间 16×)是能在源头控制的成本参数。
  • 时空注意力有两种形态:因子化(VDM、Latte)省算力并支持图像混训;三维全注意力(CogVideoX、HunyuanVideo、Wan)质量更好,前提是 FlashAttention 级内核把平方注意力”流式化”。
  • VAE 必须时间因果才能逐 chunk 编解码:Wan 的特征缓存、Hunyuan 的 tiling、CogVideoX 的 16×16×8 压缩失败实验共同界定了”压缩率-通道数-收敛难度”的现实上限。
  • 条件注入本质上是 reconstruction guidance:VDM 推导了 replacement 缺项并给出梯度项;I2V 与编辑把条件区域 mask 出来,冻结它、只去噪其余。
  • 成本是”主干平方 × 步数 × CFG”:注意力是算力瓶颈、激活显存是线性瓶颈;上下文并行(Ring + Ulysses 二维 CP)让单请求延迟近线性下降,Wan 的 1% 通信开销与线性加速曲线是证据。与 LLM 不同,视频扩散每步都要重算全部 token 的 Q/K/V,只有文本侧的 K/V 可以精确复用。
  • 缓存、稀疏、蒸馏、低精度是四个正交旋钮:FasterCache 类跨步复用、SSTA 式的块稀疏(选择 + 滑窗 + 冗余度剔除)、CM/DMD 的少步蒸馏、INT8/FP8 注意力。HunyuanVideo 1.5 把 720p 241 帧、开启工程加速后压到 58 s,且显存降到可单卡跑。
  • 性能的瓶颈会转移:像素空间的输出是 latent 的 186 倍大小,步数越低,VAE 解码占比越高,所以级联超分与 tiling 在少步模型里更重要。
  • 调度维度是时长与宽高比:分桶(HunyuanVideo)与打包(CogVideoX 的 Frame Pack)解决变长请求的 padding 浪费与 kernel 形状问题;提示词改写与结构化描述则是把对齐能力搬到推理管线里的常见做法。

如果继续扩展,最有价值的方向是视频与 LLM 系统的交叉:视频 token 的稀疏模式是三维、非因果的,如何借鉴 NSA/DSA 的学习式索引器;多卡 CP 与长序列的 KV 管理能否统一;以及世界模型(动作条件视频生成)里”条件按时间轴滚动”这类长时生成问题。

这个系列从 DDPM 的数学一路走到离散扩散的系统、图像扩散的结构,再到本篇的视频扩散。扩散模型作为一个家族已经覆盖了”连续与离散""静态与时间”两个维度的生成任务;本站在推理优化侧还有一系列围绕具体系统的拆解,例如 DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速(把块扩散当作推测解码的草稿)与 扩散模型从零讲起(三):dLLM 推理系统——dInfer、Fast-dLLM 与真实硬件上的服务设计(离散扩散的服务结构),它们与本篇讨论的视频服务在”步数、缓存、调度”三个维度上互相印证。

两点补充:质量-延迟曲线与发布形态

其一是”质量-延迟”曲线的形态。 图像扩散的步数-质量曲线在 200 步之后趋于平缓,蒸馏到 4 步质量损失可控;视频扩散的曲线更陡:运动一致性、画面细节、提示词遵循三项对步数同时敏感,且它们不是同一方向——步数太少时,先坏的是运动。这就是为什么视频蒸馏通常保留 8–16 步而不是 1–2 步,而 CFG 蒸馏(去掉第二次前向)比步数蒸馏更早、更普遍地被采用。

其二是模型的”发布形态”就是部署优化的一部分。 HunyuanVideo 1.5 在模型层面做 SSTA 稀疏与 16× 压缩,同时配套 ThunderKittens 实现的 block-sparse 内核;Wan 在模型层面做 diffusion cache,配套 8-bit FlashAttention kernel 与 int8/TensorRT 流式部署。这说明视频扩散的推理优化不能只在”推理框架”层做,模型结构、训练日程、内核实现必须一起设计——把稀疏注意力放到蒸馏阶段训练、让 VAE 支持 chunk 级缓存,都是在训练时就为部署服务的决策。

参考资料

  1. Video Diffusion Models
  2. Latte: Latent Diffusion Transformer for Video Generation
  3. CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
  4. HunyuanVideo: A Systematic Framework For Large Video Generative Models
  5. Wan: Open and Advanced Large-Scale Video Generative Models
  6. HunyuanVideo 1.5 Technical Report
  7. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps
  8. Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference
  9. Simplifying, Stabilizing and Scaling Continuous-Time Consistency Models
  10. LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
  11. Improved Distribution Matching Distillation for Fast Image Synthesis
  12. FasterCache: Training-Free Video Diffusion Model Acceleration with High Quality
  13. DiTFastAttn: Attention Compression for Diffusion Transformer Models

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

扩散模型从零讲起(五):视频扩散——时空注意力、3D VAE 与蒸馏后的少步生成
https://pinghaoyang.com.cn/articles/insights/posts/diffusion-from-scratch-part-5/
作者
平昊阳
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录