视频扩散模型的稀疏注意力:SVG、SVG2、Radial Attention 与 Re-ttention 如何把 3D 全注意力压到可服务的成本

12654 字
63 分钟
视频扩散模型的稀疏注意力:SVG、SVG2、Radial Attention 与 Re-ttention 如何把 3D 全注意力压到可服务的成本

视频扩散 Transformer(Diffusion Transformer, DiT)的推理开销,一大半压在注意力上。文本模型做稀疏注意力时,我们只需要回答一个问题:这一段上下文里哪些 token 值得看。视频把这个问题变成了三维:哪一帧、哪一块空间、哪几个 token。本文沿着 2025 年以来的四条主线——Sparse VideoGen 的“按头分类”、SVG2 的“语义聚簇再置换”、Radial Attention 的“能量衰减即计算密度衰减”、Re-ttention 的“补回被删掉的 softmax 分母”——把这套方法族从头讲清楚,并给出它们各自的实现细节、性能账本与失效边界。

一、问题定义:3D 全注意力到底贵在哪

1.1 一条视频在 DiT 里有多少 token

视频扩散模型并不直接在像素上工作。以主流的潜空间(latent)路线为例,经过 3D VAE 编码之后,视频被压缩成 (f,h/8,w/8)(f, h/8, w/8) 规模的潜空间张量,再被切成一个个 patch,每个 patch 是一个 token。论文中给出的几个真实配置很能说明尺度:

模型输出分辨率潜空间帧数 ff每帧 token 数 ss总 token 数 nn
CogVideoX-v1.5720p, 10s114080约 45k
HunyuanVideo720p, 5.33s/125 帧333600约 120k

这些数字的含义是:只需生成 5 秒多、720p 的画面,序列长度就已经到了十万级。LLM 里十万 token 是需要专门设计长上下文方案的极限场景,而视频生成把它变成了日常配置,并且视频推理不是一次前向,而是几十步去噪的反复前向。

1.2 注意力为什么吃掉大半时间

一条 token 序列上的注意力可以写成:

Attn(Q,K,V)=softmax ⁣(QK⊤d)V\text{Attn}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d}}\right) V

其中 Q,K,V∈Rn×dQ, K, V \in \mathbb{R}^{n \times d}。QK⊤QK^\top 是一个 n×nn \times n 的矩阵,计算量和对序列长度是平方关系;即便用 FlashAttention 消除中间矩阵的显存占用,时间仍然按 n2dn^2 d 增长。而视频模型里每个 block 的 MLP 部分只和 nn 线性相关,所以 nn 一大,注意力在一层 Transformer 里的占比就迅速逼近主导项。

Sparse VideoGen 论文直接量化了这一点:CogVideoX-v1 上下文 17k 时注意力占 51% 延迟,v1.5 上下文 45k 时升到 73%;HunyuanVideo 上下文 120k,注意力超过端到端运行时间的 80%。换句话说,想在视频生成上拿到整体加速,绕开注意力基本没有余地;而注意力的平方项,正是最值得砍的地方。

1.3 文本稀疏注意力的方案为什么搬不过来

LLM 里已经有一整套稀疏注意力工具:查询打分的页级选择(Quest)、块级近似选择(Block Sparse)、动态预算分配等。这些方案的隐含假设是“相关的 token 在序列里位置相邻或能被聚成紧致块”。文本序列是一维的,token 的顺序就是语义展开的顺序,这个假设大体成立。

视频不一样。一条 120k token 的序列展开方式通常是“帧优先”:第 0 帧的全部空间 token,然后是第 1 帧,依此类推。由此带来两个新现象:

  1. 同一空间位置跨帧的 token 在序列里相隔整整 ss 个位置(ss 为每帧 token 数)。对于负责时间一致性的注意力头,重要的 key 恰恰是这种等间隔散布的 token,它不连续,也不成块。
  2. 不同帧的同一语义物体可能完全不相邻。比如画面左上方一个苹果、右下方一块蛋糕,它们在潜空间里物理上很近(同一帧内相邻 token),但语义上毫无关系。按位置分块会把它们塞进同一个块。

第一个现象导致“按块稀疏”在时间维度上选不准,第二个现象导致“按位置聚簇”的代表向量不准。这两点就是视频稀疏注意力要专门解决的根问题,后文四个方案可以看作对这两个问题的不同回答。

1.4 稀疏注意力本身的三层代价

在展开具体方案之前,需要先建立一个统一的账本。任何一种稀疏注意力,都在这三项代价之间做权衡:

  • 识别成本:判断哪些 token / 块重要,需要多看多少信息。如果必须算出完整注意力才能知道哪些重要,那就等于没有加速(论文里称之为 oracle 策略:准确但不可实现)。
  • 硬件利用率:被选中的计算在 GPU 上是否连续。Tensor Core 的矩阵乘要求每个维度上有足够长的连续数据(通常至少 16,常见实现按 64 或 128 的块对齐);零散选出的 token 会被 padding 回整块,导致“算了 13% 的注意力,却付出了 30% 的算力”。
  • 保真代价:被删掉的那些 token 其实贡献了多少输出。软最大对分母敏感,删掉一部分 key 后,剩余 key 的归一化会整体偏移,这一步的影响在极高稀疏度时会放大成画面噪声。

后续会看到,SVG 重点解决第一层和第二层,SVG2 专门解决第二层里的“散点浪费”,Radial Attention 用静态模板把三层一起压住,Re-ttention 则直接拿第三层开刀。

1.5 一个贯穿全篇的结论:质量参照系是“全注意力自己”

几乎所有视频稀疏注意力论文都用同一套质量口径:拿稀疏注意力生成的视频,与同一模型、同一随机种子、全注意力生成的视频逐帧比较,报告 PSNR / SSIM / LPIPS,同时用 VBench 报告绝对视频质量。这个做法的好处是把“加不加速”和“模型本身好不好”两件事分开,坏处是 PSNR 高只代表“和无损版长得像”,如果采样本身多样性很大,PSNR 这个指标会偏保守。

因此阅读下文的所有数字时都要记住:PSNR 29 以上基本属于肉眼难分辨的“无损加速”,PSNR 低于 24 通常已经能看到画面结构崩坏。这一口径也决定了不同论文之间的数字不能直接横比——模型不同、起始帧不同、稀疏化起跑步数不同,都会移动这条线。

二、共同前提:稀疏从哪来,以及为什么必须“起跑几步不稀疏”

2.1 softmax 本身就在做“隐式选择”

视频注意力的稀疏不是外加的先验,而是 softmax 的自然结果。对某个 query 的第 ii 行,softmax 把 exp⁡(zj/d)\exp(z_j/\sqrt{d}) 归一化成概率分布:

pi,j=exp⁡(zi,j/d)∑t=1nexp⁡(zi,t/d),zi,j=qi⋅kjp_{i,j} = \frac{\exp(z_{i,j}/\sqrt{d})}{\sum_{t=1}^{n}\exp(z_{i,t}/\sqrt{d})}, \quad z_{i,j} = q_i \cdot k_j

当某些 key 的打分明显高于其余 key 时,这些打分会在指数作用下被放大几个数量级,剩下的 key 概率趋近于 0,对输出 oi=∑jpi,jvjo_i = \sum_j p_{i,j} v_j 的贡献可以忽略。于是“只算重要 key”与“算全部 key”在数学上可以做到几乎一致——前提是你能在不算全部 key 的前提下,知道哪些 key 重要。这就是上一节“识别成本”问题的根源。

SVG2 给出了一个很有说服力的上界测量:在 Wan2.1 上,如果按 oracle 策略(知道完整注意力打分,直接取最大的那些)只保留 13% 的计算量,注意力召回(被保留的打分之和占全部分数之和的比例)仍能达到 95%,此时 PSNR 约 27,理论端到端加速 2 倍。这说明稀疏度本身足够奢侈,难点全在“怎么便宜地找对那 13%”。

2.2 去噪轨迹上的结构:早期必须稠密

扩散采样是从纯噪声出发,一步步去噪。所有论文都发现一个共同现象:前 20%~30% 的去噪步里,全局结构正在被“拍板”,此时注意力格外稠密,若在此阶段就稀疏化,生成结果会出现明显的空间结构崩坏。于是四条路线都采用了同一种起跑策略:前若干步跑全注意力,之后再切换稀疏。

  • SVG 跳过前 25% 的步数;
  • SVG2 跳过前 30%;
  • Re-ttention 对 PixArt-α/Σ、Hunyuan-DiT、CogVideoX 分别跳前 5、10、15 步;
  • Radial Attention 额外做了“初始稠密步数”的消融(附录 D.1)。

稠密起跑步数之所以被反复强调,原因在于视频注意力的稀疏性沿去噪轨迹并不均匀:结构尚未成型时几乎所有 token 都在互相“投票”,此时强行稀疏会直接改写整帧的布局。各论文都给出了“从多少步开始稀疏”的敏感性实验或消融,结论一致:起跑得越早、画质掉得越多;而 25%~30% 是多个模型上都能保住的折中值。端到端加速因此低于纯注意力层次的理论值,差额主要来自这段无法省掉的稠密计算。

2.3 稀疏注意力的统一形式

无论后续哪种方案,落到实现上都写成带掩码的注意力:

SparseAttn(Q,K,V)=softmax ⁣(QK⊤+Md)V,M∈{−∞,0}n×n\text{SparseAttn}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top + M}{\sqrt{d}}\right) V, \quad M \in \{-\infty, 0\}^{n\times n}

Mi,j=0M_{i,j}=0 表示允许 query ii 看 key jj,Mi,j=−∞M_{i,j}=-\infty 表示屏蔽。四种方案的差别全部落在“MM 从哪里来、粒度多粗”上:

方案掩码来源掩码粒度是否依赖输入内容能否用于训练
SVG在线采样打分 + 头分类帧-帧块级别是否(训练无关)
SVG2k-means 聚簇 + 中心点打分 Top-p簇-簇块级别,块尺寸动态是否(训练无关)
Radial Attention固定的时空距离衰减模板帧-帧对角带否是(可直接训练 + LoRA 长视频微调)
Re-ttention静态窗口掩码 + 缓存的分母比 ρ\rho窗口级否否

这张表是全文的骨架:从“完全动态、完全依赖内容”到“完全静态、只用结构先验”,中间依次牺牲灵活度换来更低的识别成本和更强的可用性。下四节逐个展开。

三、Sparse VideoGen:按“头”切分空间与时间

Sparse VideoGen(SVG)由 UC Berkeley、MIT 与 NVIDIA 等机构在 2025 年提出(arXiv 2502.01776,后续被 ICML 2025 收录),是第一条系统地利用视频 3D 注意力时空稀疏性做训练无关加速的工作。它的核心判断是:视频注意力头的稀疏模式不是一种,而是两种,并且会在不同头、不同输入之间切换。

3.1 观察一:注意力头分成“空间头”和“时间头”

把某个注意力层的打分矩阵按帧来分块,横纵坐标都是 (f×s)(f \times s) 的 token 序列,那么每个头大致呈现两种形状:

  • 空间头(Spatial Head):打分的能量集中在帧-帧对角块附近,即每个 token 主要看同一帧内相邻 token,以及相邻若干帧里的局部 token。注意力图呈现“块状”(block-wise)。这类头负责保持画面里的空间一致性——同一帧里的物体轮廓、纹理要对得上。
  • 时间头(Temporal Head):打分的能量落在与主对角线等间隔的斜线上(间隔恰好是每帧 token 数 ss)。这类头让同一空间位置的 token 跨帧互看,负责时间一致性,比如人物位置在帧间如何移动。
空间头与时间头的两种稀疏模式

上图是 SVG 论文中对两种注意力头的直观展示。左半部分 (a)(b) 是一个空间头:它的打分矩阵呈块对角状,每一块对应一帧,块内又有更细的对角优势;右半部分 (c)(d) 是一个时间头:它的打分沿等间隔的斜线分布,斜线间隔正好等于每帧的 token 数。图示下方还用 6 帧、每帧 4 个 token 的小例子展示了这种相关性的空间与时间来源——空间上相邻的 token 强相关,时间上同一位置跨帧的 token 强相关。

这个观察有两个容易被忽略的推论:

  1. 两种头的计算节省形式不同。设每帧 token 数为 LL、总帧数为 NN,全注意力的计算量为 4L2N2H4L^2N^2H。空间头若只看附近 csc_s 帧,计算量降为 4L2H⋅csN4L^2H\cdot c_sN,稀疏度约为 cs/Nc_s/N;时间头若每个 token 只看 ctc_t 个跨帧 token,计算量为 4N2H⋅ctL4N^2H\cdot c_tL,稀疏度约为 ct/Lc_t/L。两者相乘的节省量是各自乘数,而不是简单的“砍一半”。
  2. 文本 prompt 与首帧 token 在两种头里都要保留。论文观察到文本提示词与第一帧在两种头里都得分很高,与已有研究一致,因此把这些 token 无条件纳入空间头与时间头的掩码。

3.2 观察二:模式会随输入和步数漂移

如果只按“这层第几个头是空间头还是时间头”做静态分类,会遇到一个问题:同一层的同一个头,在提示词 A 下可能是时间头,在提示词 B 下可能变成空间头,甚至在去噪过程中切换。论文明确写到这种稀疏模式沿去噪步与输入数据高度动态,因此静态分类会误判。

这也解释了为什么“直接用正确的稀疏模式”在质量上几乎无损:SVG 论文的 oracle 实验里,对每个头、每个去噪步分别计算完整注意力,再在空间模式与时间模式两种稀疏计算结果中选与完整注意力 MSE 更小的那个,最终 PSNR 超过 29,CogVideoX-v1.5-T2V 在 31% 稀疏度下平均 PSNR 达 29.99。但 oracle 需要算完整注意力,没有实用价值。

3.3 在线采样打分:1% 的行就够了

SVG 的在线打分(online profiling)思路很朴素:既然算完整注意力太贵,那就只抽一部分 query 行来“打探”。具体做法:

  1. 从 nn 个 token 中随机采样 tt 个下标(论文中 tt 取 32 量级),抽出对应的 query 行 QiQ_i;
  2. 对这 tt 行分别计算三种输出:不带掩码的输出 OfullO_{\text{full}}、空间掩码下的输出 OspatialO_{\text{spatial}}、时间掩码下的输出 OtemporalO_{\text{temporal}};
  3. 在每个头上计算两种稀疏结果与全注意力结果的误差(论文中用的是 MSE 的均值),取误差更小的那种模式作为该头在该步的稀疏模板。

用文字描述其伪代码:

输入: Q, K, V: [B, H, S, D],采样数 t(如 32)
indices = sample_indices(S, t) # 随机 t 个 token 下标
Q_i = Q[:, :, indices, :] # 只取采样的 query 行
mask_s = gen_spatial_mask()[:, :, indices, :]
mask_t = gen_temporal_mask()[:, :, indices, :]
O_full = attention(Q_i, K, V, None)
O_space = attention(Q_i, K, V, mask_s)
O_time = attention(Q_i, K, V, mask_t)
mse_s = |O_full - O_space| 在 token、维度上取均值 # 形状 [B, H]
mse_t = |O_full - O_time| 在 token、维度上取均值
use_spatial = (mse_s < mse_t) # 每个头一个布尔值

代价在于:采样行仍然要读全部 K,VK,V,相当于一次只有 tt 行的注意力。tt 相对于 nn 很小,所以额外开销很低。论文的敏感性实验(CogVideoX-v1.5,I2V 配置)表明采样 1% 的行即可达到 31.118 PSNR、SSIM 0.945,与 100% 采样的 31.324 PSNR 只差 0.2,而开销仅为全注意力的 3%。SVG2 在比较时使用的“SpargeAttention”则只做位置分块,无法覆盖这种动态模式,这是 SVG 质量领先的主要原因之一。

SVG 整体流程与逐头在线打分

上图 (a) 展示 SVG 在一次前向中的完整工作流:QKV 先进入在线打分模块,被归为空间头的部分走块状稀疏路径,被归为时间头的部分先把键侧按“帧优先”布局变换、再走块状稀疏路径,最后合并成输出。(b) 放大展示了逐头在线打分:同一层的不同头被分别判定为空间头/时间头,用不同的掩码模板进入后续计算。

3.4 时间头为什么不能直接加速:布局问题

时间头的理论稀疏度很好看(CogVideoX-v1.5-T2V 的 31% 稀疏度下二者相同),但真正落地时它“天生难算”,原因在于布局。前文说过,时间头关注的 key 是间隔 ss 个位置的 token,在内存里完全不连续。NVIDIA Tensor Core 的矩阵乘要求每个维度上至少 16 个连续元素,零散的 1 个维度根本喂不进高吞吐的 MMA 指令,于是时间头的稀疏计算只能退化成低效的元素级操作。

SVG 的解法是做布局变换(layout transformation):把“token 优先”的张量转置成“帧优先”。具体地说,把序列的排布从

(q0,q1,…,qs−1∣qs,…,q2s−1∣… )(q_0, q_1, \dots, q_{s-1}\mid q_s, \dots, q_{2s-1}\mid \dots)

改成

(q0,qs,q2s,⋯∣q1,qs+1,⋯∣… )(q_0, q_s, q_{2s}, \dots \mid q_1, q_{s+1}, \dots \mid \dots)

即按“帧内位置”分组,把同一空间位置跨帧的 token 聚拢成连续的一段。转置只改变位置,不改变数值;而注意力计算对帧/位置索引的“展平顺序”没有依赖,转置后相当于在同一个数学对象上换了坐标,结果等价(论文明确引用了 FlashAttention 的关联性依据来论证这一点)。变换之后,时间头看起来就成了另一个方向上的“空间头”,块对角结构重新出现,可以统一用块稀疏注意力内核处理。

布局变换:从 token 优先到帧优先

上图给出了布局变换前后的直观对比。(a) 是原始的 token 优先布局:时间头要看的 token(同一空间位置、跨帧)在序列里被 ss 个位置隔开,形成硬件低效的稀疏格局。(b) 是转置之后的帧优先布局:跨帧同位置的 token 变成连续排列,块稀疏计算可以直接吃下去。论文实测这一变换让稀疏注意力内核比朴素实现快 1.7 倍,逼近理论加速。

3.5 配套的工程优化

除了核心的两步(在线打分 + 布局变换),SVG 还做了三项配套:

  • 自定义 QK-norm 与 RoPE。CogVideoX-v1.5 的注意力头维度只有 64,PyTorch 原生实现里每头并行度不足,QK-norm 与 RoPE 两个逐元素操作在小 head 维度下吞吐很低。论文用 CUDA 写了基于 sub-warp 归约的实现,平均加速分别达到 7.4 倍与 15.5 倍(不同帧数下略有浮动)。这个数字看着吓人,但从整体账本看,它属于“把小头吃掉的时间找回来”,不能算作稀疏注意力的功劳。
  • 融合内核:在线打分与布局变换用 Triton 写成融合内核;块稀疏注意力基于 FlashInfer 实现。
  • FP8 注意力:在稀疏注意力的基础上叠加 FP8 量化,HunyuanVideo 上只损失 0.1 PSNR,吞吐提升约 1.3 倍。论文指出 CogVideoX-v1.5 的 head 维度 64 太小,FP8 在这类配置上算力强度不够,因此没有启用。

3.6 性能账本

论文在单张 H100-80GB 上测试了 CogVideoX-v1.5 的 I2V 与 T2V 两个配置(720p、10 秒、80 帧),以及 HunyuanVideo-T2V(720p、5.33 秒、128 帧)。以 T2V 720p 为例:

配置方法PSNRFLOPs(PFLOPs)延迟加速
CogVideoX-v1.5-T2V全注意力参考147.87528s1×
CogVideoX-v1.5-T2VSVG29.9974.57232s2.28×
HunyuanVideo-T2V全注意力参考612.372253s1×
HunyuanVideo-T2VSVG29.55259.791171s1.92×
HunyuanVideo-T2VSVG + FP829.45259.79968s2.33×

这里有一个容易被误读的落差:FLOPs 分别降到原来的约 50% 与 42%,端到端延迟却只降一半左右,差额来自前面提到的稠密起跑步数与非注意力算子的不变成本。HunyuanVideo 这一行的 FP8 版本最能说明“叠加优化”的威力:稀疏注意力没有改变 FLOPs,FP8 让同样的计算在 Hopper Tensor Core 上跑得更快,二者把 2253s 压到了 968s。

SVG 与同期方法的对比也能说明“头级分类 + 动态裁剪”的价值:在 CogVideoX-v1.5-I2V 上,只做空间头的 DiTFastAttn(Spatial-only) 得到 24.59 PSNR,只做时间头的 Temporal-only 得到 23.84,块近似方法 MInference 只有 22.49(因为它无法表达斜线式时间稀疏),而 SVG 以相近甚至更低的计算量得到 28.165。

四、Sparse VideoGen2:把“散点关键 token”聚成连续块

SVG 用“头级分类”解决了“不同头该用不同模板”的问题,但它把稀疏落点全部收束成两类预定义形状(块对角、等间隔斜线)。SVG2(arXiv 2505.18875,UC Berkeley、MIT 与 NVIDIA 等机构,2025 年 5 月)换了一个角度:不预设形状,而是让 token 自己按语义聚成簇,再把关键簇置换到内存里连续的位置。它同时回应了前文提到的两个根问题:位置分块的代表向量不准,以及散点选择造成的硬件浪费。

4.1 先把“oracle 差距”画出来

SVG2 的第一张关键图是把“完美选择”和现有方法放在同一个坐标里比较:横轴是稀疏密度(保留计算量占比),纵轴是注意力召回(被保留打分之和占总分数的比例)。oracle 曲线是在算完完整注意力之后从高到低挑最大块的理想上界;SVG 与 SpargeAttention 这两条实际方法线,在任何预算下都明显低于上界。

注意力召回 vs 稀疏密度:oracle 与现有方法的差距

上图就是 SVG2 论文中的召回-密度曲线。三条线的含义很明确:oracle 能在很低密度下保持极高的召回,而实际方法需要多得多的计算量才能达到同样召回。这个差距被论文拆成两个可分别归因的原因,并在下一张图里可视化。

论文另外定量验证了稀疏度的富余:在 Wan2.1 上,仅保留 13% 的计算量即可达到 95% 召回、PSNR 约 27、理论端到端 2 倍加速。也就是说,问题不是“该不该稀疏”,而是“稀疏的 87% 里,实际方法算在了谁身上”。

4.2 原因一:位置聚簇的语义误差

现有块稀疏方法为了省下识别成本,把相邻的 token 聚成块(典型如 SpargeAttention:每 128 个 query token、每 64 个 key token 一块),对块内的激活做均值池化或最大池化,得到块级代表向量,再用代表向量估计块的重要性。这种做法有一个隐含假设:相邻 token 语义相近。

视频里这个假设经常失效。同一帧内物理相邻的 token 完全可以是两个不相干的物体(一个杯子、一块桌布),它们的激活向量差异很大,均值池化出来的代表向量既不像杯子也不像桌布,基于它判断“这一块重不重要”,误差自然大。位置聚簇误差的直接后果是有些真正关键的块被以偏低的分数忽略掉,召回下降。

4.3 原因二:关键 token 是散点,选出来也用不满算力

即便识别完全准确,问题也没有结束。语义关键性本身在空间上是分散的:画面里的主体可能横跨左中右,关键 token 不会自然聚成连续的 64×64 或 128×128 块。GPU 的矩阵乘按块执行,零散的关键 token 会被 padding 到整块里,块里其余的非关键 token 也一起参与运算。结果就是“稀疏密度 13%,实际算力消耗 30%”,这就是计算浪费(compute waste)。

SVG2 总览:语义感知置换后的关键块与计算

上图是 SVG2 的整体总览:原始注意力图里关键 token 呈分散状态,经过语义聚簇与置换后,语义相近的 token 被重排到连续位置,关键簇在置换后的布局里成为连续块,从而同时得到“识别准确”与“计算连续”两个性质。图中还展示了多对多的簇间映射——多个 query 簇可以共享同一批 key 簇,这与位置分块下的一一对应关系不同。

4.4 语义感知置换:k-means 聚簇

SVG2 用 k-means 替代位置分块。对每一层、每一个注意力头,分别对 query 与 key 的激活做 k-means:

  • query 聚成 CqC_q 个簇(论文取 Cq=100C_q = 100),key 聚成 CkC_k 个簇(Ck=500C_k = 500);
  • 每个簇的代表向量是簇中心(centroid),而非均值池化块;
  • 聚簇后,把 token 按簇重排:πqQ\pi_q Q、πkK\pi_k K、πkV\pi_k V。

这里的关键是 KK 与 VV 必须用同一个置换 πk\pi_k,否则键值对会被错配对;query 的置换 πq\pi_q 可以独立。数学上可以证明输出等价:

O′=πq⊤Attn(Q′,K′,V′)=πq⊤softmax ⁣((πqQ)(πkK)⊤d)πkV=πq⊤softmax ⁣(πqQK⊤πk⊤d)πkV=πq⊤πq softmax ⁣(QK⊤d)πk⊤πk V=O\begin{aligned} O' &= \pi_q^\top \text{Attn}(Q',K',V') = \pi_q^\top \text{softmax}\!\left(\frac{(\pi_q Q)(\pi_k K)^\top}{\sqrt d}\right)\pi_k V \\ &= \pi_q^\top \text{softmax}\!\left(\frac{\pi_q QK^\top \pi_k^\top}{\sqrt d}\right)\pi_k V = \pi_q^\top \pi_q\, \text{softmax}\!\left(\frac{QK^\top}{\sqrt d}\right)\pi_k^\top \pi_k\, V = O \end{aligned}

第一步只是把 (πkK)⊤(\pi_k K)^\top 展开成 K⊤πk⊤K^\top\pi_k^\top。第二步用了两个交换律:列置换与逐行 softmax 可交换(softmax(Zπk⊤)=softmax(Z)πk⊤\text{softmax}(Z\pi_k^\top)=\text{softmax}(Z)\pi_k^\top),行置换可以从 softmax 里提取出来(softmax(πqZ)=πqsoftmax(Z)\text{softmax}(\pi_q Z)=\pi_q\text{softmax}(Z))。最后利用置换矩阵正交 ππ⊤=I\pi\pi^\top=I 消去。换句话说,置换改的是“内存里 token 的排列”,不改变“哪个 query 对应哪个 key”的配对关系,因此输出完全相同,变的是硬件的访存与分块方式。

4.5 中心点打分与 Top-p 动态预算

聚簇本身只是回答了“怎么分组”,还需要回答“哪些簇值得算”。SVG2 用簇中心估计块级打分:

Sij=centroid(Qi)⋅centroid(Kj)⊤dk,Pij′=∣Kj∣exp⁡(Sij)∑k=1Ck∣Kk∣exp⁡(Sik)S_{ij} = \frac{\text{centroid}(Q_i)\cdot \text{centroid}(K_j)^\top}{\sqrt{d_k}}, \qquad P'_{ij} = \frac{|K_j|\exp(S_{ij})}{\sum_{k=1}^{C_k}|K_k|\exp(S_{ik})}

对照原始的注意力概率 pi,j∝exp⁡(qi⋅kj/d)p_{i,j}\propto\exp(q_i\cdot k_j/\sqrt d),Pij′P'_{ij} 做了两处替换:打分用两个簇的中心点而非具体 token;权重乘上 ∣Kj∣\mathbf{|K_j|},也就是该簇的 token 数。第二处替换很关键:一个簇里有 300 个 token,即使它的打分稍低,它对总输出的贡献总和也可能超过只有 20 个 token 的高分簇,不乘规模就会系统性低估大簇。

Cq⋅Ck=100×500=5C_q\cdot C_k = 100\times500 = 5 万次点积,相比完整注意力的 n2n^2 量级(十万 token 即百亿量级)可以忽略不计。论文给出的口径是这部分估计开销低于完整注意力计算的 1%。

论文给出的密度-质量曲线可以直接读出这套预算的实际形状:随着保留密度从高往低走,PSNR 并非线性下降,而是先在较长一段里缓慢变化、之后加速坠落。

SVG2 的密度与生成质量关系

上图是 SVG2 论文中的密度-质量曲线:横轴是保留计算量的密度,纵轴是相对全注意力的 PSNR,三条曲线分别是 SVG2、SVG 与 SpargeAttn。同一密度下 SVG2 的曲线最高,且密度越低,它与两条基线的差距越大。这张图说明 Top-p 预算并不是越小越好——省下来的每一步计算都要以 PSNR 为代价,工程上要在曲线开始明显下弯的位置之前停手。

选出关键簇的方式是 Top-p:把所有 key 簇按 Pij′P'_{ij} 从大到小排序,依次累加直到累计概率达到目标 pp 为止。相比“固定选几个簇”,Top-p 的好处是预算随查询自动伸缩——某个 query 的注意力集中时它只需少数簇,注意力分散时它自动多选,而且这个 pp 可以被调成一条“质量-密度”曲线上的旋钮。

4.6 系统侧的三个协同设计

算法层面的想法要变成实际加速,还要过三道工程关,SVG2 的处理方式值得单独看:

  1. k-means 的中心点缓存。标准 k-means++ 实现往往要上百次迭代才收敛,单独跑一次就可能吃掉注意力计算的 50% 时间。SVG2 利用了 DiT 的一个性质:相邻去噪步的激活变化缓慢。于是把上一步的簇中心作为下一步 k-means 的初始值,迭代次数大幅减少。论文实测这一缓存把 k-means 端到端时延降低了 76 倍。
  2. 动态块尺寸的稀疏内核。聚簇之后,簇的大小天然不均匀:可能一个 query 簇 128 个 token,对应的 key 簇只有 32 个。FlashAttention / FlexAttention / FlashInfer 等现有实现只支持固定块尺寸(典型 128×128),128×32 的块会被 padding 到 128×128,浪费 75% 计算。SVG2 写了支持动态块尺寸的内核:query 侧从同一簇取连续 token(置换后天然连续),key/value 侧按每个 token 的地址偏移做稀疏加载,搬进 shared memory 后再按连续布局做 MMA。FA3 版本用 m64n64k16 的 wgmma 指令做稠密计算部分。论文称内核效率达到理论最大值(稀疏密度 × FA3 时延)的 85% 以上。
  3. 与 FP8 叠加:与 SVG 一样,FP8 量化可以与稀疏注意力叠加使用,HunyuanVideo 上得到 2.55 倍加速,PSNR 从 30.45 降到 30.39。

4.7 性能账本

SVG2 在 Wan2.1-I2V/T2V-14B 与 HunyuanVideo-T2V-13B 上测试(720p,H100,CUDA 12.8,前 30% 步数稠密):

配置方法PSNRVBench密度FLOPs(PF)加速
Wan2.1 T2V 14B全注意力参考0.846100%658.461×
Wan2.1 T2V 14BSpargeAttention20.520.82042.03%468.461.44×
Wan2.1 T2V 14BSVG22.990.83730.25%429.861.58×
Wan2.1 T2V 14BSVG225.810.84229.51%427.431.60×
Wan2.1 T2V 14BSVG2-Turbo23.680.83812.87%372.891.89×
HunyuanVideo T2V 13BSVG230.450.85225.45%335.362.30×
HunyuanVideo T2V 13BSVG2 + FP830.390.85125.45%335.362.55×

关键读数有三:第一,在相同稀疏密度(约 30%)下,SVG2 的 PSNR 比 SVG 高约 3 dB(Wan2.1 上 25.81 对 22.99),这 3 dB 主要来自“聚簇准 + 换位密”;第二,SVG2-Turbo 把密度压到 12.9% 仍保持 23.68 PSNR,是同一 FLOPs 下最好的选择;第三,VBench 的绝对分几乎没有变化(0.846 对 0.842),说明这套置换并没有牺牲视频本身的观感,只是更省。论文的局限也很直接:它没有讨论该方法能否迁移到 DiT 以外的注意力机制。

五、Radial Attention:把能量衰减翻译成计算密度衰减

SVG 与 SVG2 都在做“内容相关”的稀疏:每一层、每一头、每一步都要重新判断关键在哪。Radial Attention(arXiv 2506.19852,MIT 与 NVIDIA 等机构,2025 年 6 月)反其道而行——不判断内容,只利用时空距离。它的出发点是一个物理直觉:视频里越远的东西越不重要,就像信号随空间和时间衰减。

5.1 观察:时空能量衰减

沿用 SVG 的头分类术语,Radial 论文把空间头与时间头的打分按时间距离、空间距离分别统计,画在同一坐标系下:横轴是距离,纵轴是平均注意力打分。两类头各自偏重一个维度,但两个维度上的平均打分都呈现明显的指数式下降。

空间/时间注意力打分的时空距离衰减

上图 (a) 是 HunyuanVideo 的两个真实注意力图,(b1) 展示同一空间位置的 token 跨帧随时间距离的平均打分变化,(b2) 展示同一帧内 token 随空间距离的平均打分变化。两幅子图里都有三条拟合出的衰减曲线——空间头、时间头与多头平均——它们都呈指数下降,只是下降速度不同。这种“打分随距离指数衰减”的现象被命名为时空能量衰减(Spatiotemporal Energy Decay)。论文用回归分析指出它近似于指数分布。

把它写成形式化的假设:设 query 位于第 i0i_0 帧、第 k0k_0 个空间位置,key 位于第 jj 帧、第 ll 个空间位置,则存在常数 α,β,Crel>0\alpha,\beta,C_{\text{rel}}>0 使得

pjs+l≤Crel e−α∣j−i0∣−β∣l−k0∣ pi0s+k0p_{js+l} \le C_{\text{rel}}\,e^{-\alpha|j-i_0|-\beta|l-k_0|}\,p_{i_0s+k_0}

这里 pp 是 softmax 后的概率,α\alpha 控制时间衰减速度,β\beta 控制空间衰减速度。空间头表现为 α\alpha 大、β\beta 小(时间衰减强、空间衰减弱),时间头则相反:α\alpha 小、β\beta 大。这与两种头的形状是一致的——空间头在帧内看得很宽、对远帧迅速失去兴趣,时间头则要沿同位置一路看到很远,帧内反而只看很窄的一条。与 SVG 用两个离散模板近似不同,这条不等式是一个连续的衰减规律,可以同时容纳两类头。

5.2 核心设计:计算密度随对数距离减半

Radial 把“打分衰减”直接映射成“计算密度衰减”,且设计成按时间距离的二进制对数分带,让每一带的计算量都是常数。具体规则如下:

  • 把注意力图沿时间维度分成 2⌈log⁡2(max⁡(f,2))⌉−12\lceil\log_2(\max(f,2))\rceil-1 条对角带,以主对角线为带 0,上下依次编号 ±1,±2,…\pm1,\pm2,\dots;
  • 帧 ii 与帧 jj 之间的注意力落在带 sign(j−i)⋅⌊log⁡2max⁡(∣j−i∣,1)⌋\text{sign}(j-i)\cdot\lfloor\log_2\max(|j-i|,1)\rfloor 上;
  • 带 0 保留 100% 计算密度,每往外一层,密度减半。于是带 rr 的密度为 (1/2)⌊log⁡2max⁡(∣i−j∣,1)⌋(1/2)^{\lfloor\log_2\max(|i-j|,1)\rfloor}。
Radial Attention 的计算密度分布与掩码

上图把这条规则画了出来。(a) 计算密度分布:主对角线一带全密,外圈每一带密度减半,同时每带的“对角线宽度”加倍——密度减半而带宽加倍,两者抵消,所以每一带的总计算量恰好是一个常数。这个配对是整套设计里最巧妙的一处:如果只减密度不加宽,远帧会被完全丢弃;如果只加宽不减密度,计算量会呈平方级增长。(b) 对应的掩码:帧-帧块里只保留若干条对角带,条带的宽度随距离缩小;(c) 是 HunyuanVideo 生成 253 帧 720p 时实际使用的掩码,可以看到整体呈一个向外发射状的图案,这也是 “Radial” 名字的来源。

5.3 空间维度的第二条规则

时间维度之外,每个帧-帧块内部也存在空间衰减。Radial 的处理方式是:帧 ii 与帧 jj 之间块内的对角宽度取

w(i,j)=⌊s2⌊log⁡2max⁡(∣i−j∣,1)⌋⌋w(i,j) = \left\lfloor \frac{s}{2^{\lfloor\log_2\max(|i-j|,1)\rfloor}} \right\rfloor

也就是时空衰减共同决定对角线宽度。当 ww 降到 1 以下时,不再继续收窄对角,而是降低对角线的出现频率:只在满足

∣i−j∣ mod ⌈2⌊log⁡2max⁡(∣i−j∣,1)⌋s⌉=0|i-j| \bmod \left\lceil\frac{2^{\lfloor\log_2\max(|i-j|,1)\rfloor}}{s}\right\rceil = 0

的那些块里保留对角。这样做的目的是摊薄后仍然保持同一量级的密度衰减:对角已经细到 1 个 token 宽,唯一还能继续省的方式就是“隔若干帧才看一次同位置 token”。此外,为保持质量外加一个 attention sink——首帧总是完整参与注意力,因为论文观察到首帧对生成质量至关重要。

组合起来,完整的四维掩码 M~∈{−∞,0}f×f×s×s\tilde M \in \{-\infty,0\}^{f\times f\times s\times s} 定义为

M~i,j,k,l={0,2⌊log⁡2max⁡(∣i−j∣,1)⌋≤s 且 ∣k−l∣+1≤s2⌊log⁡2max⁡(∣i−j∣,1)⌋0,∣i−j∣ mod ⌈2⌊log⁡2max⁡(∣i−j∣,1)⌋/s⌉=0 且 k=l−∞,否则\tilde M_{i,j,k,l} = \begin{cases} 0, & 2^{\lfloor\log_2\max(|i-j|,1)\rfloor}\le s \ \text{且}\ |k-l|+1 \le \dfrac{s}{2^{\lfloor\log_2\max(|i-j|,1)\rfloor}} \\ 0, & |i-j| \bmod \left\lceil 2^{\lfloor\log_2\max(|i-j|,1)\rfloor}/s\right\rceil = 0 \ \text{且}\ k=l \\ -\infty, & \text{否则} \end{cases}

第一条分支是“对角宽度还够时”的正常对角带;第二条分支是“对角宽度小于 1 后”的稀疏对角;第三条屏蔽其余。把它展平成 n×nn\times n 后填入前文稀疏注意力的统一形式即可。实际计算仍按 128×128 块进行,以保证硬件效率。

5.4 复杂度:为什么是 O(nlog⁡n)O(n\log n)

掩码中的零元素数量就是计算量。把掩码的零区分成三段统计:中央带(含 sink)约 4s2f4s^2f;对角宽度 ≥1\ge 1 的那些带(r=1…⌊log⁡2s⌋r=1\dots\lfloor\log_2 s\rfloor),每带包含 2r+1f2^{r+1}f 个帧-帧块、每块对角带贡献约 2s2/2r2s^2/2^r 个零元素,两者相乘后与 rr 无关,为常数;对角宽度 <1<1 的远处带,每带平均只有一条对角,代价约 2⌊log⁡2s⌋+1fs2^{\lfloor\log_2 s\rfloor+1}fs。累加上界可以整理为

#zeros≤4s2flog⁡2f=4sn(log⁡2n−log⁡2s)\#\text{zeros} \le 4s^2f\log_2 f = 4sn\left(\log_2 n - \log_2 s\right)

对固定分辨率 ss 的长视频(ff 大),这正是 O(nlog⁡n)O(n\log n),这是它与密注意力 O(n2)O(n^2) 在渐进复杂度的根本区别。论文进一步证明近似误差的 ℓ1\ell_1 上界:

∥p~−p∥1≤Crel[8e−β(s2+1)(1−e−α)(1−e−β)+41+e−β1−e−β⋅e−α(s+1)1−e−α]=O ⁣(Crele−min⁡(β/2,α)s)\|\tilde p - p\|_1 \le C_{\text{rel}}\left[\frac{8 e^{-\beta(\frac{s}{2}+1)}}{(1-e^{-\alpha})(1-e^{-\beta})} + 4\frac{1+e^{-\beta}}{1-e^{-\beta}}\cdot\frac{e^{-\alpha(s+1)}}{1-e^{-\alpha}}\right] = O\!\left(C_{\text{rel}}e^{-\min(\beta/2,\alpha)s}\right)

这个表达式有两部分:前半段来自对角带“宽度取整”造成的截断,后半段来自远处帧“隔帧取样”造成的遗漏。两者都随衰减率 α,β\alpha,\beta 和每帧空间尺度 ss 指数下降。直观含义是:当注意力确实呈指数衰减(α,β\alpha,\beta 较大)时,屏蔽远处的打分对输出的扰动以指数速度缩小;反之若某些头不满足衰减假设,误差上界就会放宽。这是 Radial 与传统“任意块稀疏”最大的理论差别——后者的误差没有衰减保证,只能靠经验调参。

Radial Attention 的计算、推理与训练随帧数增长

上图是把 O(nlog⁡n)O(n\log n) 量化成实际曲线:三幅子图分别对应计算量、推理延迟与训练成本,横轴是帧数。随着帧数增长,稠密路线(Dense)的曲线明显加速上扬,Radial 路线则平缓得多,两线之间的距离随横轴拉大,图中还标注了关键帧数处的加速倍数。论文正文中给出的对应数字是:帧数变为 4 倍时,Radial 相对稠密注意力减少 9 倍计算。

5.5 与 SVG 的关系:一个掩码统一两类头

Radial 的掩码在带 0(主对角线附近)已经包含了稠密的空间交互,这正好是 SVG 空间头所做的事情——所以空间头被“包含”在内。时间头方面,SVG 给了所有远处帧同等的计算预算,Radial 则按指数衰减把远处预算撤走、还给近处帧。论文的比较实验显示,Radial 与 SVG 在默认长度上 PSNR 相当(HunyuanVideo 27.3 对 27.2),但在帧数增大时前者更稳定。

SVG 与 Radial Attention 在掩码形式上的对比

上图并列展示 SVG 与 Radial 的掩码:左侧 SVG 是逐头动态选择(打问号的“Dynamically Per-head Select”),右侧 Radial 是全层共享的静态 O(nlog⁡n)O(n\log n) 掩码,并标注了它同时覆盖“加速推理、加速训练、长视频适配”三个用途。这个对比清晰地说明了两种路线的取舍:SVG 用逐头灵活度换准确度,Radial 用全局统一的静态结构换训练可用性和长视频稳定性。

5.6 长视频:LoRA 微调把稀疏注意力“教会”模型

Radial 与前两种方法最大的不同,是它可以用于训练。因为掩码是静态且对任意帧数都可定义,模型可以直接用稀疏注意力训练。这为解决视频模型的长度外推问题提供了新路径:

  1. 预训练模型原本只在短视频上训练,超长视频时分布不匹配;
  2. 用 Radial 掩码 + LoRA(仅作用于注意力的 Q/K/V/O 投影)在长视频上做极小规模微调;
  3. 由于稀疏注意力把训练复杂度降到 O(nlog⁡n)O(n\log n),训练长视频变得可行。

5.7 性能账本

论文在 HunyuanVideo、Wan2.1-14B 与 Mochi 1 上,用单张 H100 测试各模型默认长度(HunyuanVideo 表内为 117 帧,Wan2.1 为 69 帧):

模型方法PSNRLPIPSFLOPs延迟加速
HunyuanVideo全注意力参考参考6121649s1×
HunyuanVideoRadial27.30.114339876s1.88×
Wan2.1-14B全注意力参考参考5601630s1×
Wan2.1-14BRadial23.90.163323917s1.77×
Mochi 1全注意力参考参考——302s1×
Mochi 1(表内未给出 PSNR/LPIPS)Radial——————185s1.63×

长视频一侧才是 Radial 真正拿分的地方。以 HunyuanVideo 扩展到 509 帧(4 倍长度)为例:全注意力单次推理 2895 秒,Radial 781 秒(3.71 倍);而训练同样长度的视频,全注意力需要 93.6 小时,Radial + LoRA 只需 21.4 小时(4.37 倍)。同时 Vision Reward 从全注意力的 0.133 升到 0.134,说明在稀疏下长视频质量并没有掉。

需要如实指出的一点:在默认短长度上,Radial 的加速并不比 SVG 更突出(HunyuanVideo 1.88× 对 1.90×),它的优势需要帧数足够长才会显现,这也是 O(nlog⁡n)O(n\log n) 与“常数倍稀疏”之间的本质区别——前者随长度越拉越开。

六、Re-ttention:被删掉的 90% 其实都进了分母

前三种方案努力的方向都是“选得准”:让稀疏落点尽量贴近 oracle 的关键 token 集合。Re-ttention(arXiv 2505.22918,阿尔伯塔大学等,2025 年 5 月)换了一个问题:就算选得准,删掉的部分就一定可以丢吗? 它的答案是否定的——因为 softmax 是一个归一化操作,删掉的 token 并不只是少参与分子,它们还缺席了分母。

6.1 拆解稀疏 softmax 的两个误差

对某个 query 行,全注意力与稀疏注意力的概率分别为

Ak,i,jfull=exp⁡(Ak,i,jpre)∑t=1Texp⁡(Ak,i,tpre),Ak,i,jsparse=exp⁡(Ak,i,jpre)∑t∈Sk,iexp⁡(Ak,i,tpre)  (j∈Sk,i)A^{\text{full}}_{k,i,j} = \frac{\exp(A^{\text{pre}}_{k,i,j})}{\sum_{t=1}^{T}\exp(A^{\text{pre}}_{k,i,t})}, \qquad A^{\text{sparse}}_{k,i,j} = \frac{\exp(A^{\text{pre}}_{k,i,j})}{\sum_{t\in\mathcal{S}_{k,i}}\exp(A^{\text{pre}}_{k,i,t})}\ \ (j\in\mathcal{S}_{k,i})

Sk,i\mathcal{S}_{k,i} 是被保留的下标集合。两者唯一的差别在分母。用 Dfull=∑t=1Texp⁡(Ak,i,tpre)D_{\text{full}} = \sum_{t=1}^T \exp(A^{\text{pre}}_{k,i,t})、Dsparse=∑t∈Sk,iexp⁡(Ak,i,tpre)D_{\text{sparse}} = \sum_{t\in\mathcal{S}_{k,i}} \exp(A^{\text{pre}}_{k,i,t}) 表示,稀疏注意力相当于把整行概率统一放大了一个系数:

AsparseAfull=DfullDsparse=1ρ,ρ=DsparseDfull\frac{A^{\text{sparse}}}{A^{\text{full}}} = \frac{D_{\text{full}}}{D_{\text{sparse}}} = \frac{1}{\rho}, \qquad \rho = \frac{D_{\text{sparse}}}{D_{\text{full}}}

这个放大意味着两件不同的事:保留的 token 权重大了 1/ρ1/\rho 倍(行内比例其实没变,只是整体被放大了);被删掉的 token 权重从“一个小的正值”直接变成 0(这是结构性的信息丢失)。稀疏度越高,ρ\rho 越小,这两处误差都越严重。

论文用一个漂亮的对照实验把“分母问题”单独隔离出来。定义一个后 softmax 掩码操作:

A′=A∘MA' = A \circ M

其中 AA 是完整注意力概率、MM 是窗口掩码。这个操作并不节省计算(分母仍是完整算的),它只做了一件事:把被选中的位置保留、其余置零,但不重新归一化。

前 softmax 稀疏与后 softmax 掩码的生成效果对比

上图是论文 Figure 4 对应的实验:在 CogVideoX-2B 上以 66% 稀疏度、滑动窗口掩码分别用正式稀疏注意力与后 softmax 掩码生成。后 softmax 那一侧弹吉他的熊猫、椅子、背景都保持完好;而正式稀疏注意力那一侧出现乱帧,熊猫甚至在“吃吉他”。两者用的 mask 完全一样,差别只有分母——这一实验直接证明了 softmax 分母对生成质量的决定性影响。

6.2 分母比 ρ\rho 为什么可预测

既然完整的 DfullD_{\text{full}} 算不出来,一个自然的想法是借用前一步的值。论文在 PixArt-α 的第 12 个 DiT block、第 9 个 head 上追踪了 20 个去噪步:DfullD_{\text{full}} 与 DsparseD_{\text{sparse}} 的绝对值起伏很大、非单调;但它们的比值 ρ\rho 却沿着一条规律缓慢变化的轨迹移动。基于这个观察,Re-ttention 把上一步缓存下来的 ρ\rho 应用到本步的稀疏输出上:

Ak,i,j′=ρ Ak,i,j,j∈Sk,iA'_{k,i,j} = \rho\, A_{k,i,j}, \quad j \in \mathcal{S}_{k,i}

并发现每步之后把缓存的 ρ\rho 略微上调(ρt=ρt−1+λ\rho_t = \rho_{t-1} + \lambda,λ\lambda 为爬升系数)效果更好——因为随着去噪推进,注意力总体趋于集中,分母比会缓慢向 1 靠拢。

6.3 残差缓存:把 ρ\rho 不能解释的部分补回来

ρ\rho 重标定只修好了“放大系数”这一个误差;被删 token 的贡献仍然缺失。Re-ttention 用残差缓存补上这一块。定义

R=FullAttention(Q,K,V)−ReshapeAttention(Q,K,V,ρ)R = \text{FullAttention}(Q,K,V) - \text{ReshapeAttention}(Q,K,V,\rho)

RR 在数学上恰好等于缓存步上“被掩码掉的那些 token 的注意力输出”——用一句话说,它就是被稀疏化丢掉的那部分。缓存步(每 5 步一次全注意力)把 RR 存下来;非缓存步的稀疏输出则是“用 ρ\rho 校正后的稀疏注意力 + 上一步缓存的 RR”。这样,被丢掉的贡献以延迟一步的方式、用缓存值重新计入。

6.4 性能账本:最高稀疏度才是它的战场

Re-ttention 的卖点在于极高稀疏度下的鲁棒性。在 CogVideoX-2B 上,以 96.9% 稀疏度(即只计算 3% 的位置)测试:

方法稀疏度PSNRSSIMLPIPSImageQualSubConsist
全注意力0%参考参考参考65.72%94.97%
SVG87.5%14.480.5480.50154.48%89.26%
SVG96.9%10.500.4180.89851.82%96.73%
MInference96.9%9.250.3250.81834.36%75.84%
DiTFastAttn96.9%27.930.8650.09864.86%94.32%
Re-ttention96.9%27.960.8940.05964.87%94.80%

表格读法值得细看。SVG 与 MInference 在 87.5% 稀疏度时 PSNR 已经掉到 14~15(低于 24,属于肉眼可见的结构崩坏),96.9% 时几乎完全失效;SVG 那一行的 SubConsist 96.73% 是一个异常值(超过全注意力本身),论文明确指出这是离群现象,因为它的其他指标同期全线下跌。DiTFastAttn 也是带缓存的方法,能做到 27.93,而 Re-ttention 在其基础上再提升到 27.96,同时 LPIPS 从 0.098 降到 0.059。

图像一侧(PixArt-α/Σ、Hunyuan-DiT)也能看到同样的规律:在 96.9% 稀疏度下,DiTFastAttn 在 Hunyuan-DiT 上已经跌到 GenEval 0.002、HPSv2 12.28,而 Re-ttention 仍有 GenEval 0.590、HPSv2 28.89。这说明“分母问题”并不是一个视频特有的现象,只要注意力序列足够长、稀疏足够激进,任何 DiT 都会遇到。

需要坦诚的一点是:Re-ttention 并没有靠“更稀疏”来换加速,它恰恰证明了在 96.9% 这种极端密度下质量仍然可以保住。但端到端收益受两个固定成本制约——缓存步本身是全注意力,稀疏化前还有若干步稠密起跑。它的真正贡献是把“稀疏度的天花板”推高了:90% 以上的稠密区域从此不再是禁区,后续方法只要把缓存频率与起跑步数调低,就能把这一空间转化为实际加速。

七、综合比较与工程落地

7.1 四条路线的横向对照

维度SVGSVG2Radial AttentionRe-ttention
掩码来源逐头在线采样打分k-means 簇 + 中心点 Top-p静态距离衰减模板静态窗口 + 缓存 ρ\rho 与残差
识别开销采 1% 行,约 3% 额外聚簇与打分,<1%,缓存后更低0(纯计算)每 5 步一次全注意力
硬件友好性布局变换后达成置换 + 动态块尺寸内核128×128 块天然友好窗口对齐友好
极稀疏能力中(30% 附近)中高(可至 13%)高(80% 以上)极高(97% 以上)
长视频扩展中中强(O(nlog⁡n)O(n\log n))未强调
可训练性否否是否
典型端到端加速2.28×(720p CogVideoX)2.30×(Hunyuan)+FP8 2.55×1.88× 短,3.71× 4 倍长取决于缓存频率

从这张表可以归纳出这条技术路线的一条主线:“越动态越准,但越准的代价是识别越贵、越难硬件化和越难训练”。SVG 是完全内容驱动的中间点,SVG2 用聚簇把内容驱动做得更精确,Radial 把内容判断换成结构先验,Re-ttention 则干脆接受一个粗糙的窗口,把风险转移到统计校正上。

7.2 工程落地时的几处现实约束

  • 起跑稠密段的处理方式决定端到端加速。SVG 跳过 25%、SVG2 跳过 30%,其余方法各有设定。生产部署时,这段稠密步数需要随实际步数调,否则端到端加速会被前段固定成上限。
  • 内核实现是最容易被忽略的成本。SVG 的布局变换、SVG2 的动态块尺寸内核、Radial 的带掩码块稀疏,三者都要求自定义内核;而 FlashAttention / FlashInfer 现成的块稀疏路径只有固定块尺寸。在生产推理链路里接入时,这块工程量往往不小于算法设计本身。
  • FP8 是乘数而不是替代品。SVG、SVG2 都报告了 FP8 与稀疏叠加的效果(HunyuanVideo 上 2.3× → 2.55×)。这类叠加之所以有效,是因为稀疏让单次注意力的算力强度下降,而 FP8 恰好能在算力强度不高的场景里提升吞吐,两者不争夺同一份收益。可以参考 SageAttention 系列完全拆解 了解低精度注意力本身的实现细节。
  • 与 DiT 层的缓存方法互为补充。跨层 / 跨步复用激活的加速路线(如 扩散模型从零讲起(八):推理加速工程 中讨论的跨步缓存)直接跳过整个 block 的计算,而稀疏注意力是在保留 block 的前提下压缩单层内部的时间;二者可叠加,但叠加时要注意稀疏策略本身的起跑步数应与缓存策略对齐,否则总收益被前段双重占用。

7.3 局限与未解决的问题

  • 所有四条路线的评测模型都集中在 CogVideoX、HunyuanVideo、Wan2.1、Mochi、PixArt 几个开源模型上,对闭源模型(如 Sora 一类)能否延续尚缺乏公开验证。
  • Radial 的衰减假设依赖“多数训练数据为慢动作视频”这一经验判断;若模型大量处理高速运动、镜头剧烈切换的素材,时空能量衰减可能不再成立,掩码误差上界也会松弛。
  • SVG2 的 k-means 与簇大小动态都引入了对数据分布的依赖;遇到语义高度混合的场景(大量小物体交织),簇代表的精度会下降,论文也承认没有评估 DiT 以外的机制。
  • Re-ttention 的残差缓存依赖“相邻去噪步高度相似”,对步数很少的蒸馏模型(4 步、8 步一类)适用性存疑,这也是它没有在少步设置中做深度评估的原因。

从更宏观的视角看,视频扩散的稀疏注意力与 LLM 侧的 BLASST、Quest 共享同一类问题:如何在不算全量打分的前提下选对关键 token。两者的不同在于,LLM 的一维序列让“块”天然可用,而视频的帧优先展开把一维变成三维,迫使研究者要么发明新的块结构(SVG 的带、SVG2 的簇置换),要么引入新的物理先验(Radial 的衰减),要么修补稀疏化的统计偏差(Re-ttention 的分母校正)。这三类思路,对任何需要做“三维序列稀疏化”的模型——视频之外的 3D 点云、神经辐射场、多视角生成——都有直接的参考价值。

参考资料

  1. Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity
  2. Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation
  3. Radial Attention: O(nlog⁡n)O(n\log n) Sparse Attention with Energy Decay for Long Video Generation
  4. Re-ttention: Ultra Sparse Visual Generation via Attention Statistical Reshape
  5. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
  6. FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving
  7. VBench: Comprehensive Benchmark Suite for Video Generative Models
  8. HunyuanVideo: A Systematic Framework For Large Video Generative Models
  9. Wan: Open and Advanced Large-Scale Video Generative Models
  10. Scalable Diffusion Models with Transformers (DiT)
  11. LoRA: Low-Rank Adaptation of Large Language Models

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

视频扩散模型的稀疏注意力:SVG、SVG2、Radial Attention 与 Re-ttention 如何把 3D 全注意力压到可服务的成本
https://pinghaoyang.com.cn/articles/insights/posts/video-diffusion-sparse-attention/
作者
平昊阳
发布于
2026-11-20
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录