WorldAttention 完全拆解：分层 KV 缓存如何支撑长时交互式视频生成

一道不能靠滑动窗口回避的系统难题#

交互式视频世界模型不是一次性生成固定时长的视频，而是按块持续向前生成：用户可以在中途改变文本指令，模型既要接住刚发生的动作，又要在新指令重新提到旧场景时恢复几十秒前的主体、背景和空间关系。自回归扩散把视频分成若干 chunk；当前 chunk 产生 Query，已经生成的 chunk 则提供缓存的 Key 与 Value。这个结构把长视频生成变成了一个不断增长的在线推理问题。

WorldAttention 由阿里巴巴达摩院、浙江大学、香港科技大学等团队在 2026 年 9 月公开，官方项目页标注为 NeurIPS 2026 reviewed/accept。它不是单独替换一个注意力公式，而是把注意力近似、KV 存储层次和 GPU Kernel 当作同一个系统问题联合设计。论文的出发点可以压缩成一句话：完整历史必须可访问，但完整历史不必全部常驻 GPU，也不必全部参加高精度注意力计算。

为什么常见的滑动窗口不能算真正的答案？设第 $t$ 个视频块产生 $n_t$ 个视觉 token，窗口只保留最近 $W$ 个块，那么 GPU 上的 KV 占用被约束为 $O(Wn_td)$，注意力计算也不会随整段视频无限增长。但被滑出窗口的 Key 与 Value 已经永久消失。若用户先让角色走进工坊，几十秒后切到街道，再要求“回到刚才工作台旁那把红色扳手”，模型面对的不是“算得慢”，而是“证据已经不存在”。窗口再快，也无法从被删除的状态里恢复细节。

另一条路线是保存全历史。若每个注意力层有 $H_{kv}$ 个 KV 头、头维度为 $d$、数值宽度为 $b$ 字节，累计 $N$ 个 token 时，仅一条样本的 KV 体积近似为

式中因子 2 对应 K 与 V，$L_{\text{layer}}$ 是层数。存储随 $N$ 线性增长；而当前 chunk 若与全部历史做稠密注意力，计算量约为 $O(N_qNd)$，$N_q$ 是当前 Query 数。视频 latent 同时展开时间、高度和宽度，单帧就可能有上千 token，因而“只增长一秒”会同时放大容量、PCIe 搬运和注意力计算三笔账。

这形成三种互相牵制的目标：历史可恢复性要求不删除旧 KV；实时性要求每一步不能扫描完整历史；有限 HBM 又要求旧 KV 不能全部常驻显卡。WorldAttention 的答案是三层协同：HKV（Hierarchical KV Cache）决定“历史放在哪里、当前取哪些页”，HSA（Hybrid Sparse Attention）决定“取回后哪些关系值得精算”，定制 Kernel 则负责把动态稀疏真正变成连续、并行的 GPU 工作，而不是只停留在 FLOPs 账面上。

本文只讨论推理与部署机制。论文以 Wan2.1-T2V-1.3B 为基础获得交互式自回归视频模型，这里把模型适配视为背景，不展开训练配方；真正关心的是一次在线生成如何检索历史、组织 KV、执行注意力，以及论文中 14.02× 和 2.21× 两个加速数字为什么不能混为一谈。

从视频注意力到长时交互：先把计算对象说清楚#

WorldAttention 服务的对象是自回归扩散视频模型。它与语言模型“每次产生一个 token”的解码不同：模型每一步生成的是一个视频块，而块内仍要进行若干次扩散去噪。设视频 latent 的形状为 $(T,H,W)$，展平后序列长度为

对某个注意力头，当前块的隐藏状态投影成 $\mathbf Q\in\mathbb R^{N_q\times d}$，历史缓存给出 $\mathbf K,\mathbf V\in\mathbb R^{N_k\times d}$。标准缩放点积注意力为

$N_q$ 是当前块的 token 数，$N_k$ 是可见历史 token 数，$d$ 是每头维度。分母 $\sqrt d$ 把点积方差控制在稳定范围；Softmax 后每个 Query 都得到一组对历史 token 的归一化权重。只要 $N_k$ 随视频长度增长，单次去噪里的矩阵乘与 KV 读取就随历史增长，而一次视频块还要重复多次去噪，代价会被再次放大。

KV Cache 的作用也需要准确理解。缓存不是把最终视频帧存一遍，而是保存各注意力层由历史 latent 计算出的 K、V，避免后续块反复对历史执行线性投影。它节省了重复计算，却把“历史状态”变成必须长期管理的多层张量。对于闭环世界模型，KV 还承担连续视觉记忆：旧场景能否被再次注意，取决于对应 K、V 是否仍可寻址。动作条件世界模型怎样把真实观测回灌缓存，可参考站内的动作条件世界模型完全拆解；WorldAttention 处理的是另一侧问题——当历史不再只有几秒，怎样让这份记忆既保留又可负担。

交互又比普通长视频多一层语义不连续。普通长视频往往沿同一提示自然延伸，“最近”与“相关”大致同向；交互式序列的提示会切换，当前最相关的视觉证据可能来自很早的某个 chunk。于是单纯按时间顺序保留最近窗口，本质上把 recency 当成 relevance；而一个有效的检索器必须把两者分开。

可以把历史选择拆成两个尺度：

• chunk 回答“当前指令大致在谈哪段历史”，适合用文本提示的语义向量做粗检索；
• page 回答“那段历史里的哪些连续帧真正含有当前 Query 所需的视觉证据”，适合用视觉 Query 与历史 Key 做细检索；
• block 回答“已经取回的页面中，某个注意力头究竟需要计算哪些局部关系”，这是 HSA 在 GPU 内部解决的计算稀疏性。

这三个尺度不能互相替代。只做 chunk 检索，取回的整段视频仍含大量无关空间 token；只做全局 page 检索，每一步要扫描所有历史页，检索元数据本身会随视频无限增长；只做 block-sparse attention，则全部历史仍要留在 HBM，容量问题没有消失。WorldAttention 的核心不在某个单点技巧，而在于用粗到细的路径逐级缩小工作集。

WorldAttention 的三层协同架构#

上图来自 WorldAttention 论文 Figure 1。沿箭头从左到右读，可以看到两条并行的数据路径。

下方路径是精确历史路径。L2 CPU DRAM 与 L3 NVMe 保存历史 KV 及其索引，当前 prompt 先经过 prompt-level retrieval，选出语义上最相关的历史 chunk；随后当前 Query 对该 chunk 中的 page 做 page-level retrieval，少数活动页被搬到 L1 GPU HBM。进入 HSA 后，dynamic selection 再生成每个头的 block 稀疏模式，最后在 L0 GPU SRAM 附近完成 sparse block attention。

上方路径是全局摘要路径。历史 K、V 沿序列维经过低秩投影，得到压缩 KV；HSA 的 linear global attention 对这份摘要做稠密注意力。它不保证保留每个像素级细节，却提供覆盖完整可见上下文的低成本通路。这样即使稀疏分支没有选中某个细节块，全局结构也不至于完全断开。

两条 HSA 输出不是简单平均。每个注意力头从当前隐藏状态预测两个门值，用逐元素加权融合线性分支与稀疏分支。于是“广而粗”的全局通路和“窄而细”的稀疏通路可以随 token、随头改变占比。

图中 L0 到 L3 不是四份彼此独立的缓存，而是一组不同管理主体和访问成本的层级：

这里有一个很重要的系统判断：把 NVMe 画进架构不等于注意力 Kernel 会直接从 SSD 随机取数。真正执行前，被选页仍需物化到连续的 HBM 缓冲区；NVMe 只保证远古历史没有被永久遗忘。若一次请求命中 L3，其延迟会受到 SSD、PCIe、主机页缓存以及是否能预取的共同影响。论文展示的是“可恢复性与 HBM 有界”这条机制，不应把它理解为所有命中都具有相同延迟。

这个分工与 LLM 系统里的 PagedAttention 有相似外形，却解决不同层次的问题。PagedAttention 完全拆解中的分页主要消除动态序列的显存碎片，通过块表把逻辑 KV 块映射到 HBM 物理块；HKV 进一步把 page 变成跨 HBM、DRAM、NVMe 迁移的语义检索单位。前者首先是地址管理，后者同时是语义检索与分层驻留。

HSA：全局线性通路与头自适应稀疏通路#

HKV 把数百万级的全历史收缩成活动页，但论文默认四页仍有 49,920 个 token。若直接在活动页上做稠密注意力，检索只解决了容量，没有充分解决计算。HSA 继续利用两个事实：视频注意力的全局结构往往可低秩近似，像素级精细相关性又高度稀疏；两者适合不同的计算通路。

稀疏分支：每个头按累计注意力质量选块#

上图来自论文的注意力头可视化。左侧头的权重分散，中央带有明显局部块结构，右侧几乎只剩少数对角线。若给所有头统一 Top-K，K 小会截断分散头，K 大又会浪费尖峰头的计算。HSA 因而先把 Query 与 Key 划成 tile，在池化后的粗粒度注意力图上为每个头、每个 Query block 决定实际保留多少 Key block。

令 $\mathbf p_{i,:}^{(h)}\in\mathbb R^N$ 表示第 $h$ 个头中第 $i$ 个 Query block 对 $N$ 个 Key block 的归一化权重，$\sigma_i^{(h)}$ 是按权重降序排列的索引。选择的块数定义为

$$K_i^{(h)}=min\left\{k:\sum_{m=1}^{k}p_{i,\sigma_i^{(h)}(m)}^{(h)}\geq \tau_h\right\}$$

$\tau_h$ 是该头要求覆盖的累计注意力质量。这个定义不问“固定选多少块”，而问“至少选多少块才能覆盖规定质量”：尖峰分布可能一两个块就越过阈值，平坦分布则必须保留更多块。最终稀疏连接集合为

$$\mathcal S^{(h)}=\bigcup_i\left\{(i,j):j\in \left[\sigma_i^{(h)}(1),\ldots,\sigma_i^{(h)}\left(K_i^{(h)}\right)\right]\right\}$$

稀疏分支只执行集合 $\mathcal S^{(h)}$ 指定的 block：

$$\mathbf O_{\mathrm{sp}}^{(h)}= \operatorname{SDPA}_{\mathrm{block}} \left(\mathbf Q^{(h)},\mathbf K^{(h)},\mathbf V^{(h)};\mathcal S^{(h)}\right)$$

这里的 SDPA 仍是正常的缩放点积注意力，只是掩码具有可由 Kernel 跳过的块结构；这点非常关键。元素级不规则稀疏即使 FLOPs 更少，也常因索引开销和非合并访存比稠密 Kernel 更慢。

Gini 系数如何把“头的形状”映射成阈值#

论文先用 Gini 型统计量度量第 $h$ 个头的集中程度：

$$\mathcal G^{(h)}= \mathbb E_i\left[ \frac{1}{N}\sum_{m=1}^{N}(N-2m+1) p_{i,\sigma_i^{(h)}(m)}^{(h)} \right]$$

$\mathbb E_i$ 表示对所有 Query block 求平均，$m$ 是降序后的名次。权重越集中在靠前位置，带正系数的前几项贡献越大，$\mathcal G^{(h)}$ 越高；均匀分布的正负项则趋于抵消。阈值再按

$$\tau_h=\tau_{\min}+\mathcal G^{(h)} \left(\tau_{\max}-\tau_{\min}\right)$$

映射到 $[\tau_{\min},\tau_{\max}]$。论文最终配置为 $\tau_{\min}=0.35,\tau_{\max}=1.00$。高集中头获得更高质量覆盖要求，但因为其累计曲线上升快，仍可能只需很少的块；分散头虽然阈值较低，达到阈值仍需多个块。这样既不因统一高阈值拖累所有头，也不因统一低 Top-K 截断关键关系。

HKV：让完整历史可访问，而不是全部常驻 GPU#

上图来自论文 Figure 3。橙色页是当前活动页，灰色页是未活动页；底部每个视频 chunk 都带有生成它时的 prompt。HKV 的关键抽象不是“把一个大张量切小”，而是让同一个 page 同时成为三种单位：语义检索单位、跨层迁移单位和 HSA 的连续输入单位。

驻留、迁移与有界 HBM#

当 L1 HBM 超过容量，未选页降级到 L2 DRAM；L2 继续超限时，按 LRU 把冷页迁往 L3 NVMe，而 L3 保存全历史备份。访问频度与介质速度对齐：热页享受 HBM 带宽，温页借 DRAM 容量，冷页用 NVMe 换取“没有永久删除”。

上图来自论文的 HKV footprint 分析。横轴是已生成视频时间，纵轴是 KV 占用；GPU L1 在约 9.4 GB 附近趋于稳定，而 CPU L2 随历史从约 18 GB 增长到 50 GB。这正是“有界 GPU 驻留”的含义：总历史并没有变小，增长只是从昂贵的 HBM 转移到了更大、更慢的层级。因此 HKV 解决的是设备容量瓶颈，不是让存储复杂度从 $O(N)$ 变成 $O(1)$。长到 DRAM 也放不下时，NVMe 容量与换入延迟仍会成为下一道边界。

检索消融也支持页面分数确实在找视觉证据，而非随机碰运气。在相同四页预算下，HKV 质量分 85.53，最近页 83.74、随机页 82.86、故意错配页 80.96；到 50–60 秒片段，CLIP 分数分别为 25.01、21.48、20.12、17.36。优势随着目标历史变远而放大，正符合“相关性不等于最近性”的设计动机。

定制 CUDA Kernel：稀疏算法怎样落到硬件上#

把注意力矩阵中的大部分元素标成零，并不会自动带来同等比例的加速。GPU 需要规则 tile、连续地址和足够多的并行工作；动态稀疏却天然带来变长索引、离散页面和每个头不同的块数。WorldAttention 的 Kernel 工作，实质上是在算法产生的“逻辑稀疏”与 GPU 需要的“物理规整”之间加一层编排。

论文的稀疏 Kernel 从 VSA 的硬件友好块稀疏实现改造而来，并给出 Triton 与 ThunderKittens 两种后端。一次 HSA 执行可拆成六个阶段：

1. 线性分支对分段 KV 做低秩投影并计算全局注意力；
2. dynamic selection 在池化注意力图上产生每头的块集合；
3. index mapping 把“页号、块内坐标、头号”翻译为实际 KV 地址；
4. contiguous copy 把离散页中的入选 KV 重排进连续缓冲区；
5. block-sparse Kernel 只对选中 tile 执行 QK、在线 Softmax 与 PV；
6. fusion 用门值合并线性与稀疏输出。

第 3、4 步看似是额外成本，却决定了第 5 步能不能高效。若让每个 warp 直接追逐 page table，访问地址既不连续又因头而异，HBM transaction 难以合并，Tensor Core 还会因不完整 tile 闲置。先重排再计算相当于用一次显式 copy 换取后续矩阵运算的规则性。HKV 的 page 布局与 HSA 的 block 布局因此必须一起设计；任意替换页大小或 tile 形状，都可能让索引与搬运开销吃掉稀疏收益。

在 Hopper 上，$B_{\text{inter}}=128$ 与 $B_{\text{intra}}=64$ 都是 16 的倍数，可映射到 MMA/WGMMA 友好的 tile。Kernel 采用 FlashAttention 式分块思路：Q tile 驻留片上，按入选 Key/Value tile 流式更新每行最大值 $m$、指数和 $\ell$ 与输出累加器，而不把完整注意力矩阵写回 HBM。对新 tile 分数 $\mathbf S_j$，稳定在线 Softmax 的状态更新可概括为

$m_j$ 是处理到第 $j$ 个 Key tile 时的行最大值，$\ell_j$ 是稳定归一化分母，$\mathbf o_j$ 是尚未除以 $\ell_j$ 的输出累加量。指数前的重缩放因子把旧状态换到新的最大值基准，避免溢出。稀疏版本与稠密 FlashAttention 的数学结果差别来自“哪些 tile 被访问”，而不是 Softmax 在 tile 间被错误地分开归一化。

论文图中 HSA 的 ThunderKittens 后端（$HSA_{tk}$）相对 FlashAttention-3 的稀疏分支 Kernel达到峰值 14.02×，Triton 后端约 9.94×。这个数字很亮眼，但它不是整条视频生成流水线的加速比。论文给出的单次 HSA 延迟分解更能说明瓶颈：

被加速 14.02× 的稀疏块 Kernel 最终只占 HSA 总延迟的 1.86%；线性分支与 KV 连续拷贝合计超过 70%。这解释了为什么 Kernel 微基准不能直接外推端到端收益，也给出下一步优化方向：页面预取与计算重叠、减少重排 copy、让检索直接产出 Kernel 可消费的布局，可能比继续压榨那 11.776 μs 更有价值。

端到端执行流程与复杂度#

把前面的模块串起来，一次新视频块的推理主线如下。这里的“当前块”仍会经历扩散去噪；流程描述的是注意力侧如何为这些前向准备历史工作集。

1
输入：当前 prompt、当前 noisy latent、全局 KV Bank
2

3
1. 编码当前 prompt，与历史 prompt 索引比较
4
2. 选 Top-1 历史 chunk
5
3. 从当前隐藏状态形成 Q，并计算页级平均 Query
6
4. 对候选 chunk 的页面平均 Key 打分，选 Top-4 pages
7
5. 若活动页不在 HBM，从 DRAM/NVMe 恢复并重排为连续 KV
8
6. 线性分支读取压缩 KV，形成全局低秩输出
9
7. 稀疏分支构造每头 block mask，执行选中 block
10
8. 门控融合两分支输出，继续当前去噪前向
11
9. 当前 chunk 完成后，把新 K/V 分页写入 KV Bank
12
10. 按容量与活跃度在 HBM、DRAM、NVMe 间迁移页面

第 3 步揭示了一个依赖关系：页面精排需要当前 Query，因此不能只靠 prompt 在请求到达时一次性完成全部工作；至少视觉相关的第二级选择要等隐藏状态可用。工程上可以提前完成 prompt 粗检索与候选页预取，再让 Query 精排决定最终四页，以便把一部分 I/O 藏在 GPU 计算后面。论文展示了逻辑组件，但没有把所有异步预取策略定义成唯一实现，因此部署时仍有调度空间。

复杂度可以按三次收缩来理解。全历史稠密注意力对当前 $N_q$ 个 Query、历史 $N$ 个 KV token 的计算量为

HKV 把活动历史固定到 $N_a=K_pF_pN_f$，其中 $K_p=4$ 是页数，$F_p=8$ 是每页帧数，$N_f=1{,}560$ 是每帧 token 数；于是活动集上的稠密上界变为 $O(N_qN_ad)$。注意这是计算工作集有界，不是总存储有界。

HSA 再把这部分分成两项。若线性分支投影秩为 $r$，稀疏分支最终执行 $R_h$ 个 Query-Key block 对，块边长近似为 $B$，则单头主要计算近似为

第一项随低秩宽度增长，第二项随真正入选的块对增长。它不再直接由 $N_qN_a$ 决定，但 $R_h$ 是运行时数据依赖量：平坦注意力头需要更多块，最坏情况下仍会退化接近稠密。动态稀疏不是严格的固定复杂度保证，而是利用真实视频注意力分布换取平均收益。

系统总延迟还必须加上检索与迁移：

只有当省下的稠密计算大于前三项额外成本，方案才有正收益。短视频、历史本来就驻留 HBM、或注意力不够稀疏时，WorldAttention 的复杂控制面未必划算；越长的视频、越大的模型、越高的分辨率，KV 与注意力占比越高，协同设计的收益才越容易显现。

实验结果应该怎样解读#

论文以 Wan2.1-T2V-1.3B 为基础，在 480p、16 FPS 设定下评测。质量部分有两套协议：VBench-Long 被扩展为 160 个 60 秒交互视频，每 10 秒切换一次提示；InterVBench 用细粒度 chunk 标注测量长视频漂移。论文正文称 InterVBench 含 1,000 个视频，附录报告实际评测使用其中 200 个超过 50 秒的测试视频，因此引用结果时应把“基准规模”和“测试子集规模”分开。

与相邻技术路线的边界#

WorldAttention 很容易被概括成“视频版 PagedAttention”或“把 Quest 加到世界模型”，但这些类比只覆盖一部分。把几条路线放在同一坐标系中，差别会更清楚。

与 Quest 的区别。Quest 同样根据当前 Query 在页级选 KV，核心是为每页维护 Key 的逐维 min/max，用上界估计找 Top-K 页；它保留全部 KV，主要减少 LLM decode 每一步从 HBM 读取的字节数。WorldAttention 的页面分数是平均 Query 与平均 Key 的点积，并在此之前加 prompt→chunk 粗检索，同时把冷页放到 DRAM/NVMe。Quest 的选择器更强调关键 token 召回上界，WorldAttention 更强调视频语义层级与跨介质驻留。前者可参考站内的 Quest 完全拆解。

与 PagedAttention 的区别。PagedAttention 的 page/block 是逻辑地址抽象，关注多个动态请求怎样共享、分配与回收 HBM；它不会因为当前 Query 内容不同而把一个历史块判为“语义相关”。HKV 借用了分页思维，却把 prompt embedding、页面 Key 摘要、层级迁移策略都放进控制面。两者可以组合：底层块管理器负责可靠映射，HKV 在更高层决定哪些逻辑页应当成为活动页。

与 BIFE/WorldKV 的区别。BIFE 已经展示用语义稀疏 KV 支持分钟级交互，但 chunk 级取回仍偏粗，历史缓存也继续增长。WorldAttention 用 chunk 粗筛、page 精排把召回单位细化，再用 HSA 去掉页内计算冗余。WorldKV则把 world retrieval 与压缩结合，用相机/动作对应关系找回被逐出的 chunk；它更偏动作条件与缓存压缩，WorldAttention 当前主要以文本 prompt 为控制信号。

与线性/递归注意力的区别。固定状态方法从根本上把历史容量压成常数，换来稳定吞吐，却可能发生记忆叠加与细节不可逆丢失。WorldAttention 没有押注单一路线：HSA 的线性分支承担“总能看见全局”的低秩摘要，HKV 与稀疏分支保留可恢复的精确旁路。站内的 Kimi Delta Attention 完全拆解展示了另一端——用循环状态替代不断增长的 KV；两者分别选择“固定状态、有限精度”和“全历史可恢复、分层存储”的权衡点。

这些比较揭示了 WorldAttention 最鲜明的设计哲学：它没有声称一种近似足以覆盖所有注意力模式，而是接受不同信息有不同价值、不同访问频度与不同精度需求，再让存储层次和计算层次一一对应。

局限、适用条件与工程启示#

小结#

WorldAttention 解决的不是单一注意力算子太慢，而是长时交互视频中的三重矛盾：旧视觉证据不能删除，全部 KV 不能常驻 HBM，全部历史又不能每次都参与稠密计算。它用一条粗到细的收缩链把矛盾拆开：prompt 先找 chunk，视觉 Query 再找 page，HSA 再按头选择 block；冷 KV 依次下沉到 DRAM 与 NVMe，活动页才回到 HBM；线性分支保全局覆盖，稀疏分支保原分辨率细节，最后由门控融合。

这套设计最有价值的地方是把算法近似与硬件代价放在同一张账表里。14.02× 是稀疏 Kernel 的峰值加速，但 Kernel 只占 HSA 延迟的 1.86%；真正的端到端提升是 2.21×，其中页面检索、连续拷贝和线性分支仍占主要成本。22 FPS 又是特定单 H100、1.3B、480p 协议下的系统吞吐，不能脱离工作负载复用。

HKV 也没有把总历史变成常数：它把增长从 GPU 移到了 CPU 与 NVMe，并以检索正确率和冷页恢复延迟作为交换。HSA 同样没有给出最坏情况恒定计算：注意力越平坦，需要的块越多。WorldAttention 的贡献恰恰不是消灭这些代价，而是让代价显式分层、按信息价值支付，并通过统一布局把理论稀疏尽可能兑现成真实硬件收益。

对于后续系统设计，最值得保留的原则是：不要只问“KV 留多少”或“注意力稀疏多少”，而要同时问“未来还能不能找回”“从哪一级存储找回”“找回后 GPU 能否连续高效地算”。这三个问题共同决定长时世界模型能否真正实时运行。

参考资料#

1. WorldAttention: An Efficient Attention Architecture for Interactive Video World Models
2. WorldAttention 官方项目页
3. WorldAttention 官方代码仓库
4. WorldAttention 的 NeurIPS 2026 OpenReview 页面
5. Linformer: Self-Attention with Linear Complexity
6. Faster Video Diffusion with Trainable Sparse Attention（VSA）
7. FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision
8. BIFE: Better Interaction, Fewer Errors for Minute-Long Video Generation
9. WorldKV: Efficient World Memory with World Retrieval and Compression
10. VBench: Comprehensive Benchmark Suite for Video Generative Models