Visual Autoregressive Modeling 完全拆解:把图像生成改写成「从模糊到清晰」的下一尺度预测

12741 字
64 分钟
Visual Autoregressive Modeling 完全拆解:把图像生成改写成「从模糊到清晰」的下一尺度预测

从「按 token 排队」到「按尺度长大」

把图像生成交给自回归模型,是很自然的念头。语言模型已经在做同一件事:按顺序吐出 token,每一步都看着前面已经写出的内容。图像若也能被切成 token,照此推进,就能复用语言模型积累下来的整套经验——统一的目标函数、可预测的扩展规律、丰富的采样技巧。这条路最早由 DALL·E 与 VQGAN 一类工作开辟,后来被 ViT-VQGAN、RQTransformer 等一路加宽,它们的共同做法是:先用一个矢量量化器把图像压成 h×wh\times w 个离散 token,再把这张二维 token 网格按某一种固定顺序(光栅扫描、之字形、螺旋)拍扁成一维序列,最后交给一个只看前缀的 Transformer 逐个预测。

做法直白,效果却不理想。在 ImageNet 256×256 的类别条件生成上,VQGAN 的 FID 长期停留在 15~18 的量级,即便配上拒绝采样与更大的模型,ViTVQ 也只是做到 3.04;而同期扩散模型 DiT-XL/2 已经是 2.27。更关键的是,自回归模型的参数涨到十几亿、几十亿(VQVAE-2 用了 13.5B 参数)时,收益已经非常迟钝,而扩散模型还在稳定地往下走。

2024 年,字节跳动与北京大学的团队发表了 Visual AutoRegressive modeling(VAR),直接重建了「图像上的自回归」这个概念本身。它放弃逐 token 的光栅顺序,把自回归的基本单位从单个 token 换成一整个尺度下的 token 图,模型按「先 1×1,再 2×2,再 3×3……」的顺序,从最粗的整体轮廓一路细化到最后的 16×16 细密网格,每一步都一次性并行生成该尺度上的全部 token。论文报告:在 ImageNet 256×256 上,VAR 把自回归基线的 FID 从 18.65 降到 1.73,IS 从 80.4 升到 350.2,同设置下的推理墙钟成本只有基线的约 1.3%。论文称这是自回归路线第一次在质量、多样性、数据效率与推理速度上同时压过 DiT,而不是「在某个单项上打平」。

理解 VAR 需要三块知识:图像如何被切成离散 token(矢量量化)、自回归模型的前缀依赖假设、以及多尺度特征本身的结构。下面从这三块讲起,再拆解 VAR 的两个训练阶段、训练与推理的每个细节、复杂度为什么从 O(n6)O(n^6) 降到 O(n4)O(n^4),最后对照实验数据与它的后续影响。

地基一:一张图怎么变成 4096 个词表里的 token

要让图像走上语言模型的路,第一步是「离散化」。连续像素没法直接套用交叉熵,必须先把图像映射到一个有限词表上。矢量量化自编码器(Vector Quantized Variational Autoencoder,VQ-VAE)给出的方案是:编码器把图像压成一张低分辨率特征图,特征图上的每个位置再被替换成码本里最近的一个向量。

设编码器为 E\mathcal{E},解码器为 D\mathcal{D},码本为 Z∈RV×CZ\in\mathbb{R}^{V\times C},其中 VV 是词表大小、CC 是特征维度。对图像 im\mathrm{im}:

f=E(im),q=Q(f)f=\mathcal{E}(\mathrm{im}),\qquad q=\mathcal{Q}(f)

其中 f∈Rh×w×Cf\in\mathbb{R}^{h\times w\times C} 是编码后的特征图,q∈[V]h×wq\in[V]^{h\times w} 是每个位置的码字索引。Q\mathcal{Q} 的定义就是逐位置的最近邻查找:

q(i,j)=arg⁡min⁡v∈[V]∥lookup(Z,v)−f(i,j)∥2q^{(i,j)}=\arg\min_{v\in[V]}\left\|\mathrm{lookup}(Z,v)-f^{(i,j)}\right\|_2

lookup(Z,v)\mathrm{lookup}(Z,v) 表示取码本中第 vv 个向量。这个式子没有任何可学习的参数,它把连续空间切成 VV 个沃罗诺伊(Voronoi)胞腔:每个码字是胞腔的中心,落在哪个胞腔里的特征向量就被替换成哪个中心。解码时先查表得到 f^=lookup(Z,q)\hat f=\mathrm{lookup}(Z,q),再由 D\mathcal{D} 还原成图像 im^=D(f^)\hat{\mathrm{im}}=\mathcal{D}(\hat f)。

这里有一个绕不开的训练难题:arg⁡min⁡\arg\min 这一步不可导。梯度无法穿过「选哪个码字」这个离散决策。工程上的标准解法是直通估计(straight-through estimator):前向真的用查表得到的 f^\hat f,反向则假装量化是恒等映射,把 f^\hat f 上的梯度原样抄给 ff。这样编码器仍然能收到「往哪个方向改才能让重建更好」的信号。

VQGAN 在 VQ-VAE 的基础上把重建目标从纯 L2 换成复合损失。VAR 沿用同一套 tokenizer 架构,训练时的损失为

L=∥im−im^∥2+∥f−f^∥2+λPLP(im^)+λGLG(im^)\mathcal{L}=\|\mathrm{im}-\hat{\mathrm{im}}\|_2+\|f-\hat f\|_2+\lambda_{\mathrm{P}}\mathcal{L}_{\mathrm{P}}(\hat{\mathrm{im}})+\lambda_{\mathrm{G}}\mathcal{L}_{\mathrm{G}}(\hat{\mathrm{im}})

前两项分别约束像素空间与特征空间的重建误差;LP\mathcal{L}_{\mathrm{P}} 是感知损失(论文用 LPIPS),负责让局部纹理看起来像自然图像;LG\mathcal{L}_{\mathrm{G}} 是对抗损失(来自 StyleGAN 式判别器),负责把生成结果的整体分布往真实图像上推,压掉 L2 损失带来的模糊。λP\lambda_{\mathrm{P}}、λG\lambda_{\mathrm{G}} 是两项的权重。只保留前两项时,解码出来的图会明显发糊——因为 L2 对多个合理的高频细节取平均,而人类视觉与感知指标都不喜欢平均值。

几个数字确定了后面讨论的量级。VAR 的 tokenizer 用 V=4096V=4096 的码本,空间下采样率 16×16\times:256×256 的图像因此变成 16×16=25616\times16=256 个 token,512×512 的图像变成 32×32=102432\times32=1024 个 token。词表只有 4096,意味着整个 16×16 网格上的 256 个 token 都从同一个 4096 词的词典里选。这个比例很关键:一张自然图像的局部细节远超 4096 种典型模式,tokenizer 必须把这些模式归并成有代表性的类别,重建时再从类别里「脑补」细节。所以 tokenizer 的重建质量直接决定了下游生成模型的画质天花板——这一点在扩散模型里同样成立(潜空间扩散把 VAE 换成了连续潜变量,但「潜空间瓶颈决定画质上限」的道理相同,可参考 扩散模型从零讲起(四):潜空间扩散与条件生成)。

顺带说明这一步为什么值得做。图像像素是连续、高维、冗余的;token 是离散、低维、语义化的。一旦离散化,图像生成就变成「在一个 4096 词表上做序列预测」,可以用交叉熵训练、用 top-k 采样、用 KV 缓存加速——与 LLM 的所有工程经验对齐。这也是自回归图像生成在 2021~2023 年一直有人坚持的根本原因。

地基二:自回归分解,以及二维网格被拍扁的代价

有了 token 序列,标准自回归的做法就是把联合概率拆成条件概率的连乘:

p(x1,x2,…,xT)=∏t=1Tp(xt∣x1,…,xt−1)p(x_1,x_2,\dots,x_T)=\prod_{t=1}^{T}p(x_t\mid x_1,\dots,x_{t-1})

训练时用教师强制(teacher forcing)并行计算每个位置的条件分布,损失是逐位置交叉熵;推理时逐个采样,已经采出的 token 通过 KV 缓存参与后续计算。这套流程与 GPT 完全一致,区别只在 token 的来源。

问题出在「顺序」上。语言有天然的时间序:第 tt 个词必然在第 t+1t+1 个词之前。图像没有这种天然顺序。16×1616\times16 的 token 网格要变成一维序列,必须人为规定一条路径。VQGAN 与 DALL·E 用行优先光栅扫描:第一行从左到右,然后第二行,直到最后一行。也有工作尝试之字形(z-curve)或螺旋顺序,想让路径在二维空间上更连续。

无论选哪种路径,都有一个无法回避的代价:路径是人为的,而图像的二维结构是天然的。行优先扫描下,同一个 token 的左右邻居在序列里的距离是 1,上下邻居的距离却是 16。模型要花额外的容量去重新学习「序列上相隔 16 个位置的两个 token 其实是上下相邻」这种几何事实。更要紧的是,一旦序列被定义成单向的,模型就只能用「左上方已经看过的内容」去推断「右下方还没生成的内容」,二维图像天然具备的双向可推断性被强行砍掉了。

这两点是理解 VAR 的入口:它不是给自回归打补丁,而是质疑「把二维网格拍扁成一维」这个前提本身。拍扁是必要的吗?如果不拍扁,自回归还能成立吗?

四个结构性问题:为什么拍扁这条路走不远

VAR 论文把传统图像自回归的弱点梳理成四条,每条都值得单独展开。它们不是「效果差一点」的程度问题,而是由「拍扁 + 单向」这个组合从数学上推出来的结构性缺陷。

问题一:违反前提,模型假设了单向,数据却是双向的。 自回归分解的前提是第 tt 个 token 只依赖前缀。但 VQ tokenizer 的编码器是一个不带掩码的多头自注意力网络——每个位置的码字在选出来之前,它的特征向量已经通过自注意力融合了整张图的信息。也就是说,序列里的第 tt 个 token 在编码阶段就已经「偷看」过后面的 token。论文在附录里直接可视化了 VQGAN 编码器最后自注意力层的注意力分数:任意一个 token 对全图其他 token 都有显著的双向依赖,热力图没有任何三角遮挡。

VAR 论文图 9:VQGAN 编码器最后自注意力层的 token 依赖热力图

上图取自论文 Figure 9,用 ImageNet 验证集里的 4 张 256×256 图像,画出编码器量化前那一层自注意力的归一化注意力分数。对角线之外大量格子仍然很亮,说明任意 token 都显著关注了空间上远的其他 token——双向相关客观存在。用一个「只看前缀」的模型去拟合一个「已经双向混过」的目标分布,模型需要学习一部分与它假设相矛盾的东西,训练效率与质量都会被拖住。

问题二:无法做需要双向推理的零样本任务。 问题一的直接后果。自回归模型从序列左上方开始生成,它能「补左下角」,却无法「已知下半部分、推测上半部分」。图像修补(in-painting)如果遮罩恰好落在图像后半段,那么遮罩前的 token 都齐全,模型能正常工作;如果遮罩落在前半段,模型就得靠一张缺失了核心内容的图去生成,效果自然不行。同理,外扩(out-painting)向左侧和上侧外扩时,模型手里的「已知上下文」方向不对。

问题三:空间局部性被破坏。 token q(i,j)q^{(i,j)} 与它的四个直接邻居 q(i±1,j)q^{(i\pm1,j)}、q(i,j±1)q^{(i,j\pm1)} 在二维空间上高度相关。但在行优先序列里,左右邻居的序列距离是 1,上下邻居的距离是整行宽度 ww。模型在自注意力的位置编码里必须重新学出这个几何关系。更麻烦的是,有限窗口下一个 token 在序列里能「看见」的邻居集合会被拉成一个长条,而不是二维意义上的紧凑邻域。

问题四:计算量随分辨率爆炸。 这一条是硬账。设 VQ 码图为 n×nn\times n,总 token 数是 n2n^2。第 ii 次自回归迭代(1≤i≤n21\le i\le n^2)需要在当前序列上跑一次完整注意力,成本约 O(i2)O(i^2)。总成本

∑i=1n2i2=16n2(n2+1)(2n2+1)=O(n6)\sum_{i=1}^{n^2}i^2=\frac{1}{6}n^2(n^2+1)(2n^2+1)=O(n^6)

同时,迭代步数是 O(n2)O(n^2)。换成具体数字:16×1616\times16 的码图意味着 256 步,∑i2≈5.6×106\sum i^2\approx5.6\times10^6 量级的基本注意力单元;32×3232\times32 码图意味着 1024 步,总量放大约 64 倍。token 数本身已经随边长平方增长,再套一层逐 token 串行,总成本就涨到边长的六次方。

这四条的严重程度不同,但它们指向同一个设计源头:「二维网格 → 一维顺序 → 单向逐步」。只要保留这个链条,任何工程优化都只能缓解而非消除。VAR 的切入点是拆掉链条中间的两环——不拍扁,也不逐 token。

核心改写:自回归的单位是「一整个尺度」

VAR 的做法可以用一句话概括:把自回归的基本单位从单个 token 换成一整张尺度的 token 图,按由粗到细的顺序预测(next-scale prediction)。

先把一张图编码成 KK 张分辨率递增的 token 图:

(r1,r2,…,rK),rk∈[V]hk×wk(r_1,r_2,\dots,r_K),\qquad r_k\in[V]^{h_k\times w_k}

其中 hk×wkh_k\times w_k 是第 kk 个尺度的分辨率,hK=h, wK=wh_K=h,\ w_K=w 等于最终特征图的分辨率。r1r_1 是 1×11\times1,也就是整张图的「一个 token 摘要」。然后套用同样的链式分解,只是因子的含义变了:

p(r1,r2,…,rK)=∏k=1Kp(rk∣r1,r2,…,rk−1)p(r_1,r_2,\dots,r_K)=\prod_{k=1}^{K}p(r_k\mid r_1,r_2,\dots,r_{k-1})

对比一下两种分解的形状。传统自回归的每个因子是 p(xt∣x1:t−1)p(x_t\mid x_{1:t-1}),一个标量 token 的分布;VAR 的每个因子是 p(rk∣r1:k−1)p(r_k\mid r_{1:k-1}),一张 hk×wkh_k\times w_k 的 token 图上的联合分布。VAR 的做法是:在给定前缀的条件下,这张图上的所有 token 互相独立地并行预测。用公式写就是

p(rk∣r1:k−1)=∏(i,j)p(rk(i,j)∣r1:k−1)p(r_k\mid r_{1:k-1})=\prod_{(i,j)}p\left(r_k^{(i,j)}\mid r_{1:k-1}\right)

这个条件独立假设不是勉强的近似,而是被训练方式强制的:模型在一次前向里同时输出该尺度所有位置的 logits,位置之间不做自回归,只共享同一份前缀表示。

VAR 论文图 2:语言自回归、图像光栅自回归与视觉自回归三种范式的对比

上图是论文 Figure 2 的三联对比。(a) 是语言模型:从左到右逐词生成,每个新词依赖全部已写出的词。(b) 是传统图像自回归:二维 token 网格被按行优先拍扁,模型严格从左到右、从上到下补全,序列方向与图像的二维结构无关。(c) 是 VAR:多尺度 token 图从粗到细生成,1×11\times1 起步,逐步扩到 2×22\times2、3×33\times3,直到 16×1616\times16;每个尺度内部的所有 token 并行产出,尺度之间才存在先后依赖。图的下半部分标明 VAR 依赖一个多尺度 VQVAE——这正是下一节要讲的部分。

为什么「由粗到细」是合理的顺序

图像的多尺度结构不是人为假设。一张图在降采样时,先保留的是大块的颜色分布与物体轮廓,后消失的是纹理与边缘细节。渐进式 JPEG 的传输顺序就是照这个规律排的:先传低频,接收端先看到一张模糊但结构正确的图,再逐步补高频。人作画也类似:先定构图与色块,再勾线,最后点高光。

VAR 把这个观察变成了一条可训练的序列顺序。r1r_1 承载「这张图大致是什么」,r2r_2 补上更精确的布局,越往后越是局部细节。每一步的预测难度被摊平了:模型不需要在第一步就决定某个像素的精确颜色,它只需要在已有整体结构的约束下把分辨率翻一倍。

这条顺序还有一个数学上的好处。因为每个 rkr_k 只依赖更粗的尺度,前缀长度是可控的:第 kk 步要看的上下文是 ∑i<khiwi\sum_{i<k}h_iw_i 个 token,而不是整张图的 hwh w 个 token。这与「先拍扁再逐步补全」的上下文增长方式完全不同——后者的第 tt 步要看 t−1t-1 个 token,一直增长到 n2n^2;前者的第 kk 步只看到「已经生成的那部分尺度」,而最细的尺度只在最后一步才需要被看到。

与掩码生成模型的区别

这里容易与 MaskGIT 一类掩码生成模型(masked generative model)混淆,两者确实都是「少步数、每步并行出多个 token」,但机制不同。MaskGIT 的序列仍然是拍扁的一维序列,训练时随机遮住一部分 token 让模型预测,推理时迭代若干轮:每轮并行预测所有被遮位置,然后按置信度保留一部分、把其余的重新遮住,下一轮再猜。它没有固定的尺度顺序,也没有「粗尺度先完成、细尺度后补」的层级关系;迭代轮数是超参数(论文用 8 轮),每轮都在同一个分辨率上重做。

VAR 只有一条路径:尺度 1→2→⋯→K1\to2\to\dots\to K,每个尺度只生成一次,没有 mask token,没有重采样。生成的每一步都是「在已知更粗版本的前提下补细节」,这与扩散模型的多次去噪也不一样——扩散每一步都在同一分辨率上修改全部像素,VAR 每一步都在扩大分辨率。三种范式的对比可以这样记:扩散是「同一张画布反复擦改」,掩码生成是「同一张画布分块填空」,VAR 是「换更大的画布重画一遍」。

复杂度:从 O(n6)O(n^6) 到 O(n4)O(n^4)

论文附录给出了 VAR 的复杂度证明。设第 kk 个尺度的边长 nk=ak−1n_k=a^{k-1}(a>1a>1 为常数),最终尺度 nK=nn_K=n,因此 K=log⁡an+1K=\log_a n+1。到第 kk 步为止,序列里已有

∑i=1kni2=∑i=1ka2(i−1)=a2k−1a2−1\sum_{i=1}^{k}n_i^2=\sum_{i=1}^{k}a^{2(i-1)}=\frac{a^{2k}-1}{a^2-1}

个 token。一次注意力前向的成本与「当前序列长度的平方」成正比,即

(a2k−1a2−1)2\left(\frac{a^{2k}-1}{a^2-1}\right)^2

把所有步加起来:

∑k=1log⁡an+1(a2k−1a2−1)2∼O(n4)\sum_{k=1}^{\log_a n+1}\left(\frac{a^{2k}-1}{a^2-1}\right)^2\sim O(n^4)

和式里最大的一项是最后一步,它约为 O(n4)O(n^4),其余项被几何级数压小,所以总和还是 O(n4)O(n^4)。迭代步数则从 O(n2)O(n^2) 降到 O(log⁡n)O(\log n)。

两个结论都值得记住:

  • 步数从二次降到对数。 16×16 的码图,传统自回归要 256 步;VAR 用 10 个尺度只要 10 步。步数决定了推理的串行深度,这是延迟的硬下限。
  • 总算力从六次降到四次。 注意这里 nn 是最终码图的边长,token 总数是 n2n^2。所以 O(n4)O(n^4) 相当于「token 数的平方」,而 O(n6)O(n^6) 是「token 数的立方」。分辨率翻倍时,传统自回归的算力涨 64 倍,VAR 只涨 16 倍。

论文的推导假设各尺度边长按等比数列增长。实际配置 (1,2,3,4,5,6,8,10,13,16)(1,2,3,4,5,6,8,10,13,16) 并不是严格等比,但增长趋势一致,量级结论不变。

第一阶段:多尺度 VQVAE,用残差量化造一座 token 金字塔

VAR 的训练分成两个互不相干的阶段:先训练一个能产出多尺度 token 图的自编码器,再用它产出的 token 训练 Transformer。这个安排与潜空间扩散几乎相同——先解决「图像 ↔ 潜空间」的映射,再在潜空间里做生成——但 VAR 的潜空间不是一个连续的 h×w×Ch\times w\times C 张量,而是 KK 层分辨率递增的离散 token 图。

VAR 论文图 4:多尺度 VQVAE 与 VAR Transformer 的两阶段训练流程

上图是论文 Figure 4,左边是第一阶段的编码路径,右边是第二阶段的 Transformer。左半部分需要仔细看:同一张图经过编码得到特征图 ff,然后被依次在 1×11\times1、2×22\times2、…、16×1616\times16 的分辨率上量化,量化的不是原始 ff,而是每次被更粗尺度解释之后剩下的残差。图下方那行标注 L=12+22+32+⋯+162L=1^2+2^2+3^2+\dots+16^2 就是序列里所有尺度的 token 总数。

编码:逐尺度剥离残差

论文附录的 Algorithm 1 是完整流程:

输入:图像 im,尺度数 K,分辨率 (h_k, w_k), k = 1..K
f = E(im)
R = []
for k = 1 .. K:
r_k = Q( interpolate(f, h_k, w_k) ) # 在粗分辨率上量化当前残差
R.append(r_k)
z_k = lookup(Z, r_k) # 查码本
z_k = interpolate(z_k, h_K, w_K) # 升采样回最细分辨率
f = f - φ_k(z_k) # 扣掉这一层已经解释的部分
返回 R = (r_1, ..., r_K)

关键在于 f = f - φ_k(z_k) 这步减法。ff 不是每轮都从原始特征图重新插值,而是一个「还没被解释掉的残差」,每轮减去当前尺度用码本重建出来的那一部分。于是:

  • r1r_1 量化的对象是原始 ff 在 1×11\times1 上的投影,它只能承载整张图的全局摘要;
  • r2r_2 量化的是「ff 减去 r1r_1 解释的部分」在 2×22\times2 上的投影,它记的是比 1×11\times1 多出来的那点结构信息;
  • 依此类推,最后一层 rKr_K 记录的是其他所有尺度都解释不了的高频残差。

这样构造出的 token 图天然满足 VAR 的数学前提:rkr_k 的生成过程只用到原始特征图 ff 减去前缀各层已解释部分之后剩下的残差,而这个残差完全由 ff 与 r1,…,rk−1r_1,\dots,r_{k-1} 决定。换句话说,从量化流程的结构上就保证了「第 kk 个尺度不包含比它更细尺度的信息」,不需要事后加约束。这一点是 VAR 与「直接把 ff 在多个分辨率上独立量化」最本质的区别:独立量化时每一层都看到完整的 ff,层与层之间信息高度重叠,训练时模型从粗尺度能读到的信息里已经混进了细尺度的内容,前缀假设被破坏。

解码:把金字塔加回去

解码是编码的镜像(Algorithm 2):

f_hat = 0
for k = 1 .. K:
z_k = lookup(Z, r_k)
z_k = interpolate(z_k, h_K, w_K)
f_hat = f_hat + φ_k(z_k)
im_hat = D(f_hat)

每层 token 查表得到码字向量,升采样到最细分辨率,再经过该层专属的卷积 ϕk\phi_k,最后把所有层加起来送进解码器。ϕk\phi_k 是 KK 个额外的卷积层,总共只增加约 0.03M 参数——量级上可以忽略,但它们承担了一个具体职责:把低分辨率码字升采样到高分辨率时,双线性插值会产生模糊与块状伪影,ϕk\phi_k 学的就是补偿这些损失的变换。论文只说明这是为了「解决升采样带来的信息损失」,没有给出无卷积的对照数字。

这里有个容易忽略的工程细节:所有尺度共用一个码本 ZZ,V=4096V=4096。共享码本带来两个直接后果。好处是词表统一:Transformer 只需要一张 4096×C4096\times C 的嵌入表,所有尺度的 token 都从同一个词表取值,输出头也只有一个。代价是粗尺度的 token 必须用与细尺度相同的 4096 个「词汇」来表达——1×11\times1 那个 token 得从 4096 个码字里挑一个来概括整张图,表达能力天然受限。论文沿用这个设置,是为了把变量控制在「自回归范式」本身,tokenizer 的容量上限被留作后续工作的改进空间。

尺度表与 token 账本

官方实现里 10 个尺度的边长是

patch_nums = (1, 2, 3, 4, 5, 6, 8, 10, 13, 16)

对应的 token 数分别是 1,4,9,16,25,36,64,100,169,2561,4,9,16,25,36,64,100,169,256,总和

∑k=110nk2=680\sum_{k=1}^{10}n_k^2=680

这个数字值得停一下。传统自回归在 16×16 码图上只需要生成 256 个 token,而 VAR 的序列有 680 个位置——VAR 生成的 token 总量是前者的 2.65 倍,却快了将近 20 倍(论文报告的口径)。原因不难看出:传统自回归把这 256 个 token 排成 256 个串行步骤,每一步只处理 1 个 token;VAR 把 680 个 token 分成 10 组,每组一次性并行处理,而且后面几个尺度(169+256=425 个 token)占了全部 token 的六成以上,都压在最后两步的密集计算里。第 10 个尺度一步就要输出 256 个 token,这一步的注意力是「256 个查询位置对 680 个缓存位置」,矩阵乘法的形状饱满。单请求的 LLM 解码每步只处理一个 token,算术强度接近 1 FLOP/Byte;即便把多个请求拼成一个 batch,每个请求贡献的仍只是一个 token,权重读取与计算的比例依然偏向带宽。VAR 的一次前向里,同一份权重服务了整块尺度上的数百个 token,算术强度天然高一档。

这一点直接连到推理系统的性能模型:LLM 解码慢,本质是每步只处理一个 token,计算退化成矩阵乘向量,受显存带宽限制;VAR 的每一步都是多 token 的矩阵乘矩阵,算术强度(arithmetic intensity)高得多。同样是自回归,VAR 的解码阶段没有 LLM 那种严重的带宽瓶颈。

第二阶段:VAR Transformer 的具体结构

论文刻意把 Transformer 保持得「简单」。主干就是 GPT-2 风格的 decoder-only 结构,额外加了自适应层归一化(Adaptive Layer Normalization,AdaLN),没有用 RoPE 位置编码,没有 SwiGLU,也没有 RMSNorm。这样做的目的是把变量隔离在「自回归范式」上:如果同时换一堆结构技巧,就无法判断收益来自 next-scale prediction 还是来自某个组件。

条件注入:class embedding 走两条路

类别条件生成时,类别嵌入有两个去处。第一,它被放在序列最前端,充当起始 token [s][s]——第 1 个尺度(1×11\times1)的预测就以它为条件。第二,它被送进每一层的 AdaLN,作为仿射变换的参数来源:

AdaLN(h,c)=γ(c)⊙LN(h)+β(c)\mathrm{AdaLN}(h,c)=\gamma(c)\odot\mathrm{LN}(h)+\beta(c)

hh 是该层的输入隐状态,LN\mathrm{LN} 是层归一化,γ(c)\gamma(c) 与 β(c)\beta(c) 是由条件嵌入 cc 经线性层得到的缩放与偏置向量,⊙\odot 是逐元素乘。与 cross-attention 注入条件相比,AdaLN 只增加两个 C→CC\to C 的线性映射,计算量可以忽略,却被 DiT、LDM 等一批生成模型验证有效。为什么有效:层归一化之后每个 token 的分布被标准化,AdaLN 再按条件把它拉伸、平移。这相当于用条件去调节整层的「工作点」,而不是让每个 token 自己去查询条件——对于「整张图都属于同一类别」这种全局条件,前者更匹配问题的结构。

块级因果掩码

训练时序列是 [s],r1,r2,…,rK−1[s],r_1,r_2,\dots,r_{K-1},按尺度分块,长度分别为 1,4,9,…,1691,4,9,\dots,169。注意力掩码是块级因果的:

  • 第 kk 块的 query 可以看第 jj 块的 key,当且仅当 j≤kj\le k;
  • 块内不做三角掩码,同一尺度内的所有 token 互相全连接。

官方实现里这个掩码就是一行按尺度编号构造的矩阵:给每个位置标上它所属的尺度编号 dd,查询位置 did_i 对键位置 djd_j 可见当且仅当 di≥djd_i\ge d_j。块内全连接是「尺度内并行」能够成立的原因:同一尺度的全部 token 共享同一份前缀表示,它们之间互相补充信息,一起决定当前尺度的整体样子。这不是自回归依赖——它们不是「先有 aa 才有 bb」,而是「共同受前缀约束的一组变量」。

由于输入序列比输出目标错开一位,第 kk 块位置的输出 logits 预测的是第 k+1k+1 个尺度。所以「第 kk 块的 query 只能看到 ≤k\le k 块」等价于「预测 rk+1r_{k+1} 时只用到 r1,…,rkr_1,\dots,r_k」,正是 next-scale prediction 要的依赖关系。

推理时情况反过来简单:KV 缓存逐个尺度追加,当前尺度的 query 对缓存里所有历史 key 做注意力,不需要任何掩码。也就是说,训练用一个静态掩码矩阵教会模型「只能看前缀」,推理时因为前缀天然已经生成完,掩码自动满足。

参数量与宽度规则

论文给了一个简单的形状规则:宽度 ww、头数 hh、dropout 率与深度 dd 线性挂钩,

w=64d,h=d,dropout=0.1⋅d/24w=64d,\qquad h=d,\qquad \mathrm{dropout}=0.1\cdot d/24

按这个规则,每层的参数量可以拆成三块:自注意力 4w24w^2(Q/K/V/O 四个 w×ww\times w 矩阵)、前馈网络 8w28w^2(中间维度 4w4w,两个矩阵)、AdaLN 6w26w^2(每个注意力块一个、每个前馈块一个、输出头一个,各两个 w×ww\times w)。总计

N(d)=d⋅4w2+d⋅8w2+d⋅6w2=18dw2=73728 d3N(d)=d\cdot 4w^2+d\cdot 8w^2+d\cdot 6w^2=18dw^2=73728\,d^3

代入具体深度核对一下:d=16d=16 时 w=1024w=1024,参数量约 302M(论文表中 310M,差额来自嵌入层);d=30d=30 时 w=1920w=1920,约 1.99B(表中 2.0B)。这个三次方关系意味着把深度从 16 提到 30,参数量涨 6.6 倍——与表 1 中 310M 到 2.0B 的比例一致。

训练配置

论文报告的训练设置:基础学习率 10−410^{-4}(按 256 的 batch size 计),AdamW 优化器,β1=0.9\beta_1=0.9、β2=0.95\beta_2=0.95、权重衰减 0.05,batch size 取 768~1024,训练 200~350 个 epoch(依模型大小而定)。扩展性研究里一共训练了 12 个不同规模的模型,从 18M 到 2B 参数;ImageNet 每轮 1.28M 张图,按每图 680 个 token 折算约 8.7 亿个图像 token,最大训练量达到 305B token。

一个容易被忽略的对比:DiT-XL/2 训练了 1400 个 epoch,VAR 的 2B 模型只用了 350 个。论文把这归为数据效率——同样的数据重复更少遍就能收敛。当然这里有 tokenizer 不同的因素(DiT 用连续潜变量,VAR 用离散 token),不能简单归因于 next-scale prediction,但同族比较(AR 基线换 VAR 范式)的消融支持了范式本身的贡献。

推理:10 步,每步一整块 token

官方实现把生成循环写得很紧凑,核心逻辑如下(删去采样器与批处理细节):

# 初始化:sos 即类别条件,从 1x1 尺度开始
next_token_map = sos + pos_start + lvl_pos[:, :1]
cur_L = 0
f_hat = zeros(B, Cvae, 16, 16)
for si, pn in enumerate(patch_nums): # pn = 1, 2, 3, ..., 16
ratio = si / (len(patch_nums) - 1)
cur_L += pn * pn
x = next_token_map # 当前尺度块的输入嵌入
for block in blocks: # KV 缓存已打开
x = block(x, cond_BD=ada_lin(cond))
logits = head(norm(x, cond)) # (B, pn*pn, V)
t = cfg * ratio # 引导强度随尺度线性增强
logits = (1 + t) * logits[:B] - t * logits[B:] # 条件/无条件同批计算
idx = top_k_top_p_sample(logits, top_k=600) # 每个位置独立采样
z = codebook.embedding(idx) # 查码本
f_hat, next_token_map = next_scale_input(si, f_hat, z)
# f_hat 累加 φ_k(z_k),next_token_map 由嵌入 + 层级 + 位置编码构成

这段代码里有四处值得展开。

分类器无关引导(classifier-free guidance,CFG)按尺度渐进。 引导系数写成 cfg⋅ratio\mathrm{cfg}\cdot \mathrm{ratio},ratio\mathrm{ratio} 从第 1 个尺度的 0 线性增长到最后一个尺度的 1。也就是说,最粗的尺度几乎不加引导,越细的尺度引导越强。官方实现里 batch 被复制成两份,一份带类别条件、一份不带,一次前向同时算出两组 logits,再按上式组合——这比跑两次前向省一半时间。为什么要渐进:粗尺度决定的是全局构图,过强的引导会把结果拉向「类别最典型的模板」(例如「狗」就变成一只标准姿态的狗),牺牲多样性;细尺度决定纹理与边缘,需要更强的条件约束才能保证细节与类别一致。这个「先放松、后收紧」的调度与扩散模型里常见的引导退火思路一致,都是把强引导放在生成的后期。

采样在尺度内是独立的。 logits 的形状是「当前尺度的所有位置 × 词表」,top-k 采样逐位置进行,位置之间不共享随机数,也没有顺序依赖。这意味着第 10 个尺度一次要做出 256 个独立的类别决策,全部由同一份前缀表示决定。这是 VAR 与「一次生成一个 token」最直观的差别,也是它快的直接来源。

状态更新是「累加 + 重新嵌入」。 每一步产出的 token 索引先查码本得到 zkz_k,再分两路走:一路按 f^←f^+ϕk(zk)\hat f \leftarrow \hat f+\phi_k(z_k) 累加进重建特征图;另一路经过 zkz_k 的词嵌入、加上尺度层级嵌入与位置编码,成为下一步的输入。注意这两路用的是同一个码字向量但不同的映射:前者是「像素空间的重建贡献」,后者是「Transformer 的输入表示」。层级嵌入(level embedding)告诉模型当前在哪个尺度,位置编码告诉它在尺度内的行列位置——同一个 2×22\times2 位置在第 2 步与第 9 步的含义完全不同,必须区分。

KV 缓存只增不减。 第 kk 步的 key/value 覆盖 ∑i≤kni2\sum_{i\le k}n_i^2 个位置,到最后一共 680 个。整个请求的缓存规模因此是固定的 680 个位置 × 层数 × 2,远小于一个长上下文 LLM 的 KV 缓存。这带来一个有意思的服务特性:VAR 请求的显存占用很小,单卡能并发的请求数由激活值与权重决定,而不是被 KV 缓存吃掉。

串行深度只有一个数量级。 10 步意味着端到端延迟大致是「10 次 Transformer 前向 + 一次 VAE 解码」。扩散模型要 20~250 次去噪网络前向,每一步都在全分辨率上跑,且每步的计算量比 VAR 的一次前向大得多(256 个 latent token 变成 1024 甚至 4096 个)。论文表 1 里 DiT-XL/2 的墙钟时间是 VAR 的 45 倍,主要来自这个差距。

从推理系统的角度看,VAR 的解码路径更接近「一组短 prefill」而不是 LLM 的 decode:每步的输入是一整块 token,计算形状饱满,带宽压力主要在权重与 KV 缓存上,而不在「每步只搬一次全部权重」的极端情形。它的瓶颈因此转移到了调度粒度——批的成员由当前处在哪个尺度的请求决定,处在不同阶段的请求无法合并进同一个前向(前缀与当前尺度都不同)。这与 LLM 服务里 prefill 与 decode 混合批的调度问题同构:两者都需要按同一迭代阶段的请求归组,再把不同组之间的计算流水叠起来。可参考 连续批处理完全拆解:Orca 的迭代级调度与选择性批处理,其中的迭代级调度思想(每次迭代重新决定批的成员)正是 VAR 服务层需要的调度模型。

实验数据:VAR 处在哪个量级

论文的核心对照表覆盖了 ImageNet 256×256 类别条件生成上的五个模型家族:GAN、扩散、掩码预测、传统自回归,以及 VAR 自己。下表摘出与讨论相关的行(完整表见论文 Table 1):

类型模型FID↓IS↑参数量#步
扩散DiT-XL/22.27278.2675M250
扩散L-DiT-3B2.10304.43.0B250
扩散L-DiT-7B2.28316.27.0B250
掩码MaskGIT6.18182.1227M8
自回归VQGAN15.7874.31.4B256
自回归VQGAN-re5.20280.31.4B256
自回归ViTVQ4.17175.11.7B1024
自回归RQTran.-re3.80323.73.8B68
VARVAR-d163.30274.4310M10
VARVAR-d202.57302.6600M10
VARVAR-d242.09312.91.0B10
VARVAR-d301.92323.12.0B10
VARVAR-d30-re1.73350.22.0B10
参考验证集真实数据1.78236.9——

几个观察:

  • 最小的 VAR(310M)就超过了 1.4B 的 VQGAN 与 1.7B 的 ViTVQ。 FID 3.30 对 15.78(VQGAN)和 4.17(ViTVQ)。这不是小改进,而是量级差。
  • 参数越大越稳。 310M → 600M → 1.0B → 2.0B,FID 单调下降 3.30 → 2.57 → 2.09 → 1.92。相比之下 DiT 从 675M 到 3B 再到 7B,FID 是 2.27 → 2.10 → 2.28,在 3B 之后开始回退。VAR 论文把这一点当作扩展性的证据。
  • 带拒绝采样(-re)的 2B VAR 做到 1.73,已经低于验证集真实图像的 FID 参考下界 1.78——这是 FID 指标的已知局限(代理特征空间里,生成分布的统计量可以比真实分布更「漂亮」),不代表画质真的超过真实图像,但说明 FID 空间已经被打满了。
  • 步数最少。 10 步对比扩散的 250 步、传统自回归的 256/1024 步。
VAR 论文图 10:同一组类别下 GAN、MaskGIT 与 VAR 的生成样例对比

上图是论文 Figure 10 的模型对比,同一组类别标签下并列 BigGAN(FID 6.95)、VQVAE-2(31)、MaskGIT(6.18)与 VAR(1.92)的生成结果。对比的重点不在单个样本好不好看,而在结构层面:传统自回归在样本里常出现「前几行画对了、后面逐渐走形」的现象——这是光栅顺序把全局结构拆成局部决策的直接后果;VAR 先从全局轮廓起步,整体结构一致性明显更好。

延迟与数据效率上,论文给出的对比是:DiT-XL/2 的墙钟时间约为 VAR 的 45 倍;训练方面 DiT-XL/2 用 1400 个 epoch,VAR 只用 350 个。同条件消融里,把传统 AR 基线直接换范式(不加大模型、不加采样技巧),FID 从 18.65 降到 5.22,推理墙钟成本只有原来的 0.013 倍——也就是说同样的质量提升,代价降了两个数量级。这条消融最有说服力,因为它只动了一个变量。

论文还在 512×512 上测了结果。受显存限制,512 版本只能用一层共享的 AdaLN,模型记作 VAR-d36-s,FID 2.63、IS 303.2;同一基准下 DiT-XL/2 的 FID 是 3.04。

扩展规律:多尺度预测为什么能随参数平滑受益

论文训练了 12 个模型(深度 6 到 30,18M 到 2B),在 ImageNet 验证集上测测试损失 LL 与 token 预测错误率 Err\mathrm{Err}。按扩展规律的常规形式

L=(β⋅X)αL=(\beta\cdot X)^{\alpha}

其中 XX 可以是模型参数量 NN 或最优训练算力 Cmin⁡C_{\min},α\alpha 是幂律指数,β\beta 是缩放常数,log⁡L\log L 与 log⁡X\log X 应呈线性。论文拟合的结果:

Llast=(2.0⋅N)−0.23,Lavg=(2.5⋅N)−0.20L_{\text{last}}=(2.0\cdot N)^{-0.23},\qquad L_{\text{avg}}=(2.5\cdot N)^{-0.20}

下标最后/平均分别对应「只统计最后尺度」与「统计全部尺度」。token 错误率也服从幂律,但指数更小:

Errlast=(4.9×102N)−0.016,Erravg=(6.5×102N)−0.010\mathrm{Err}_{\text{last}}=(4.9\times10^{2}N)^{-0.016},\qquad \mathrm{Err}_{\text{avg}}=(6.5\times10^{2}N)^{-0.010}

以 Cmin⁡C_{\min} 为自变量时,Llast=(2.2×10−5Cmin⁡)−0.13L_{\text{last}}=(2.2\times10^{-5}C_{\min})^{-0.13},Erravg=(4.4×10−2Cmin⁡)−0.011\mathrm{Err}_{\text{avg}}=(4.4\times10^{-2}C_{\min})^{-0.011},相关系数接近 −0.99-0.99。

如何读这些数字:

  • 能拟合到幂律本身就是结论。 如果多尺度自回归的拟合难度随尺度变化、或者某些尺度无法从更粗的尺度推理,那么在 NN 与 LL 的对数图上会看到弯折或平台。论文在跨越三个数量级的参数规模上没有看到这种偏离,说明「从粗到细的预测」是随模型容量平滑受益的——每个尺度都能从更多参数与更充分的上下文中获益。
  • 错误率指数很小不代表没效果。 错误率是离散的命中率,词表 4096 下随机猜中概率约 2.4×10−42.4\times10^{-4}。从 18M 的模型到 2B 提升一个数量级的参数,命中率只涨百分之几是正常的——大部分 token 的分布已经非常尖锐,正确 token 本来就在前列,剩下的提升空间来自「最难的少数位置」。
  • 与 LLM 的对照。 LLM 的扩展规律指数通常更陡(损失随参数下降更快),VAR 的 0.230.23 相对温和。合理解释是图像 token 的分布比语言更「稠密」:同一张图在 4096 词表上存在很多高概率的合理 token 组合,困惑度本身就低,损失的下降空间被压缩了。论文自己也承认,与语言模型的扩展规律相比,指数偏小意味着「每个参数带来的 FID 提升」在某个规模之后会越来越慢。

除了拟合,论文还给出一个定性观察:把同一组随机种子、同一组初始 token 交给 4 个不同规模(深度 6、16、26、30)与 3 个训练阶段(20%、60%、100%)的模型,生成的样本在物体结构、数量、朝向上的正确率随规模与训练量稳定提高。这比单一指标更能说明扩展规律不是指标偶然。

零样本能力:修补、外扩与局部编辑

这是 VAR 最有趣的部分,因为它证明了「尺度顺序」带来的不仅是效率,还有语义结构上的对称性。

论文用 VAR-d30(无类别条件)测试了两个任务,不做任何微调:

  • 图像修补(in-painting):给定一张图,遮住中间某个区域,要求模型补全遮罩内的内容。
  • 图像外扩(out-painting):给定一张图,要求模型在某个方向扩出更多内容。
  • 类别条件编辑:给定一张图和目标类别,要求模型只在某个框内生成符合该类别的对象,同时与周围融合。
VAR 论文图 8:零样本图像修补、外扩与类别条件编辑

上图是论文 Figure 8。每一行从左到右是「输入 / 遮罩 / 生成结果」的组合,覆盖了修补、外扩、编辑三类任务。

机制上的关键在「教师强制」。VAR 的推理循环只需要知道前面尺度的 token;如果某个尺度的部分 token 已知(例如用户提供的上下文),模型就把这些位置用教师强制直接填入真值 token,只对缺失的位置进行采样。这与语言模型做「前缀续写 / 中段填空」是同一类操作,区别在于填空单位是整块尺度。

为什么 VAR 能做修补而传统自回归不行?因为按 scale 的序列没有「谁在谁前面」的几何含义。在行优先自回归里,遮罩后方的 token 理论上只能在遮罩前方生成完之后才能生成,所以「先有下半再有上半」可行、「先有上半再有下半」不行。在 VAR 里,第 kk 个尺度的每个位置与第 jj 个尺度的每个位置之间没有几何上的先后——尺度决定的是「精度」,不是「位置」。所以「下半部分已知、上半部分未知」这种条件,在 VAR 里与「上半已知、下半未知」完全对称:两者都只是「某些尺度的某些位置已知」,剩下位置并行补全。这就是问题二的解。

论文强调这是「初步验证」而非完美结果——零样本修补在复杂纹理的边缘处会失效,外扩在远处会出现重复结构。但这说明了架构层面的一个事实:只要自回归的顺序与图像的几何方向解耦,模型就天然具备任意方向的条件推理能力。 这与 LLM 的 in-context 「填空」能力在结构上非常相似,也是论文反复类比 LLM 的原因。

一个有意思的工程延伸:VAR 的零样本能力对服务系统的影响在于,用户可能提交「带遮罩的生成请求」,输入 token 变长且部分位置不需要采样。这会影响 batch 的形状与调度的粒度——不同请求的「已知位置数」不同,同一尺度的有效采样位置数不同,这与变长验证的批处理问题同类(可参考 DeepInfer 源码拆解(二十六):多 token 的账本——变长验证的扁平行布局与 RequestOutput 对象池,两者都在处理「同一批里各请求的有效位置数不同」的结构)。论文本身没有做服务层面的设计,这部分是推理系统需要自己补的工程。

消融:收益到底来自哪一环

论文 Table 3 的消融设计得很清楚:从 MaskGIT 论文里实现的 GPT-2 式 AR 基线出发,每一步只加一个变量。

#描述参数量AdaLNTop-kCFG推理成本FID↓Δ
1AR 基线227M✗✗✗118.650.00
2换 VAR 范式207M✗✗✗0.0135.22−13.43
3+ AdaLN310M✓✗✗0.0164.95−13.70
4+ Top-k 采样310M✓600✗0.0164.64−14.01
5+ CFG 2.0310M✓600✓0.0223.60−15.05
5+ Q/K 归一化310M✓600✓0.0223.30−15.35
6扩展到 2.0B2.0B✓600✓0.0521.73−16.85

第 2 行最有分量。参数量从 227M 降到 207M(因为序列短了、嵌入层变小),但 FID 从 18.65 跳到 5.22,推理成本从 1 降到 0.013。模型没有变强、没有加采样技巧,只换了预测顺序,收益超过后面所有技巧之和。这说明 next-scale prediction 解决的是根上的问题(四个结构性缺陷),而不是在末端调参。

第 5 行里出现了一个论文没详细展开的「Q/K 归一化」:在注意力之前把 query 与 key 都归一化成单位向量。论文的说法是它能让训练更稳定。机制上的直觉是:块级掩码让同一尺度内的 token 两两全连接,注意力分数矩阵是稠密的,数值范围比三角掩码时更大,分数容易饱和导致梯度消失。把 q/k 归一化后,注意力分数是余弦相似度,有界于 [−1,1][-1,1],softmax 的输入范围被压住。代价是丢掉向量模长信息——但模型之后可以用隐状态的范数重新表达它。这一项带来的 FID 提升(3.60 → 3.30)很小,稳定性的收益在论文里没有量化,属于工程常识层面的补丁。

第 6 行的成本从 0.022 涨到 0.052,与参数量 6.6 倍的涨幅不成比例(只涨 2.4 倍)。原因是深度涨了之后,每个前向的算力和显存都涨了,但步数不变、VAE 解码不变;同时序列只有 680 个位置,attention 部分始终是线性于序列长度的浅代价,主要成本在 FFN 与 logits 投影。这再次说明 VAR 的推理瓶颈不在长序列注意力。

局限,以及这条路线后来走到了哪

论文自己对局限说得很克制,主要提了三点。

tokenizer 是关键瓶颈。 VAR 刻意沿用 VQGAN 的 tokenizer,4096 词表加 16×16\times 下采样在 ImageNet 规模上够用,但在更复杂的图像分布(自然语言描述的真实图像)上,重建质量会拖住生成质量。一个直观的验证:HART(Hybrid Autoregressive Transformer,麻省理工韩松团队,2024 年 10 月)在 MJHQ-30K 上测过,只用离散 VAR tokenizer 的重建 FID 是 2.11,比它自己设计的混合 tokenizer 差一个数量级;换成混合 tokenizer 后生成 FID 从 7.85 降到 5.38。也就是说在 text-to-image 场景里,离散 tokenizer 的容量上限会直接吃掉范式本身的收益。

词表容量与 token 数的矛盾。 一张 256 个 token 的图,每个 token 从 4096 个码字里选,表达能力很有限。若把词表放大到几十万,嵌入层与输出头的参数会暴涨,交叉熵的 softmax 也变贵;若把 token 数放多(下采样更少),序列变长,虽然是并行生成,但最后一个尺度的 token 数会成倍增加,算力回到「token 数的平方」。

text-to-image 与视频尚未实现。 论文明确说文本条件生成与视频生成是「正在进行的工作」。VAR 本身就是类别条件模型,接上文本编码器、把类别嵌入换成文本嵌入是自然延伸,论文把这个方向的实现成本估计得较低。

这三点后来都有人做了具体实现,值得顺着看:

  • Infinity(字节跳动,2024 年 12 月):把「词表无限大」这个想法落地成 bitwise token。每个 token 不再是一次从 4096 个码字里选取,而是逐 bit 预测,每个 bit 对应一个 65536 词的码本位置,词表容量理论上没有上限;配套的 bitwise 自纠正机制在推理时把低置信度的 bit 重新预测。词表变大后,tokenizer 的重建质量提升,同时 Transformer 规模继续扩展。论文报告它的 GenEval 分数从 SD3-Medium 的 0.62 提到 0.73、ImageReward 从 0.87 提到 0.96,文本到图像能力已经能和一线扩散模型对话。对 VAR 范式而言,这是「tokenizer 与词表容量是上限」那条局限的正面回应。
  • HART(2024 年 10 月):走的是另一条岔路。它认为纯离散 token 表达不了高频细节,于是把 VAE 的连续潜变量拆成两部分:离散 token 负责「大图」(整体结构),连续残差负责「细节」(离散 token 表达不了的部分),残差交给一个只有 37M 参数的轻量扩散模块去补。离散部分用可扩展分辨率的 AR 模型,也就是 VAR 式的多尺度生成。结果是在 1024×1024 上直接生成,重建 FID 从 2.11 降到 0.30、生成 FID 从 7.85 降到 5.38,且吞吐比所比较的扩散模型高 4.5~7.7 倍。这条路线把 VAR 的范式与「连续潜变量」结合,相当于承认「离散语义 + 连续细节」是更现实的组合。

把这些进展串起来看,VAR 的贡献在于把自回归图像生成的结构前提重新定清楚。它不解决所有的工程问题(tokenizer 容量、文本条件、视频、服务调度),但它把「多尺度的自回归单位」立成了可以继续往上叠的范式。后面所有工作的共同改动点都是「tokenizer 怎么变强」「词表怎么变大」「条件怎么接」,而生成顺序的多尺度结构保持不变。

小结:换一个单位,换一条量级

VAR 的核心可以一句话说完:把图像自回归的单位从「一个 token」换成「一个尺度的 token 图」,按由粗到细的顺序预测,每个尺度内部并行生成。

由此带来的结构性收益:

  • 前缀假设被真正满足——多尺度 VQVAE 的残差量化在流程层面保证了粗尺度不包含细尺度信息;
  • 空间局部性得以保留——没有拍扁操作,同一尺度内全连接,块间按尺度掩码;
  • 复杂度从 O(n6)O(n^6) 降到 O(n4)O(n^4),步数从 O(n2)O(n^2) 降到 O(log⁡n)O(\log n),实测推理快约 20 倍;
  • 零样本能力——尺度顺序与几何方向解耦,「任意方向的条件推理」成为自然能力而非特殊设计;
  • 扩展规律成立——测试损失随参数走幂律,d=6d=6 到 3030 没有偏离。

代价与边界:

  • 序列长了(680 个位置对 256 个),但换来的是并行度,总盘算下来还是快;
  • tokenizer 是天花板,4096 词表加 16×16\times 下采样在复杂分布上不够用;
  • 训练拆成两阶段,tokenizer 与生成模型的目标不完全耦合,tokenizer 的更新未必直接转化为生成质量的提升;
  • 推理调度有一个新问题:不同请求处在不同尺度,批的成员「每一步都在变」,需要连续批处理一类调度策略。

对一个看过扩散模型的读者,VAR 值得记住的对照是:扩散模型在「同一张画布」上反复修改,自回归在「逐步扩大画布」上补细节,两者都是「从不确定到确定」的逐步精化,但精化的维度不同。VAR 之后,自回归路线在图像生成上不再只是「语言模型的仿制品」,而是有了与语言模型同构又不同频的新形态——与 LLM 共用解码、采样、批处理的经验,但在每一步处理的是整块尺度而非单个 token,解码阶段的带宽瓶颈被绕过。理解 VAR,就是理解「自回归的单位可以换」这件事,以及换单位之后复杂度、前提假设、零样本能力会一起跟着变。

参考资料

  1. Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction(VAR 论文,arXiv 2404.02905)
  2. VAR 官方开源仓库(FoundationVision/VAR)
  3. Taming Transformers for High-Resolution Image Synthesis(VQGAN,CVPR 2021)
  4. Zero-Shot Text-to-Image Generation(DALL·E 1)
  5. Vector-quantized Image Modeling with Improved VQGAN(ViT-VQGAN)
  6. Autoregressive Image Generation using Residual Quantization(RQTransformer)
  7. MaskGIT: Masked Generative Image Transformer(CVPR 2022)
  8. Scalable Diffusion Models with Transformers(DiT,ICCV 2023)
  9. Generating Diverse High-Fidelity Images with VQ-VAE-2
  10. Infinity: Scaling Bitwise AutoRegressive Modeling for High-Resolution Image Synthesis
  11. HART: Efficient Visual Generation with Hybrid Autoregressive Transformer

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

Visual Autoregressive Modeling 完全拆解:把图像生成改写成「从模糊到清晰」的下一尺度预测
https://pinghaoyang.com.cn/articles/insights/posts/visual-autoregressive-models-var/
作者
平昊阳
发布于
2026-11-19
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录