正在获取所在地区…
正在读取天气
音乐
暂未播放
Visual Autoregressive Modeling 完全拆解:把图像生成改写成「从模糊到清晰」的下一尺度预测
从「按 token 排队」到「按尺度长大」
把图像生成交给自回归模型,是很自然的念头。语言模型已经在做同一件事:按顺序吐出 token,每一步都看着前面已经写出的内容。图像若也能被切成 token,照此推进,就能复用语言模型积累下来的整套经验——统一的目标函数、可预测的扩展规律、丰富的采样技巧。这条路最早由 DALL·E 与 VQGAN 一类工作开辟,后来被 ViT-VQGAN、RQTransformer 等一路加宽,它们的共同做法是:先用一个矢量量化器把图像压成 h×w 个离散 token,再把这张二维 token 网格按某一种固定顺序(光栅扫描、之字形、螺旋)拍扁成一维序列,最后交给一个只看前缀的 Transformer 逐个预测。
做法直白,效果却不理想。在 ImageNet 256×256 的类别条件生成上,VQGAN 的 FID 长期停留在 15~18 的量级,即便配上拒绝采样与更大的模型,ViTVQ 也只是做到 3.04;而同期扩散模型 DiT-XL/2 已经是 2.27。更关键的是,自回归模型的参数涨到十几亿、几十亿(VQVAE-2 用了 13.5B 参数)时,收益已经非常迟钝,而扩散模型还在稳定地往下走。
2024 年,字节跳动与北京大学的团队发表了 Visual AutoRegressive modeling(VAR),直接重建了「图像上的自回归」这个概念本身。它放弃逐 token 的光栅顺序,把自回归的基本单位从单个 token 换成一整个尺度下的 token 图,模型按「先 1×1,再 2×2,再 3×3……」的顺序,从最粗的整体轮廓一路细化到最后的 16×16 细密网格,每一步都一次性并行生成该尺度上的全部 token。论文报告:在 ImageNet 256×256 上,VAR 把自回归基线的 FID 从 18.65 降到 1.73,IS 从 80.4 升到 350.2,同设置下的推理墙钟成本只有基线的约 1.3%。论文称这是自回归路线第一次在质量、多样性、数据效率与推理速度上同时压过 DiT,而不是「在某个单项上打平」。
理解 VAR 需要三块知识:图像如何被切成离散 token(矢量量化)、自回归模型的前缀依赖假设、以及多尺度特征本身的结构。下面从这三块讲起,再拆解 VAR 的两个训练阶段、训练与推理的每个细节、复杂度为什么从 O(n6) 降到 O(n4),最后对照实验数据与它的后续影响。
地基一:一张图怎么变成 4096 个词表里的 token
要让图像走上语言模型的路,第一步是「离散化」。连续像素没法直接套用交叉熵,必须先把图像映射到一个有限词表上。矢量量化自编码器(Vector Quantized Variational Autoencoder,VQ-VAE)给出的方案是:编码器把图像压成一张低分辨率特征图,特征图上的每个位置再被替换成码本里最近的一个向量。
设编码器为 E,解码器为 D,码本为 Z∈RV×C,其中 V 是词表大小、C 是特征维度。对图像 im:
f=E(im),q=Q(f)其中 f∈Rh×w×C 是编码后的特征图,q∈[V]h×w 是每个位置的码字索引。Q 的定义就是逐位置的最近邻查找:
q(i,j)=argv∈[V]minlookup(Z,v)−f(i,j)2lookup(Z,v) 表示取码本中第 v 个向量。这个式子没有任何可学习的参数,它把连续空间切成 V 个沃罗诺伊(Voronoi)胞腔:每个码字是胞腔的中心,落在哪个胞腔里的特征向量就被替换成哪个中心。解码时先查表得到 f^=lookup(Z,q),再由 D 还原成图像 im^=D(f^)。
这里有一个绕不开的训练难题:argmin 这一步不可导。梯度无法穿过「选哪个码字」这个离散决策。工程上的标准解法是直通估计(straight-through estimator):前向真的用查表得到的 f^,反向则假装量化是恒等映射,把 f^ 上的梯度原样抄给 f。这样编码器仍然能收到「往哪个方向改才能让重建更好」的信号。
VQGAN 在 VQ-VAE 的基础上把重建目标从纯 L2 换成复合损失。VAR 沿用同一套 tokenizer 架构,训练时的损失为
L=∥im−im^∥2+∥f−f^∥2+λPLP(im^)+λGLG(im^)前两项分别约束像素空间与特征空间的重建误差;LP 是感知损失(论文用 LPIPS),负责让局部纹理看起来像自然图像;LG 是对抗损失(来自 StyleGAN 式判别器),负责把生成结果的整体分布往真实图像上推,压掉 L2 损失带来的模糊。λP、λG 是两项的权重。只保留前两项时,解码出来的图会明显发糊——因为 L2 对多个合理的高频细节取平均,而人类视觉与感知指标都不喜欢平均值。
几个数字确定了后面讨论的量级。VAR 的 tokenizer 用 V=4096 的码本,空间下采样率 16×:256×256 的图像因此变成 16×16=256 个 token,512×512 的图像变成 32×32=1024 个 token。词表只有 4096,意味着整个 16×16 网格上的 256 个 token 都从同一个 4096 词的词典里选。这个比例很关键:一张自然图像的局部细节远超 4096 种典型模式,tokenizer 必须把这些模式归并成有代表性的类别,重建时再从类别里「脑补」细节。所以 tokenizer 的重建质量直接决定了下游生成模型的画质天花板——这一点在扩散模型里同样成立(潜空间扩散把 VAE 换成了连续潜变量,但「潜空间瓶颈决定画质上限」的道理相同,可参考 扩散模型从零讲起(四):潜空间扩散与条件生成)。
顺带说明这一步为什么值得做。图像像素是连续、高维、冗余的;token 是离散、低维、语义化的。一旦离散化,图像生成就变成「在一个 4096 词表上做序列预测」,可以用交叉熵训练、用 top-k 采样、用 KV 缓存加速——与 LLM 的所有工程经验对齐。这也是自回归图像生成在 2021~2023 年一直有人坚持的根本原因。
地基二:自回归分解,以及二维网格被拍扁的代价
有了 token 序列,标准自回归的做法就是把联合概率拆成条件概率的连乘:
p(x1,x2,…,xT)=t=1∏Tp(xt∣x1,…,xt−1)训练时用教师强制(teacher forcing)并行计算每个位置的条件分布,损失是逐位置交叉熵;推理时逐个采样,已经采出的 token 通过 KV 缓存参与后续计算。这套流程与 GPT 完全一致,区别只在 token 的来源。
问题出在「顺序」上。语言有天然的时间序:第 t 个词必然在第 t+1 个词之前。图像没有这种天然顺序。16×16 的 token 网格要变成一维序列,必须人为规定一条路径。VQGAN 与 DALL·E 用行优先光栅扫描:第一行从左到右,然后第二行,直到最后一行。也有工作尝试之字形(z-curve)或螺旋顺序,想让路径在二维空间上更连续。
无论选哪种路径,都有一个无法回避的代价:路径是人为的,而图像的二维结构是天然的。行优先扫描下,同一个 token 的左右邻居在序列里的距离是 1,上下邻居的距离却是 16。模型要花额外的容量去重新学习「序列上相隔 16 个位置的两个 token 其实是上下相邻」这种几何事实。更要紧的是,一旦序列被定义成单向的,模型就只能用「左上方已经看过的内容」去推断「右下方还没生成的内容」,二维图像天然具备的双向可推断性被强行砍掉了。
这两点是理解 VAR 的入口:它不是给自回归打补丁,而是质疑「把二维网格拍扁成一维」这个前提本身。拍扁是必要的吗?如果不拍扁,自回归还能成立吗?
四个结构性问题:为什么拍扁这条路走不远
VAR 论文把传统图像自回归的弱点梳理成四条,每条都值得单独展开。它们不是「效果差一点」的程度问题,而是由「拍扁 + 单向」这个组合从数学上推出来的结构性缺陷。
问题一:违反前提,模型假设了单向,数据却是双向的。 自回归分解的前提是第 t 个 token 只依赖前缀。但 VQ tokenizer 的编码器是一个不带掩码的多头自注意力网络——每个位置的码字在选出来之前,它的特征向量已经通过自注意力融合了整张图的信息。也就是说,序列里的第 t 个 token 在编码阶段就已经「偷看」过后面的 token。论文在附录里直接可视化了 VQGAN 编码器最后自注意力层的注意力分数:任意一个 token 对全图其他 token 都有显著的双向依赖,热力图没有任何三角遮挡。
上图取自论文 Figure 9,用 ImageNet 验证集里的 4 张 256×256 图像,画出编码器量化前那一层自注意力的归一化注意力分数。对角线之外大量格子仍然很亮,说明任意 token 都显著关注了空间上远的其他 token——双向相关客观存在。用一个「只看前缀」的模型去拟合一个「已经双向混过」的目标分布,模型需要学习一部分与它假设相矛盾的东西,训练效率与质量都会被拖住。
问题二:无法做需要双向推理的零样本任务。 问题一的直接后果。自回归模型从序列左上方开始生成,它能「补左下角」,却无法「已知下半部分、推测上半部分」。图像修补(in-painting)如果遮罩恰好落在图像后半段,那么遮罩前的 token 都齐全,模型能正常工作;如果遮罩落在前半段,模型就得靠一张缺失了核心内容的图去生成,效果自然不行。同理,外扩(out-painting)向左侧和上侧外扩时,模型手里的「已知上下文」方向不对。
问题三:空间局部性被破坏。 token q(i,j) 与它的四个直接邻居 q(i±1,j)、q(i,j±1) 在二维空间上高度相关。但在行优先序列里,左右邻居的序列距离是 1,上下邻居的距离是整行宽度 w。模型在自注意力的位置编码里必须重新学出这个几何关系。更麻烦的是,有限窗口下一个 token 在序列里能「看见」的邻居集合会被拉成一个长条,而不是二维意义上的紧凑邻域。
问题四:计算量随分辨率爆炸。 这一条是硬账。设 VQ 码图为 n×n,总 token 数是 n2。第 i 次自回归迭代(1≤i≤n2)需要在当前序列上跑一次完整注意力,成本约 O(i2)。总成本
i=1∑n2i2=61n2(n2+1)(2n2+1)=O(n6)同时,迭代步数是 O(n2)。换成具体数字:16×16 的码图意味着 256 步,∑i2≈5.6×106 量级的基本注意力单元;32×32 码图意味着 1024 步,总量放大约 64 倍。token 数本身已经随边长平方增长,再套一层逐 token 串行,总成本就涨到边长的六次方。
这四条的严重程度不同,但它们指向同一个设计源头:「二维网格 → 一维顺序 → 单向逐步」。只要保留这个链条,任何工程优化都只能缓解而非消除。VAR 的切入点是拆掉链条中间的两环——不拍扁,也不逐 token。
核心改写:自回归的单位是「一整个尺度」
VAR 的做法可以用一句话概括:把自回归的基本单位从单个 token 换成一整张尺度的 token 图,按由粗到细的顺序预测(next-scale prediction)。
先把一张图编码成 K 张分辨率递增的 token 图:
(r1,r2,…,rK),rk∈[V]hk×wk其中 hk×wk 是第 k 个尺度的分辨率,hK=h, wK=w 等于最终特征图的分辨率。r1 是 1×1,也就是整张图的「一个 token 摘要」。然后套用同样的链式分解,只是因子的含义变了:
p(r1,r2,…,rK)=k=1∏Kp(rk∣r1,r2,…,rk−1)对比一下两种分解的形状。传统自回归的每个因子是 p(xt∣x1:t−1),一个标量 token 的分布;VAR 的每个因子是 p(rk∣r1:k−1),一张 hk×wk 的 token 图上的联合分布。VAR 的做法是:在给定前缀的条件下,这张图上的所有 token 互相独立地并行预测。用公式写就是
p(rk∣r1:k−1)=(i,j)∏p(rk(i,j)∣r1:k−1)这个条件独立假设不是勉强的近似,而是被训练方式强制的:模型在一次前向里同时输出该尺度所有位置的 logits,位置之间不做自回归,只共享同一份前缀表示。
上图是论文 Figure 2 的三联对比。(a) 是语言模型:从左到右逐词生成,每个新词依赖全部已写出的词。(b) 是传统图像自回归:二维 token 网格被按行优先拍扁,模型严格从左到右、从上到下补全,序列方向与图像的二维结构无关。(c) 是 VAR:多尺度 token 图从粗到细生成,1×1 起步,逐步扩到 2×2、3×3,直到 16×16;每个尺度内部的所有 token 并行产出,尺度之间才存在先后依赖。图的下半部分标明 VAR 依赖一个多尺度 VQVAE——这正是下一节要讲的部分。
为什么「由粗到细」是合理的顺序
图像的多尺度结构不是人为假设。一张图在降采样时,先保留的是大块的颜色分布与物体轮廓,后消失的是纹理与边缘细节。渐进式 JPEG 的传输顺序就是照这个规律排的:先传低频,接收端先看到一张模糊但结构正确的图,再逐步补高频。人作画也类似:先定构图与色块,再勾线,最后点高光。
VAR 把这个观察变成了一条可训练的序列顺序。r1 承载「这张图大致是什么」,r2 补上更精确的布局,越往后越是局部细节。每一步的预测难度被摊平了:模型不需要在第一步就决定某个像素的精确颜色,它只需要在已有整体结构的约束下把分辨率翻一倍。
这条顺序还有一个数学上的好处。因为每个 rk 只依赖更粗的尺度,前缀长度是可控的:第 k 步要看的上下文是 ∑i<khiwi 个 token,而不是整张图的 hw 个 token。这与「先拍扁再逐步补全」的上下文增长方式完全不同——后者的第 t 步要看 t−1 个 token,一直增长到 n2;前者的第 k 步只看到「已经生成的那部分尺度」,而最细的尺度只在最后一步才需要被看到。
与掩码生成模型的区别
这里容易与 MaskGIT 一类掩码生成模型(masked generative model)混淆,两者确实都是「少步数、每步并行出多个 token」,但机制不同。MaskGIT 的序列仍然是拍扁的一维序列,训练时随机遮住一部分 token 让模型预测,推理时迭代若干轮:每轮并行预测所有被遮位置,然后按置信度保留一部分、把其余的重新遮住,下一轮再猜。它没有固定的尺度顺序,也没有「粗尺度先完成、细尺度后补」的层级关系;迭代轮数是超参数(论文用 8 轮),每轮都在同一个分辨率上重做。
VAR 只有一条路径:尺度 1→2→⋯→K,每个尺度只生成一次,没有 mask token,没有重采样。生成的每一步都是「在已知更粗版本的前提下补细节」,这与扩散模型的多次去噪也不一样——扩散每一步都在同一分辨率上修改全部像素,VAR 每一步都在扩大分辨率。三种范式的对比可以这样记:扩散是「同一张画布反复擦改」,掩码生成是「同一张画布分块填空」,VAR 是「换更大的画布重画一遍」。
复杂度:从 O(n6) 到 O(n4)
论文附录给出了 VAR 的复杂度证明。设第 k 个尺度的边长 nk=ak−1(a>1 为常数),最终尺度 nK=n,因此 K=logan+1。到第 k 步为止,序列里已有
i=1∑kni2=i=1∑ka2(i−1)=a2−1a2k−1个 token。一次注意力前向的成本与「当前序列长度的平方」成正比,即
(a2−1a2k−1)2把所有步加起来:
k=1∑logan+1(a2−1a2k−1)2∼O(n4)和式里最大的一项是最后一步,它约为 O(n4),其余项被几何级数压小,所以总和还是 O(n4)。迭代步数则从 O(n2) 降到 O(logn)。
两个结论都值得记住:
- 步数从二次降到对数。 16×16 的码图,传统自回归要 256 步;VAR 用 10 个尺度只要 10 步。步数决定了推理的串行深度,这是延迟的硬下限。
- 总算力从六次降到四次。 注意这里 n 是最终码图的边长,token 总数是 n2。所以 O(n4) 相当于「token 数的平方」,而 O(n6) 是「token 数的立方」。分辨率翻倍时,传统自回归的算力涨 64 倍,VAR 只涨 16 倍。
论文的推导假设各尺度边长按等比数列增长。实际配置 (1,2,3,4,5,6,8,10,13,16) 并不是严格等比,但增长趋势一致,量级结论不变。
第一阶段:多尺度 VQVAE,用残差量化造一座 token 金字塔
VAR 的训练分成两个互不相干的阶段:先训练一个能产出多尺度 token 图的自编码器,再用它产出的 token 训练 Transformer。这个安排与潜空间扩散几乎相同——先解决「图像 ↔ 潜空间」的映射,再在潜空间里做生成——但 VAR 的潜空间不是一个连续的 h×w×C 张量,而是 K 层分辨率递增的离散 token 图。
上图是论文 Figure 4,左边是第一阶段的编码路径,右边是第二阶段的 Transformer。左半部分需要仔细看:同一张图经过编码得到特征图 f,然后被依次在 1×1、2×2、…、16×16 的分辨率上量化,量化的不是原始 f,而是每次被更粗尺度解释之后剩下的残差。图下方那行标注 L=12+22+32+⋯+162 就是序列里所有尺度的 token 总数。
编码:逐尺度剥离残差
论文附录的 Algorithm 1 是完整流程:
1输入:图像 im,尺度数 K,分辨率 (h_k, w_k), k = 1..K2
3f = E(im)4R = []5for k = 1 .. K:6 r_k = Q( interpolate(f, h_k, w_k) ) # 在粗分辨率上量化当前残差7 R.append(r_k)8 z_k = lookup(Z, r_k) # 查码本9 z_k = interpolate(z_k, h_K, w_K) # 升采样回最细分辨率10 f = f - φ_k(z_k) # 扣掉这一层已经解释的部分11返回 R = (r_1, ..., r_K)关键在于 f = f - φ_k(z_k) 这步减法。f 不是每轮都从原始特征图重新插值,而是一个「还没被解释掉的残差」,每轮减去当前尺度用码本重建出来的那一部分。于是:
- r1 量化的对象是原始 f 在 1×1 上的投影,它只能承载整张图的全局摘要;
- r2 量化的是「f 减去 r1 解释的部分」在 2×2 上的投影,它记的是比 1×1 多出来的那点结构信息;
- 依此类推,最后一层 rK 记录的是其他所有尺度都解释不了的高频残差。
这样构造出的 token 图天然满足 VAR 的数学前提:rk 的生成过程只用到原始特征图 f 减去前缀各层已解释部分之后剩下的残差,而这个残差完全由 f 与 r1,…,rk−1 决定。换句话说,从量化流程的结构上就保证了「第 k 个尺度不包含比它更细尺度的信息」,不需要事后加约束。这一点是 VAR 与「直接把 f 在多个分辨率上独立量化」最本质的区别:独立量化时每一层都看到完整的 f,层与层之间信息高度重叠,训练时模型从粗尺度能读到的信息里已经混进了细尺度的内容,前缀假设被破坏。
解码:把金字塔加回去
解码是编码的镜像(Algorithm 2):
1f_hat = 02for k = 1 .. K:3 z_k = lookup(Z, r_k)4 z_k = interpolate(z_k, h_K, w_K)5 f_hat = f_hat + φ_k(z_k)6im_hat = D(f_hat)每层 token 查表得到码字向量,升采样到最细分辨率,再经过该层专属的卷积 ϕk,最后把所有层加起来送进解码器。ϕk 是 K 个额外的卷积层,总共只增加约 0.03M 参数——量级上可以忽略,但它们承担了一个具体职责:把低分辨率码字升采样到高分辨率时,双线性插值会产生模糊与块状伪影,ϕk 学的就是补偿这些损失的变换。论文只说明这是为了「解决升采样带来的信息损失」,没有给出无卷积的对照数字。
这里有个容易忽略的工程细节:所有尺度共用一个码本 Z,V=4096。共享码本带来两个直接后果。好处是词表统一:Transformer 只需要一张 4096×C 的嵌入表,所有尺度的 token 都从同一个词表取值,输出头也只有一个。代价是粗尺度的 token 必须用与细尺度相同的 4096 个「词汇」来表达——1×1 那个 token 得从 4096 个码字里挑一个来概括整张图,表达能力天然受限。论文沿用这个设置,是为了把变量控制在「自回归范式」本身,tokenizer 的容量上限被留作后续工作的改进空间。
尺度表与 token 账本
官方实现里 10 个尺度的边长是
1patch_nums = (1, 2, 3, 4, 5, 6, 8, 10, 13, 16)对应的 token 数分别是 1,4,9,16,25,36,64,100,169,256,总和
k=1∑10nk2=680这个数字值得停一下。传统自回归在 16×16 码图上只需要生成 256 个 token,而 VAR 的序列有 680 个位置——VAR 生成的 token 总量是前者的 2.65 倍,却快了将近 20 倍(论文报告的口径)。原因不难看出:传统自回归把这 256 个 token 排成 256 个串行步骤,每一步只处理 1 个 token;VAR 把 680 个 token 分成 10 组,每组一次性并行处理,而且后面几个尺度(169+256=425 个 token)占了全部 token 的六成以上,都压在最后两步的密集计算里。第 10 个尺度一步就要输出 256 个 token,这一步的注意力是「256 个查询位置对 680 个缓存位置」,矩阵乘法的形状饱满。单请求的 LLM 解码每步只处理一个 token,算术强度接近 1 FLOP/Byte;即便把多个请求拼成一个 batch,每个请求贡献的仍只是一个 token,权重读取与计算的比例依然偏向带宽。VAR 的一次前向里,同一份权重服务了整块尺度上的数百个 token,算术强度天然高一档。
这一点直接连到推理系统的性能模型:LLM 解码慢,本质是每步只处理一个 token,计算退化成矩阵乘向量,受显存带宽限制;VAR 的每一步都是多 token 的矩阵乘矩阵,算术强度(arithmetic intensity)高得多。同样是自回归,VAR 的解码阶段没有 LLM 那种严重的带宽瓶颈。
第二阶段:VAR Transformer 的具体结构
论文刻意把 Transformer 保持得「简单」。主干就是 GPT-2 风格的 decoder-only 结构,额外加了自适应层归一化(Adaptive Layer Normalization,AdaLN),没有用 RoPE 位置编码,没有 SwiGLU,也没有 RMSNorm。这样做的目的是把变量隔离在「自回归范式」上:如果同时换一堆结构技巧,就无法判断收益来自 next-scale prediction 还是来自某个组件。
条件注入:class embedding 走两条路
类别条件生成时,类别嵌入有两个去处。第一,它被放在序列最前端,充当起始 token [s]——第 1 个尺度(1×1)的预测就以它为条件。第二,它被送进每一层的 AdaLN,作为仿射变换的参数来源:
AdaLN(h,c)=γ(c)⊙LN(h)+β(c)h 是该层的输入隐状态,LN 是层归一化,γ(c) 与 β(c) 是由条件嵌入 c 经线性层得到的缩放与偏置向量,⊙ 是逐元素乘。与 cross-attention 注入条件相比,AdaLN 只增加两个 C→C 的线性映射,计算量可以忽略,却被 DiT、LDM 等一批生成模型验证有效。为什么有效:层归一化之后每个 token 的分布被标准化,AdaLN 再按条件把它拉伸、平移。这相当于用条件去调节整层的「工作点」,而不是让每个 token 自己去查询条件——对于「整张图都属于同一类别」这种全局条件,前者更匹配问题的结构。
块级因果掩码
训练时序列是 [s],r1,r2,…,rK−1,按尺度分块,长度分别为 1,4,9,…,169。注意力掩码是块级因果的:
- 第 k 块的 query 可以看第 j 块的 key,当且仅当 j≤k;
- 块内不做三角掩码,同一尺度内的所有 token 互相全连接。
官方实现里这个掩码就是一行按尺度编号构造的矩阵:给每个位置标上它所属的尺度编号 d,查询位置 di 对键位置 dj 可见当且仅当 di≥dj。块内全连接是「尺度内并行」能够成立的原因:同一尺度的全部 token 共享同一份前缀表示,它们之间互相补充信息,一起决定当前尺度的整体样子。这不是自回归依赖——它们不是「先有 a 才有 b」,而是「共同受前缀约束的一组变量」。
由于输入序列比输出目标错开一位,第 k 块位置的输出 logits 预测的是第 k+1 个尺度。所以「第 k 块的 query 只能看到 ≤k 块」等价于「预测 rk+1 时只用到 r1,…,rk」,正是 next-scale prediction 要的依赖关系。
推理时情况反过来简单:KV 缓存逐个尺度追加,当前尺度的 query 对缓存里所有历史 key 做注意力,不需要任何掩码。也就是说,训练用一个静态掩码矩阵教会模型「只能看前缀」,推理时因为前缀天然已经生成完,掩码自动满足。
参数量与宽度规则
论文给了一个简单的形状规则:宽度 w、头数 h、dropout 率与深度 d 线性挂钩,
w=64d,h=d,dropout=0.1⋅d/24按这个规则,每层的参数量可以拆成三块:自注意力 4w2(Q/K/V/O 四个 w×w 矩阵)、前馈网络 8w2(中间维度 4w,两个矩阵)、AdaLN 6w2(每个注意力块一个、每个前馈块一个、输出头一个,各两个 w×w)。总计
N(d)=d⋅4w2+d⋅8w2+d⋅6w2=18dw2=73728d3代入具体深度核对一下:d=16 时 w=1024,参数量约 302M(论文表中 310M,差额来自嵌入层);d=30 时 w=1920,约 1.99B(表中 2.0B)。这个三次方关系意味着把深度从 16 提到 30,参数量涨 6.6 倍——与表 1 中 310M 到 2.0B 的比例一致。
训练配置
论文报告的训练设置:基础学习率 10−4(按 256 的 batch size 计),AdamW 优化器,β1=0.9、β2=0.95、权重衰减 0.05,batch size 取 768~1024,训练 200~350 个 epoch(依模型大小而定)。扩展性研究里一共训练了 12 个不同规模的模型,从 18M 到 2B 参数;ImageNet 每轮 1.28M 张图,按每图 680 个 token 折算约 8.7 亿个图像 token,最大训练量达到 305B token。
一个容易被忽略的对比:DiT-XL/2 训练了 1400 个 epoch,VAR 的 2B 模型只用了 350 个。论文把这归为数据效率——同样的数据重复更少遍就能收敛。当然这里有 tokenizer 不同的因素(DiT 用连续潜变量,VAR 用离散 token),不能简单归因于 next-scale prediction,但同族比较(AR 基线换 VAR 范式)的消融支持了范式本身的贡献。
推理:10 步,每步一整块 token
官方实现把生成循环写得很紧凑,核心逻辑如下(删去采样器与批处理细节):
1# 初始化:sos 即类别条件,从 1x1 尺度开始2next_token_map = sos + pos_start + lvl_pos[:, :1]3cur_L = 04f_hat = zeros(B, Cvae, 16, 16)5
6for si, pn in enumerate(patch_nums): # pn = 1, 2, 3, ..., 167 ratio = si / (len(patch_nums) - 1)8 cur_L += pn * pn9
10 x = next_token_map # 当前尺度块的输入嵌入11 for block in blocks: # KV 缓存已打开12 x = block(x, cond_BD=ada_lin(cond))13
14 logits = head(norm(x, cond)) # (B, pn*pn, V)15
16 t = cfg * ratio # 引导强度随尺度线性增强17 logits = (1 + t) * logits[:B] - t * logits[B:] # 条件/无条件同批计算18
19 idx = top_k_top_p_sample(logits, top_k=600) # 每个位置独立采样20 z = codebook.embedding(idx) # 查码本21
22 f_hat, next_token_map = next_scale_input(si, f_hat, z)23 # f_hat 累加 φ_k(z_k),next_token_map 由嵌入 + 层级 + 位置编码构成这段代码里有四处值得展开。
分类器无关引导(classifier-free guidance,CFG)按尺度渐进。 引导系数写成 cfg⋅ratio,ratio 从第 1 个尺度的 0 线性增长到最后一个尺度的 1。也就是说,最粗的尺度几乎不加引导,越细的尺度引导越强。官方实现里 batch 被复制成两份,一份带类别条件、一份不带,一次前向同时算出两组 logits,再按上式组合——这比跑两次前向省一半时间。为什么要渐进:粗尺度决定的是全局构图,过强的引导会把结果拉向「类别最典型的模板」(例如「狗」就变成一只标准姿态的狗),牺牲多样性;细尺度决定纹理与边缘,需要更强的条件约束才能保证细节与类别一致。这个「先放松、后收紧」的调度与扩散模型里常见的引导退火思路一致,都是把强引导放在生成的后期。
采样在尺度内是独立的。 logits 的形状是「当前尺度的所有位置 × 词表」,top-k 采样逐位置进行,位置之间不共享随机数,也没有顺序依赖。这意味着第 10 个尺度一次要做出 256 个独立的类别决策,全部由同一份前缀表示决定。这是 VAR 与「一次生成一个 token」最直观的差别,也是它快的直接来源。
状态更新是「累加 + 重新嵌入」。 每一步产出的 token 索引先查码本得到 zk,再分两路走:一路按 f^←f^+ϕk(zk) 累加进重建特征图;另一路经过 zk 的词嵌入、加上尺度层级嵌入与位置编码,成为下一步的输入。注意这两路用的是同一个码字向量但不同的映射:前者是「像素空间的重建贡献」,后者是「Transformer 的输入表示」。层级嵌入(level embedding)告诉模型当前在哪个尺度,位置编码告诉它在尺度内的行列位置——同一个 2×2 位置在第 2 步与第 9 步的含义完全不同,必须区分。
KV 缓存只增不减。 第 k 步的 key/value 覆盖 ∑i≤kni2 个位置,到最后一共 680 个。整个请求的缓存规模因此是固定的 680 个位置 × 层数 × 2,远小于一个长上下文 LLM 的 KV 缓存。这带来一个有意思的服务特性:VAR 请求的显存占用很小,单卡能并发的请求数由激活值与权重决定,而不是被 KV 缓存吃掉。
串行深度只有一个数量级。 10 步意味着端到端延迟大致是「10 次 Transformer 前向 + 一次 VAE 解码」。扩散模型要 20~250 次去噪网络前向,每一步都在全分辨率上跑,且每步的计算量比 VAR 的一次前向大得多(256 个 latent token 变成 1024 甚至 4096 个)。论文表 1 里 DiT-XL/2 的墙钟时间是 VAR 的 45 倍,主要来自这个差距。
从推理系统的角度看,VAR 的解码路径更接近「一组短 prefill」而不是 LLM 的 decode:每步的输入是一整块 token,计算形状饱满,带宽压力主要在权重与 KV 缓存上,而不在「每步只搬一次全部权重」的极端情形。它的瓶颈因此转移到了调度粒度——批的成员由当前处在哪个尺度的请求决定,处在不同阶段的请求无法合并进同一个前向(前缀与当前尺度都不同)。这与 LLM 服务里 prefill 与 decode 混合批的调度问题同构:两者都需要按同一迭代阶段的请求归组,再把不同组之间的计算流水叠起来。可参考 连续批处理完全拆解:Orca 的迭代级调度与选择性批处理,其中的迭代级调度思想(每次迭代重新决定批的成员)正是 VAR 服务层需要的调度模型。
实验数据:VAR 处在哪个量级
论文的核心对照表覆盖了 ImageNet 256×256 类别条件生成上的五个模型家族:GAN、扩散、掩码预测、传统自回归,以及 VAR 自己。下表摘出与讨论相关的行(完整表见论文 Table 1):
| 类型 | 模型 | FID↓ | IS↑ | 参数量 | #步 |
|---|---|---|---|---|---|
| 扩散 | DiT-XL/2 | 2.27 | 278.2 | 675M | 250 |
| 扩散 | L-DiT-3B | 2.10 | 304.4 | 3.0B | 250 |
| 扩散 | L-DiT-7B | 2.28 | 316.2 | 7.0B | 250 |
| 掩码 | MaskGIT | 6.18 | 182.1 | 227M | 8 |
| 自回归 | VQGAN | 15.78 | 74.3 | 1.4B | 256 |
| 自回归 | VQGAN-re | 5.20 | 280.3 | 1.4B | 256 |
| 自回归 | ViTVQ | 4.17 | 175.1 | 1.7B | 1024 |
| 自回归 | RQTran.-re | 3.80 | 323.7 | 3.8B | 68 |
| VAR | VAR-d16 | 3.30 | 274.4 | 310M | 10 |
| VAR | VAR-d20 | 2.57 | 302.6 | 600M | 10 |
| VAR | VAR-d24 | 2.09 | 312.9 | 1.0B | 10 |
| VAR | VAR-d30 | 1.92 | 323.1 | 2.0B | 10 |
| VAR | VAR-d30-re | 1.73 | 350.2 | 2.0B | 10 |
| 参考 | 验证集真实数据 | 1.78 | 236.9 | — | — |
几个观察:
- 最小的 VAR(310M)就超过了 1.4B 的 VQGAN 与 1.7B 的 ViTVQ。 FID 3.30 对 15.78(VQGAN)和 4.17(ViTVQ)。这不是小改进,而是量级差。
- 参数越大越稳。 310M → 600M → 1.0B → 2.0B,FID 单调下降 3.30 → 2.57 → 2.09 → 1.92。相比之下 DiT 从 675M 到 3B 再到 7B,FID 是 2.27 → 2.10 → 2.28,在 3B 之后开始回退。VAR 论文把这一点当作扩展性的证据。
- 带拒绝采样(
-re)的 2B VAR 做到 1.73,已经低于验证集真实图像的 FID 参考下界 1.78——这是 FID 指标的已知局限(代理特征空间里,生成分布的统计量可以比真实分布更「漂亮」),不代表画质真的超过真实图像,但说明 FID 空间已经被打满了。 - 步数最少。 10 步对比扩散的 250 步、传统自回归的 256/1024 步。
上图是论文 Figure 10 的模型对比,同一组类别标签下并列 BigGAN(FID 6.95)、VQVAE-2(31)、MaskGIT(6.18)与 VAR(1.92)的生成结果。对比的重点不在单个样本好不好看,而在结构层面:传统自回归在样本里常出现「前几行画对了、后面逐渐走形」的现象——这是光栅顺序把全局结构拆成局部决策的直接后果;VAR 先从全局轮廓起步,整体结构一致性明显更好。
延迟与数据效率上,论文给出的对比是:DiT-XL/2 的墙钟时间约为 VAR 的 45 倍;训练方面 DiT-XL/2 用 1400 个 epoch,VAR 只用 350 个。同条件消融里,把传统 AR 基线直接换范式(不加大模型、不加采样技巧),FID 从 18.65 降到 5.22,推理墙钟成本只有原来的 0.013 倍——也就是说同样的质量提升,代价降了两个数量级。这条消融最有说服力,因为它只动了一个变量。
论文还在 512×512 上测了结果。受显存限制,512 版本只能用一层共享的 AdaLN,模型记作 VAR-d36-s,FID 2.63、IS 303.2;同一基准下 DiT-XL/2 的 FID 是 3.04。
扩展规律:多尺度预测为什么能随参数平滑受益
论文训练了 12 个模型(深度 6 到 30,18M 到 2B),在 ImageNet 验证集上测测试损失 L 与 token 预测错误率 Err。按扩展规律的常规形式
L=(β⋅X)α其中 X 可以是模型参数量 N 或最优训练算力 Cmin,α 是幂律指数,β 是缩放常数,logL 与 logX 应呈线性。论文拟合的结果:
Llast=(2.0⋅N)−0.23,Lavg=(2.5⋅N)−0.20下标最后/平均分别对应「只统计最后尺度」与「统计全部尺度」。token 错误率也服从幂律,但指数更小:
Errlast=(4.9×102N)−0.016,Erravg=(6.5×102N)−0.010以 Cmin 为自变量时,Llast=(2.2×10−5Cmin)−0.13,Erravg=(4.4×10−2Cmin)−0.011,相关系数接近 −0.99。
如何读这些数字:
- 能拟合到幂律本身就是结论。 如果多尺度自回归的拟合难度随尺度变化、或者某些尺度无法从更粗的尺度推理,那么在 N 与 L 的对数图上会看到弯折或平台。论文在跨越三个数量级的参数规模上没有看到这种偏离,说明「从粗到细的预测」是随模型容量平滑受益的——每个尺度都能从更多参数与更充分的上下文中获益。
- 错误率指数很小不代表没效果。 错误率是离散的命中率,词表 4096 下随机猜中概率约 2.4×10−4。从 18M 的模型到 2B 提升一个数量级的参数,命中率只涨百分之几是正常的——大部分 token 的分布已经非常尖锐,正确 token 本来就在前列,剩下的提升空间来自「最难的少数位置」。
- 与 LLM 的对照。 LLM 的扩展规律指数通常更陡(损失随参数下降更快),VAR 的 0.23 相对温和。合理解释是图像 token 的分布比语言更「稠密」:同一张图在 4096 词表上存在很多高概率的合理 token 组合,困惑度本身就低,损失的下降空间被压缩了。论文自己也承认,与语言模型的扩展规律相比,指数偏小意味着「每个参数带来的 FID 提升」在某个规模之后会越来越慢。
除了拟合,论文还给出一个定性观察:把同一组随机种子、同一组初始 token 交给 4 个不同规模(深度 6、16、26、30)与 3 个训练阶段(20%、60%、100%)的模型,生成的样本在物体结构、数量、朝向上的正确率随规模与训练量稳定提高。这比单一指标更能说明扩展规律不是指标偶然。
零样本能力:修补、外扩与局部编辑
这是 VAR 最有趣的部分,因为它证明了「尺度顺序」带来的不仅是效率,还有语义结构上的对称性。
论文用 VAR-d30(无类别条件)测试了两个任务,不做任何微调:
- 图像修补(in-painting):给定一张图,遮住中间某个区域,要求模型补全遮罩内的内容。
- 图像外扩(out-painting):给定一张图,要求模型在某个方向扩出更多内容。
- 类别条件编辑:给定一张图和目标类别,要求模型只在某个框内生成符合该类别的对象,同时与周围融合。
上图是论文 Figure 8。每一行从左到右是「输入 / 遮罩 / 生成结果」的组合,覆盖了修补、外扩、编辑三类任务。
机制上的关键在「教师强制」。VAR 的推理循环只需要知道前面尺度的 token;如果某个尺度的部分 token 已知(例如用户提供的上下文),模型就把这些位置用教师强制直接填入真值 token,只对缺失的位置进行采样。这与语言模型做「前缀续写 / 中段填空」是同一类操作,区别在于填空单位是整块尺度。
为什么 VAR 能做修补而传统自回归不行?因为按 scale 的序列没有「谁在谁前面」的几何含义。在行优先自回归里,遮罩后方的 token 理论上只能在遮罩前方生成完之后才能生成,所以「先有下半再有上半」可行、「先有上半再有下半」不行。在 VAR 里,第 k 个尺度的每个位置与第 j 个尺度的每个位置之间没有几何上的先后——尺度决定的是「精度」,不是「位置」。所以「下半部分已知、上半部分未知」这种条件,在 VAR 里与「上半已知、下半未知」完全对称:两者都只是「某些尺度的某些位置已知」,剩下位置并行补全。这就是问题二的解。
论文强调这是「初步验证」而非完美结果——零样本修补在复杂纹理的边缘处会失效,外扩在远处会出现重复结构。但这说明了架构层面的一个事实:只要自回归的顺序与图像的几何方向解耦,模型就天然具备任意方向的条件推理能力。 这与 LLM 的 in-context 「填空」能力在结构上非常相似,也是论文反复类比 LLM 的原因。
一个有意思的工程延伸:VAR 的零样本能力对服务系统的影响在于,用户可能提交「带遮罩的生成请求」,输入 token 变长且部分位置不需要采样。这会影响 batch 的形状与调度的粒度——不同请求的「已知位置数」不同,同一尺度的有效采样位置数不同,这与变长验证的批处理问题同类(可参考 DeepInfer 源码拆解(二十六):多 token 的账本——变长验证的扁平行布局与 RequestOutput 对象池,两者都在处理「同一批里各请求的有效位置数不同」的结构)。论文本身没有做服务层面的设计,这部分是推理系统需要自己补的工程。
消融:收益到底来自哪一环
论文 Table 3 的消融设计得很清楚:从 MaskGIT 论文里实现的 GPT-2 式 AR 基线出发,每一步只加一个变量。
| # | 描述 | 参数量 | AdaLN | Top-k | CFG | 推理成本 | FID↓ | Δ |
|---|---|---|---|---|---|---|---|---|
| 1 | AR 基线 | 227M | ✗ | ✗ | ✗ | 1 | 18.65 | 0.00 |
| 2 | 换 VAR 范式 | 207M | ✗ | ✗ | ✗ | 0.013 | 5.22 | −13.43 |
| 3 | + AdaLN | 310M | ✓ | ✗ | ✗ | 0.016 | 4.95 | −13.70 |
| 4 | + Top-k 采样 | 310M | ✓ | 600 | ✗ | 0.016 | 4.64 | −14.01 |
| 5 | + CFG 2.0 | 310M | ✓ | 600 | ✓ | 0.022 | 3.60 | −15.05 |
| 5 | + Q/K 归一化 | 310M | ✓ | 600 | ✓ | 0.022 | 3.30 | −15.35 |
| 6 | 扩展到 2.0B | 2.0B | ✓ | 600 | ✓ | 0.052 | 1.73 | −16.85 |
第 2 行最有分量。参数量从 227M 降到 207M(因为序列短了、嵌入层变小),但 FID 从 18.65 跳到 5.22,推理成本从 1 降到 0.013。模型没有变强、没有加采样技巧,只换了预测顺序,收益超过后面所有技巧之和。这说明 next-scale prediction 解决的是根上的问题(四个结构性缺陷),而不是在末端调参。
第 5 行里出现了一个论文没详细展开的「Q/K 归一化」:在注意力之前把 query 与 key 都归一化成单位向量。论文的说法是它能让训练更稳定。机制上的直觉是:块级掩码让同一尺度内的 token 两两全连接,注意力分数矩阵是稠密的,数值范围比三角掩码时更大,分数容易饱和导致梯度消失。把 q/k 归一化后,注意力分数是余弦相似度,有界于 [−1,1],softmax 的输入范围被压住。代价是丢掉向量模长信息——但模型之后可以用隐状态的范数重新表达它。这一项带来的 FID 提升(3.60 → 3.30)很小,稳定性的收益在论文里没有量化,属于工程常识层面的补丁。
第 6 行的成本从 0.022 涨到 0.052,与参数量 6.6 倍的涨幅不成比例(只涨 2.4 倍)。原因是深度涨了之后,每个前向的算力和显存都涨了,但步数不变、VAE 解码不变;同时序列只有 680 个位置,attention 部分始终是线性于序列长度的浅代价,主要成本在 FFN 与 logits 投影。这再次说明 VAR 的推理瓶颈不在长序列注意力。
局限,以及这条路线后来走到了哪
论文自己对局限说得很克制,主要提了三点。
tokenizer 是关键瓶颈。 VAR 刻意沿用 VQGAN 的 tokenizer,4096 词表加 16× 下采样在 ImageNet 规模上够用,但在更复杂的图像分布(自然语言描述的真实图像)上,重建质量会拖住生成质量。一个直观的验证:HART(Hybrid Autoregressive Transformer,麻省理工韩松团队,2024 年 10 月)在 MJHQ-30K 上测过,只用离散 VAR tokenizer 的重建 FID 是 2.11,比它自己设计的混合 tokenizer 差一个数量级;换成混合 tokenizer 后生成 FID 从 7.85 降到 5.38。也就是说在 text-to-image 场景里,离散 tokenizer 的容量上限会直接吃掉范式本身的收益。
词表容量与 token 数的矛盾。 一张 256 个 token 的图,每个 token 从 4096 个码字里选,表达能力很有限。若把词表放大到几十万,嵌入层与输出头的参数会暴涨,交叉熵的 softmax 也变贵;若把 token 数放多(下采样更少),序列变长,虽然是并行生成,但最后一个尺度的 token 数会成倍增加,算力回到「token 数的平方」。
text-to-image 与视频尚未实现。 论文明确说文本条件生成与视频生成是「正在进行的工作」。VAR 本身就是类别条件模型,接上文本编码器、把类别嵌入换成文本嵌入是自然延伸,论文把这个方向的实现成本估计得较低。
这三点后来都有人做了具体实现,值得顺着看:
- Infinity(字节跳动,2024 年 12 月):把「词表无限大」这个想法落地成 bitwise token。每个 token 不再是一次从 4096 个码字里选取,而是逐 bit 预测,每个 bit 对应一个 65536 词的码本位置,词表容量理论上没有上限;配套的 bitwise 自纠正机制在推理时把低置信度的 bit 重新预测。词表变大后,tokenizer 的重建质量提升,同时 Transformer 规模继续扩展。论文报告它的 GenEval 分数从 SD3-Medium 的 0.62 提到 0.73、ImageReward 从 0.87 提到 0.96,文本到图像能力已经能和一线扩散模型对话。对 VAR 范式而言,这是「tokenizer 与词表容量是上限」那条局限的正面回应。
- HART(2024 年 10 月):走的是另一条岔路。它认为纯离散 token 表达不了高频细节,于是把 VAE 的连续潜变量拆成两部分:离散 token 负责「大图」(整体结构),连续残差负责「细节」(离散 token 表达不了的部分),残差交给一个只有 37M 参数的轻量扩散模块去补。离散部分用可扩展分辨率的 AR 模型,也就是 VAR 式的多尺度生成。结果是在 1024×1024 上直接生成,重建 FID 从 2.11 降到 0.30、生成 FID 从 7.85 降到 5.38,且吞吐比所比较的扩散模型高 4.5~7.7 倍。这条路线把 VAR 的范式与「连续潜变量」结合,相当于承认「离散语义 + 连续细节」是更现实的组合。
把这些进展串起来看,VAR 的贡献在于把自回归图像生成的结构前提重新定清楚。它不解决所有的工程问题(tokenizer 容量、文本条件、视频、服务调度),但它把「多尺度的自回归单位」立成了可以继续往上叠的范式。后面所有工作的共同改动点都是「tokenizer 怎么变强」「词表怎么变大」「条件怎么接」,而生成顺序的多尺度结构保持不变。
小结:换一个单位,换一条量级
VAR 的核心可以一句话说完:把图像自回归的单位从「一个 token」换成「一个尺度的 token 图」,按由粗到细的顺序预测,每个尺度内部并行生成。
由此带来的结构性收益:
- 前缀假设被真正满足——多尺度 VQVAE 的残差量化在流程层面保证了粗尺度不包含细尺度信息;
- 空间局部性得以保留——没有拍扁操作,同一尺度内全连接,块间按尺度掩码;
- 复杂度从 O(n6) 降到 O(n4),步数从 O(n2) 降到 O(logn),实测推理快约 20 倍;
- 零样本能力——尺度顺序与几何方向解耦,「任意方向的条件推理」成为自然能力而非特殊设计;
- 扩展规律成立——测试损失随参数走幂律,d=6 到 30 没有偏离。
代价与边界:
- 序列长了(680 个位置对 256 个),但换来的是并行度,总盘算下来还是快;
- tokenizer 是天花板,4096 词表加 16× 下采样在复杂分布上不够用;
- 训练拆成两阶段,tokenizer 与生成模型的目标不完全耦合,tokenizer 的更新未必直接转化为生成质量的提升;
- 推理调度有一个新问题:不同请求处在不同尺度,批的成员「每一步都在变」,需要连续批处理一类调度策略。
对一个看过扩散模型的读者,VAR 值得记住的对照是:扩散模型在「同一张画布」上反复修改,自回归在「逐步扩大画布」上补细节,两者都是「从不确定到确定」的逐步精化,但精化的维度不同。VAR 之后,自回归路线在图像生成上不再只是「语言模型的仿制品」,而是有了与语言模型同构又不同频的新形态——与 LLM 共用解码、采样、批处理的经验,但在每一步处理的是整块尺度而非单个 token,解码阶段的带宽瓶颈被绕过。理解 VAR,就是理解「自回归的单位可以换」这件事,以及换单位之后复杂度、前提假设、零样本能力会一起跟着变。
参考资料
- Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction(VAR 论文,arXiv 2404.02905)
- VAR 官方开源仓库(FoundationVision/VAR)
- Taming Transformers for High-Resolution Image Synthesis(VQGAN,CVPR 2021)
- Zero-Shot Text-to-Image Generation(DALL·E 1)
- Vector-quantized Image Modeling with Improved VQGAN(ViT-VQGAN)
- Autoregressive Image Generation using Residual Quantization(RQTransformer)
- MaskGIT: Masked Generative Image Transformer(CVPR 2022)
- Scalable Diffusion Models with Transformers(DiT,ICCV 2023)
- Generating Diverse High-Fidelity Images with VQ-VAE-2
- Infinity: Scaling Bitwise AutoRegressive Modeling for High-Resolution Image Synthesis
- HART: Efficient Visual Generation with Hybrid Autoregressive Transformer
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



