正在获取所在地区…
正在读取天气
音乐
暂未播放
掩码图像生成完全拆解:MaskGIT 与 Muse 如何用并行迭代解码把图像生成变成一场「填空题」
背景:图像生成的第三条路
2021 到 2023 年,图像生成的主线基本被两种范式占据。
第一种是自回归生成。VQGAN 先用卷积自编码器把图像压缩成离散 token 网格,再由 Transformer 按光栅顺序逐 token 预测:先左上角,再向右,一行结束换下一行。DALL-E 和 Parti 都沿用了这条路线。它的数学形式很干净,就是语言模型的那一套似然分解:
p(y1,…,yN)=i=1∏Np(yi∣y1,…,yi−1)问题在于,图像 token 太多。256×256 的图像按 16 倍下采样是 16×16=256 个 token,512×512 就是 1024 个。自回归解码必须串行跑 256 到 4096 次前向,每次只产出位置上的一个 token。矩阵乘的规模小、依赖链长,GPU 的大量算力被浪费在等待上;而且每个 token 只能看到左侧和上方的已生成内容,无法利用右侧、下方的上下文来修正自己。
第二种是扩散模型。DDPM 把生成建模成从高斯噪声逐步去噪的逆过程,潜空间扩散(LDM)又把去噪搬到 VAE 潜空间,把每步的计算量压下来。DALL-E 2、Imagen、Stable Diffusion 都属于这条路。扩散的优点是连续表征、训练稳定、条件注入成熟,缺点是采样步数通常以几十到几百计,每一步都要完整跑一遍 U-Net 或 DiT。即使有 DDIM、DPM-Solver 和蒸馏把步数压到 20 步左右,单次生成的端到端成本仍然不低。
这两条路之外还有第三种思路:掩码建模(masked modeling)。它在自然语言处理里已经用了很多年——BERT 随机遮住一部分 token,让双向 Transformer 根据剩下的上下文把空洞填上;Mask-Predict 进一步把它用于并行解码,每一轮先预测所有被遮住的位置,再保留最可信的一部分,其余继续遮住重猜。
把这件事搬到图像上,就得到本文要讲的两项工作:
- MaskGIT(Masked Generative Image Transformer),Google Research 于 2022 年发表在 CVPR,arXiv 编号 2202.04200。它把 VQ 图像 token 当作词表,训练一个双向 Transformer 做掩码视觉 token 建模,并用一套带置信度筛选的迭代并行解码,把生成步数压到 8 到 12 次。
- Muse(Text-To-Image Generation via Masked Generative Transformers),同样来自 Google Research,2023 年公开,arXiv 编号 2301.00704。它把 MaskGIT 的机制扩展成文本条件的文生图系统,用冻结的 T5-XXL 提取文本嵌入,再以 24 步生成 256×256 图像、以 8 步超分到 512×512。
这条路线真正吸引人的地方,不是又一个生成模型,而是它同时改掉了自回归的两个结构性缺陷:注意力是双向的,所以每个位置都能看到整张图;解码是并行的,所以步数不再等于 token 数。代价是,训练目标从“精确的链式分解”变成了“对任意可见子集的条件分布做近似”,采样也因此需要一套新的调度机制。本文沿着训练目标、迭代解码、掩码调度、条件注入和推理账本,把这条路线拆开讲清楚。
第一步:图像先变成 256 个离散词
MaskGIT 和 Muse 都建立在两阶段的生成框架上:第一阶段是图像 tokenizer,第二阶段是 token 序列上的生成模型。第二阶段是本文的重点,但第一阶段的几个数字会直接决定后面的全部成本,所以先把账算清楚。
MaskGIT 沿用 VQGAN 的 tokenizer。编码器是一组带下采样的卷积块,把 256×256×3 的图像压到 16×16 的潜变量网格,再对每个位置的向量做最近邻量化,映射到大小为 1024 的码本:
zij=v∈{1,…,1024}argmin∥hij−ev∥22其中 hij∈Rd 是编码器在网格位置 (i,j) 输出的连续特征,ev 是码本里第 v 个嵌入向量,zij 是量化后的码字下标。解码器接收量化后的嵌入序列,用转置卷积把它还原成图像。编码器和解码器与码本一起训练,生成阶段完全不需要它们,只使用离散下标。
这个设计带来三个直接后果。
第一,序列长度被压缩了两个数量级。 一张 256×256 的 RGB 图有 196608 个像素值,压成 token 后只有 256 个位置,每个位置是 1024 选 1 的离散符号。Transformer 的注意力成本与序列长度的平方成正比,压缩比越高,第二阶段越便宜。MaskGIT 固定使用 16 倍下采样,所以 256×256、512×512 分别对应 256、1024 个 token;512 的图像仍然复用同一个 16 倍 tokenizer,只是把网格变成 32×32。
第二,生成问题变成了分类问题。 每个被遮住的位置只需要在 1024 个码字上做 softmax,损失是交叉熵,不需要扩散模型里对连续噪声的回归目标,也不需要预测方差。这一点对后面的置信度筛选很关键:模型对每个位置都有一个明确的概率分布,可以直接用概率大小衡量“我对这个位置有多确定”。
第三,tokenizer 的重建质量是生成质量的天花板。 如果码本和卷积自编码器无法还原细节,生成模型再强也只能在这个受限的词表里组合。MaskGIT 在附录里专门讨论了重建误差,指出细粒度纹理、文字和人脸是 16 倍压缩最容易丢失的部分。Muse 则用了两个 tokenizer:基础模型使用 16 倍下采样,把 256×256 图变成 256 个 token;超分模型使用 8 倍下采样,把 512×512 图变成 64×64=4096 个 token。分辨率越高,tokenizer 的下采样越保守,否则高频细节根本没有足够的离散位置来承载。

上图是 MaskGIT 的整体流程。左侧是第一阶段:输入图像经过编码器和码本量化,得到视觉 token 网格;右侧是第二阶段:token 网格被随机遮住一部分,双向 Transformer 根据可见 token 预测被遮住位置的码字,损失只在被遮住的位置上计算。注意图中“Predicted Tokens”与“Masked Tokens”是同一组位置——模型在每个空洞上输出一个 1024 维的分类分布,训练时与真值 token 做交叉熵。生成时不再是“输入一张图去重建”,而是“从全遮住的画布出发,反复预测并保留高置信度的位置”。
图像离散化的更多细节——VQ-VAE 的直通估计、VQGAN 的对抗损失、FSQ 与 LFQ 的无查找量化——在站内图像离散分词器完全拆解里有完整推导。理解本文只需要记住一件事:第二阶段的输入输出都是 1024 个离散码字,位置数远小于像素数。
MVTM:训练一个会做填空题的双向 Transformer
MaskGIT 把训练任务称为掩码视觉 token 建模(Masked Visual Token Modeling,MVTM)。给定一张图的 token 序列 Y=[y1,…,yN],随机采样一个二值掩码 M=[m1,…,mN],把 mi=1 的位置替换成特殊的 [MASK] token,得到 YM。模型是一个多层双向 Transformer,它可以看到所有未被遮住的位置,包括被遮位置左边、右边、上边、下边的 token,然后对每个被遮位置输出码字分布。
训练目标是只在被遮位置上计算的负对数似然:
LMVTM(θ)=−EY∼D,M[i:mi=1∑logpθ(yi∣YMˉ,M)]符号含义如下:D 是图像数据集;YMˉ 表示掩码之外保留下来的可见 token;M 本身也作为条件输入,因为模型需要知道哪些位置是空洞;pθ(yi∣⋅) 是第 i 个位置在 1024 个码字上的 softmax 概率。求和只遍历 mi=1 的位置,可见位置不产生损失——这一点和去噪自编码器不同,模型不需要重建已经给出的内容。
再看第一处补正:训练时掩码比例不是按调度函数采样,而是均匀采样。论文原文是:先从 [0,1] 均匀采样一个比例 r,再在所有位置中均匀随机选 ⌈γ(r)N⌉ 个置为 [MASK]。γ 在这里只负责把比例映射成遮挡强度,采样分布本身是均匀的——正因为如此,训练才会从几乎全遮到几乎全可见均匀覆盖。Muse 则不同,它明确说从截断余弦分布中采样掩码率,期望掩码率 0.64,并偏向高掩码率。两篇的采样口径不完全一样,这一点在对照阅读原文时容易看混。
与自回归分解相比,这个目标改变了条件的方向。自回归模型只学习 p(yi∣y<i),条件集永远是光栅顺序的前缀;MVTM 对每一个随机掩码 M 都学习一个条件分布 p(YM∣YMˉ)。由于掩码是随机的,同一个位置在不同训练样本里可能看到完全不同的上下文组合。理论上,这覆盖了 2N 种可见子集;实际训练只是从中采样,但模型被迫学会“根据任意形状的已知区域补全未知区域”,而不是“根据左上角续写右下角”。
这个性质解释了掩码生成后来为什么能直接做编辑。给定额头、给定草图、给定图像的一部分,都是某种可见子集;只要把要改的区域设为掩码,模型就能在保持其余内容的前提下重填。自回归模型做不到这一点,因为它的生成顺序固定,无法在“已知右侧内容”的条件下回头修改左侧。
训练时的掩码比例不是固定值。BERT 常用 15% 的固定比例,那是因为它的下游任务是表示学习,输入句子大部分可见;图像生成要从全空画布开始,固定 15% 显然不匹配。MaskGIT 的做法是:先从 [0,1] 采样一个比例 r,再按调度函数 γ(r) 决定实际遮住的比例,然后在所有位置中均匀随机选 ⌈γ(r)N⌉ 个位置置为 [MASK]。这样训练会覆盖从“几乎全遮”到“几乎全可见”的整个区间,与推理时从空画布逐步补全的过程对齐。
Muse 沿用同样的思路,但把采样分布改成截断余弦分布,期望掩码率约为 0.64,并且明显偏向高掩码率。这个偏向是有意的:掩码率越高,条件信息越少,预测越难;让训练更多落在困难区域,模型在推理早期(几乎全遮)时才不会崩。反过来,如果训练总在低掩码率上,模型会过度依赖大量可见 token,一旦画布接近全空就失去依据。
MaskGIT 的第二阶段模型并不大:24 层 Transformer、8 个注意力头、768 维隐藏层、3072 维前馈层,约 2.27 亿参数。它没有沿用自回归模型常用的因果掩码,而是标准的多头自注意力,每个 token 都能与所有其他 token 交互。位置信息来自可学习的二维位置嵌入,因为图像 token 有明确的空间结构,不能像文本那样只靠一维顺序。

上图把两种解码方式并排放在一起。上半部分是自回归 Transformer:t=0 到 t=255,每一步只多生成一个 token,浅色格子表示尚未生成的位置,深色格子表示已生成的位置。下半部分是 MaskGIT:t=0 时整张画布全遮,之后每一轮同时预测所有空洞,但只保留置信度最高的一部分,剩余位置重新遮住,直到 t=7 时全部填满。同样是 256 个 token,自回归需要 256 次前向,MaskGIT 只需要 8 次。这张图是理解整条路线的核心:并行不是把 256 个 token 一次性盲猜完,而是每一轮都预测全部、只接受最确定的那部分,用多轮迭代逐步缩小不确定区域。
迭代并行解码:预测全部、只留下最确定的
训练目标只告诉模型“给一个可见子集,如何补全其余部分”。要从空画布生成一张图,最直接的想法是把所有位置都遮住,一次前向拿到全部位置的分布,然后每个位置各取概率最大的码字。MaskGIT 论文明确说,这个做法在实践中效果不好,因为它和训练任务的分布不一致:训练时掩码比例是随机的,大量样本里模型只面对少数空洞;推理时一上来就是 100% 的掩码,所有位置同时要填,任何位置的错误都无法被其他位置纠正。
迭代并行解码的思路是把“一次性填满”改成“逐步缩小空洞”。设总迭代次数为 T,第 t 轮(t=0,1,…,T−1)做四件事。
第一步,预测。 把当前画布 Y^(t) 中以 [MASK] 占位的所有位置送入模型,并行得到每个空洞在 1024 个码字上的分布。
第二步,采样。 在每个空洞 i 上,从分布 pθ(yi) 中采样一个候选码字 y^i,同时用这个码字的预测概率 ci=pθ(y^i) 作为置信度。注意这里采样而不是取 argmax:生成任务需要多样性,如果每轮都取最大概率,不同随机种子的输出会高度雷同。对于已经确定的非空洞位置,置信度直接设为 +∞,保证它们不会被重新遮住。
第三步,计算本轮要保留的数量。 按照掩码调度函数 γ 计算:
nt=⌈γ(Tt)⋅N⌉其中 N 是 token 总数,γ 的定义域是 [0,1],值域是 (0,1],且随自变量单调递减。γ(t/T) 表示第 t 轮结束时仍然保留多少比例的位置为空洞。γ 递减意味着空洞越来越少,到最后一轮 γ((T−1)/T)→0,所有位置都被填满。
第四步,遮住最不确定的。 在所有位置中按置信度从大到小排序,保留置信度最高的 N−nt 个,其余 nt 个重新置为 [MASK]:
阈值 thresholdt 就是排序后第 N−nt 个置信度值。这样做的含义是:这一轮模型对所有空洞都给出了猜测,但它对每个猜测的把握不同;把握最大的那批被“拍照固定”,把握不足的退回 [MASK],下一轮在上一轮确定的上下文之上再猜一次。
把这个过程展开,一个 token 在被最终确定之前可能被预测、丢弃、再预测若干次。这与自回归的关键差异在于:自回归把每个 token 的“承诺”放在生成它的那一刻,错了之后无法撤回;掩码解码把承诺拆成多轮,只固定模型真正确定的部分。 早期轮次里,模型只需要在极少数位置上做出非常确定的判断(例如大面积的天空、背景色),这些位置一旦确定就为后续轮次提供了强上下文;越往后,可见区域越多,剩下位置的条件也就越充分。
这里有一个重要假设需要点明。并行解码的效率来自这样一个性质:给定其余 token,许多被遮位置是近似条件独立的,因此可以在一次前向里同时预测它们。如果整个联合分布里所有 token 都两两强耦合,那么并行预测必然错。图像 token 恰好具有局部性:相邻位置的码字高度相关,但相隔较远的区域之间通过少量全局语义(类别、构图)耦合,而不是逐像素耦合。模型靠迭代不断把高置信度的局部结构固定下来,从而逐步逼近一个一致的全局结果。Muse 论文把这条性质写成“马尔可夫式”的条件独立性假设,并指出它是并行解码有效的理论基础。
用一次 256 token、T=8 的解码做一个具体的数:第 0 轮结束后保留 γ(0)⋅N 个空洞;按 MaskGIT 最常用的余弦调度 γ(r)=cos(2πr),第 t 轮保留比例为 cos(2Tπ⋅t)。T=8 时各轮保留的空洞比例依次是 1.000、0.981、0.924、0.831、0.707、0.556、0.383、0.195,第 7 轮结束时清空。对应到 256 个位置,各轮新固定的 token 数是 0、5、15、24、32、39、44、97。可以看出,前几轮固定的很少——此时模型可见信息最少,只敢确定极少数位置;最后一轮一口气确定 97 个位置——此时几乎全图都已确定,剩余位置的条件信息非常充分。这个“前松后紧”的形状正是后面要讲的调度设计所追求的。
实现上有一个细节值得注意:论文指出遮住位置的选择会做温度退火。严格 top-k 会让每轮接受集合完全确定,输出锐利但缺少变化;所以早期的保留集合会引入随机性,让一些不确定性中等的位置也被保留,以换取多样性。这一点与论文后面“迭代次数过多反而变差”的解释相互印证——过度追求每轮都接受最确定的结果,会把多样性压没。
另一个更影响工程实现的事实是:每一步必须做一次完整前向。不能像自回归那样把已固定 token 的 KV 缓存复用来跳过前缀计算,原因有两个:被固定的集合每轮都在变,每轮可见的 token 集合不同;模型是双向注意力,每个位置的输出都依赖全部可见位置,任何一处变化都会刷新全部表示。因此 MaskGIT 的成本就是 T 次全序列前向,这一账在“推理账本”一节详细算。
掩码调度:为什么是余弦
迭代并行解码把图像生成步骤数从 N 压到了 T,但 T 选多少、每一轮保留多少,直接决定质量。MaskGIT 的消融实验显示,这两者比架构本身更敏感。
调度函数 γ 同时用于训练和推理。训练时它决定随机掩码比例的分布,推理时它决定每轮的空洞保留比例。论文对 γ 提了两个约束:
- γ 在 [0,1] 上连续,取值在 (0,1] 之间;
- γ 单调不增,且 γ(1)=0,γ(0)=1,即训练覆盖从全遮到全可见的整个区间,推理最后必须把所有空洞填满。
第二个性质是解码能收敛的必要条件:如果 γ 在某些 r 上不下降,或者在某轮之后停在一个正值,空洞就永远填不完。
论文比较了线性、余弦、平方、立方、指数、平方根、对数等几族函数,并按形状分成三类:
- 线性:每轮遮住的 token 数相等,γ(r)=1−r。
- 凹函数(cosine、square、cubic、exponential):前期空洞比例高、下降慢,后期空洞比例快速掉到 0。对应到“每轮新固定的数量”是先少后多。直觉是图像生成遵循“从少到多”的信息流:开头只需几个可靠的锚点,结尾要一次性完成大量细节。
- 凸函数(sqrt、log):前期就固定绝大部分位置,后期只剩少量微调。对应“先多后少”。
实验结论是余弦函数在所有实验里最好。余弦的凹度适中:既不会像立方那样在很长的前段几乎不固定任何位置(导致模型迟迟得不到足够的锚点),也不会像线性那样把大量位置留到最后一轮(导致最后一轮承担过重的责任)。同时,余弦的最优迭代次数出现在 T=8 到 T=16 之间,比平方、线性这些凹度更低的函数更早到达峰值。
更有意思的是“迭代次数并非越多越好”。论文在 ImageNet 256×256 上扫描 T 时发现:除了表现一贯很差的对数函数,其他调度都会在某个 T 上达到最优,之后继续增大 T 反而变差。余弦在 T 为 8 到 16 时达到最佳。论文给出的解释是:迭代次数过多,模型会对那些本不自信的位置反复保留、反复修正,反而压制了 token 层面的多样性——一个位置被不断“确认”,输出趋于锐利但缺少变化。这解释了为什么 MaskGIT 的最终配置只用 8 步(256×256)和 12 步(512×512),而 FID 仍然显著优于需要 256 到 1024 步的 VQGAN 自回归版本。
这里还有一个容易混淆的点:训练时的调度和推理时的调度是同一条曲线,但两者用它的参数不同。 训练时,γ 的自变量 r 是随机采样的比例,用来决定把一个样本遮住多少;推理时,自变量是 t/T,即当前进度。这种复用让训练分布与推理轨迹对齐:推理第 t 轮面对的空洞密度,在训练里大概率出现过。
条件从哪里进来:类别、文本与 CFG
MaskGIT 首先是一个类别条件的生成模型。ImageNet 的类别标签被映射成嵌入向量,拼接到每个图像 token 的输入上,或者通过 AdaLN 之类的调制注入。因为模型是双向的,类别信息可以影响所有位置,而不是像自回归那样只能影响尚未生成的后缀。类别条件也带来一个自回归做不到的编辑能力:给定一张图和目标类别,把想改的区域设为初始掩码,模型会在保持框外内容的前提下,用目标类别的语义重填框内区域。论文展示了把猫改成“虎猫”、把背景物体替换成目标类别的例子。
Muse 把条件换成自然语言。它使用一个冻结的 T5-XXL 文本编码器,把提示词编码成 4096 维的嵌入序列,再线性投影到 Transformer 的隐藏维度。文本 token 不参与掩码,始终全部可见;图像 token 按前述比例随机遮挡。模型在自注意力之外增加了对文本嵌入的交叉注意力,结构与标准的条件 Transformer 一致:图像 token 之间做双向自注意力,图像 token 再到文本嵌入上做交叉注意力。
这里的选择值得展开。Muse 没有自己训练文本编码器,而是直接冻结 T5-XXL。原因是文生图需要细粒度的语言理解:名词对应物体,动词对应动作,形容词对应材质和风格,介词对应空间关系,数词对应数量。一个从海量文本预训练出来的大语言模型,其嵌入空间已经编码了这些区分;生成模型只需要学习“把文本嵌入里的语义映射到视觉 token 的组合”,而不需要从图文对里重新学语言。论文明确说,冻结的 LLM 嵌入让模型获得了对物体、空间关系、姿态、数量等概念的理解。代价是文本编码器本身很大(T5-XXL 约 47 亿参数),服务时必须把它和生成模型一起放进显存或内存,且每次请求都要跑一遍文本编码。不过同一提示词可以缓存文本嵌入,实际批处理中这笔成本可以摊销。
为了让模型支持无条件和有条件两种模式,Muse 在训练时以 10% 的概率随机丢弃文本条件,让模型同时学会“有提示词”和“无提示词”两种分布。推理时,对每个被遮位置同时计算两份 logits,再用分类器无关引导(Classifier-Free Guidance,CFG)合成最终分布:
ℓi(v)=ℓiuncond(v)+s(ℓicond(v)−ℓiuncond(v))其中 ℓicond 是带提示词的 logits,ℓiuncond 是丢弃提示词后的 logits,s 是引导强度。s=1 时退化为纯条件模型;s>1 时,模型被推离无条件分布,图像更贴合提示词,但多样性下降。这个公式与扩散模型里的 CFG 形式相同,区别在于作用对象:扩散模型对噪声预测 ϵθ 做外推,掩码模型对 1024 类的 logits 做外推。站内扩散模型引导完全拆解对连续情形有详细推导,这里的离散版本只是把向量换成了每个码字的分数。
Muse 在 CFG 上做了一个针对迭代解码的改动:引导强度随采样进度线性增加。早期轮次 s 很小甚至为 0,模型可以自由地铺开构图,不被提示词过早锁死;后期轮次 s 增大,提示词的约束逐渐加强,用来纠正细节和语义。这个设计针对的是掩码解码的一个固有矛盾:如果一开始就用强引导,模型会把最早固定的少数 token 全部押在提示词最显眼的语义上,后续没有足够的自由度调整构图;如果全程弱引导,最终图像又不够贴合文本。让引导随“已确定内容的比例”增长,相当于先自由起草、后严格校对。
同一套机制还支持负向提示词。标准 CFG 的“无条件”分支是空提示词;如果把空提示词替换成一个负向提示词,公式就变成“从负向语义的方向往外推”,从而压制不希望出现的属性。这与扩散模型社区使用的 negative prompt 是同一个数学操作,只是 Muse 把它直接接进了离散 logits。
采样阶段还有温度。每个位置的码字分布先经过温度缩放再采样:
pi(v)=∑v′=11024exp(zi(v′)/τ)exp(zi(v)/τ)其中 zi(v) 是第 i 个位置对码字 v 的 logit,τ 是温度。τ<1 让分布更尖锐,采样更接近 argmax,图像更“稳”但更单调;τ>1 让分布更平,增加多样性但更容易出现不协调的 token。Muse 把温度、引导强度、引导是否随步数增长都当作采样超参数,并在论文里对它们做扫描,画出 FID 与 CLIP 分数的 Pareto 前沿——这说明掩码生成的“质量”不是单一模型属性,而是模型加一套采样调度的联合结果。
Muse:把掩码生成扩展成文生图系统
MaskGIT 证明了掩码 Transformer 可以在类别条件任务上工作,但它生成的是 256×256 图像,且没有文本条件。Muse 要回答的是:这套机制能不能在开放域文生图上同时做到质量和速度。

上图是 Muse 的整体框架,三行分别对应三个组件。最上面一行是文本通路:提示词进入冻结的 T5-XXL 编码器,输出 4096 维嵌入,再投影到 Transformer 的隐藏维度。中间一行是基础模型:256×256 图像经过 16 倍下采样的 VQ tokenizer 变成 256 个 token,随机遮住一部分,连同文本嵌入一起送入带交叉注意力的 Transformer;输出在每个被遮位置预测码字,损失为交叉熵;生成后再由 VQ tokenizer 的解码器还原成 256×256 图像。最下面一行是超分模型:256×256 图像经过另一个 8 倍下采样的 tokenizer 变成 4096 个高分辨率 token,模型以低分辨率 token 和文本嵌入为条件,预测被遮的高分辨率 token,最后解码成 512×512 图像。
这个两级设计不是简单的“先生成小图再放大”。论文给出的理由是:如果让一个模型直接预测 512×512 的 4096 个 token,模型会把容量花在低频的大结构上,同时还要兼顾高频细节,训练信号被稀释,结果是大尺度语义不够好。拆成两级之后,基础模型专注 256×256 的全局构图和语义,超分模型专注在低分辨率 latent 的基础上补高频细节。两级各自有独立的 VQ tokenizer 和独立的 Transformer,职责清晰。

超分模型的结构在上图中展开。左侧是低分辨率 token(16×16)经过若干自注意力层,得到一组上下文表示;这些表示与文本嵌入拼接,作为键和值;右侧是被遮住的高分辨率 token(64×64),通过交叉注意力从低分辨率表示和文本中取信息,再预测自己的码字。注意这里的信息流方向:低分辨率 token 先在自己的网格内做全局自注意力,形成对整张图的概括;高分辨率 token 再以这组概括为条件,逐个补细节。这比“把低分辨率图直接双线性放大再当输入”更强,因为低分辨率 token 携带的是语义量化后的内容,而不是像素插值出来的模糊边缘。
两级模型的规模也不一样。论文的 900M 配置是 632M 的基础模型加 268M 的超分模型;最大的 3B 配置是 48 层、2048 维隐藏层、8192 维前馈层。基础模型在 256 个 token 上用 24 步解码;超分模型在 4096 个 token 上只用 8 步。超分步数少,是因为它的条件强:低分辨率 token 已经给出了全局结构和大部分语义,超分只需要在局部补高频,不需要像基础模型那样从空画布建立构图。

上图把两级模型的迭代过程并排展示。左侧是基础模型:从全遮的 16×16 网格开始,随着 step 增加,逐步出现可辨认的构图,到第 24 步完成 256×256 的 token 网格。右侧是超分模型:从全遮的 64×64 网格开始,只用了 8 步就补出高频细节。两者的差异直观说明了“条件越强,需要的迭代越少”:基础模型要从零建立语义,必须多轮;超分模型已经知道图里是什么,只需要把边缘、纹理和文字补上。
论文报告的数字是:900M 配置(632M 基础模型加 268M 超分模型)在 CC3M 上达到 FID 6.06;3B 模型在零样本 COCO 上 FID 7.88、CLIP 分数 0.32。速度方面,Muse-3B 在 TPUv4 上生成一个 batch 的 256×256 图像约 0.5 秒,512×512 约 1.3 秒;同一篇论文内部基准里,Imagen 256×256 约 9.1 秒,Parti-3B 约 6.4 秒;Stable Diffusion/LDM 在 A100 上 50 步 512×512 约 3.7 秒、250 步约 18.5 秒。这些数字必须带着硬件和 batch 口径看:Muse、Imagen、Parti 是 TPUv4 上的内部实现,LDM 是 A100 上的公开基准,不能直接把秒数当成同一硬件上的排名。但数量级仍然说明问题:在参数量接近甚至更大的情况下,掩码路线的步数优势确实转化成了端到端延迟优势。
Muse 还把编辑能力直接继承了下来。文本引导的 inpainting 和 outpainting 不需要微调:把要修改的区域设为初始掩码,其余 token 保留,文本换成新描述,重新跑迭代解码即可。更进一步的无掩码编辑(mask-free editing)也不需要对图像做反演:先把原图 token 化,遮住一部分区域,用新提示词重新生成被遮部分,再与保留部分拼接。这与扩散模型的编辑路径形成鲜明对比——扩散模型通常需要 DDIM 反演、null-text 优化或专门的编辑网络,才能在不破坏原图结构的前提下换内容;掩码模型因为训练目标本身就是“任意子集补全”,编辑是它的原生能力,不需要借助额外组件。站内扩散模型图像编辑和指令式图像编辑架构分别讲了扩散侧的编辑机制,可以对照看两条路线的成本差异。
与自回归、扩散的结构对比
把三条路线放在同一张表里,差异会更清楚。下表按 256×256、16 倍 token 化的设定对比,数字取各自论文的典型配置。
| 维度 | 自回归(VQGAN/Parti 类) | 掩码生成(MaskGIT/Muse) | 扩散(LDM/Imagen 类) |
|---|---|---|---|
| 生成单元 | 离散 token | 离散 token | 连续 latent 或像素 |
| 条件方向 | 单向,只看前缀 | 双向,看全部可见 token | 每步全图去噪,双向 |
| 典型前向次数 | 256~4096 | 8~24(加超分再 8) | 20~250 |
| 每步计算规模 | 单 token,带 KV 缓存 | 全序列重算 | 全图,带缓存/分块 |
| 任意区域编辑 | 困难,受生成顺序限制 | 原生支持,改初始掩码即可 | 需反演或专门编辑模型 |
| 随机性来源 | 采样温度/top-k | 采样温度 + 保留集合随机性 | 初始噪声 + 采样器 |
| 主要瓶颈 | 串行延迟、GPU 利用率 | 每步全序列注意力 | 步数多、每步网络大 |
这张表里最容易被忽略的是“每步计算规模”这一行。自回归的每一步只处理一个 token,计算量小但依赖链长;掩码生成的每一步都要把全部 N 个位置重新跑一遍,单步计算量大,但 T 很小。扩散的每一步是全图网络,单步最重,步数居中。三种范式的总算力和总延迟并不是简单的正比关系,下一节把账算细。
质量上,MaskGIT 在 ImageNet 256×256 上报告 FID 6.18、Inception Score 182.1,8 步;512×512 上 FID 7.32、IS 156.0,12 步。作为对照,同论文复现的 VQGAN 自回归基线(同样 227M 参数、256 步)FID 18.65;BigGAN-deep 在 256 上是 6.95、512 上是 8.43。也就是说,掩码路线用不到自回归 1/20 的步数,把 FID 从 18.65 拉到 6.18,同时在 512 上超过了 BigGAN-deep。多样性方面,论文用 Classification Accuracy Score 和 Precision/Recall 衡量:MaskGIT 的召回率高于 BigGAN,精确率高于基于似然的模型,说明它不是靠模式坍塌换质量。
但“步数少”不等于“算力少”,这一点需要单独讲清楚。
推理账本:步数、FLOPs 与硬件利用率
先做一个同规模模型的理论估算。设 token 数 N,隐藏维度 d,层数 L,前馈维度 4d。一层 Transformer 的前向计算大致包括:
- QKV 与输出投影:4Nd2 次乘加;
- 注意力打分与加权:2N2d 次乘加;
- 前馈网络:8Nd2 次乘加。
所以一次全序列前向约为 L(12Nd2+2N2d) 次乘加。
自回归带 KV 缓存时,第 n 步只处理一个新 token:投影和前馈是 12d2,注意力对长度约 n 的缓存做 2nd。从 n=1 到 N 求和,整张图的总量约为:
CAR≈L(12Nd2+N2d)掩码解码每轮都对 N 个位置做全序列前向,共 T 轮:
Cmask≈L⋅T(12Nd2+2N2d)两者相除,掩码路线的乘加量大约是自回归的
CARCmask≈T⋅12Nd2+N2d12Nd2+2N2d代入 N=256、d=768、T=8,比值约为 8.2;也就是说,在模型宽度和深度相同的条件下,MaskGIT 一次生成的总 FLOPs 反而约为自回归的 8 倍。原因很直接:自回归每一步只算一个新 token,而掩码每一步都把 256 个位置全部重算,且由于双向注意力和不断变化的可见集合,无法复用 KV 缓存。
那为什么墙钟时间反而快 30 到 64 倍?答案在硬件利用率。自回归的 256 次前向,每次只做一个小矩阵乘,GPU 的 SM 大量空闲,kernel 启动和同步开销占主导;依赖链让 256 步无法并行,延迟随步数线性增长。掩码的 8 次前向,每次都是 256×768 的大矩阵运算,batch 内和序列内都有充足的并行度,GPU 能吃满。掩码路线是用更多的算术换更少的串行依赖,把“延迟受限”的计算变成“吞吐受限”的计算。 对服务系统来说,这是一个很划算的交换:单请求延迟下降,批量吞吐上升,而且每步形状固定,容易做批处理和算子融合。
这里必须给论文的 30–64× 加一个限定。MaskGIT 的运行时对比对象是 VQGAN 自回归实现,后者约 14 亿参数,而 MaskGIT 只有 2.27 亿参数,模型规模差了约 6 倍。因此 30–64× 不能全部记在并行解码头上,其中包含了模型变小带来的收益。论文自己复现的 227M 自回归基线(VQGAN-227M)只报告了 FID 和步数,没有给出对应的墙钟曲线。严谨的说法是:并行解码消除了串行依赖,这是结构性优势;具体加速倍数取决于模型规模、序列长度和硬件,不能把一个跨模型的对比数字当成通用加速比。
再看 Muse 的账本。基础模型 256 个 token、24 步,超分模型 4096 个 token、8 步。超分那 8 步的注意力成本是 40962 量级,远高于基础模型的 2562,但步数只有 8,且 3B 模型的隐藏维度大,单步是大规模矩阵乘,TPUv4 上的利用率高。Muse-3B 的 1.3 秒/batch(512×512)之所以能成立,靠的是“少步数 × 大矩阵 × 高并行”的组合,而不是总算力小。若把 4096 个 token 的自注意力摊开算,它的单步注意力乘加约为 2×40962×2048≈6.9×1010,乘 48 层再乘 8 步,量级在 1013 以上;这是一笔实打实的重计算,只是被高度并行的硬件在 1.3 秒内吞吐掉了。
对推理服务,掩码路线有几个具体的工程含义:
固定步数带来可预测的延迟。 自回归的停止条件依赖 EOS,生成长度不定;扩散的步数由采样器配置决定,但每步网络可能因分辨率变化。掩码解码的 T 和 N 在请求进入时就能确定(分辨率固定、步数固定),调度器可以做精确的 batch 组合和 SLA 估算。Muse 的两级结构更是把延迟拆成“基础 24 步 + 超分 8 步”两段,便于流水线化。
没有 KV 缓存,显存主要是权重和激活。 自回归服务的关键优化是 PagedAttention 和 KV 池化;掩码模型不需要为每个请求维护随长度增长的 KV,但每步的激活是 B×N×d 量级,batch 大时激活显存会成为限制。好处是请求之间的显存占用可预测,不会出现长上下文把 KV 池吃爆的情况。
CFG 让计算翻倍。 每个被遮位置要同时算条件和无条件两份 logits。实现上通常把条件和无条件样本拼成一个 2B 的 batch,一次前向算完,再在输出端组合。这使有效 batch 减半,但也避免了两次独立的 kernel 启动。Muse 的线性引导 schedule 还意味着引导强度是步数的函数,不能把整个采样过程压成一次编译好的静态图而不保留这个依赖。
文本编码可以缓存,tokenizer 解码不可忽略。 T5-XXL 的文本嵌入对同一提示词是确定的,服务端可以按提示词哈希缓存;VQ tokenizer 的解码器是卷积网络,512×512 的输出分辨率下其成本相对于 3B Transformer 不算大,但也不是零,尤其是在小 batch 场景。Muse 通过冻结 tokenizer、只微调解码器来提升细节,同时保持 token 词表不变,这让生成模型和 tokenizer 可以独立迭代。
编辑请求可以复用前缀。 在 inpainting 场景里,未修改区域的 token 是已知的,只有被遮区域需要重算。虽然双向注意力不能像自回归那样缓存前缀 KV,但可以把已知 token 作为固定输入,减少每轮需要预测的位置数;实际实现还可以按区域裁剪注意力,避免对整张图反复做全量注意力。这类优化在论文里没有展开,是掩码生成走向生产系统时必须补的一层。
后续演进与边界
MaskGIT 之后,掩码生成沿着几个方向继续演进。
采样质量方面,Token-Critic(2022)指出了一个核心问题:并行解码用模型自己的置信度决定保留哪些 token,但“模型觉得确定”不等于“这个 token 真的正确”。Token-Critic 训练一个辅助判别器,输入是“部分真实、部分由生成器采样”的 token 网格,让它判断每个 token 是真实还是生成;采样时用 critic 的分数替代或融合生成器的置信度,决定接受还是拒绝重采样。这个思路把“自评估”换成了“外部评估”,在相同步数下提升了 FID。
训练目标复用方面,MAGE(2022)发现掩码比例可以同时服务生成和表示学习:高掩码率逼迫模型学习全局语义,适合生成;低掩码率保留更多上下文,适合自监督表示。它在 VQ token 上做可变比例掩码,把生成和对比学习放进同一个框架,说明“掩码视觉建模”不只是生成器,也可以作为视觉主干预训练任务。
采样调度方面,后续工作尝试自适应地决定每轮保留多少 token,而不是固定余弦曲线;也有工作把 critic、温度、引导强度联合调度。这些改进的共同目标是:在不增加步数的前提下,减少“早期错误承诺”带来的连锁错误。
但这条路线有几个结构性边界,选型时必须正视。
tokenizer 是硬天花板。 生成模型只能在 1024 个码字里组合,tokenizer 还原不出的细节,生成模型永远补不回来。MaskGIT 的附录明确列出人脸、文字、对称物体等失败案例:16 倍压缩下,这些人眼敏感的结构容易出现过度平滑或伪影。Muse 用 8 倍 tokenizer 做超分来缓解,但基础模型的 16 倍压缩仍然限制了全局细节的上限。
固定调度不适合所有图像。 一张简单背景的人像和一张密集文字的海报,需要的迭代次数和保留策略完全不同。固定 T 和固定余弦曲线只能取一个折中;自适应计算(简单图早停、复杂图多步)在掩码生成里还没有像扩散的蒸馏那样成熟。
并行假设会失效。 当图像里存在强长程依赖(对称结构、重复文字、精确的空间对应)时,“给定其余 token 条件独立”的近似会错,模型可能在两处生成互相矛盾的 content,迭代也未必能纠正。MaskGIT 的 outpainting 失败案例里,一端语义或颜色漂移,就是因为有限注意力无法同时记住两端。
CFG 的多样性税。 强引导提升文本对齐,但压低多样性;Muse 用随步数增长的引导来折中,但这只是调度层面的缓解,不是消除。对需要多样本采样的应用(创意探索、数据增强),掩码模型的引导参数需要单独调。
生态与工具链。 扩散模型有成熟的 LoRA、ControlNet、IP-Adapter 生态,掩码生成的条件注入目前主要靠“改初始掩码”和“换文本”,可插拔的结构条件适配器还没有形成同等规模的生态。这是工程选型时容易被忽略的成本。
站内Visual Autoregressive Modeling 完全拆解讲了另一条“少步数”路线:把图像拆成从低分辨率到高分辨率的尺度序列,用下一尺度预测替代逐 token 自回归。它与掩码生成的共同点是都在减少串行步数,区别是 VAR 仍然保持自回归的链式分解,而 MaskGIT 用双向条件和迭代掩码替代了链式分解。两条路线可以放在一起看,理解“图像生成的并行化”有哪些不同的数学切入点。
小结
掩码图像生成的核心可以压缩成三句话。
第一,把图像变成离散 token,把生成变成填空。VQ tokenizer 把 256×256 图像压成 256 个码字,双向 Transformer 学习在任意可见子集下预测被遮位置。训练目标不是链式似然,而是对 2N 种条件分布的采样近似。
第二,用置信度调度把并行预测变成迭代修正。每一轮预测全部空洞,只保留最确定的 top-k,其余重新遮住;余弦调度让早期只固定少量锚点、后期快速收尾。T 通常取 8 到 24,远小于 token 数。
第三,步数少不等于算力少。掩码解码每步全序列重算,同规模下总 FLOPs 可能高于带 KV 缓存的自回归;它的优势来自并行度和硬件利用率,以及固定步数带来的可预测延迟。工程上要同时看 FLOPs、墙钟、batch 吞吐和显存,而不能只看“几步”。
MaskGIT 用 8 到 12 步把 ImageNet 256/512 的 FID 做到 6.18/7.32,并证明编辑可以零成本地来自初始掩码;Muse 用 24+8 步、T5-XXL 条件和两级级联,把这条路线扩展到开放域文生图,在 3B 规模上做到零样本 COCO FID 7.88、CLIP 0.32,并把 512×512 的 batch 延迟压到 1.3 秒(TPUv4)。它们不是扩散模型的替代品,而是提供了一种不同的成本结构:用双向上下文和并行迭代,换取更少的串行步数;用 tokenizer 的表达上限,换取离散分类目标的简洁与可控。 理解了这笔交换,就能判断什么场景该选掩码生成,什么场景该留在扩散或自回归。
参考资料
- MaskGIT: Masked Generative Image Transformer
- Muse: Text-To-Image Generation via Masked Generative Transformers
- Taming Transformers for High-Resolution Image Synthesis(VQGAN)
- Mask-Predict: Parallel Decoding of Conditional Masked Language Models
- Improved Masked Image Generation with Token-Critic
- MAGE: MAsked Generative Encoder to Unify Representation Learning and Image Synthesis
- Denoising Diffusion Probabilistic Models
- High-Resolution Image Synthesis with Latent Diffusion Models
- Classifier-Free Diffusion Guidance
- MaskGIT 官方代码仓库
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



