正在获取所在地区…
正在读取天气
音乐
暂未播放
图像离散分词器完全拆解:VQ-VAE、VQGAN、FSQ 与 LFQ——生成模型的第一层是怎么把一张图变成 token 的
自回归图像生成、统一多模态模型、离散扩散模型的视觉分支,这三条路线的第一步都相同:把一张连续的图像,转换成一张离散的、可从有限词表中取值的 token 网格。这一步由图像分词器(image tokenizer)完成。它的质量直接决定了下游生成模型能画出什么——分词器重建不出细节,生成器再强也只能在损失后的信息上做外推。
本文拆解图像分词器的核心设计:矢量量化的原理与梯度问题、VQGAN 用感知损失与对抗损失补回的高频细节、EMA 与码本归一化等针对码字塌缩的工程修正、FSQ 与 LFQ 这类无查找(lookup-free)量化如何绕开码本本身,以及 TiTok 这类「少量语义 token」路线在序列长度上做的文章。下游怎么使用这些 token——VAR 的下一尺度预测、Chameleon 的统一自回归——不属于本文范围,可参考 Visual Autoregressive Modeling 完全拆解 与 统一多模态生成架构。
为什么图像需要分词
Transformer 在序列上的成功,依赖一套可复用的目标函数与工程经验:交叉熵、下一个 token 预测、KV 缓存、采样策略。图像是像素矩阵,取值连续,直接套交叉熵没有定义。把图像也切成 token,就能让图像生成在方法层面并入语言模型的整套体系——这也是自回归图像生成(DALL·E、MaskGIT、VAR、Chameleon、Emu3、Janus)一直坚持用离散 token 的根本原因。
分词器要同时满足四个互相冲突的要求:
- 压缩率足够高。256×256 的图像转成 token 后,如果是 16×16=256 个而不是 65536 个,序列长度减少 256 倍,下游自回归的计算成本随之大幅降低。
- 重建质量足够好。解码后要能还原原来的图像。码字数量越少,丢掉的信息越多,重建越模糊、细节越少。
- 词表大小可控。词表过大,嵌入表与输出投影(logits 矩阵)的参数量、训练时的 softmax 计算成本都会上涨;词表过小,每个码字要概括的模式太多,表达力不足。
- 码本被充分利用。如果只有少量码字被反复选中,那么词表大小只是名义上的,信息容量实际上已经饱和。
这四个指标之间存在直接的冲突关系。分词器的设计,本质上是在这个取舍空间里找更合算的一个点。下面按时间线拆解每一次取舍是怎么被修正的。
矢量量化:把连续的潜变量替换成查表
整体结构
VQ-VAE(Neural Discrete Representation Learning,van den Oord、Vinyals、Kavukcuoglu,2017 年,NeurIPS)给出了最早的方案。结构分为三段,第一段是编码器 E:卷积网络把图像 x∈RH×W×3 压成一张特征图
f=E(x)∈Rh×w×C其中 h、w 是特征图的高宽、C 是通道数,下采样倍率 r=H/h=W/w。第二段是量化器 Q:它维护一个可学习的码本 Z={zk}k=1K,zk∈RC,特征图上的每个位置 (i,j) 都被替换成码本中与该位置特征最近的一个向量:
f^ij=zk∗,k∗=argk∈{1,…,K}min∥fij−zk∥22第三段是解码器 D:它从量化后的特征图重建图像,x^=D(f^)。
解码器只看到码本里的向量,所以图像事实上被「编码进了离散索引」:h×w 个位置,每个位置一个索引 k∗∈{1,…,K}。词表大小是 K,序列长度是 h⋅w。

上图是 VQ-VAE 原文的 Figure 1。左半是模型结构:输入 x 先经编码器得到 h×w×C 的特征图 z(x),每个位置的特征向量进入码本做最近邻查找,替换成码字 zq(x),再送入解码器重建。右半是嵌入空间的可视化:网格中的每个点是码本里的一个码字,箭头的方向表示梯度会把编码器的输出往最近的码字推。这张小图值得多看几眼——它说明量化并不是一个「无损的路由」操作:编码器输出落在码字之间的空隙里时,重建只能用最近的码字近似,误差就是这个空隙本身。量化误差和码字密度直接相关,这也是为什么码本大小与重建质量几乎总是正相关。
前向离散,反向如何处理梯度
argmin 是不可导的。梯度无法穿过「选哪个码字」这个离散决策回到编码器。VQ-VAE 的解法是直通估计(straight-through estimator,STE):
f^=f+sg(f^−f)其中 sg 表示停止梯度(stop-gradient)算子:前向取值为恒等映射,反向传播时梯度为零。展开来看,前向时 f^=f+f^−f=f^,实际使用的是查表得到的量化向量;反向时 f 的梯度被当作等同于 f^ 的梯度原样传回。量化这一步在反向中被视为恒等映射。
这个做法有一个明显的偏差:编码器在优化时认为自己输出的是 f,而解码器实际收到的是 f^。两者之间的差距 f−f^ 是量化误差,编码器的梯度完全看不到它。为了让编码器主动把特征推向码本,训练损失包含三项:
L=重建∥x−x^∥22+码本损失∥sg(f)−f^∥22+β承诺损失∥f−sg(f^)∥22三项各自只更新一部分参数:
- 码本损失 ∥sg(f)−f^∥22:只更新码本。sg(f) 意味着一项里的 f 被冻结,梯度只能流向 f^,而 f^ 就是选中的码字 zk∗。每个码字 zk 被拉向「那些选择了它的特征」的均值,这正是对 k-means 中簇中心更新的模拟。
- 承诺损失 β∥f−sg(f^)∥22:只更新编码器。把编码器的输出 f 拉向量化结果 f^,防止编码器输出尺度漂移——若 f 的范数不断增大而码字保持在某个小范围内,量化误差只会越拉越大。
- β:承诺损失的权重。原论文取 0.25。
码本项的梯度更新在实践中常被指数移动平均(EMA)取代,因为它不需要为码本单独设学习率:
Nk←γNk+(1−γ)nk,mk←γmk+(1−γ)(i,j):kij=k∑fij,zk←Nk+ϵmk这里 nk 是本 batch 中选中码字 k 的位置数,mk 是被选中特征之和,γ 是衰减系数,ϵ 防止除零。更新后的 zk 就是被选中特征的滑动平均——比梯度更新更直接地体现了「码字是簇中心」这层含义。
- 承诺损失 β∥f−sg(f^)∥22:只更新编码器。把编码器的输出 f 拉向量化结果 f^,防止编码器输出尺度漂移——若 f 的范数不断增大而码字保持在某个小范围内,量化误差只会越拉越大。
- β:承诺损失的权重。原论文取 0.25。
这里有一个容易忽略的细节:编码器只被承诺损失推着靠近码本,重建好坏的梯度并不直接指导编码器——它只通过直通估计被当作等效的东西传回来。这是为什么 VQ-VAE 的训练需要仔细调节 β,也是后续所有量化方案都要处理的中心问题。
量化误差的量级可以直接估算。在一个 C 维空间里放 K 个码字,若码字大致均匀分布,每个码字「负责」的体积约为 V/K(V 是特征取值的有效体积),特征到最近码字的平均距离大致按 (V/K)1/C 缩放。这里假设码字把特征空间的每一维都均匀切分:若总码字数为 K,每一维被切成 K1/C 段,则每增大一倍的码字数,每维段数只乘以 21/C,对应的平均量化误差按 2−1/C 缩小。C=64 时这个系数约为 0.989,几乎可以忽略——这就是「码本从 4096 加到 8192 对重建改善有限」的算术原因。反过来,把特征空间降到 8~16 维再量化(ViT-VQGAN 的 factorized codes),2−1/C 变成 0.917~0.955,同样的码本翻倍才真正买得到重建改善。需要说明,这个估算假设各维独立且码字均匀铺满,学习型码本能把码字集中到数据密集区,实际误差会优于这个均匀估计;但它给出的量级关系是对的:维度越低,增大词表越划算。
码字塌缩
VQ-VAE 实践中最大的麻烦是码字塌缩(codebook collapse)。如果编码器把绝大部分位置都映射到少数几个特征点附近,那么这些位置都会选中相同的码字,其余码字永远得不到梯度,码本的有效大小急剧下降。一旦码本只剩一小部分码字在起作用,词表名义上是 K,真正用到的信息容量可能只相当于几百。
塌缩的机制可以理解为编码器和码本互相推着走:编码器一旦在某些位置学会了只用少数码字就能重建得还不错,它就会倾向于继续这样做;对应码字更新更频繁,其他码字被越甩越远。后续方案里有一大半工作量,本质上就是在处理这个问题。
从梯度路径看,塌缩还有一个更隐蔽的来源。编码器接受的梯度不是重建损失的梯度,而是承诺损失与(经由直通估计的)重建损失混合后的结果。承诺损失希望编码器输出靠近当前码字,这是一种自我强化的力量:编码器越贴近现有码字,输出越集中,码本更新越集中在少数几个码字上,其余码字接收不到特征,就越远离数据分布,越不可能被选中。这个正反馈是塌缩的动力学根源。所有修法的目标都可以归纳为「打断这条正反馈」:死码字重启把闲置码字强行拉回数据附近,熵正则惩罚使用分布的不均匀,码本归一化把码字的距离结构变得均匀,FSQ 则从根上取消了「选哪个码字」这个决策。
用 k-means 的视角看量化损失
把码本损失写成对全部位置求和:
Lcodebook=i,j∑∥sg(fij)−zkij∥22它正好就是 k-means 的目标函数(把每个码字看成聚类中心,把 kij 看成簇分配),区别在于这里的「数据点」fij 来自一个正在被训练的编码器。这是一个耦合优化:编码器改变数据分布,码本同时在拟合数据分布;两者都用同一个损失驱动,但只通过直通估计的近似传递信息。k-means 本身对初始化敏感、容易陷入局部最优,这套耦合结构继承了它的这一性格。
这个视角还能解释一个工程现象:在训练早期,编码器的输出分布尚未成形,码本相当于在做一次「冷启动」的 k-means——此时若有相当比例的码字未被选中,它们就几乎失去了被更新的机会。所以大多数 VQ 实现会在训练初期更积极地重启死码字,训练后期则放松重启频率,让码字能收敛到稳定的簇中心。
用有损信源编码的框架看,这一步就是一次「率-失真」(rate–distortion)权衡:码率是每个位置 log2K 位,失真是量化误差 ∥f−f^∥2 的期望。码本越密,失真越小、码率越高;码本越稀,码率低但失真大。VQ-VAE 的学习目标本质上就是在这个约束下最小化失真,同时把码本当作一个自适应的「量化格」去贴合数据分布——这也是它比均匀网格的标量量化(FSQ)更省码率的原因,代价就是塌缩这一堆工程麻烦。
VQGAN:用感知损失与对抗损失补回高频
VQ-VAE 的重建目标是纯 L2。L2 对大误差惩罚很重,结果常常是「平滑但无细节」——重建图像模糊,纹理被平均掉。VQGAN(Taming Transformers for High-Resolution Image Synthesis,Esser、Rombach、Ommer,2021 年,CVPR)针对这一点改变了损失函数。

上图是 VQGAN 原文的结构总图。左半是图像通往 token 的路径:CNN 编码器输出的特征图被逐个替换成码本 Z 中的最近码字,得到 h×w 的索引网格;解码器接收量化后的特征图重建图像。右半是生成路径:索引网格被展平成一维序列,交给一个自回归 Transformer 按 p(si∣s<i) 逐 token 预测,再解码成图。图中同时画出了判别器——它是训练期的一种监督,推理时并不参与。
VQGAN 在 VQ-VAE 基础上补了两项损失:
- 感知损失(perceptual loss):不比较像素,比较在预训练网络的中间特征空间里的距离。特征对纹理、结构敏感,对像素级偏移不敏感,能迫使解码器还原真实纹理,而不是模糊的平均值。
- 对抗损失(adversarial loss):引入一个 patch 判别器,判断重建图像的局部是否为真。判别器推动解码器产生看起来更像真实图像的结果,这一项对锐利度的贡献最大。
完整的损失为
LVQGAN=Lrec+∥sg(f)−f^∥22+β∥f−sg(f^)∥22+λGANLGAN其中 Lrec 是感知损失加 L1 重建。λGAN 不能设成固定值——对抗损失的大小取决于判别器的强度,设小了感知损失独大、结果偏平滑,设大了 GAN 损失主导、纹理可能变成伪影。VQGAN 的做法是每一步计算重建损失与对抗损失在解码器最后一层的梯度范数,按两者的比值动态调整 λGAN,使两项的梯度在数量级上平衡。这个技巧叫自适应权重,是 VQGAN 能够稳定训练的关键之一。
VQGAN 的贡献不止在损失函数。它在同一篇论文中展示了「自回归 Transformer + VQGAN 分词器」的组合,从那时起,离散分词器成为 AR 图像生成的标准前端。MaskGIT、ViT-VQGAN、VideoGPT 等后续工作都建立在它的思路上。它的局限同样清楚:没有处理码字塌缩,重建质量在复杂自然图像上仍属一般——MaskGIT 与后续分词器工作在同等口径下对比时,VQGAN 的重建误差明显高于后来的方案,这成为后续工作持续针对的方向。
码本塌缩的工程修正
在进入 FSQ 之前,先把「码本怎么被用好」这条线上的典型修法讲清楚,因为 FSQ 的设计动机正是绕开这些修法。
EMA 更新与死码字重启
VQ-VAE-2 用 EMA 更新码本,替代原来的码本损失项(上一节给出的公式)。这样做的直接好处是码本不需要单独的学习率——它被更新为「最近被选中特征」的滑动平均,更新幅度只由簇统计量决定,不会因为与编码器共用优化器而互相牵制。更直接的手段是死码字重启:每个训练步统计每个码字的选中次数,长期为零的码字被随机重新初始化,或替换成同 batch 中未被充分代表的特征。这两种手段在多数 VQ 实现里都会同时启用。
归一化码本
码本塌缩的一个诱因是特征与码字的尺度和方向不同步。ViT-VQGAN 把码字约束在单位球面上(ℓ2 归一化),查找最近码字变成最大化余弦相似度:
k∗=argkmax∥fij∥2⋅∥zk∥2fij⊤zk一旦 zk 全部在单位球面上,最近邻搜索就简化成一次向量内积加一次 argmax,距离计算省掉了范数项。ViT-VQGAN 论文同时报告了另一项观察:把码字的潜维从 256 降到 16 甚至 8(所谓 factorized codes,即先把编码器特征线性投影到低维空间、在该空间查表、再把查到的码字投影回特征维度),重建质量反而更好——低维码字每一维平均承载的信息更多,查表空间也更紧凑。论文还指出,去掉 ℓ2 归一化会让结果明显变差,说明「码字方向」比「码字长度」更有信息量。此外,ViT-VQGAN 把编码器与解码器从 CNN 换成 ViT 结构,在 ImageNet 256×256 上把生成 FID 从 VQGAN 的 17.04 降到 4.17(两者的自回归先验规模并不同,这组数字更多说明分词器侧的改进空间有多大)。
前身:音频编解码器里的逐维标量量化
最后一条「修法」干脆放弃学习型码本。它来自 SoundStream、EnCodec 这类音频编解码器:码字不作为一个向量整体学习,而是把每个维度当作独立的标量级数,所有维度级的组合构成码本。这就是下一节 FSQ 的原型。
FSQ 与 LFQ:去掉码本
2023 年之后出现了一个反方向的思路:既然码本是塌缩、EMA、承诺损失、死码字这一系列麻烦的根源,干脆不用码本。
FSQ 的量化函数
FSQ(Finite Scalar Quantization: VQ-VAE Made Simple,Mentzer、Agustsson、Tschannen,2023 年,arXiv)的做法很直接:在编码器输出之后,不再做最近邻查找,而是对特征向量的每一个维度做独立的标量量化,再把量化值组合成码字索引。
编码器末尾先接一个小投影 fout,把 C 维特征映射到 d 维(d≪C),然后对每一维 i 设置一个级数 Li(例如 8 级),量化函数为
f^i=round(⌊2Li⌋tanh(fout,i))tanh 把任意实数压进 (−1,1),乘以 ⌊Li/2⌋ 后取整,得到一个 Li 级离散值,取值范围是 {−⌊Li/2⌋,…,⌊Li/2⌋}。整个向量的取值空间是一张 L1×L2×⋯×Ld 的笛卡尔积网格,这就是隐式的码本,规模为
K=i=1∏dLi例如 d=4、每维 8 级,K=84=4096;d=6、每维 5 级,K=56=15625。码字索引就是这 d 个整数按混合进制拼起来的编号。

上图是 FSQ 原文的 Figure 1。左边是 FSQ:编码器最后一层直接投影到 d=3 维(图中示例),每个维度被 tanh 限制在 L=3 个取值上,取整后得到网格上的一个点,它就是量化结果。右边是 VQ:最后一层投影到一个维度高得多的空间(图中 d=7,实际通常上百上千),特征向量要被替换成码本里最近的那个向量。两者的关键差别在图里一目了然:FSQ 的量化是逐维独立、对每一维各自取整;VQ 的决策是全局的——选哪个码字取决于所有维度的联合距离。
FSQ 为什么结构上不会塌缩
FSQ 论文把设计目标写成三条:i) 去掉辅助损失;ii) 从设计上保证码本利用率;iii) 保持与 VQ-VAE 相同的功能接口,可以作为即插即用的替代品。
第二条目标的实现机制值得单独说明。tanh 的值域是 (−1,1),乘以 ⌊Li/2⌋ 后取整,每一维必然落在网格的一格上,不会有「被放弃的维度」。而各个维度的量化是独立的,编码器只要在某一维上产生变化的输出,就会走到网格上的另一个位置——不存在「某一片码字区域因为从未被最近邻选中而饿死」这种情况。VQ 的塌缩来自「编码器学会了只用少数码字就够了」,FSQ 没有「选哪个码字」的决策过程,也就没有这种学习惯性。
代价则是另一面的:FSQ 的表达力由 d 和 ∏Li 决定,网格是均匀的,无法像学习型码本那样把码字集中到数据分布密集的区域。论文里专门做了级数配置的实验:级数总量相同的情况下怎么在各维之间分配预算(例如 d=2 时把总量集中到某一维还是平均分配)会明显影响重建,这也是使用 FSQ 时最需要调的参数之一。

上图是 FSQ 原文的 Figure 2,逐行对照了 VQ 与 FSQ 的量化运算、梯度处理、辅助损失与工程技巧。量化一行:VQ 是 argmin 求最近码字,FSQ 是对有限值取整(round)。梯度一行:两者都用 STE,FSQ 多一步——对 tanh 的输出做梯度截断(clip),防止 tanh 饱和时梯度过于集中。辅助损失一行:VQ 需要承诺损失、码本损失,FSQ 在论文的推荐配置下不需要这两项。技巧一行:VQ 常配 EMA、死码字重启、码本归一化,FSQ 通常只需要一个简单的正则稳定输出分布。这张图就是 FSQ 论文的整个立论:在保持输出格式不变的前提下,把一整排工程补丁全部删掉。
LFQ:把每一维压成 1 bit
LFQ(Language Model Beats Diffusion——Tokenizer is Key to Visual Generation,Yu、Lezama、Gundavarapu 等,2023 年,arXiv)的思路与 FSQ 同源,但把「各维独立」推到极限:每一维只留两个取值。
f^i=sign(fi)=−1{fi≤0}+1{fi>0}d 维二值化得到 2d 个码字,索引就是这 d 个符号组成的二进制数:
Index(z)=i=1∑log2K2i−11{zi>0},K=2log2K之所以叫无查找(lookup-free),是因为整个量化过程完全不需要查表:码字索引由符号位直接拼出来,码字的「嵌入」也可以按维解构,不必维护一张 K×C 的嵌入表。
二值化会带来一个直接隐患:如果某几维在所有样本上总是相同的符号,那这几维对码字索引就没有贡献,码本利用率下降。LFQ 用一个熵正则处理这个问题:
Lentropy=E[H(q(z))]−H[E(q(z))]第一项是每个样本自身码字分布的熵,第二项是 batch 平均码字分布的熵。让前者大、后者也大,等价于要求每个样本用到的码字比较分散、且整体上每个码字都被用起来。论文指出这一项与 VQGAN 后来的码本熵项(Chang 等 2022)出自同一思路,并对权重做了从高到低的线性退火(起始值为稳定值的 3 倍,2k 步内降到 0.1)。
LFQ 的立论:词表越大,生成越好
LFQ 论文真正要回答的问题是为什么在图像生成里,自回归或掩码语言模型长期打不过扩散模型?论文给出的答案指向分词器。它指出当时多数视觉生成模型的词表只有 1~8k,而自然语言词表 20 万以上;小词表意味着每个码字要承载更多语义,重建质量受限于此,下游模型的预测目标也就被限制了。
论文的核心实验就是把这层关系画出来:横轴是词表大小,纵轴是重建 FID 与生成 FID。VQ 的曲线是:词表增大时重建 FID 持续下降(码本容量变大),但生成 FID 先降后升——词表太大,学习一个巨大的嵌入表和输出头会变得困难,语言模型反而学不动。LFQ 的曲线则是两条都随词表增大而变好。论文因此把图像分词器的默认码本拉到 K=218(262144),比常规 VQGAN 的 1024~8192 高出一到两个数量级,靠的就是「码字不需要学习嵌入、词表可以任意扩大」这一性质。
需要说清楚这个实验的口径:它是在 128×128 的 ImageNet 上、用 306~372M 参数的掩码语言模型做的对比,比较的是同一种下游模型在不同分词器上的表现,所以结论限定于分词器这一变量。更复杂的分布(真实文本到图像)上,词表的影响会与文本条件的质量纠缠在一起,不能直接套用。
FSQ、LFQ 与 VQ 的对比
| 维度 | VQ(VQ-VAE/VQGAN) | FSQ | LFQ |
|---|---|---|---|
| 码本 | 显式,可学习 | 隐式,逐维级数直积 | 隐式,2d 超立方体 |
| 量化运算 | 最近邻查找 O(K⋅C) | 逐维 tanh 取整 | 逐维 sign |
| 梯度 | STE | STE + 梯度截断 | STE |
| 码字塌缩 | 容易发生,需辅助处理 | 结构上不会 | 有符号退化风险,需熵正则 |
| 辅助损失 | 承诺损失 + 码本损失 | 通常不需要 | 熵正则 |
| 码本利用率 | 需监控 | 天然覆盖 | 需熵正则维持 |
| 适合的词表规模 | 千级(过大反而拖累生成) | 万级 | 十万级 |
| 嵌入表 | 必须维护 | 需要(K×C) | 可按维解构,可不建 |
量化这一步的算力账
查找一次最近邻看起来开销不大,但在生成模型的实际训练中,这一步并不便宜。设码本 K=16384,特征维度 C=256,每个位置要计算 16384 个距离,每个距离需要 256 次乘加:
16384×256≈4.2×106 次乘加16×16 网格有 256 个位置,一次前向的量化开销就是 109 量级。注意这还是批大小为 1 的情形——训练时实际开销要再乘以批大小。FSQ 只需 256 次 tanh 与取整,差距在两个数量级以上。在更大的词表(如 LFQ 的 218)和更高分辨率(4096 个 token)的组合下,VQ 式的「每个位置和整个码本比一遍」在算力上已经不可接受。这是 FSQ/LFQ 被越来越多直接采用的另一个理由——不是因为它们重建一定更好,而是因为它们便宜、稳定,且词表可以自由放大。
压缩率、序列长度与重建质量的三方拉锯
到这里,三种量化家族已经讲清楚。但分词器还有另一组维度需要权衡:空间下采样率 r。它决定了序列长度 h⋅w,和上文的量化方式相互独立、可以自由组合。
设图像为 H×W,下采样率 r,特征通道数 C′,词表 K(FSQ/LFQ 记为 K),则:
- 序列长度:n=(H/r)⋅(W/r),直接决定下游自回归的注意力成本与生成步数;
- 每位置码字信息量上限:log2K 位(码字编号所需位数);
- 每位置特征维度:C′(VQ 情况下码本维度须与 C′ 相同;FSQ/LFQ 则 d≪C′)。
一个常见的参数组是 r=16、C′=256:512×512 的图像得到 32×32=1024 个 token。每个 token 只能携带 log2K 位信息,K=1024 时就是 10 位——要在这个预算内表达 256 维特征的整个模式空间,码本必须把相近模式合并,重建细节因此受限;这正是 VQGAN 一类工作把 K 推到 1024∼16384 的动机。换成 FSQ 时,d=4、每维 8 级、K=4096,每位置仍是 12 位,重建质量相当,但量化开销几乎为零。
下采样率的选择同样是权衡:
- r=8:序列长是 r=16 的 4 倍,重建细节好,但生成成本高 4 倍量级;
- r=16:通用折中,256×256~1024×1024 上常见;
- r=32:序列短,适合用少量通道补足高频,但解码器的上采样负担和重建难度都显著上升。
一个具体的账:1024 token 的自回归要跑多久
把上面的参数代进 Transformer 的成本结构,能看清下采样率为什么是最敏感的一刀。设下游是标准因果自回归模型,隐藏维度 dmodel=1024,层数 24,序列长度 n,则每生成一个 token 需要执行全部 24 层的注意力与前馈。总浮点运算量近似为
FLOPs≈2⋅P⋅ntotal≈2⋅(12Ldmodel2)⋅n,ntotal≈2n(n+1)其中 L 是层数,前一个约等号把每层的前馈与注意力参数量折算成 12Ld2,后一个约等号把「生成第 i 个 token 时要重算整个前缀」的注意力成本合起来。代入 n=1024:
ntotal≈5.2×105,FLOPs≈2×(12⋅24⋅10242)×5.2×105≈7.8×1014n=256(r=32 且 512×512 图像)时,ntotal≈3.3×104,总运算量降到约 4.9×1013,相差 16 倍。这个数字与「序列长度平方」的直觉一致:token 数减 4 倍,自回归总成本减 16 倍。分词器的下采样率,直接决定了生成侧的成本量级,这比分词器自身训练成本的影响大得多。所以实践中常常是「先定生成侧的预算,再回头定分词器」:预算定 1024 token 就选 r=16,预算紧就选 r=32 或换 TiTok 式的紧凑表示。
词表大小的隐形代价
词表 K 不只是「重建更好」这一个作用方向。下游模型要为每个 token 维护一张嵌入表 K×dmodel 和一个输出投影 dmodel×K:K=8192、dmodel=1024 时是 1.7×107 参数,K=218 时是 5.4×108——相当于多出一个中等规模模型。训练时每次前向还要在 K 维上做 softmax,K 大一个数量级,输出层就贵一个数量级。
这就是 FSQ/LFQ 的「分维解构」在工程上真正有价值的地方:码字索引可以由 d 个独立维度拼成,嵌入可以写成 ∑iEmbi(f^i),每维只有 Li(或 2)行,参数量与 K 脱钩。一个 218 的词表在 LFQ 下可以被 d=18 张 2 行的表表示,嵌入参数从 2.7×108 降到几万。词表规模与参数量解耦,是这套方案被大规模采用的关键原因,而不是它重建更好。
TiTok:用更少的 token 换更短的自回归链
VQ、FSQ 的路子里,token 网格与图像的空间位置一一对应:16×16 网格的每个格子就是一个 token。TiTok(An Image is Worth 32 Tokens for Reconstruction and Generation,Yu、Weber、Deng 等,2024 年,arXiv)把这一层对应关系也拆掉了。

上图是 TiTok 原文的框架图,三个面板对应三种用途。(a) 图像重建:图像切块后送入 Vision Transformer 编码器,配合 K(示例 32)个可学习的潜变量 token,经双向 Transformer 整合后,每个潜变量 token 被量化成码字;解码端再把码字映射回潜变量,经 Transformer 与 ViT 解码器重建图像。(b) 图像生成:只有潜变量 token 参与,被 MaskGIT 式的掩码 Transformer 并行预测,生成时不需要与图像空间网格对齐。(c) 实际训练时的 tokenizer 流程,潜变量 token 与图像块共享同一条序列。整张图的核心信息是:token 数量与图像空间分辨率彻底解耦。
TiTok 的关键设计有两点:
- 固定数量的潜变量 token:K 是超参,可以是 32、64、128,与图像尺寸无关。Token 之间没有既定的空间顺序,它们通过双向注意力互相交换信息,每个 token 承载的是「图像某一部分的语义摘要」,而非某个贴图块。
- ViT + 双向 Transformer 的编码路径:图像块与潜变量 token 拼成一条序列,经过多层自注意力后,只有潜变量 token 的输出被送去量化。这意味着潜变量 token 能看到整张图——它们不是局部特征的搬运工,而是全局摘要。
对下游生成的影响是实打实的:576 或 1024 个 token 的序列,压到 32 或 64。论文的消融给出两条清晰的曲线:32 个 latent token 就足以重建出可辨认的图像,token 数继续增加到 128 之后,重建收益开始边际化;而模型变大能显著改善 token 受限时的表现——TiTok-L 的 32 token 与 TiTok-B 的 64 token 打平,意味着可以在不损失质量的前提下把序列再压一半。对生成侧,论文报告 32 token 的 TiTok 在 ImageNet 256×256 上 gFID 2.13,优于 DiT-XL/2 的 3.04,同时采样快约 74 倍——序列长度从 32×32 降到 32,注意力与采样步数的账都变了。代价落在重建细节上:32 个 token 必然丢失高频,这也是它更适合「生成优先」而不是「高保真压缩」的原因。这个权衡与 VAR 论文里「tokenizer 容量是画质天花板」的结论一致(参见 VAR 完全拆解)。
时序与视频:多出来的那一维
视频分词器要在图像分词器上多处理一维时间。直观的做法是把每帧当成图像分别编码,但这样一来帧与帧之间毫无关联,解码出的视频会出现闪烁和运动断裂。MAGVIT(Yu 等,2023 年)引入 3D 卷积编码器与 3D CNN 解码器,把时间维与空间维一起下采样,码字同时编码了空间与运动信息;MAGVIT-v2 进一步把量化换成 LFQ,并据此把视频压缩率做到与 HEVC/VVC 相当的水平(论文报告在 0.0384 bpp 下 LPIPS 0.104,优于 MAGVIT 的 0.144、HEVC 的 0.199)。
从工程角度看,视频分词器多了两个新约束:码字的时间冗余(相邻帧大量码字相同,生成模型需要会「复用」而不是重新预测每个码字),以及解码器的时间一致性(用 3D 或因果 3D 解码结构,不能逐帧独立解码)。视频生成的离散路线(MAGVIT、CogVideo、Emu3)与音频的 RVQ 编码器(可参考 音频生成的离散 token 路线)都在这两个约束下调整——前者靠 3D 结构,后者靠帧率与量化层数的取舍。
与自回归生成接口的对接
分词器的输出只是一张索引网格,如何把它交给下游模型,决定了分词器的实现细节:输出张量的形状、词表编号的语义、是否有嵌入表。
- 嵌入表方式(VQ):下游模型持有 K×Clm 的 token 嵌入表,索引 k∗ 直接查表,输出头上是一个 K 维 softmax。
- 分维解构方式(FSQ/LFQ):码字索引可以由 d 个维度独立决定,嵌入可以写成 ∑iEmbi(f^i)——每维一张小表(FSQ 每维 Li 行,LFQ 每维 2 行),词表再大也不增加参数量。
- 序列化顺序:h×w 网格按哪种顺序展平会影响下游模型质量。光栅顺序是默认,VAR 的多尺度组织、MaskGIT 的二维掩码、TiTok 的无序潜变量,本质上都是在改这个「怎么读 token 网格」的约定。
这些接口并非中立:同一个分词器用不同的序列化方式接下游,生成质量会差出一截。这也是为什么 VAR 论文花了大量篇幅说明传统光栅顺序为什么不适合它(见 VAR 完全拆解),而不是简单地换个生成模型。
分词器质量如何度量
分词器的评估不能只看下游生成分数——下游分数混合了分词器、生成模型、序列化顺序三个变量。常用的拆分口径是:
- 重建 FID(rFID):编码再解码后的图像与原图的 FID,孤立地衡量分词器本身的信息损失。这是最直接的口径,FSQ 与 LFQ 论文都以它为主图。
- PSNR / LPIPS / MS-SSIM:像素与感知指标。PSNR 对模糊容忍、对偏移敏感;LPIPS 更贴近人的主观判断;三者一起看才能判断「重建像不像」。
- 生成 FID:下游模型在所有 token 上生成的 FID。它才是真正的目标,但对诊断分词器没有帮助——要判断分词器的贡献,需要控制生成模型做同口径对比(LFQ 论文的词表实验正是这样做的)。
- 码本利用率:统计一段时间内实际被选中的码字比例。VQ 的理想情况是接近 100%,塌缩的直接信号就是这个比例骤降;FSQ/LFQ 也需要监控,因为其「结构上不塌缩」的前提是编码器输出分布足够分散。
一个常见的误判是把生成 FID 的改善直接归功于分词器。在控制变量的前提下做对比、并同时报告 rFID,才能把两项分开。这一点在比较 VQ 与 FSQ/LFQ 时尤其重要:FSQ 多数时候在 rFID 上略有劣势,但量化便宜、工程简单,真正的收益取决于下游生成模型的规模与词表习惯。
连续潜变量与离散 token 的分工
图像生成并非只有离散一条路。潜空间扩散模型(Stable Diffusion 一系)也用编码器把图像压成潜变量,但潜变量是连续的,量化这一步被完全跳过。两者在信息层面的差别可以写得很清楚:
- 连续潜变量:编码器输出 f∈Rh×w×C,解码器直接接收 f。没有量化误差,重建上限更高;训练目标可以是 L2、感知损失与对抗损失的组合,不需要承诺损失、码本、STE。代价是无法用交叉熵建模——潜变量的分布要靠扩散或流匹配来学,生成过程是迭代去噪而不是逐 token 预测。
- 离散 token:f 被替换成码字,引入了量化误差 ∥f−f^∥,但同时获得了「序列 + 词表」的结构,可以直接套用语言模型的交叉熵、KV 缓存、采样与并行解码。
这个差别决定了两条路线的工程属性。扩散的生成成本与步数成正比,步数可以蒸馏到 4~8 步,但每步是一次完整的网络前向;自回归的成本与序列长度平方相关,但每步只算一个新 token。在 1024 token 的尺度上,两者的实际延迟取决于硬件与批大小,没有一方无条件占优。
两者也可以组合。HART(Hybrid Autoregressive Transformer,2024 年)把 VAE 的连续潜变量拆成两部分:离散 token 负责整体结构,连续残差负责离散 token 表达不了的高频细节,残差交给一个很小的扩散模块补。它的动机正是前文反复出现的那条约束——离散词表的容量有限,硬把所有细节塞进 4096 个码字里,重建必然受损。混合表示把「结构」与「细节」分开计价,是分词器容量问题上的一条现实出路。
重建分词器与语义分词器的冲突
到此为止讨论的分词器都以重建为目标:解码回来的图像越像原图越好。但多模态模型还需要另一种视觉表示——用于理解、检索、分类的语义特征。这两类目标对编码器的要求是相反的:
- 重建要求保留边缘、纹理、光照、局部结构,特征要「具体」;
- 理解要求丢弃像素级细节、保留物体类别、属性与关系,特征要「抽象」。
把两者压进同一个表征空间,必然要在「语义判别力」与「重建保真度」之间做取舍。Janus 的消融把这件事量化了:同一个 VQ 分词器同时服务理解与生成时,生成尚可(COCO-FID 8.72),但 POPE、MMBench、SEED、MMMU 这些理解指标明显偏低;换成一个从 SigLIP 蒸馏来的语义分词器后,理解指标大幅上升,生成也没有塌掉。但即便如此,它仍不如只做理解训练的模型——一个编码器同时服务两个任务时,理解侧确实被迫让步。
对分词器设计的启示是:不存在一个通用的最优分词器。生成侧要的是重建保真度与码本效率,理解侧要的是语义抽象与对齐;统一多模态模型里的常见解法是双编码器(理解走 SigLIP,生成走 VQ/MoVQ),把冲突移到编码器之外,用适配器让主干自己去学怎么消费两种特征。这条路线在 统一多模态生成架构 里拆得更细。
选型建议
把上述取舍整理成一份实用对照:
| 场景 | 推荐方向 | 理由 |
|---|---|---|
| 自回归/掩码生成,词表千级 | VQ(VQGAN 式损失) | 学习型码本把容量集中到数据密集区,重建同词表下通常更好 |
| 需要把词表拉大 | FSQ 或 LFQ | 无查找量化避免大词表下的查找开销与嵌入表成本,LFQ 在超大数据集上的词表扩展性最好 |
| 序列长度是瓶颈 | TiTok 式少量语义 token,或提高空间下采样率 | Token 数量与图像分辨率解耦,自回归链短 |
| 视频 | 3D 编码器 + 3D 解码器 + LFQ | 时间一致性由结构保证,压缩率可与传统编解码器对标 |
| 统一多模态(理解与生成并存) | 生成侧 VQ/MoVQ,理解侧语义编码器分离 | 两任务对表征的诉求不同,共用编码器会两边都受损(见 统一多模态生成架构) |
选型的第一原则是先定下游怎么用:下游是自回归还是掩码、词表习惯是千级还是十万级、序列预算多长——这三件事定了,分词器的架构基本上就定了;调损失函数(VQGAN 的感知与对抗项)、调级数配置(FSQ 的 ∏Li 与各维分配)、调下采样率(r=8/16/32)都是在这个框架下的细调。
小结
图像离散分词器的工作可以归结为一个信息瓶颈问题:用 n 个 token、每个 K 个取值,承载一张 H×W×3 的图像。VQ-VAE 给出了最初的形式——学习型码本、直通估计、承诺损失;VQGAN 用感知与对抗损失补回高频;EMA、码本归一化、死码字重启都是在修补学习型码本的塌缩;FSQ 与 LFQ 则从源头放弃「学习码本」和「最近邻查找」,用逐维独立的有界量化换取稳定、廉价和可扩展的词表。TiTok 把 token 数量与空间分辨率解耦,进一步压缩了自回归链长度。
这些方案并不互相取代:VQ 在词表小、数据密集时仍是强基线;FSQ/LFQ 在需要大词表与低量化开销时胜出;TiTok 适合序列预算是硬约束的场合。理解它们的共同取舍——压缩率、词表大小、重建质量、码字利用率四者互相拉扯——比记住任何一个具体实现更有用。
参考资料
- Neural Discrete Representation Learning(VQ-VAE,NeurIPS 2017)
- Generating Diverse High-Fidelity Images with VQ-VAE-2(NeurIPS 2019)
- Taming Transformers for High-Resolution Image Synthesis(VQGAN,CVPR 2021)
- Finite Scalar Quantization: VQ-VAE Made Simple(FSQ,arXiv 2023)
- Language Model Beats Diffusion——Tokenizer is Key to Visual Generation(LFQ/MAGVIT-v2,arXiv 2023)
- MaskGIT: Masked Generative Image Transformer(CVPR 2022)
- An Image is Worth 32 Tokens for Reconstruction and Generation(TiTok,NeurIPS 2024)
- Vector-quantized Image Modeling with Improved VQGAN(ViT-VQGAN,ICLR 2022)
- High Fidelity Neural Audio Compression(EnCodec,arXiv 2022)
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



