正在获取所在地区…
正在读取天气
音乐
暂未播放
图像超分基础:从退化建模到 Real-ESRGAN 的盲超分架构
超分到底在解一个什么问题
把一张模糊、带噪、被压缩过的图片放大,看起来像是”让图变清楚”,但它在数学上是一个病态逆问题。给定低分辨率观测 x,想恢复高分辨率图像 y,而观测过程可以写成:
x=D(y)其中 D 是一个把高分辨率图压成低分辨率图的退化算子。理想情况下,只要知道 D 的逆就能算回 y;但现实里 D 既未知又不可逆:多组不同的高分辨率图经过同样的退化后可能得到几乎相同的低分辨率图,所以逆问题的解不唯一。超分模型做的事,本质上是在所有可能的高分辨率图中,挑一个”最像自然图像”的解。
这句话里藏着三个关键点,构成了本篇文章的主线:
第一,退化过程 D 决定了任务难度。如果训练时假设的退化与真实输入不符,模型学到的逆映射就用不上。这是”盲超分”(blind super-resolution)要解决的核心问题。
第二,“最像自然图像”意味着需要一个先验。传统方法用稀疏先验、总变分先验;深度学习方法用数据分布先验——尤其是 GAN 与扩散模型,它们能把解拉回自然图像的流形上。
第三,超分是有生成性的。放大 4 倍意味着要凭空造出 16 倍于输入的像素,其中大部分细节在低分辨率图里根本不存在。模型只能”编”,编得合理就是好超分,编得不合理就是伪影(artifacts)。
先把超分在视觉任务里的位置摆正。按输入输出形式分,它属于”图像到图像”的稠密预测任务,与去噪、去模糊、去雨、压缩伪影去除同属图像复原(image restoration)。按退化假设分,它分为:
- 非盲超分:退化已知,比如标准双三次下采样(bicubic downsampling)。学术 benchmark 上的绝大多数方法都在这个设定下评测。
- 盲超分:退化未知,只有一张低分辨率图。真实场景(老照片、手机拍摄、社交媒体二次压缩、监控截图)全部属于这一类。
两者之间不是”难度差别”,而是”分布差别”。一个在双三次下采样数据上训练到 PSNR 40 dB 的模型,遇到真实手机照片可能全面崩坏。理解这一点,才能理解为什么 BSRGAN、Real-ESRGAN 这类工作把大部分精力花在造退化而不是造网络结构上。
退化模型:超分里最容易被忽视的一半
经典的一阶退化模型
盲超分文献里最常被复用的一阶退化模型,来自 Elad 与 Feuer 关于图像复原的早期工作,后来被 KernelGAN、IKC 等盲超分方法标准化。它把低分辨率图的生成拆成四步:
x=D(y)=[(y⊛k)↓r+n]JPEG四个符号分别对应:
- k:模糊核(blur kernel),与高分辨率图做二维卷积 ⊛;
- ↓r:按比例 r 下采样,比如 r=4 表示边长缩为 1/4;
- n:加性噪声;
- JPEG:JPEG 有损压缩。
这个模型的每一段都对应真实成像链路中的一个物理环节。模糊核对应镜头的光学模糊、失焦与运动模糊;下采样对应传感器像素合并与后续缩放;噪声对应传感器的光子散粒噪声与读出噪声;JPEG 对应存储与网络传输的压缩。
模糊核通常用高斯核参数化。对核尺寸 2t+1、坐标 (i,j)∈[−t,t] 的核,各元素为:
k(i,j)=N1exp(−21CTΣ−1C),C=[i,j]T其中 N 是归一化常数,保证核元素之和为 1(不改变图像整体亮度);C 是像素坐标向量;Σ 是协方差矩阵。协方差矩阵本身可以分解为:
Σ=R[σ1200σ22]RT,R=[cosθsinθ−sinθcosθ]σ1,σ2 是两个主轴方向上的标准差,θ 是旋转角。当 σ1=σ2 时核各向同性,图像朝各个方向均匀变糊;不等时核各向异性,效果更像运动模糊产生的方向性拖影。这个参数化很重要,因为它把”模糊”这个抽象概念压缩成了三个可采样参数 (σ1,σ2,θ)——训练时只需在这三个维度上随机采样,就能造出海量不同的模糊。
高斯核的形状由中心向边缘单调衰减,但真实相机的点扩散函数并不总是这样。有的镜头存在”平顶”式的散焦,核中心一片接近均匀的亮区,边缘才快速衰减;有的核拖尾比高斯更重。Real-ESRGAN 因此额外引入了广义高斯核与平顶核:
kgg(i,j)=N1exp(−21(CTΣ−1C)β),kplateau(i,j)=N11+(CTΣ−1C)β1β 是形状参数。β=1 时广义高斯退化为普通高斯;β<1 时核的尾部更重,模糊拖得更远;β>1 时核更接近平顶。平顶核的分母形式让中心区域在较大范围内保持接近常数,再向外衰减,正对应散焦光斑的形态。论文给出的采样概率是高斯核 0.7、广义高斯核 0.15、平顶核 0.15,β 分别从 [0.5,4] 与 [1,2] 中采样。
噪声部分考虑两类。加性高斯噪声的强度由标准差 σ 控制;当 RGB 三个通道各自独立采样时得到彩色噪声,当三个通道共用同一份噪声时得到灰度噪声(后者更接近某些传感器在低照度下的表现)。泊松噪声则用来近似光子散粒噪声:其方差与像素亮度成正比,亮处噪声绝对值更大、暗处更小,这与高斯噪声的均匀强度有本质区别。Real-ESRGAN 的实现里两类噪声各占 0.5 概率,灰度噪声概率 0.4,高斯噪声 σ∈[1,30],泊松噪声尺度 ∈[0.05,3]。
缩放操作看起来只是下采样,但插值算法的选择会显著改变图像质感:最近邻会产生锯齿,双线性偏软,双三次在边缘处容易过冲。Real-ESRGAN 在训练对合成里把下采样扩展为”随机缩放”,在 area、bilinear、bicubic 三种插值中随机选一种。最近邻被排除,原因是它带来的像素错位(misalignment)会让模型学到一个无法对齐的映射——低分辨率图的像素网格与高分辨率图对不上,模型只能学到平均意义上的模糊。
JPEG 压缩把图像转到 YCbCr 空间,对色度通道下采样,再切成 8×8 块做二维离散余弦变换(DCT),对 DCT 系数量化。量化步长由质量因子 q∈[0,100] 控制:q 越低压缩比越高、块效应越明显。Real-ESRGAN 用可微的 DiffJPEG 实现,q 在 [30,95] 内采样,使压缩伪影能参与端到端训练。
为什么一阶模型不够
如果只用一阶退化模型造训练对,模型确实能处理一部分真实图片,但遇到复杂的真实退化仍然失效。原因很直接:真实的退化是多次发生的。
一张图片的完整生命周期可能是:多年前用手机拍摄(镜头模糊 + 传感器噪声 + 低分辨率 + JPEG)→ 用户修图时锐化与缩放(过冲伪影 + 插值模糊)→ 上传社交平台(再次压缩 + 未知噪声)→ 被转发多次(反复压缩、反复缩放、屏幕截图)。每一步都是一次完整的退化过程,叠加起来远远超出一阶模型的表达能力。
于是在这个尺度上再堆网络结构是无效的——问题出在数据分布,不在拟合能力。

上图是 Real-ESRGAN 论文给出的纯合成数据流水线。高分辨率图先经过第一次退化(模糊、缩放、噪声、JPEG),再经过第二次退化,得到低分辨率输入。每个退化模块内部的参数都是独立采样的,所以同一条流水线能造出分布极广的训练对。
高阶退化模型
Real-ESRGAN 的形式化写法是:
x=Dn(y)=(Dn∘⋯∘D2∘D1)(y)n 阶模型就是 n 次重复的经典退化,每次用不同的超参数。注意”阶”在这里不是数学函数的高阶,而是同一套操作被执行的次数。实践中 n=2 就能覆盖大多数真实情况,论文也采用二阶,理由是简洁与效果之间的折中。
二阶相对一阶的关键差异不止”多跑一遍”。为了让图像分辨率保持在合理范围内,第二次退化中的下采样被替换成随机缩放(可能放大也可能缩小);第二次模糊的标准差范围收窄到 [0.2,1.5](第一次是 [0.2,3]);第二次噪声范围也略小(σ∈[1,25],泊松尺度 ∈[0.05,2.5]);第二次模糊有 0.2 的概率被直接跳过。这些收窄是刻意的——真实链路里第二次退化通常发生在上传与传输阶段,强度一般弱于原始拍摄。
这里要区分 Real-ESRGAN 的高阶退化与 BSRGAN 的随机打乱。BSRGAN 也把模糊、缩放、噪声、JPEG 打乱组合,且允许重复,但它固定了退化操作的数量,无法表达”到底几轮退化”。Real-ESRGAN 的高阶模型直接把”轮数”作为结构,语义更贴近真实链路的层层叠加。
振铃与过冲:被单独建模的一种伪影
锐化算法、JPEG 压缩、屏幕截图都会引入一类特殊伪影:图像边缘附近出现一圈明暗相间的”鬼影”,或者边缘两侧亮度跳变被拉大。前者叫振铃(ringing),后者叫过冲(overshoot)。它们的物理成因是信号被带限——高频被切断后,理想低通滤波器的冲激响应会在边缘两侧产生振荡。
k(i,j)=2πi2+j2ωcJ1(ωci2+j2)这是 sinc 滤波器的二维核形式:ωc 是截止频率,J1 是一阶第一类贝塞尔函数,(i,j) 是核坐标。截止频率越低,被切掉的高频越多,振铃越明显。
把 sinc 滤波引入训练对合成有一个很实际的动机:如果训练时没见过这类伪影,模型在推理时会把它当成真实细节放大。一张原本带白边的文字截图,经过普通超分后白边会变得更粗更亮,观感极差。Real-ESRGAN 在两个位置插入 sinc 滤波:模糊阶段(概率 0.1)与合成的最后一步(概率 0.8),且最后一步与 JPEG 的顺序随机交换——因为真实链路里既可能是”先锐化再压缩”,也可能是”先压缩再锐化”。

上图上半部分是真实样本中的振铃与过冲伪影(注意文字与线条边缘的白色光圈),下半部分是不同截止频率的 sinc 核滤波结果。可以看到,低截止频率的核能复现出与真实样本非常相似的伪影形态。这张图解释了为什么一个看似”人为制造缺陷”的操作,反而是让模型学会消除缺陷的前提。

这张对比图展示了问题的严重程度:用经典一阶退化合成的低分辨率图(左下)在噪声形态与伪影结构上仍与真实退化图(右下)有明显差距,而二阶退化合成的样本更接近真实分布。数据分布的差距,最终会变成模型在真实图片上的失败。
sinc 滤波不只是”加噪”:它是在教模型辨认伪影
把 sinc 核当一种退化加进训练对,初看和”加高斯模糊”没有本质区别,但目的完全不同。高斯模糊改变的是图像的信息量,让模型学会从更少的信息里重建;sinc 滤波改变的是图像的伪影形态,让模型学会辨认”哪些高频是假的”。
这两件事在优化目标上会打架。像素损失希望输出尽量接近目标图,而伪影本身就是一种偏离目标的结构;如果训练对里没有伪影,模型看到边缘附近的振荡时唯一合理的解释就是”这里是真实细节”,于是把它强化。当训练对里有了振铃与过冲,模型就获得了一个可学习的判别线索:振铃具有对称振荡、过冲具有特征性的亮度跳变,这些模式和真实纹理的高频结构在统计上可区分。
这也是为什么 Real-ESRGAN 把最后一步 sinc 滤波的概率设为 0.8——高概率保证模型频繁见到这类伪影;同时保留 20% 不含最后一步 sinc 的样本,避免模型把”所有锐利边缘都当成伪影”而把正常边缘也抹平。0.8 这个数字是效果与过度去伪影风险之间的平衡点。
退化在频域里做了什么
理解退化模型的另一种方式,是把它放到频域里看。四种退化操作在频谱上各有明确的签名,而这些签名直接决定了超分模型能恢复什么、不能恢复什么。
模糊是低通滤波。 卷积在频域等价于乘法,模糊核的傅里叶变换就是一个低通传递函数。高斯核的频谱还是高斯,各向同性模糊对各个方向的频率一视同仁地衰减;各向异性模糊的频谱是一个被压扁的椭圆,沿着运动方向的高频保留得多、垂直方向衰减得快。这解释了一个常见现象:运动模糊的照片在垂直于运动方向上更糊,而这恰好也是模型最难恢复的方向,因为该方向的高频被压得最狠。
下采样是频谱折叠。 按比例 r 抽取像素,等效于把原频谱压缩 r 倍后叠加。如果原图在高频处仍有能量(也就是没有先做抗锯齿低通),高于新奈奎斯特频率的部分会折叠回低频,混入本不该有能量的频段。折叠是不可逆的信息混淆:原本”高频”和”低频”两条不同的结构被加在了一起,任何模型都无法把它们分开。Real-ESRGAN 论文把建筑线条的扭曲归因于别名,根因就在这里。
噪声是宽带叠加。 高斯白噪声的功率谱是平的,在各个频段均匀抬高底噪;泊松噪声的强度随亮度变化,在亮区更显著。噪声在频域上与真实细节重叠,所以去噪与保细节天然矛盾——这也是为什么超分模型必须同时见到噪声与纹理,才能学会”哪些能量该保留”。
JPEG 是分块量化。 8×8 的 DCT 把每个块分解成 64 个频率分量,量化会把小幅值的分量归零。低频分量幅值大、通常保留;高频分量幅值小、容易被抹掉。于是 JPEG 压缩后的图像在频域上表现为”低频完好、高频稀疏”,再叠加块边界处的不连续——后者在频域上是规则的网格状能量,正是块效应的来源。
把四者放在一起,就得到超分任务的本质约束:输入的可恢复频段由退化链决定,超出该频段的部分只能靠先验生成,不能靠计算恢复。Real-ESRGAN 这类方法做的,是用数据先验在缺失的频段上”补”出统计上合理的能量;它补出来的高频与真实高频在频谱位置上一致、在具体相位上不同。这就是为什么超分结果”看起来对、逐像素不对”——也解释了 PSNR 与观感为何必然分歧。
从 SRCNN 到 GAN:网络结构解决的是什么
在讨论 Real-ESRGAN 的架构之前,有必要把超分网络这条线理清楚,因为 Real-ESRGAN 的生成器几乎沿用了 ESRGAN,只做了少量改动。
早期的”用数据学逆映射”
SRCNN 于 2014 年由 Chao Dong 等人提出(arXiv:1501.00092),思路非常朴素:把低分辨率图先用双三次插值放大到目标尺寸,然后让三层卷积学习低质量图到高质量图的映射。它的意义不在网络本身,而在于确认了一件事——超分可以被表述为一个可学习的回归问题。
后续的 VDSR、EDSR、RCAN 等把这条路线推向 PSNR 的极限:加深网络、加入残差、引入通道注意力。它们有一个共同点:优化目标都是像素级误差(L1、L2、PSNR)。这直接带来了一个结构性问题——PSNR 鼓励平均。对于同一个低分辨率块,如果存在多种可能的高分辨率细节,L2 损失会选择它们的平均值,而平均值在视觉上就是”糊”。所以 PSNR 分数越高,图像往往越平滑、越没有质感。
这引出了超分领域最重要的一个理论框架:Blau 与 Michaeli 在 2018 年提出的感知—失真权衡(perception-distortion tradeoff)。他们证明,感知质量与失真度(PSNR、SSIM 这类逐像素指标)之间存在不可避免的冲突:想让输出更像自然图像,就必须牺牲逐像素的准确度。这个结论听上去抽象,但它是理解 GAN 超分和扩散超分的钥匙:它们在 PSNR 上往往不如那些平滑的模型,却在观感上远胜。
SRGAN 与 ESRGAN
SRGAN(arXiv:1609.04802)第一次把 GAN 引入超分。生成器用残差块堆叠,判别器负责判断输入图是真实高分辨率图还是生成图。生成器损失里加入了感知损失(perceptual loss,在 VGG 特征空间计算距离)和对抗损失,从而把输出拉向自然图像的流形。
ESRGAN(arXiv:1809.00219)在此基础上做了三处关键改进,这三处改进是理解 Real-ESRGAN 生成器的前提:
第一,引入 RRDB(Residual-in-Residual Dense Block)并去掉所有 BatchNorm。 去 BN 的理由不是”BN 不好”,而是 BN 在测试时使用训练集统计量,当测试数据的分布发生变化时,归一化的均值方差与特征不匹配,会在 GAN 训练下产生周期性出现的色块与伪影。对于超分这种退化分布本来就多变的任务,去 BN 能显著提升泛化能力,同时降低显存与计算量。RRDB 的结构是”残差套残差、主干用密集连接”:一个 Dense Block 内部各层互为输入,再把 Dense Block 的输出以 β 缩放后残差加回(ESRGAN 中 β=0.2,即残差缩放,防止深层网络的数值不稳定)。
第二,把标准判别器换成 Relativistic Average Discriminator(RaD)。 标准判别器给出”这张图是真的概率”,而 RaD 给出”真实图像相对伪造图像更真实的概率”:
DRa(xr,xf)=σ(C(xr)−Exf[C(xf)])其中 C(⋅) 是判别器去掉 sigmoid 后的输出,xr 是真实图,xf=G(xlr) 是生成图,Exf 是 mini-batch 内所有生成图的平均。生成器的对抗损失采用对称形式:
LGRa=−Exr[log(1−DRa(xr,xf))]−Exf[logDRa(xf,xr)]这个损失对生成器的一个直接效果是:梯度同时来自真实样本与生成样本,而不像标准 GAN 那样只来自生成样本。实践中它让边缘更锐利、纹理更自然。
第三,感知损失改用激活前的 VGG 特征。 激活后的特征非常稀疏(论文统计 VGG19 深层对某张图平均只有约 11% 的神经元被激活),监督信号弱;并且激活后的非线性会破坏亮度的一致性,导致生成的图整体偏亮或偏暗。改用 conv 层输出(激活前)后,边缘更锐利且亮度对齐。
生成器的总损失为:
LG=Lpercep+λLGRa+ηL1Lpercep 约束 VGG 特征距离,L1 约束像素距离,λ 与 η 平衡三项。ESRGAN 中 λ=5×10−3,η=1×10−2。

上图是 Real-ESRGAN 论文给出的生成器结构。左侧是输入,先经过一个卷积提取浅层特征,再做像素反排列(pixel-unshuffle);中间是若干 RRDB 组成的主干;最后通过像素重排(pixel-shuffle)上采样到目标分辨率并输出。网络右侧还画出了 RRDB 内部的展开:一个密集块里每层卷积的输入都由前面所有层的输出拼接而成,块输出以缩放系数残差加回,外层再套一层残差。
这里有一个值得单独解释的设计:为什么 Real-ESRGAN 要在主干之前做像素反排列? 像素重排是经典的亚像素卷积上采样,像素反排列是它的逆操作——把 H×W×C 的特征重排成 H/2×W/2×4C。它在不损失信息的前提下把空间尺寸缩小一半、通道扩大四倍,让绝大多数卷积计算发生在更小的分辨率上。由于超分网络的最贵部分(RRDB 主干里的大量 3×3 卷积)计算量与特征图面积成正比,这一步能把显存与算力占用降低到原来的约四分之一,而重建质量几乎不变。Real-ESRGAN 把 ESRGAN 原本只支持 4 倍的结构扩展到 2 倍、1 倍,靠的正是”像素反排列折进去、最后再按需要重排出来”。
Real-ESRGAN 的判别器:为什么必须换成 U-Net
ESRGAN 用的 VGG 风格判别器是一路卷积加全局池化的分类器,它最终只输出一个标量概率,意味着它评判的是整张图的”全局风格是否真实”。在双三次下采样的数据上,退化空间窄、伪影类型少,这种粗粒度判断够用。
Real-ESRGAN 的训练数据经过二阶退化与 sinc 滤波,退化空间被显著扩大。判别器面对的不再是”某一种退化下的生成图”,而是千差万别的伪影组合。在这种设定下,全局判别器有两个具体的失效方式:
一是判别力不足。 全局平均会把局部纹理的真实感抹平——一张图整体观感可以,但某块砖墙的纹理是假的、某条边缘的伪影没被清掉,全局判别器给出的分数依然可能接近真实图。判别器”看不见”局部问题,生成器就学不会修局部问题。
二是梯度不够细。 生成器需要针对每一处纹理得到反馈,告诉它”这里太糊""那里过锐”。一个标量分数无法定位到具体的空间位置。
Real-ESRGAN 因此改用带跳跃连接的 U-Net 判别器:下采样若干层再对称上采样,与生成器的特征图尺寸一致,最终输出一张”逐像素真伪图”。每个像素都有一个真伪分数,梯度可以精确地回流到对应位置的生成器特征上。

上图是论文给出的 U-Net 判别器结构。它保留了 ESRGAN 判别器的基础卷积块,但在每个下采样阶段之后增加上采样路径与跳跃连接,最终恢复出与输入同尺寸的真伪图。
U-Net 判别器带来的副作用是训练更难稳定。判别器本身变得更强,生成器更容易被推着产生极端纹理(例如虚假的石块、枝条),生成器与判别器之间的博弈振荡更明显。对这个问题,Real-ESRGAN 使用了谱归一化(spectral normalization)。谱归一化约束判别器每一层权重矩阵的最大奇异值(谱范数)不超过一个常数,等价于约束该层 Lipschitz 常数:
Wˉ=σmax(W)Wσmax(W) 是权重矩阵 W 的最大奇异值。收敛的约束让判别器的输出对输入的微小变化不会剧烈跳变,从而平滑生成器的梯度。这与 WGAN 系列里用梯度惩罚稳定判别器的思路一脉相承。论文的消融实验显示,只用 U-Net 判别器会在灌木枝条等细结构处产生不自然的纹理,加上 SN 之后纹理恢复自然,训练过程也不再反复崩坏。
除了判别器,Real-ESRGAN 的另一个训练技巧是用锐化过的高分辨率图当监督目标。传统的做法是先生成图,再用 USM(unsharp masking)做后处理锐化,但 USM 会引入过冲伪影。Real-ESRGAN 的做法是在训练时直接把高分辨率目标图做锐化,让模型在训练阶段就”学到”更锐利的纹理,而又不引入后处理伪影。这种模型被称为 Real-ESRGAN+。
训练是怎么组织的
Real-ESRGAN 的训练被拆成两个阶段,这个两阶段结构几乎是所有 GAN 超分工作的标准做法:
阶段一:PSNR 导向的预训练。 用 L1 损失训练生成器,得到的模型称为 Real-ESRNet。它只追求逐像素接近,输出会偏平滑,但已经能完成大部分的退化去除。Real-ESRNet 从 ESRGAN 的权重微调起步以加快收敛,训练了 1000K 次迭代,学习率 2×10−4。
阶段二:GAN 微调。 以 Real-ESRNet 为生成器初始化,损失换成 L1、感知损失、GAN 损失的组合:
L=L1+Lpercep+0.1LGANGAN 部分本身也使用了类似 ESRGAN 的对抗结构,只是判别器换成了 U-Net + SN。这一阶段训练 400K 次迭代,学习率 1×10−4。训练数据是 DIV2K、Flickr2K 与 OutdoorSceneTraining,高分辨率 patch 尺寸 256,四张 V100、总 batch 48,优化器 Adam,并使用 EMA 平滑权重。
两阶段的动机与 ESRGAN 一致:先用 L1 把生成器推到一个合理的起点,避免 GAN 从随机状态开始训练时判别器立刻面对一堆”纯噪声式”的生成图;等到生成器已经能输出结构正确的图,判别器才能专注于区分纹理真假。
一个容易被忽略的工程细节:训练对池
Real-ESRGAN 的退化合成全部用 PyTorch 与 CUDA 实现,能在训练时即时合成训练对,省去了预先落盘海量数据的开销。但即时合成在 batch 化的训练里有一个隐蔽的限制:一个 batch 内的所有样本必须具有相同的空间尺寸,而不同样本的缩放因子是随机采样的,无法凑成一个张量。
解决办法是引入训练对池:先按不同缩放因子把样本合成好放进池子里,池大小为 180,每个迭代从池里随机抽一批尺寸一致的样本组成 batch。池子的另一个作用是多存几组合成数据,避免 batch 内样本的退化参数过于相似。这是合成数据训练里很典型的一类工程折中——用一点额外的显存换退化多样性。
一个训练细节:随机缩放为什么同时包含放大与缩小
二阶退化里的”随机缩放”不是固定倍率的下采样。官方实现中的 random_resize 会先随机挑一种插值方式,再在一个缩放区间内随机取目标尺寸,这个区间同时覆盖缩小与放大(默认约从 0.15 倍到 1.5 倍)。缩小对应”图像被压小”,放大对应”图像被插值放大”。
为什么退化链里要允许放大?因为真实链路里低分辨率图经常是先被放大过一次的产物:聊天软件把图片缩小后发送,接收方截图又把它放大回原尺寸;网页按容器宽度把缩略图拉伸;视频播放器把低码率帧上采样到屏幕分辨率。这些操作没有增加任何信息,只是把原本的像素网格用插值摊开,同时又引入了各自的插值伪影。如果训练时只做下采样,模型就只学会了”压缩后再还原”,遇到这种”压缩—插值拉伸”的输入时会把插值产生的振铃和过冲当成真实边缘去强化。
随机缩放还有一层作用:让模型无法依赖某个固定的输入输出尺寸比例,网络内部没有硬编码倍率假设(倍率由最后的像素重排与 outscale 决定),因此同一套权重可以在 2 倍、4 倍甚至非整数倍场景下工作。
推理侧:Real-ESRGAN 在实际部署里的结构与成本
超分模型的推理有一个和语言模型完全不同的成本结构:它没有自回归、没有 KV 缓存、没有解码循环,是一张图一次前向。但它的单次前向成本随输出分辨率超线性增长,这让工程上的分块(tiling)成为必备。
一次推理要经过什么
以 RealESRGAN_x4plus 为例,一次推理的完整链路是:
- 预处理:读入图像,可能带 alpha 通道、可能是 16 位、可能是灰度图。实现里会分别处理 alpha 通道(单独做超分再拼回去)与主图像通道,并把图像转换到 [0,1] 范围的张量。
- 分块:如果图像尺寸超过显存能承受的窗口,就按
tile参数切成格子,每格带一圈重叠边(pad)。 - 前向:每个格子走一遍像素反排列、RRDB 主干、像素重排的上采样。
- 拼接:相邻格子按重叠区域裁剪,确保边界没有接缝。
- 后处理:如果需要非整数倍(
outscale),用 Lanczos 重采样到目标尺寸,并裁掉边缘的 padding。
这一链路里真正决定延迟与显存的是第 3 步。RRDB 主干对每个输入像素执行大量 3×3 卷积,输出分辨率越高、格子越大,显存占用按面积增长。分块的意义在于用重叠区域换取显存可控:重叠边必须足够宽(至少覆盖网络的有效感受野),否则格子边界处会出现上下文缺失导致的纹理断裂。
分块的数学:为什么重叠边不能太窄
每个输出像素的取值依赖于它感受野内的输入像素。在 RRDB 主干里,有效感受野由网络深度与卷积核尺寸共同决定,达到数百像素量级。如果两个相邻格子之间的重叠小于有效感受野,格子中心的像素就”看不到”另一个格子的内容。这在平坦区域不明显,但在纹理丰富或跨边界的物体上,会出现一条轻微的结构断裂线。
官方推理脚本的默认设置是 tile_pad=10,即每个格子的四条边各多带 10 像素上下文,拼接时再把这 10 像素对应的输出裁掉。这个数值不是”贴近感受野”而是工程经验值:重叠区同时承担两个作用,一是给格子边缘补足上下文,二是提供一个被丢弃的缓冲带,防止格子边界处因卷积 padding 造成的亮度渐变被拼进最终图。对更深的模型或非整数倍上采样,这个值需要相应增大;显存紧张时盲目调小 tile_pad,最先出现的就是格子接缝处的纹理断裂。这也是分块超分总是比整图推理慢的原因——重叠区域被重复计算了。重叠率为 p(重叠边 / 格子边长)时,计算量放大的倍率约为:
p=0.25 时就是约 1.56 倍的计算量。整图能放进显存时,直接整图推理是更快的选择。
一张图要花多少算力:把成本拆成可估算的项
超分的成本可以粗略拆成三个可估算的部分。设输入尺寸为 H×W,模型内部在像素反排列后按 H/2×W/2 的特征图计算,主干有 B 个 RRDB 块,每个块含若干 3×3 卷积。
主干的乘加量近似为:
MACs≈4HW⋅C2⋅9⋅L其中 C 是特征通道数,L 是主干里的卷积层数,HW/4 来自像素反排列把面积缩小到四分之一。这个式子说明两件事:主干成本与输入像素数成正比(不是与输出像素数),并且对通道数呈平方关系。这与扩散模型不同——扩散的成本与输出像素数、采样步数都成正比。
以一个具体例子估算:1920×1080 的输入按 4 倍放大,输出是 7680×4320,约 3300 万像素。主干只在前者四分之一的面积上计算,但输出阶段的像素重排要把通道数 C 重排成 4C 并铺开成 4 倍边长,这一步的卷积核数量与输出面积挂钩。整体上,4 倍超分的实际耗时通常是 2 倍超分的 3~4 倍,而不是 4 倍——因为主干成本主要由输入决定,输出阶段的增益不是线性的。
这也给了一个工程上的经验法则:先缩小再超分常常比直接超分更划算。对一张手机拍的 4000×3000 照片,如果最终展示尺寸只有 1920 宽,正确的流程是先把原图缩到目标尺寸附近再做适度超分,而不是先超分到 16000×12000 再缩回来。后者的计算量按面积爆炸,而最终观感并不会更好。
模型分型与场景选择
Real-ESRGAN 的官方模型库里,同一个架构被针对不同数据分布重新训练过,这是理解”超分模型的场景依赖”最直观的例子:
- RealESRGAN_x4plus:通用照片模型,23 个 RRDB 块,用于真实照片的 4 倍放大。
- RealESRGAN_x2plus:通用照片 2 倍模型,主干同样深,推理成本约为 4 倍模型的四分之一(输出像素只有 1/4)。
- RealESRGAN_x4plus_anime_6B:只保留 6 个 RRDB 块的动漫专用小模型。动漫图像的纹理分布高度规整(大块平涂色、强边缘线条),对网络容量的需求远低于自然照片,所以能用 1/4 的参数达到相近效果。参数少意味着显存与延迟都显著下降,这也是它适合视频逐帧处理的原因。
- realesr-animevideov3:专为动漫视频设计的更小模型,配合 AnimeVideo-v3 的帧间处理使用,主打速度。
- RealESRNet_x4plus:即阶段一的 PSNR 导向模型(论文中该阶段用 L1 损失;官方发布的这份权重在模型库中标注为 MSE 损失的版本),输出更平滑、伪影更少,适合不追求纹理感的场景(例如文档、图纸、屏幕截图)。
这组模型的对比本身说明了一件事:在超分里,模型容量必须匹配退化分布的复杂度。用通用大模型处理动漫图,不仅慢,还可能产出不自然的纹理;用动漫小模型处理老照片,纹理细节又不够。真实部署里通常需要按内容类型路由。
硬件与运行时
官方 PyTorch 实现依赖 BasicSR 与 CUDA。为了在没有 CUDA、没有 PyTorch 的环境里也能用,社区提供了基于 ncnn 与 Vulkan 的可执行版本(Real-ESRGAN-ncnn-vulkan),它把模型转换成 ncnn 格式、用 Vulkan 计算着色器在各家 GPU 上运行,并提供 Windows / Linux / macOS 的免安装包。ncnn 版本对分块与显存有更保守的默认设置,适合普通桌面显卡甚至集成显卡。这套多后端实现,是 Real-ESRGAN 成为”实际可用工具”而不是”论文 demo”的关键一环。
推理代码里的分块实际怎么用
官方 inference_realesrgan.py 暴露出的分块参数是三个:--tile(格子边长,0 表示不分块)、--tile_pad(每格额外上下文,默认 10)、--pre_pad(整图外扩,默认 0)。此外默认走 fp16(--fp32 才切回单精度),非整数倍通过 --outscale 交给 Lanczos。
1python inference_realesrgan.py -n RealESRGAN_x4plus \2 -i inputs/old_photo.jpg -o results/ \3 --tile 256 --tile_pad 16 --outscale 3.5 --fp32这一组参数对应的取舍是:格子边长 256 让单格的显存与延迟可控,tile_pad 加大到 16 应对照片中更丰富的纹理,outscale 3.5 表示在模型 4 倍输出后再用 Lanczos 缩到 3.5 倍(比直接把 4 倍图交给浏览器缩放更清晰),fp32 则是在质量优先场景下放弃 fp16 的 2 倍吞吐。服务化部署时,这几个参数通常不是静态配置,而是根据输入图尺寸与可用显存在请求时动态选择:小图整图推理、大图分块、批量请求按显存排队。
与视频流水线的配合
视频超分是把同一套模型逐帧或按块应用,但成本差异极大。一个 1080p 转 4K 的视频,按 30 fps 计每秒要处理 30 帧、每帧输出 3840×2160 像素;在单卡上这是几十秒到分钟级的工作量,无法满足实时。工程上有三种常见做法:
- 离线批处理:对整段视频排队处理,用分块与低精度(fp16)降低显存,追求吞吐而不是延迟。
- 按需局部处理:只在用户关注的帧或区域内超分,例如视频编辑软件的”预览超分”,只在视口区域跑模型。
- 视频专用超分模型:利用帧间信息降低每帧的计算量,例如在时序上复用前一帧的特征。这类模型在结构上会引入时间维度的特征对齐,成本与延迟的取舍与单图完全不同的。
Real-ESRGAN 本身是单图模型,视频版本主要靠”逐帧 + 动漫专用小模型 + 帧间平滑”来使用,它没有内置时序建模。这也意味着在处理真实视频时,帧与帧之间的纹理可能出现轻微的闪烁,工程上通常再用时间平滑把这些抖动抹掉。
精度与量化的空间
超分模型对量化比语言模型更敏感,原因在它的输出是像素值:量化误差在特征层面被放大到像素层面,会直接表现为色带或纹理失真。实践里比较稳妥的是 fp16 推理,这几乎不损失质量;对更激进的 int8 量化,通常需要逐通道缩放(per-channel scale)与校准数据覆盖真实退化分布,否则高光与暗部的色阶最容易出问题。ncnn 版本默认走 fp16 或 fp32,这是它在不同 GPU 上都能稳定工作的原因。
把 Real-ESRGAN 放进你的推理服务:一次完整的设计清单
把前面几节落到工程上,部署一个超分服务需要决定的事情其实是固定的几条,下面按依赖顺序列出并给出理由。
第一步定模型族与路由规则。 同一个输入在不同内容类型上的最优模型不同:自然照片走 RealESRGAN_x4plus,动漫走 6B 小模型,文档与截图走 Real-ESRNet 这类偏平滑的模型。路由可以按内容分类器、按来源元数据(例如文件扩展名或拍摄设备),或者最简单地把类型交给调用方显式指定——后者的错误率最低,因为内容分类本身也会出错,而错配的模型会在输出上产生明显不自然的纹理。
第二步定倍率。 模型权重支持 2 倍与 4 倍两族,非整数倍通过输出端 Lanczos 重采样实现。经验规则是:目标倍率落在模型倍率附近时直接使用;差距很大时先缩放到中间尺寸再用最接近的模型,避免用 4 倍模型处理只放大 1.2 倍的请求(那样会先造出 4 倍细节再缩掉,既慢又可能在缩回的过程中引入新的振铃)。
第三步定分块与精度。 以可用显存能放下的最大格子为目标,tile_pad 取 10~16,精度优先 fp16。需要强调的一点是分块后的延迟不是线性的:格子越多,重叠区域重复计算越多,而且每个格子都有独立的调度开销。对于一批尺寸相近的小图,合成一个大 batch 往往比逐张推理更高效。
第四步定缓存与幂等。 超分是确定性任务(给定同一输入、同一模型与同一参数,输出可复现),因此可以按”输入哈希 + 模型名 + 参数”做结果缓存。真实的图片往往会被反复请求(网页缩略图、社交平台重传),缓存命中率在真实流量里比预期高得多。缓存键里必须包含模型名与全部影响输出的参数,否则一个参数变化就会让服务悄悄返回旧结果。
第五步考虑与生成模型串联。 人脸修复(GFPGAN 一类)、抠图、上色这些任务经常与超分串联,但串联次序很重要:先修脸再超分,避免超分把脸上的压缩伪影放大成”皱纹”;先超分再上色,避免上色环节依赖低分辨率细节而给大面积色块上错颜色。串联的每一环都是一个完整前向,总延迟是各环节之和,这一点在多步请求的容量规划里必须算进去。
这条清单没有涉及训练侧的任何细节,但它正好说明了超分服务的特殊性:它的复杂度不在模型推理本身,而在输入异质性(内容类型、尺寸、通道数与位深千差万别)和输出一致性(同一个图不能因为一次请求与另一次请求的结果不同而让用户困惑)。Real-ESRGAN 的模型与多后端实现,恰好为这两类问题提供了足够务实的起点。
从 Real-ESRGAN 往后:三条不同的路线
Real-ESRGAN 在 2021 年确立了”用合成退化 + GAN”这条实用路线,之后的超分研究沿着三条不同的方向展开,理解它们能看清 Real-ESRGAN 在体系里的位置。
路线一:更强的骨干网络
SwinIR(arXiv:2108.10257)把 Swin Transformer 引入图像复原。它的出发点是卷积的两个固有弱点:卷积核与图像内容无关——同一套权重作用在所有区域,而图像复原需要”看内容”决定怎么修;卷积的局部性又限制了长距离依赖——大面积相似纹理之间的相互印证被截断了。SwinIR 的三个模块(浅层特征提取、深层特征提取、高质量重建)里,深层部分用的是残差 Swin Transformer 块(RSTB),每个块里若干层 Swin Transformer 负责窗口内自注意力与移位窗口带来的跨窗口交互,块尾再接一个卷积做特征增强并做残差连接。

上图是 SwinIR 的整体结构。浅层特征通过一个卷积从输入提取,并被直接短路到重建模块,以保留低频信息;深层特征由多个 RSTB 串联构成;两者的输出拼接后进入重建模块。这种”低频走捷径、高频走深层”的设计,和 Real-ESRGAN 的像素反排列 + RRDB 主干在功能上是同一思路的两种结构表达。
HAT(arXiv:2205.04437)进一步解决 Transformer 超分”激活的像素不够”的问题。它通过重叠交叉注意力(OCAB)让每个窗口能看到邻近窗口的内容,并用混合注意力块(HAB)把通道注意力与空间注意力结合起来,使网络可以利用更广的上下文。对 Real-ESRGAN 而言,这两条工作说明:在退化建模不变的前提下,骨干网络对纹理恢复的上限还有很大空间,代价是计算量大幅上升——SwinIR、HAT 的推理成本都远高于同倍率的 ESRGAN 系列,实时部署更困难。
路线二:用扩散先验替代 GAN 先验
StableSR(arXiv:2305.07015)走的是一条完全不同的路:不训练一个专门的超分网络,而是微调一个已有的文生图扩散模型(Stable Diffusion),让它的强生成先验来生成细节。潜空间扩散与 VAE 编解码的基本机制可参考 扩散模型从零讲起(四):潜空间扩散与条件生成。具体做法是冻结扩散模型主体,只训练一个轻量的、带时间嵌入的编码器来注入低分辨率条件,并加少量特征调制层。之所以要时间感知,是因为超分需要”前紧后松”的引导:在去噪早期强约束以保住结构保真度,后期弱约束以避免把退化当成纹理生成。

上面的图对比了 StableSR 与直接复用 ControlNet 的扩散超分基线:ControlNet 走的是”外挂一个可训练副本编码器、用零卷积把条件加进主干”的路线(ControlNet 的结构可参考 扩散模型从零讲起(十五):可控生成),而 StableSR 改为只微调轻量的时间感知编码器与少量调制层,冻结其余权重以保留原模型的生成先验。更少的可训练参数、更强的先验保留,是它能在同等训练预算下得到更自然纹理的原因。
扩散路线在纹理真实感上通常优于 GAN,代价值得单独说明:它需要多步采样(即使配合蒸馏也要 4 步以上),每步都是整图的一次 UNet 前向,还要额外跑 VAE 编码解码。一个 512×512 的扩散超分请求,计算量通常比 RealESRGAN_x4plus 处理同尺寸输入高一到两个数量级。这就是为什么扩散超分在学术评测里占优,但在需要处理海量图片或视频的服务里很少直接使用。
路线三:把所有图像复原任务统一起来
SUPIR(arXiv:2401.13627)把路线二推到”超大模型 + 多模态提示”的程度:用 LLaVA 这类多模态大模型为低质量图生成描述性文本(既描述内容,也描述模糊、噪声等质量缺陷),再把这段文本与低质量图一起作为条件输入基于 SDXL 的扩散主干;同时用负向质量提示把”模糊、低分辨率”等退化特征在去噪过程中推开。它代表了一种趋势:把图像复原变成一个”多模态条件生成”问题,模型的能力来自通用预训练的多模态理解,而不是专门设计的退化管道。
这条路线在工程上的门槛是最高的:一次推理要经过 MLLM 编码、SDXL 的去噪循环,显存与延迟都不可能用低端设备承担。它适合的是”少量高质量图片”的场景,与 Real-ESRGAN 这种”海量图片快速处理”的定位是互补而非替代。
怎么判断一个超分结果”好不好”
超分的评测一直是这个领域最混乱的部分,因为没有一个指标能同时刻画”失真”与”观感”。
PSNR / SSIM 是逐像素指标,只在退化完全已知(例如双三次)时才有意义。对真实退化图像,PSNR 高往往意味着模型”不敢造细节”,输出平滑。
LPIPS / DISTS 用深度特征距离替代逐像素距离,更接近人的感知,但对纹理细节的判断仍然粗糙。
FID 衡量生成图与真实图分布的差距,适合整体评测,对单张图不可解释。
无参考指标(NIQE、MANIQA、CLIQ 等)只看单张图是否”自然”,在真实退化场景下是常用的选择,但它们的校准依赖训练时的图像分布。
Real-ESRGAN 论文对这一点有明确立场:现有感知质量指标无法反映人在细粒度层面(例如纹理的走向、砖缝的规整程度、枝干的连续性)的实际偏好,所以论文主要用可视化样本对比,只在附录给出定量结果。这也是一个可操作的工程经验——超分模型的验收最终要靠人看,客观指标只用来筛掉明显崩坏的样本。
局限与工程上的坑
Real-ESRGAN 的论文列出了三类典型失败:
一是别名(aliasing)导致的线条扭曲。 建筑、室内等包含大量规则直线与网格的场景,在放大后会出现线条弯曲、棱角偏斜。根因是退化合成里包含的下采样没有满足采样定理——高频被折叠进低频,模型无法从折叠后的信息里恢复原本的方向。这属于信息层面的损失,靠网络容量无法补回。
二是 GAN 引入的伪影。 对抗训练在部分样本上会产生不自然的纹理(例如过度锐化的岩石、重复的花纹),这是 GAN 判别器的固有倾向:它惩罚”平均”,于是生成器会去赌某种极端纹理,赌错了就成了伪影。
三是分布外的复杂退化。 如果输入经历了训练里没见过的退化组合(例如特殊的滤镜、极端压缩、非标准色域),模型可能把退化当成纹理去放大。这是合成数据训练的根本边界:数据分布的覆盖范围,就是模型能力的范围。
这些问题在实践中通常用四种手段缓解:换更保守的模型(RealESRNet 而不是 Real-ESRGAN,牺牲纹理换稳定);使用专用的 GAN 先验修复模型(GFPGAN 对脸部);对特定场景单独训练专用模型(动漫、文档、遥感);或者在服务上做后处理(例如对直线场景加方向约束的二次修复)。
小结
把超级分辨率的全貌收拢成一条线:
超分是一个病态逆问题,解不唯一,模型必须携带先验。先验的形态决定了方法的分野——像素回归是”平均先验”,GAN 与扩散是”自然图像流形先验”。而退化模型决定了这个逆问题的难度,盲超分的全部工程技巧都围绕”让训练数据的退化分布尽量贴近真实”展开。
Real-ESRGAN 的拼图由四块构成:二阶退化合成(把一阶退化叠两次,模拟真实链路的多层劣化)、sinc 滤波(把振铃与过冲建模进数据)、U-Net 判别器 + 谱归一化(让判别力与稳定性同时可控)、SR 主干先反排列再上采样(把主要计算压低分辨率)。这四块里没有一块是”新网络拓扑”,它们的价值在于分别解决数据分布、伪影类型、训练动力学与成本结构的问题。
在体系里,Real-ESRGAN 是”GAN 路线”的成熟代表,它的后继者 SwinIR/HAT 换更强的骨干,StableSR/SUPIR 换扩散先验。在推理侧,它代表着一种与语言模型完全不同的服务形态:没有解码循环、没有 KV 缓存,成本由输出分辨率与分块策略决定,实时性取决于画面尺寸而不是序列长度。对大多数把超分当作”图像处理中间步骤”而不是”生成性创作”的工程场景,这种单次前向 + 分块 + 多倍率模型族的结构仍然是最实用的选择。
参考资料
- Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data
- ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
- SRGAN: Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
- SRCNN: Image Super-Resolution Using Deep Convolutional Networks
- BSRGAN: Designing a Practical Degradation Model for Deep Blind Image Super-Resolution
- SwinIR: Image Restoration Using Swin Transformer
- HAT: Activating More Pixels in Image Super-Resolution Transformer
- StableSR: Exploiting Diffusion Prior for Real-World Image Super-Resolution
- SUPIR: Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild
- Real-ESRGAN 官方仓库(xinntao/Real-ESRGAN)
- Real-ESRGAN-ncnn-vulkan 便携推理版本
- The Perception-Distortion Tradeoff(Blau & Michaeli, CVPR 2018)
文中架构图与对比图均引自 arXiv HTML 版论文页面:Real-ESRGAN 的退化流水线图、生成器结构图、sinc 滤波示意图、一阶与二阶退化对比图、U-Net 判别器图;SwinIR 的整体结构图;StableSR 与 ControlNet 基线的对比图。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



