FINN 完全拆解:把 FPGA 变成一张由量化神经网络长出来的数据流电路

12528 字
63 分钟
FINN 完全拆解:把 FPGA 变成一张由量化神经网络长出来的数据流电路

在 GPU 推理的叙事里,神经网络的计算总被组织成”一层算完再算下一层”的批处理:一个 kernel 先把整批 token 的某一层矩阵乘完,结果落到显存,下一个 kernel 再读出来算下一层。这套组织方式在 GPU 上很自然,因为 GPU 需要大量的并行线程来填满计算单元,而把一个时刻只有几百像素大小的中间结果留在片上、直接流进下一层的做法,会让大部分线程无事可做。

FPGA 的处境恰好相反。FPGA 的可编程逻辑按面积计价,每个 LUT、每个 DSP、每块 BRAM 都要占用具体的硅片面积,你无法像 GPU 那样用”线程数”去填满它,只能事先决定用多少硬件来实现哪一部分计算。一旦这么想,“逐层批处理”就不再是唯一选项:如果每一层都有一块专门的硬件电路,上一层算出来的像素可以边产生边送进下一层,十几层网络同时在流水线里运动,第一张图还在最后一层的时候,第二张图已经进了第一层。这正是 FINN 的核心命题。

FINN 由 Xilinx Research 的 Umuroglu、Fraser、Gambardella、Blott 等人提出,论文《FINN: A Framework for Fast, Scalable Binarized Neural Network Inference》于 2017 年发表在 ACM/SIGDA FPGA 会议(arXiv 预印本为 2016 年 12 月,arXiv:1612.07119);其后第二代工具 FINN-R 于 2018 年公开并发表在 ACM TRETS 的深度学习专刊(arXiv:1809.04570),把支持范围从全二值网络扩展到任意低比特量化网络,并正式把”资源成本函数 + 性能预测 + 逐层折叠搜索”写成一门编译流程。它不是一次性的加速器设计,而是一个从训练好的量化网络直接生成对应数据流硬件的编译器。本文沿着它的设计逻辑逐层拆开:为什么用 LUT 实现二值点积划算,为什么批归一化可以变成一次比较,为什么每一层的并行度必须单独解一道不等式,以及这条路线在今天的大模型推理里到底还能走多远。

先把问题定清楚:为什么要专门为 FPGA 设计二值网络

理解 FINN 之前,得先理解它面对的不是”FPGA 能不能跑神经网络”这个宽泛问题,而是”在 FPGA 上跑神经网络,瓶颈究竟在哪一层”。答案要从 roofline 模型说起。

二值网络的算术强度刚好落在片上存储里

FINN 论文第三节给出了一张针对 Xilinx Zynq UltraScale+ ZU19EG 的 roofline 分析。roofline 模型把性能拆成两个上限:计算峰值(受运算单元数量约束)和访存上限(受带宽与算术强度约束)。对于一个算子,每秒能完成的运算数不超过

性能≤min⁡(Ppeak, I⋅Bmem)\text{性能} \le \min\big(P_{\text{peak}},\ I \cdot B_{\text{mem}}\big)

其中 PpeakP_{\text{peak}} 是器件在该数据位宽下的运算峰值,II 是算术强度,即每从内存搬运 1 字节数据能完成多少次运算(Ops/Byte),BmemB_{\text{mem}} 是可用带宽。

ZU19EG 的 roofline 模型:16-bit、8-bit 与 1-bit 运算的峰值与斜线段

图源:FINN 论文(arXiv:1612.07119)图 1,Xilinx Research Labs。图中三条折线分别是 16-bit、8-bit 和 1-bit 运算的 roofline,横轴是算术强度。同一块器件上,1-bit 运算的计算峰值约为 66 TOPS,比 8-bit 高约 16 倍、比 16-bit 定点高约 53 倍。原因并不神秘:FPGA 的综合工具可以把多个 1-bit 乘法-累加单元压缩进同一片 LUT 资源,而 16-bit 乘法需要实实在在的 DSP 切片。

这张图真正有价值的信息在后半段:二值 AlexNet 的全部参数只有 7.4 MB,而 8-bit 版本约 50 MB。7.4 MB 可以完整放进 ZU19EG 的片上存储(BRAM),意味着模型参数从”必须反复访问片外 DRAM”变成”启动时加载一次、之后常驻片上”。参数不再走片外总线,算术强度约束随之消失,网络就从 roofline 的斜线段移动到水平段,性能只由计算峰值决定。论文据此估算:一个能跑到计算峰值约 75% 的设计,折算下来是每秒三万五千张图的分类速度量级。

这条推论对 FINN 的整个架构是决定性的。它意味着”为每一层单独实现一块硬件”是可行的,因为每一层的参数都小到可以常驻在那一层的计算单元旁边;也意味着访存不再是瓶颈,流水线不需要为了迁就带宽降速,可以放心地把层与层直接连起来。

“每层都要等上一层算完”才是要消灭的浪费

既然参数可以常驻片上,那么剩下的浪费就只有结构性的:逐层批处理让每一层的硬件在非本层阶段闲着。对 FPGA 而言,这个问题比 GPU 严重得多,因为 GPU 上闲置的线程只是调度问题,而 FPGA 上闲置的电路就是实实在在占着面积的硅片。

FINN 的答案是把网络实例化成一个异构流式架构:每一层一块计算引擎,引擎之间用片上数据流 FIFO 连接,所有引擎同时工作。下一节先拆解这一层宏观结构,再进入每个引擎内部的微观数据通路。

异构流式架构:把每一层编译成一块常驻电路

异构流式架构:每层一个计算阵列,参数常驻片上,图像流经各级流水线

图源:FINN 论文图 2,Xilinx Research Labs。图中从左到右依次是输入图像、第 1、2、3 层的计算阵列(每个阵列旁边挂着自己那份参数)、片外主存和输出分类结果;下方标注了每一级的 initiation interval,也就是相邻两张图进入同一级的最小间隔。

这张图和 GPU 的推理流程放在一起看,差别非常直观。GPU 流程中,中间结果(特征图)会被写回显存,下一层再读回来,每次往返都带来延迟与带宽消耗;FINN 中,中间结果只在相邻两级的 FIFO 里短暂停留,一旦第一级开始吐出像素,第二级就可以开始处理,不再等整张图算完。

这带来三个直接后果:

  • 延迟被压到接近单次前向的访存级:分类一张图的延迟不再是”每层 kernel 时间之和加上每层的启动开销”,而是流水线填充时间加上最后一级的处理时间。论文中 SFC 的延迟是 0.31 微秒。
  • 吞吐由最慢一级决定:流水线的吞吐等于 initiation interval(II)的倒数乘以时钟频率。只要各层速率配平,整体吞吐就由最慢的一级决定,而不需要每一层都快到极限。
  • 异构性被充分利用:每层通道数、卷积窗口、数据精度都不一样。如果所有层共用一套同一尺寸的计算阵列,那么小层浪费面积、大层拖慢吞吐。逐层定制虽然要为不同的网络拓扑重新编译、重新生成比特流,但换来的是每层的资源恰好匹配它的工作量。论文明确把这当成一个可接受的成本。

问题随即而来:所谓”逐层定制”,定制到什么程度?答案藏在硬件库的几个构件,以及一个统一定义所有层计算的抽象里。

核心构件一:MVTU——所有层都归结为”矩阵乘 + 阈值”

在二值网络里,无论是全连接层还是卷积层,计算本质是相同的:一个输入向量与一个权重矩阵做点积,得到一组前激活值;然后这批激活值经过批归一化和符号函数,变成下一层的二值输入。FINN 抽象出 Matrix-Vector-Threshold Unit(MVTU)来实现这个模式。

全连接层与卷积层如何统一成同一个模板

全连接层是最直白的:第 NN 层的预激活输出 aN=A⋅aN−1ba_N = A \cdot a^b_{N-1},其中 AA 是突触权重矩阵,aN−1ba^b_{N-1} 是上一层输出的二值激活向量。卷积层看起来不同,但可以把权重从卷积核”打包”成一个滤波矩阵,同时用一个滑窗在输入图上移动、每次取出一块局部邻域拼成”图像矩阵”,卷积就变成了这两个矩阵的乘法。下一节的滑窗单元(SWU)负责生成图像矩阵,MVTU 负责乘法。

因此,MVTU 既能独立实现全连接层,也是卷积层中承担乘法的部分,成了整个硬件库里唯一的核心计算构件。

MVTU 的组织:每个 PE 是一个硬件神经元

MVTU 组织:输入缓冲、P 个处理单元(PE),每个 PE 含 S 条 SIMD 通道

图源:FINN 论文图 5。虚线框内是 MVTU 的边界:左侧是输入图像流与输入向量缓冲,右侧是输出向量缓冲与输出图像流;中间是 PP 个并行的处理单元(processing element),每个 PE 内部有 SS 条 SIMD 通道。

图中有三个值得停下来看的地方。

第一,PP 个 PE 各自持有权重矩阵的一块。论文提到,这个架构同时是 weight stationary(权重固定在 PE 内的片上存储里)和 output stationary(每次点积的累加器留在 PE 内,不跨 PE 移动)的,用 Eyeriss 的术语来说是把数据复用尽量留在最便宜的存储层级上——寄存器与片上 BRAM。

第二,所有 PE 接收完全相同的控制信号与输入向量,区别只在于各自乘的是矩阵的不同部分。这意味着 PE 之间不需要任何同步协商,天然并行。

第三,SIMD 通道数 SS 是参数化的:一条通道一次处理多少个乘加,直接决定了这个 PE 的吞吐与面积。

为什么点积可以变成 XNOR + popcount

接下来是 FINN 最核心的算术技巧,也是整篇文章最需要讲透的推导。

设一个神经元的扇入(输入突触数量)为 YY,其中取值为 +1+1 的突触数量为 Y1Y_1,取值为 −1-1 的数量为 Y0Y_0,显然 Y=Y0+Y1Y = Y_0 + Y_1。二值网络中的输入与权重只取 {−1,+1}\{-1, +1\},因此点积

∑i=1Ywixi=Y1−Y0=Y1−(Y−Y1)=2Y1−Y\sum_{i=1}^{Y} w_i x_i = Y_1 - Y_0 = Y_1 - (Y - Y_1) = 2Y_1 - Y

这个式子说明:只要数出 Y1Y_1,也就是两边同时为 +1+1 的位置个数,点积就完全确定了。而”两边同时为 +1”可以用按位逻辑实现——如果我们把 +1+1 编码为 1、−1-1 编码为 0,那么两向量逐位”同或”(XNOR)的结果中,1 的个数恰好就是 Y1Y_1。于是:

  • 乘法被替换为按位 XNOR;
  • 有符号累加被替换为 popcount(数 1 的个数);
  • 最终点积值 2Y1−Y2Y_1 - Y 可以在后续比较中吸收成阈值偏移。

论文给出了 Vivado HLS 的实测数字:在 200 MHz 目标下,一个 128 位 popcount-accumulate 只用 376 个 LUT 和 29 个触发器,而 128 位双极性(有符号)累加需要 759 个 LUT 和 84 个触发器。大约一半的资源。这不是精妙的工程技巧,而是编码选择直接改变了算术结构:没有乘法器、没有符号扩展、没有进位链上的负数校正。

MVTU 单个 PE 的数据通路:权重存储、XNOR、popcount、累加器与阈值比较

图源:FINN 论文图 6。从左到右:输入向量与权重存储进入 XNOR,逐位相乘的结果进入 popcount 计数,计数结果累加进 TT 位累加器,累加完成后直接与阈值存储中的值做比较,输出 1 bit 的激活。粗体表示位宽。

这条数据通路的信息密度很高,值得逐个部件看。

累加器位宽 TT。完整点积的理论最大值是 YY,因此累加器至少需要 ⌈log⁡2(Y+1)⌉\lceil\log_2(Y+1)\rceil 位。论文进一步指出 TT 可以缩到 1+log⁡2Y1 + \log_2 Y 位,因为最终只需要保留”是否越过阈值”这一位信息,多余的高位可以用饱和逻辑吸收。位宽的每一次削减都直接减少触发器数量。

阈值存储与比较。每个 PE 自己带一份阈值内存。前面推导的点积 2Y1−Y2Y_1 - Y 与阈值的比较可以等价改写为 Y1Y_1 与一个调整后阈值的比较,于是比较器完全工作在无符号域,不需要任何有符号运算。下一节会说明这个调整后阈值是怎么算出来的。

流式而非块式。输入向量是逐个送入的,popcount 与累加在数据到达的同时进行,一个完整的点积结束后立刻比较、立刻输出。整个 PE 没有多级流水线的启动延迟,II 就是这条通路处理一个点积所需的时钟数。

模板可降级使用。论文特别提到,MVTU 模板可以支持部分二值化:去掉阈值比较级,输出就是非二值化的值;把 XNOR-popcount 换成普通乘加,就能接受非二值的输入。实际网络中,第一层(处理位深图像)和最后一层(输出分类得分)通常需要保留较高精度,正是靠这个降级模式实现的。

核心构件二:把批归一化和激活压成一次阈值比较

二值网络训练时,每个卷积或全连接层的输出通常先做批归一化,再过符号函数。如果推理时真的按训练时的公式计算,就要为每个神经元维护 γk\gamma_k、μk\mu_k、iki_k(标准差之倒数)、BkB_k 四个参数并做一次乘加,这对一个只输出 1 bit 的电路来说浪费惊人。

FINN 的做法是观察到这样一个事实:对一个已经训练完、参数固定的网络,这四个参数决定的是一个单调函数

BatchNorm(ak,Θk)=γk⋅(ak−μk)⋅ik+Bk\text{BatchNorm}(a_k, \Theta_k) = \gamma_k \cdot (a_k - \mu_k) \cdot i_k + B_k

它的零点就是输出翻转的临界点。令 BatchNorm(τk,Θk)=0\text{BatchNorm}(\tau_k,\Theta_k)=0,解得

τk=μk−Bkγk⋅ik\tau_k = \mu_k - \frac{B_k}{\gamma_k \cdot i_k}

也就是说,符号函数作用于批归一化之后的结果,等价于把预激活值 aka_k 与一个预先算好的常数 τk\tau_k 比较。

三个二值神经元的激活曲线:批归一化后的符号函数表现为一个阈值跳变

图源:FINN 论文图 3。三条曲线对应三个不同的神经元:A、B 的跳变方向相反,C 的跳变位置在右侧;无论参数如何,每条曲线都存在唯一一个翻转点。

图 3 里最容易被忽略的是 C 那条:它的跳变方向是反的。这对应 γk⋅ik<0\gamma_k \cdot i_k < 0 的情况,即批归一化的斜率是负的。对硬件来说,一个反向阈值意味着比较方向也要反过来,这会让每条通路的控制逻辑分叉。FINN 的解决办法是把该神经元的全部权重取反,从而把 −γ⋅i-\gamma \cdot i 变回正值,所有神经元的比较都可以统一成”大于等于”。

还有一步是把有符号比较变成无符号比较。前面推导的点积真实值是 2Y1−Y2Y_1 - Y,与阈值比较 2Y1−Y≥τk2Y_1 - Y \ge \tau_k 等价于 Y1≥⌈(τk+Y)/2⌉Y_1 \ge \lceil (\tau_k + Y)/2 \rceil。于是:

τk+=τk+Y2\tau_k^{+} = \frac{\tau_k + Y}{2}

论文把这个扇入值(原文在此处记为 SS,与前文的 YY 同义)称为神经元的扇入。改写后,硬件只需要把 popcount 出来的无符号整数与 τk+\tau_k^+ 比较即可。这两个常数都在编译期算好、写进阈值存储。

资源上的收益很直观:论文给出 Vivado HLS 报告,16 位点积输出下,常规的”批归一化 + 符号激活”需要 2 个 DSP、55 个触发器和 40 个 LUT;而阈值激活只需要 6 个 LUT。整个计算从乘法加归一化变为一次比较。

核心构件三:布尔或门实现最大池化

池化通常放在激活之前,对未二值化的值取最大。FINN 论证了可以把池化移到激活之后而不改变输出:设 a1,…,aYa_1,\ldots,a_Y 是待池化的正点积输出,按阈值化规则输出为 max⁡(ai)≥τ\max(a_i) \ge \tau。由于取最大与比较满足分配律,

(max⁡iai≥τ)=⋁i(ai≥τ)\Big(\max_i a_i \ge \tau\Big) = \bigvee_i \Big(a_i \ge \tau\Big)

右边是若干 1 bit 比较结果的逻辑或。而每个 ai≥τa_i \ge \tau 的比较,正是阈值化激活时已经算好的那个位。于是最大池化在硬件上退化为按窗口把若干 bit 做一次 OR。同理,最小池化退化为 AND,平均池化退化为布尔多数函数。论文强调这样做的池化不需要重新训练网络,输出与训练时完全一致。

这个结论的工程意义容易被低估。在一个流式架构里,如果池化需要先把整块特征图缓冲起来再找最大值,就要在层之间插一段额外的缓冲;而它只依赖已经产生的比较结果、以 OR 门逐像素流式完成时,池化单元(PU)只需要 C⋅kC \cdot k 条行缓冲(CC 为通道数、kk 为窗口高度),每条宽度为图像行宽 bit,输入按行流入,凑满 kk 行就横向 OR、纵向 OR,然后最旧的行缓冲被填充为新的一行。池化彻底融入了流水线。

卷积如何变成矩阵乘:滑窗单元与通道交织

卷积降维成矩阵乘早已是老办法(im2col),但 FINN 在这里做了一个会影响整个数据通路布局的选择:通道交织。

双通道卷积的交织布局:同一像素位置的通道数据相邻存放,形成交织后的滤波矩阵与图像矩阵

图源:FINN 论文图 7。上半部分是两张输入特征图(ifm 0、ifm 1)各自产生输出特征图(ofm 0、ofm 1);下半部分展示交织后的滤波矩阵与图像矩阵,以及滑窗如何从按顺序写入的流中取出相邻地址作为同一窗口的输入。

假设输入有两个通道。不交织的做法是,同一空间位置的 ifm 0 与 ifm 1 像素存放在两个不同的存储区,一个滑动窗口需要同时访问多处地址、拼出一个窄的行向量。MVTU 的 SIMD 通道期望一次拿到连续的 bit 做 XNOR,分散的存储会迫使 SWU 用多块窄 BRAM 去凑一个宽向量。

交织的做法是把同一位置的所有通道像素相邻存放。这样一条滑窗通道读出的就是一段连续地址,一个像素位置的完整通道数据在同一地址附近,正好对上 SIMD 的宽度。更进一步,输出特征图也会自然以交织形式产生,可以直接送给下一层,无需任何转置或重排。

论文提到,滤波矩阵的交织可以在离线时完成,没有额外成本;输入图的交织可以在 FPGA 上边流入边完成。这个选择看起来只是内存布局的细节,实际上它把”SWU 需要多少块存储、层与层之间要不要插转置单元”这些决定都定死了,是流式架构能做到零转置衔接的前提。

还有一个值得记录的细节:双极性编码中不存在”0”这个值,因此如果要对图像做补零,必须选择用 +1+1 或 −1-1 来填充。论文承认这一点可能影响精度,但早期实验显示差异很小。

逐层折叠:为什么每一层的并行度要单独解一道不等式

到这里,单个计算单元的结构已经清楚。剩下的问题是:一块 FPGA 放不下整个网络按最大值展开的电路,每层应该实现多少个 PE、多少条 SIMD 通道?

全展开就是”一张图一个时钟出结果”

如果每个 PE 对应一个硬件神经元、每条 SIMD 通道对应一个硬件突触,一层有 XX 个神经元、每个神经元 YY 个突触,那就需要 X×YX \times Y 个硬件突触,这层就能每个时钟处理一张图的这一层。但 FPGA 的 LUT 和 DSP 数量有限,几乎不可能在真实网络上做到。所以必须对网络做折叠(folding):用较少的硬件突触和硬件神经元,通过时间复用完成完整的一层计算。

定义 PP、SS 与折叠因子

FINN 的折叠由两个参数控制:PP 是 PE 数量,SS 是每个 PE 的 SIMD 通道数。对于一个 X×YX \times Y 的权重矩阵:

  • 神经元折叠 Fn=X/PF_n = X / P:矩阵的 XX 行被分到 PP 个 PE 上,每个 PE 负责 FnF_n 行;
  • 突触折叠 Fs=Y/SF_s = Y / S:每行的 YY 个突触由 SS 条通道分时处理,每条处理 FsF_s 个。

一次完整的矩阵-向量乘法需要的时钟数是

F=Fn⋅Fs=XP⋅YSF = F_n \cdot F_s = \frac{X}{P} \cdot \frac{Y}{S}

论文给了个可以手算的例子:一个 6×46 \times 4 的权重矩阵,用 3 个 PE、每个 2 条通道,那么 F=(6/3)⋅(4/2)=4F = (6/3)\cdot(4/2) = 4 个时钟循环一次。论文图 8 还展示了阈值存储如何与权重一起被切分到各 PE,以及矩阵不能被均分时如何补零对齐。

卷积层的折叠多一层:一个卷积层可看作多个矩阵-向量乘(每个输出像素一次),总折叠为 F=Fm⋅Fn⋅FsF = F_m \cdot F_n \cdot F_s,FmF_m 是网络决定的常数,等于卷积输出像素的数量。

配平的目标:每层的 II 相同

流式架构的吞吐由最慢的一级决定。设目标帧率 FPS、时钟 FclkF_{\text{clk}},那么每一层处理一张图所需的时钟数(II)应该约等于

II≈FclkFPSII \approx \frac{F_{\text{clk}}}{\text{FPS}}

论文明确写出:对于全连接层,总折叠 FF 就等于 II,因此配平的做法是让每一层的 Fn⋅Fs=Fclk/FPSF_n \cdot F_s = F_{\text{clk}}/\text{FPS}。如果有别的瓶颈(比如存储通道数量或 SWU 的吞吐)无法达到这个速率,就让其他层也降到这个瓶颈速率,不浪费资源去补贴一个注定跑不快的层。

这解释了为什么 FINN 要为每层生成不同的参数。一个 64 通道的 3×3 卷积和一对 512 神经元的全连接层,工作量相差几个数量级;如果让它们用同一套硬件,要么大层被小层的资源拖住,要么小层被分到远超需求的资源。逐层定制把这道约束分解成每层一个独立的等式,而每个等式又各有 PP 与 SS 两个自由度,可以在”多几个 PE”和”每条通道更宽”之间权衡 BRAM 与 LUT 的消耗。

从配平到编译流程

FINN 设计流程:训练的 BNN 拓扑与 FPS 目标输入 FINN 合成器,输出可综合 C++,经 Vivado HLS 综合成比特流

图源:FINN 论文图 4。左侧是 BNN 拓扑与参数、以及 Theano + BinaryNet 训练出来的模型;中间是 FINN 合成器,它输出一份可综合的 C++ 描述;右侧是 FINN 硬件库与 Vivado HLx,最终落到 FPGA 平台上。

整个流程可以概括为:先按目标 FPS 确定每层的折叠参数,再应用批归一化阈值化、布尔池化等代数优化,然后从硬件库中按层实例化 MVTU、SWU、PU 等构件,拼成异构流式架构的可综合 C++ 描述,最后交给 Vivado HLS 综合、Vivado 布局布线,生成比特流。

流程中有一个容易被忽视但很关键的设计立场:FINN 选择了 HLS(可综合 C++)而不是手写 RTL。论文解释了原因——开发效率、跨平台可移植、自动流水线优化、便于设计空间探索,代价是约 45% 的资源开销(FINN-R 的微基准测试显示,同等点积计算的 LUT 成本,HLS 约为 RTL 的 1.6 倍)。对学术界和快速探索而言,牺牲一部分面积换取”一天能试几十个设计点”,显然是划算的。

第二代:FINN-R 如何从二值扩展到任意低比特

第一代 FINN 有一个隐含前提:除首尾层外,中间层的输入、权重、输出都取 1 bit;并且网络足够小、全部参数能放进单块 FPGA 的片上存储。2018 年的 FINN-R 把它扩展成一个真正的”框架”,核心变化有四处,每一处都值得拆开看。

点积成本的统一模型

FINN-R 先用一组微基准测试测量了 Vivado HLS 综合出的点积单元的实际 LUT 成本,覆盖输入向量长度 N∈{1,2,4,8,…,128}N \in \{1, 2, 4, 8, \ldots, 128\}、操作数位宽 W×A∈{1,2,3}2W \times A \in \{1,2,3\}^2 的组合。结论是:LUT 成本近似与

C=N⋅W⋅AC = N \cdot W \cdot A

成正比——也就是与”产生并累加的位乘积数量”成正比,这符合直觉:位矩阵的每个元素都需要一片逻辑。系数由实测拟合,HLS 相对 RTL 多出约 45%。在这套模型下,二值权重(−1/+1-1/+1)比常规 1-bit 无符号权重多 35% 的成本,因为负数乘法需要额外符号位;三值权重再加 20%,2-bit 再加 20%。这些数字使得”这一层用几位”变成了一个可以用面积来核算的设计决策,而不是凭感觉。

从二值到混合精度:统一的 PE

这个通用 PE 的位宽链是这样的:WW 位权重与 AA 位激活的乘积产生 W⋅AW \cdot A 位乘积项,多条乘积通过加法树合并成 TT 位累加结果,再与 TT 位阈值比较。当 W=A=1W = A = 1 时,这恰好退化为 XNOR-popcount;当 W=1,A=3W = 1, A = 3 时(Tincy YOLO 的中间卷积层配置),同样的加法树会汇总 3 位的部分和。也就是说,FINN 的 PE 并非”二值专用”,而是”位乘积数量决定成本”的统一模板。

论文还支持为不同层给出不同的 W×A 精度,以及保留首尾层的浮点或 8 位定点(因为量化敏感的层放低会大幅掉精度)。这让 FINN-R 能覆盖从全二值分类网络到量化目标检测网络的一整段谱系。

两种后端架构:数据流与多层卸载

FINN-R 的两种后端架构:逐层定制的数据流架构与统一阵列的多层卸载架构

图源:FINN-R 论文(arXiv:1809.04570)图 10。左图(a)是数据流架构,每层一套定制计算阵列、权重与激活常驻片上;右图(b)是多层卸载架构,一个尽可能大的统一计算阵列配合回环路径,让特征图多次经过同一组硬件。

FINN-R 定义了两种后端架构。

数据流(DF):即第一代 FINN 的逐层定制架构,每层一个引擎,全流水线。其资源成本是所有层成本之和,对深网络来说会让芯片装不下。

多层卸载(MO):只展开部分层,或使用一套统一尺寸的计算阵列,让数据在回路中多次通过同几层硬件。资源成本约等于调度中最大的一层成本,因此对深层网络的可扩展性更好。代价是层间需要存储中间结果,延迟更高。

论文把这两者视为设计空间的两个端点,并给出了一个明确的取舍:DF 在全速率下吞吐与 MO 相近(取决于实例化的总计算资源),但 DF 因为层间无缓冲而在延迟上有明显优势;MO 则在”资源装不下整个网络”时是唯一可行的选择。

用成本模型自动选择并行度:算法 1

FINN-R 的核心算法叫 Data Flow Balancing,思想是:从所有层的最小并行度(M=1M=1)出发,在资源预算允许的前提下,每一轮找出”当前计算需求除以并行度”最大的那一层,把它的并行度提高到下一个可选因子,直到再提高就无法在器件上放下。伪代码如下:

输入:各层计算需求 A[0..L-1],当前并行度 M[0..L-1]
candidate := MO # 先准备一个多层卸载的退路
M[0..L-1] := 1 # 所有层从最小并行度开始
while feasible(M): # 成本模型判定放得下
candidate := { DF, M }
idx := argmax_i ( A[i] / M[i] ) # 找最紧的一层
M[idx] := 下一个可选因子,且大于 M[idx]
return candidate

每一轮都先把最”紧”的一层放宽,这正是逐层配平。feasible(M) 由前述的点积成本模型加上层间存储成本、平台外壳开销来判定。如果连最小并行度都放不下,就退回 MO 架构。

这套流程有一个实际好处:它把”这个网络在这块板上能跑多快”从经验问题变成了可计算问题。论文把预测吞吐与实测结果并列在一张表里,例如 MLP-4 在 AWS F1 上预测 50.8 TOPS(预测值与实测吻合度 79%),CNV-6 在 Ultra96 上预测 2.3 TOPS(吻合度 99%),Tincy YOLO 在 PYNQ 上预测 133 GOPS(吻合度 66%)。吻合度较低的那些,往往是因为 SWU 或存储通道成了瓶颈,预测模型把它们识别出来了。

FINN-R 的编译流程:一次部署里到底发生了哪些变换

FINN-R 把自己描述成”前端 → 变换 → 后端”三段式。这个分层是理解”为什么它能支持混合精度”的关键:量化网络的量化粒度、层类型、位宽组合都写进一份中间表示(IR),变换只对 IR 做数学等价的改写,后端再把 IR 映射成硬件。

前端:把训练框架的模型翻译成量化感知的 IR

FINN-R 的前端支持 Caffe、DarkNet 与 TensorFlow,把这些框架的模型导出成一种”量化感知中间表示”。之所以要量化感知,是因为原始模型在训练阶段用的是浮点权重,而 FINN 的硬件模板期望的是”每层输入多少位、权重多少位、输出多少位”三项都明确的值。前端的职责就是从训练配置里把这些信息抽出来,并标出哪些层可以降到 1 位、哪些必须保留 8 位甚至浮点。

这个信息一旦进入 IR,后面所有变换都在这份 IR 上工作。硬件库里的每个构件(MVU、SWU、PU)都对应一种 IR 节点类型,因此”生成硬件”本质上是”遍历 IR,给每个节点选一个构件模板,并配上一组并行度参数”。

变换一:直接量化(Direct Quantization)

网络的第一层与最后一层通常对量化最敏感:第一层直接作用于位深 8 bit 的像素,最后一层输出的是要参与 softmax 或比较的得分。把这两层降到 1 位会带来明显掉点。FINN-R 因此引入”直接量化”:把这两层保留为 8 位定点(用 WxAyW_xA_y 表示 xx 位权重、yy 位激活),其余中间层按网络配置降到更低比特。

论文引用的经验是:从浮点降到 8 位定点对精度几乎无影响(参考文献中已有多篇报告),而降到 8 位以下的量化最好配合重训练。这也解释了为什么 FINN-R 在实际原型中常采用”首层 8 位、中间层 1 位或 2 位、末层 8 位”的混合配置——Tincy YOLO 甚至是”首末卷积层 8 位权重、其余卷积层 1 位权重配 3 位激活”的组合。

变换二:流水化(Streamlining)

FINN 一代表述过的”批归一化变阈值”在 FINN-R 里被推广成一条通用变换:把量化层前的所有线性缩放合并进一个常数,再把它吸收进量化阈值。

考虑一个缩放层(乘一个常数)后面接一个量化层(与阈值比较后输出某个码字)。两个操作都作用在一个标量上,缩放不会改变比较的单调性,因此”先缩放再比较”一定等价于”比较一个被放缩过的阈值”。于是 FINN-R 可以把这些浮点缩放层从计算图中彻底删掉,只更新后面量化层的阈值表。

与之配套的还有一条关于池化的变换:最大池化与单调函数可交换,因此可以把池化移到量化层之后。这会显著降低池化比较器的位宽需求——池化现在只处理 1 bit 或几 bit 的码字,而不是全精度的中间值。与 FINN 一代的”布尔 OR 池化”相比,这相当于把同一个思想推广到了非二值量化的场合。

变换三:FPGA 资源分析——给每层分配并行度

FPGA 资源分析变换就是前面算法 1 的具体实现。它读取每层在 IR 中的形状(输入通道、输出通道、卷积窗口尺寸)、以及 IR 中标注的位宽 W×AW \times A,用 FINN-R 第 3 节推导的成本函数估算每层展开到某个并行度时的 LUT/BRAM 消耗,然后从”所有层并行度都为 1”开始逐层提高最紧的那一层的并行度,直到超出器件预算。

这个变换的产物不是比特流,也不是代码,而是一份”并发度注解”:每层得到一个 (P,Q,M)(P, Q, M) 三元组,分别对应”PE 复制系数""SIMD 扩宽系数""多向量并行系数”。后端拿到这份注解之后,才开始真正生成硬件。

后端:生成可综合的 HLS 代码

FINN-R 的后端把 IR 的每个节点映射到硬件库中对应的模板,并把并发度注解翻译成模板参数。例如一个 W=1,A=1W=1, A=1 的卷积层,可能被映射成”SWU + P=8P=8 个 PE、每个带 64 条 SIMD 通道的 MVTU”;一个 W=1,A=3W=1, A=3 的卷积层则映射成一个使用加法树合并 3 位和、再与阈值比较的 PE。

论文特别提到,这个映射阶段不仅要决定每个构件用哪个模板,还要决定层间 FIFO 的深度。两个相邻的构件如果输出速率对不上(比如上一级按行缓冲后成批吐出、下一级按点消费),就必须在中间插一段足够深的缓冲,否则快的那个会被慢的那个反压住,流水线的节拍随之被拉长。这些缓冲深度也计入资源成本,是成本模型里除计算单元之外的第二大类开销。

平台外壳:资源里有相当一部分不归网络

最后一个容易忽略的成本来源是平台外壳(shell)。FINN-R 论文给出了三个平台的板级开销:Ultra96 与 PYNQ-Z1 的外壳很小(8 个 BRAM18、2.6 kLUT);AWS F1 采用 SDK 封装,需要额外的 DMA 与主机接口逻辑,外壳占用与嵌入式板卡完全不是一个量级。对这类”云上 FPGA”,一个设计里可能有相当比例的面积被平台本身占用,留给加速器核心的只有一部分。

这就是为什么 FINN-R 的资源分析从”器件总量减去外壳开销”开始算。对嵌入式板卡,这个减法几乎可以忽略;对大 FPGA 云实例,则必须严肃对待。

流水线怎么跑起来:II、填充与稳态吞吐

流式架构的性能不只看每个单元多快,更要看一层开始处理下一张图之前,必须等上多久。这个”多久”就是 initiation interval(II):同一个引擎两次开始处理新输入之间的最小时钟数。

一个具体网络例子:从 4.17% 误差到 1240 万 FPS

FINN 论文里的原型网络可以直接手算。卷积网络 CNV 由三组”3×3 卷积、3×3 卷积、2×2 最大池化”组成,通道数依次为 64、128、256 递增,最后由两层 512 神经元的全连接层输出 10 类。在 CIFAR-10 上它达到 80.1% 分类准确率(误差 19.9%),在 SVHN 上是 94.9%(误差 5.1%);这比浮点的同类网络要差,但对一个全部参数只占 1.5 Mbit 的二值网络来说,错误率还能控制在 20% 以内,这本身就是二值化研究的意义所在。

更极端的是全连接网络 SFC:4 层 256 神经元,MNIST 误差 4.17%;把每层放大到 1024 神经元得到 LFC,误差降到 1.60%。SFC 的全部参数只有 0.3 Mbit,LFC 是 2.9 Mbit;SFC-max 用 91,131 个 LUT 跑出 12,361 kFPS,而 LFC-max 用 82,988 个 LUT 和 396 个 BRAM 只跑出 1,561 kFPS。LFC 的神经元多四倍、参数多近十倍,单次前向的矩阵乘法更重,但 LUT 用量反而略少,说明折叠把更重的计算压进了相同的逻辑面积,代价是吞吐降了一个数量级。

为什么吞吐是 II 的倒数

设第 ii 层处理一张图的时钟数为 IIiII_i,时钟频率为 FclkF_{\text{clk}},整条流水线在稳态下的吞吐约等于

吞吐≈Fclkmax⁡iIIi\text{吞吐} \approx \frac{F_{\text{clk}}}{\max_i II_i}

因为每一层都在被上一层的输出喂数据;当第 ii 层每 IIiII_i 个时钟接收一份新输入时,它就成了整条流水线的节拍器。论文表 2 给出的 SFC 各层折叠因子是 13、16、16、16,最慢一级是 16 个时钟;在 200 MHz 下,200M/16=12.5M200\text{M}/16 = 12.5\text{M},与实测的 1236 万张/秒只差约 1%。

填充代价与延迟

流水线从第一张图进入第一级到第一张图离开最后一级,要经过所有层的 II。对一个 4 层全连接网络,这意味着单张图的延迟大约是各层 II 之和,而不是第一层的 II。SFC-max 的折叠因子是 13、16、16、16,加起来 61 个时钟,在 200 MHz 下是 0.305 微秒,与论文实测的 0.31 微秒吻合;LFC-max 的折叠因子是 104、128、128、128,总延迟 488 个时钟,对应 2.44 微秒。吞吐则由其中最大的那一个(16 和 128)决定:200MHz/16=12.5M200\text{MHz}/16 = 12.5\text{M} 与 200MHz/128=1.56M200\text{MHz}/128 = 1.56\text{M},分别对应实测的 12.361 M 和 1.561 M 张/秒。延迟取决于折叠之和,吞吐取决于折叠的最大值,这条关系把”折叠”这个抽象参数和两个最受关注的性能指标直接连了起来。

这个数值反过来告诉了我们一个设计上的取舍:如果应用需要的是极低延迟而不是高吞吐,那么应当减小每层的 II,让”一个请求穿过整条流水线”更快;如果应用需要的是高吞吐,就可以牺牲延迟,让每一层多折叠几次、流水线更深、稳态吞吐更高。FINN 把这两者分别抽象成 max 场景和 fix 场景,由同一套折叠流程生成不同比特流。

每个引擎的”内部流水线”

II 并不总是严格等于折叠因子。FINN 的构件除点积通路外还带自己的输入输出握手、缓冲与控制逻辑,实际接受下一份输入所需的时间可能比理论折叠多出几个时钟。这就是为什么 SFC-max 实测 1236 万 FPS 略低于 200MHz/16=1250200\text{MHz}/16 = 1250 万的理论值。FINN-R 对 SWU、最大池化单元等构件也单独做吞吐刻画(characterization),把这些固定开销纳入成本模型,因此它的性能预测能给出”吻合度 66%–99%“这样的区间,而不是只能算出一个乐观上界。

实测性能:数字说明了什么

FINN 第一代的实测结果集中在 Xilinx ZC706 上(Zynq Z7045,218,600 个 LUT、545 个 BRAM,200 MHz 时钟)。

FINN 在 ZC706 上的 roofline 与 SFC、MFC、LFC、CNV 各拓扑的实际数据点

图源:FINN 论文图 9。折线是四条精度对应的 roofline,斜线上的标记是各拓扑的算术强度位置,点则是 max 场景原型的实测运算速率。论文图 9 把各拓扑(SFC、MFC、LFC、CNV)的实际数据点标在 ZC706 的 roofline 上,可以看出它们分别被不同因素限制:CNV-max 达到 2.5 TOPS,是架构受限(SWU 的扩展性不如 MVTU);SFC-max 达到 8.2 TOPS,是访存受限(每张 28×28 输入图像本身仍要经片外搬入,SFC 的算术强度线落在 roofline 的斜线段上,参数常驻片上并不能免除输入数据的搬运);LFC-max 达到 9.1 TOPS,是 roofline 的 46%,资源受限(折叠因子必须取整数,最小步进是 2 倍,导致约 30% 的 BRAM 闲置)。这三类瓶颈的区分,本身就是 roofline 分析的价值。

论文表 3 的结果摘要如下(ZC706,200 MHz):

  • SFC-max:每秒 1,236 万次分类,延迟 0.31 微秒,91,131 个 LUT,FPGA 功耗 7.3 W;
  • LFC-max:每秒 156.1 万次分类,延迟 2.44 微秒,82,988 个 LUT,396 个 BRAM;
  • CNV-max:每秒 2.19 万次分类(CIFAR-10 / SVHN),延迟 283 微秒;
  • MFC-max(3×512 全连接):每秒 623.8 万次分类,11.6 TOPS;
  • SFC-fix、LFC-fix、CNV-fix:分别为 1.22 万、1.22 万、1.16 万 FPS,都在 9000 FPS 的目标之上,功耗只有 0.4–2.3 W。

论文对这些数字的解读值得记住:SFC-max 的 FPS/W 达到约 583,000(按整板功耗),比所有其他原型高一个数量级以上;而在固定 FPS 场景中,把高并行度的设计降频到 250 kHz 反而比低并行度设计更省能——说明只要资源够,尽可能并行、降低时钟频率是提高能效的正确方向。

FINN-R 则在三类平台上给出结果:AWS F1(XCVU9P,1,180 kLUT、4,320 BRAM)上 MLP-4 的预测吞吐为 50.8 TOPS,CNV-6 为 12.1 TOPS;PYNQ-Z1 在 2.5 W 功耗下能跑 974 GOPS;Ultra96 上各设计的能效落在 30–433 GOPS/W。论文摘要给出的实测峰值是在 AWS F1 上达到 50 TOp/s,嵌入式板卡上约 5 TOp/s。

局限与工程边界:一条路的尽头在哪里

FINN 路线解决的是”小网络、全片上、低比特”的推理,这三个条件同时也是它的边界。

片上存储容量决定网络规模。第一代 FINN 明确假设所有参数能放进单块 FPGA 的片上存储。一旦做不到,数据流架构就必须引入片外访存,而前面 roofline 的分析已经说明,访存会让性能从水平段掉进斜线段。FINN-R 的多层卸载架构正是为此准备的退路,但它以延迟与中间结果存储为代价。

每改一次拓扑就要重新生比特流。逐层定制意味着网络拓扑、层深、通道数任何一个变化,都要走一遍完整的三段式流程(折叠搜索、生成 C++、Vivado 综合)。论文把这个成本视为换取性能的代价,但在需要频繁部署新模型的场景里,这是真实的时间成本。

没有覆盖 Transformer 结构。FINN 的全部讨论都围绕卷积网络与全连接层,没有 attention、没有动态形状、没有 KV 缓存。在 2016–2018 年这是合理的:那时主流任务还是图像分类。但对今天的大模型推理来说,这套架构的适用性仅限于”固定形状、低比特、小规模”的边缘侧模型。

精度与位宽的权衡仍是开放问题。论文对首尾层保留高精度的处理、对补零像素取值的选择、以及不同层 W×AW \times A 组合的精度影响,都只给了初步观察,没有系统结论。

从 FINN 看”数据流编译器”这类思路

如果把 FINN 抽象成一个套路,它由三个可分离的思想组成,而这三个思想在今天仍然活着。

其一,把网络转换成电路,而不是把网络调度进电路。大多数加速器框架(包括 GPU 上的推理引擎)是把网络视为一组算子,由调度器决定算子在哪块硬件、什么时候运行。FINN 则直接对每一个算子生成它自己的硬件,运算在编译期”焊死”在数据通路上。前者的灵活性换来了普遍适用,后者的极致定制换来了固定的峰值效率。

其二,代数等价变换是第一优先级优化。批归一化变阈值比较、池化变 OR 门、权重符号翻转统一比较方向,这些都是训练完成后、推理之前的数学简化;它们不改变网络输出,却把大量硬件电路从数据通路上删除。这类”在编译期把数学从硬件里拿掉”的做法,在 HLS 自动化路线里被反复使用——本站对 AutoDSE 让 HLS pragma 空间可被探索 以及 Sisyphus 把代码变换、pragma 插入与 tile 选择放进同一个 NLP 优化问题 的拆解,讨论的正是同一类”编译器替代人手工调优”的努力。

其三,资源成本模型让配平自动化。逐层折叠搜索本质上是在解一个约束优化问题:每层的 II 必须相同,PP 与 SS 的乘积受每层的字节数约束,总资源受器件约束。FINN 用实测拟合出的成本函数把这个问题简化成贪心加一点搜索,得到的精度已足以指导生成。今天在许多推理框架里,等价的问题被以另一种形式提出——比如 Marlin 如何用权重分区与异步加载把 W4A16 的带宽利用率推到极限 与 BitBLAS 如何在 Tensor Core 上边解码边计算低比特权重,都是在 “位宽降低 → 成本降低 → 并行度提高” 这条链条上做的取舍,只是硬件对象从 LUT 换成了 Tensor Core。

与 FINN 同时代的 FPGA 推理路线大致有三条,放在一起能更清楚地看出它的位置。EIE(ISCA 2016)走的是”稀疏全连接 + 权重压缩”:把权重存成非零值与索引,用共享权重查表跳过零乘,适合极度稀疏的 FC 层;ESE(ISCA 2017)把 EIE 的串行查表改成平衡树,提高了并行度;Brainwave(ISCA 2019)用一组软处理器做低批量、低延迟的推理,再用脉动阵列覆盖高批量场景。这三条路线的共同点是指令驱动:有一份指令序列告诉硬件每一步算什么,权重来自片外存储,计算单元分时复用。FINN 则把”算什么”在编译期就固化进电路,运行时没有指令、没有取指、没有共享内存,只有数据在层间流动。代价是灵活性,收益是没有指令开销、没有片外权重读取、延迟可以压到微秒级。本站对 FPGA 加速器完全拆解(一):可重构硬件、设计空间与经典推理引擎 的梳理,正是从 EIE、ESE 到 Brainwave 这条指令与数据流的分岔路开始讲起的,可以对照阅读。

对比起来,FPGA 的独特之处在于它的”计算单元”可以被任意定义:XNOR、popcount、加法树、阈值比较,都是综合工具能把几行 C++ 变成的电路。GPU 的 Tensor Core 固定了乘法-累加的形状,所有的低比特技巧必须在”解码成 fp16 再乘”或”重排成 MMA 期望的布局”之间周旋;而 FINN 所在的 FPGA 路线上,1-bit 与 3-bit 只是加法规整程度不同的两种电路。这就是为什么低比特量化在 FPGA 上往往能拿到比 GPU 更靠近理论值的加速比——加速比的来源不是位宽数字,而是位宽变化后电路结构真的变了。

回到最开始的问题:为什么专门为 FPGA 写一个编译器?因为 FPGA 的设计空间太大了。MVTU 的 PE 数、SIMD 宽度、折叠因子、片上内存布局、层间缓冲深度,每一个选择都对应一块具体的硅片面积;人手工去调这些参数,一次探索几十个设计点就是极限。FINN 把”这层应该多宽”从一个直觉问题变成了一个可以用乘法算出答案的问题,这是它最持久的贡献所在。

参考资料

  1. FINN: A Framework for Fast, Scalable Binarized Neural Network Inference(ACM/SIGDA FPGA 2017)
  2. FINN-R: An End-to-End Deep-Learning Framework for Fast Exploration of Quantized Neural Networks(ACM TRETS 2018)
  3. Streamlined Deployment for Quantized Neural Networks
  4. FINN 官方开源仓库(Xilinx/finn)
  5. FINN 官方文档
  6. FINN 示例工程仓库(Xilinx/finn-examples)
  7. hls4ml: Fast inference of deep neural networks in FPGAs for particle physics
  8. Roofline: an insightful visual performance model for multicore architectures

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

FINN 完全拆解:把 FPGA 变成一张由量化神经网络长出来的数据流电路
https://pinghaoyang.com.cn/articles/insights/posts/finn-dataflow-accelerator/
作者
平昊阳
发布于
2026-11-20
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
572
分类
29
标签
659
总字数
8,320,312
运行时长
0 天
最后活动
0 天前

文章目录