正在获取所在地区…
正在读取天气
音乐
暂未播放
ImageBind 架构拆解:一个联合嵌入空间如何装下六种模态
问题的起点:模态越多,配对数据越不够用
到这里为止站内已经拆过不少”两种模态如何接在一起”的结构:CLIP 把图像和文本拉到同一个向量空间,LLaVA 把视觉特征投影进语言模型的词嵌入,Flamingo 用交叉注意力让语言模型旁路读取图像,扩散模型用文本编码器加 cross-attention 控制生成。这些结构有一个共同的前提:它们都需要成对的训练数据。图文对来自网页 alt 文本和 caption,视频-音频对来自带声音的影片,语音-转写对来自标注语料。
问题在于,模态的数量一多,配对关系就变成一张完全图。n 个模态两两配对需要 (2n) 种数据集,而且大多数组合在真实世界里根本采集不到:谁去标注”热成像与音频的配对”?谁去采集”深度图与鸟叫声的配对”?即便凑得出来,数据量也远小于图文这种唾手可得的组合。于是绝大多数多模态系统只能做围绕语言的星形拓扑——所有模态都接到文本或图像上,模态之间的直接联系是缺失的。
ImageBind(Meta AI,2023 年,CVPR 2023)给出的答案不是去采集更多配对,而是换一个组织方式:只保留”每个模态与图像配对”这一组数据,把图像当作绑定模态(binding modality),让其它所有模态都通过图像这个共同锚点间接对齐。六种模态——图像/视频、文本、音频、深度、热成像、惯性测量单元(Inertial Measurement Unit, IMU)——最终落在同一个嵌入空间里,而模态之间的配对数据从未被采集过。
ImageBind 的论文题目是 ImageBind: One Embedding Space To Bind Them All,由 Meta AI 的 Rohit Girdhar、Alaaeldin El-Nouby、Zhuang Liu、Mannat Singh、Kalyan Vasudev Alwala、Armand Joulin、Ishan Misra 完成,论文挂在 arXiv 2305.05665,2023 年发表于 CVPR。它的组织方式可以用下面这张官方总览图看清楚。

图来自论文 Figure 2。上半部分列出真实数据源里”天然”共现的模态组合:网页数据的图文对、视频里的画面与声音、随图像采集的深度图与热成像、第一视角视频里的 IMU 读数。下半部分标出 ImageBind 的做法——所有这些模态各自经过编码器投影到同一个嵌入空间,并且只通过”与图像对齐”这一条通道建立联系。图里没有出现的配对(比如音频与深度、音频与热成像)从未被训练过,但它们在这一空间里自动靠近。
核心命题:为什么可以只对齐到图像
先看单对模态的对比学习怎么工作。给定一对对齐的观测 (Ii,Mi),图像编码器 f 和另一个模态的编码器 g 把两者分别映射成单位长度的向量:
qi=∥f(Ii)∥f(Ii),ki=∥g(Mi)∥g(Mi)这里的归一化不是装饰。InfoNCE 用内积衡量相似度,如果不归一化,编码器可以靠整体放大向量长度来把正样本的得分推到很高,而完全不去区分不同样本。归一化之后,得分被压在 [−1,1] 之内,等于余弦相似度,损失才真正反映”语义方向是否一致”。
在这批向量上计算 InfoNCE 损失:
LI,M=−logexp(qi⊤ki/τ)+∑j=iexp(qi⊤kj/τ)exp(qi⊤ki/τ)公式里每个符号的含义:
- I 是绑定模态(图像),M 是与之配对的另一个模态;
- qi、ki 是第 i 个样本在图像侧和其它模态侧的归一化嵌入,d 维;
- kj(j=i)是小批次里其它样本的嵌入,被当作负样本;
- τ 是温度系数,控制 softmax 的尖锐程度,τ 越小,分布越集中在少数高相似样本上。
这个式子本质是一个 N 分类的 softmax 交叉熵:在 k1,…,kN 这 N 个候选里,把正样本 ki 当作正确类别。最小化它会让 qi 与 ki 的夹角变小,同时让 qi 远离批次里所有其它 kj。实践中用的是对称版本 LI,M+LM,I,从两个方向各算一次,因为把图像当查询、其它模态当候选,和反过来,两个方向的梯度并不相同——前者更像”用图找声音”,后者更像”用声音找图”,双向损失让两侧编码器都被推向对方。
单对模态的对比学习本身早就存在:CLIP 做图文,AudioCLIP 做音文,Look-Listen-Learn 做音视频。它们的共同问题是”学到的空间只对训练时见过的那一对模态有效”。Audioset 上训出来的音视频空间不能拿去回答文本查询,图文空间也不能用于音频分类。
ImageBind 的假设是:如果所有模态都被迫向同一张图像嵌入空间靠拢,那么它们彼此之间也必然靠拢。用符号表达,“对齐”在余弦相似度上是一个不等式链:假设对任意两个其它模态 M1、M2,训练让 g1(M1) 与对应图像嵌入的余弦相似度接近 1,g2(M2) 与其图像嵌入的余弦相似度也接近 1。如果两个样本出现在同一张图像的同一对齐观测里(例如一段视频的画面与其配乐),那么 g1(M1) 和 g2(M2) 都逼近同一个 q,由三角不等式它们的余弦相似度也必然高。这个推理只依赖”图像是唯一的锚点”,不需要任何 M1 与 M2 之间的配对数据。
不过这个论证有一个前提必须在实践中才成立:嵌入空间不是一个完美的球面等距映射,而是被有限数据、有限批次压出来的形状。如果两个模态各自只覆盖了图像语义的一部分——比如音频主要由环境音和乐器声构成,热成像只能看到人体——那么它们靠拢到的是图像空间中各自覆盖的那部分,交集之外的地方不会有对齐。“涌现对齐”(emergent alignment)的强度,取决于两个模态在图像语义空间里覆盖区域的重叠程度。这一点在后面谈局限时还会回到。
和 LLaVA 这类把视觉特征塞进语言模型输入的路线相比,ImageBind 的目标完全不同:它不是要生成什么,而是要把多个感官的信号变成可比较、可运算的向量。后文讨论嵌入算术和音频查询检测时,这一点会变得非常具体。
架构:一个图像塔,五个附属编码器
ImageBind 的架构没有花哨的地方,论文明确说”刻意选择朴素实现”。六种模态各有一个独立的编码器,每个编码器后面接一个模态专属的线性投影头,把输出压成固定 d 维,归一化后参与对比损失。

上图是论文 Figure 1:一个空间把六种模态的嵌入对齐,就同时打开了跨模态检索(音、深、热、文本之间没有一起训练过也能互查)、嵌入相加(不同模态的语义自然复合)和生成模型改造(把文本提示换成音频嵌入)这几类能力。架构的简单之处正对应着这张图想说明的点:能力来自空间本身,而不是某个专门的”跨模态模块”。
图像与视频:同一个 ViT,时间维用”膨胀”处理
图像编码器是 Vision Transformer(ViT),在实验中直接使用 OpenCLIP 的 ViT-H 视觉塔(约 630M 参数)。视频没有单独的训练塔——视频被当作 2 帧的”多通道图像”处理:把 ViT 的 patch 投影层在时间维度上做时间膨胀(temporally inflate),也就是原来每个 patch 是 16×16 像素的块,膨胀后变成 2×16×16 的块(2 帧、每帧 16×16),卷积核的权重在时间方向是复制初始化的。这种做法的出处是 Omnivore 与 OmniMAE 的工作,好处是一份权重同时处理图像和视频,视频不需要单独的、只见过视频的编码器。
为什么要这样设计?因为图像的配对数据规模远大于视频,如果视频有自己的塔,它只能站在比图像小得多的数据上,绑定的锚点也就变弱了。共享塔等于让视频直接继承图像塔学到的视觉能力。代价是时间分辨率很低:每个样本只有 2 帧,采样范围是 2 秒,所以视频侧只能表达”这两帧之间的运动”,而不理解长时序。
音频:把波形变成二维图像再用 ViT 读
音频的处理思路是把声学信号转成视觉模型天然擅长处理的形状。一段 16 kHz 采样的 2 秒音频,先用 128 个 mel 频带计算 mel 频谱图(mel-spectrogram),得到一张 128(频带)× 时间帧 的二维图。mel 频谱图在结构上和一幅灰度图像几乎一样:横轴是时间,纵轴是频率,像素亮度是能量。
因此音频编码器直接采用 ViT,patch 大小 16、步长 10——步长小于 patch 大小意味着相邻 patch 有重叠,这相当于在频谱图上做带重叠的局部扫描,对连续变化的声学特征更友好。音频塔用的是 ViT-B 量级(论文消融中默认 ViT-B,正式实验里与图像塔一起训练)。这个设计的含义在于:音频与图像的对齐发生在同一个 ViT 类结构上,而不是一个完全异构的波形模型上。
深度与热成像:单通道”图像”
深度图和热成像本质上都是只有一个通道的二维信号,自然也能走 ViT。深度图做了一个额外处理,遵循 Omnivore 的做法:把原始的深度值转成视差图(disparity map),即 D=1/d 的量纲。这样做的理由是尺度不变性:室外场景的深度可以从几十米到几公里,原始深度值的分布随场景尺度剧烈变化,而视差对远近的差距做了压缩,远近细节的分布更稳定,对比学习不至于被”绝大多数像素相差很远”这种平凡结构主导。热成像则直接作为单通道输入,不做特殊变换。
深度塔用 ViT-S,热成像塔用 ViT-B,都比图像塔小。这不是省事,而是消融实验的结论:深度配对数据(SUN RGB-D)规模相对小,小一点的编码器反而泛化更好(后面消融会看到 ViT-S 与 ViT-B 的对比)。
IMU:1D 卷积加 Transformer 的时序编码
IMU 是唯一一条非二维模态。它提供加速度计和陀螺仪在 X、Y、Z 三个轴上的读数,采样率高。ImageBind 取 5 秒片段,得到约 2K 个时间步的读数序列(每步 6 个数值)。处理方式是先用一个核大小为 8 的一维卷积做局部时间聚合,把 8 个相邻采样合成一步,序列长度缩小到约 250;再用一个 Transformer 编码这个缩短后的序列。最终的 IMU 塔很轻:消融中用的是 6 层、512 维宽、8 个注意力头的结构。
卷积加 Transformer 的组合在这里是有道理的:IMU 信号的高频噪声与局部运动模式(走路的步频抖动)最适合用卷积窗口先吃掉,而”这段 5 秒里整体是走还是转身”这种较长的运动语义留给 Transformer 建模。
文本:复用 CLIP 的文本塔
文本编码器直接沿用 CLIP 的文本 Transformer 设计。在正式实验中,图像和文本两个塔都从 OpenCLIP 预训练权重初始化,并在 ImageBind 训练中冻结;音频、深度、热成像、IMU 四个塔的参数才被更新。
冻结图像和文本塔这个决策非常关键,它把问题简化成”让新模态的编码器去迁就已经固定下来的图像空间”。如果图像塔也在更新,那么所有新模态的训练目标会同步漂移,实验很难归因:到底是音视频对齐变好了,还是图像空间本身变了。冻结之后,图像空间就是一把不变的尺子,音频塔、深度塔只需要学习”如何把自己对齐进尺子里”,这也正是最后涌现对齐可以被干净测量的前提。
六个塔的配置汇总如下:
| 模态 | 编码器 | 输入形式 | 训练中是否更新 |
|---|---|---|---|
| 图像 / 视频 | ViT-H(OpenCLIP 初始化,patch 投影时间膨胀) | 图像或 2 帧片段 | 冻结 |
| 文本 | CLIP 文本 Transformer | token 序列 | 冻结 |
| 音频 | ViT-B,patch 16、步长 10 | 2 秒 16 kHz → 128 带 mel 频谱图 | 更新 |
| 深度 | ViT-S | 视差图(单通道) | 更新 |
| 热成像 | ViT-B | 单通道灰度 | 更新 |
| IMU | 6 层 Transformer + 1D 卷积前端 | 5 秒、约 2K 步、6 轴读数 | 更新 |
每个塔后面接的是线性投影头,而不是 MLP。这一点和 SimCLR 一类的自监督方法相反——SimCLR 发现 MLP 投影头效果更好。消融表 5(b) 给出的数字是:ESC 音频上 MLP 投影头把准确率从 56.7 降到 51.0,SUN-D 深度上从 26.7 降到 26.5。论文的解释是,这里的目标是让新模态的嵌入去匹配已经语义化的图像嵌入,线性变换足以表达”从模态特征到图像语义轴”的映射;MLP 的非线性反而把嵌入推离了图像空间的几何。
训练目标:InfoNCE 与”只训练新模态”
数据从哪来:四种”天然配对”
ImageBind 用到的配对数据没有一条需要人工标注语义,全部是传感器或采集过程天然产生的:
- (视频,音频):来自 AudioSet。视频画面与音轨本来就是同时录制的,天然同步,不需要任何标签;
- (图像,深度):来自 SUN RGB-D。RGB 相机与深度传感器同时采集同一场景;
- (图像,热成像):来自 LLVIP。可见光与红外相机对齐拍摄;
- (视频,IMU):来自 Ego4D 的第一视角视频,拍摄设备本身携带惯性传感器,传感器读数与画面在时间上对齐;
- (图像,文本):来自 OpenCLIP 预训练时使用的大规模网页图文对。
需要注意规模上的不对称:图文数据是数十亿级的网页对,而 SUN RGB-D 和 LLVIP 都只有几万对量级。论文的处理是把小数据集重复采样 50 次参与训练,让每个批次里都有足够数量的深度/热成像正样本。这样做不能凭空增加数据多样性,只是让这些模态在训练中被更新的次数与图像-文本通道大致可比,否则深度塔和热成像塔会在绝大多数步骤里拿不到梯度。
一个批次里到底在算什么
训练时每个模态对独立计算损失:图像-文本、图像-音频、图像-深度、图像-热成像、图像-IMU 各自有一份 InfoNCE,五份加在一起回传。每个批次里,同一模态的 N 个其它样本都是负样本,这就带来一个容易被忽略的事实:负样本的质量直接由批次大小和数据集多样性决定。
消融表 7 给出了批次大小的影响:
| 批次大小 | 512 | 1k | 2k | 4k |
|---|---|---|---|---|
| NYU-D 深度准确率 | 47.3 | 46.5 | 43.0 | 39.9 |
| ESC 音频准确率 | 39.4 | 53.9 | 56.7 | 53.9 |
两个方向完全相反。图像-深度这条通道在小批次下最好(512 时 47.3,4k 时掉到 39.9),图像-音频通道在 2k 附近最好(56.7)。论文的解释是:SUN RGB-D 的数据集本身规模小、场景多样性有限,批次开大之后负样本里充斥着与正样本几乎相同的场景(同一房间的不同角度),对比损失被迫去区分”本来就很像”的样本,学到的是细枝末节而不是语义。AudioSet 有数百万条视频,批次越大负样本越多样,对齐越锐利,但到 4k 时性能反而轻微下降,说明还有别的因素(可能包括显存约束下的步数减少)在起作用。
这条经验对部署有直接含义:如果一个系统要用对比学习把一个新模态接进已有空间,批次大小不是”越大越好”,它必须与配对数据集的多样性匹配。数据集小的时候,大批次会把负样本变成噪声。
温度系数:可学习并不总是更好
CLIP 用的是可学习的温度,初始化 0.07,在对数尺度上参数化。ImageBind 的消融发现,固定温度比分模态各自的可学习温度更好:
| 温度设置 | 可学习(初值 0.07) | 固定 0.05 | 固定 0.07 | 固定 0.2 | 固定 1.0 |
|---|---|---|---|---|---|
| SUN-D 深度 | 24.1 | 27.0 | 27.3 | 26.7 | 28.0 |
| ESC 音频 | 54.8 | 56.7 | 52.4 | 45.4 | 24.3 |
而且最优点随模态不同:深度、热成像、IMU 偏好较高的温度(温度高意味着 softmax 更平,负样本被压制的力度更弱,梯度更关注”平均意义上拉近正样本”而不是”死命推开最难的负样本”),音频偏好 0.07 这样较低的温度。
这个差异可以这样理解:深度图与图像的空间结构高度相关,正样本对本身已经很容易对上,负样本里有很多”结构相似但语义不同”的场景,过低的温度会让损失抓住这些难负样本,反而伤害语义结构;音频与图像的对应关系是”语义层面”的(画面是海边的街道,声音是海浪和车流),正样本对的相似度本来就更低,需要较低的温度让 softmax 更尖锐,才能从批次里把正确的那一个挑出来。
工程上的结论是:温度不是可以随手继承的超参数,它要跟着”正样本对有多难对齐”来调。
数据增强与对齐:两条最容易被忽视的规则
ImageBind 的消融里,有两个设计选择带来的差距比大多数超参数都大。
空间对齐。图像-深度这条通道,如果按 CMC 的做法对图像和深度各做独立的随机裁剪,SUN-D 准确率只有 16.0;改成在图像与深度图上取同一位置的裁剪之后,升到 26.7,相差十个点以上。原因在于 CLIP 预训练出来的图像特征是语义级的,一张裁剪过的图像嵌入描述的是”这个局部区域里有什么物体”,如果深度图裁的是另一个区域,两者对不上,对比学习就变成在用无关样本训练。深度不是独立的自监督任务,它是”同一场景的另一种观测”,空间必须严格配准。
时间对齐。图像-音频这条通道同理:视频画面与音轨取的 2 秒片段如果在时间上错开,ESC 准确率是 55.7;严格同步后是 56.7。差距比空间对齐小,但依然存在,因为声音事件与画面事件在时间上是绑定的(关门声与门框画面)。
强增强对音频是灾难。图像侧做基本增强(裁剪、颜色抖动)时 ESC 是 56.7;换成 RandAugment + RandomErase 的强增强,ESC 直接掉到 22.6——34 个点。而对深度分类,同样的强增强却是有益的(SUN-D 从 25.4 升到 26.7)。原因还是数据规模:深度数据集小,强增强能防止过拟合;而音视频对齐任务中,音频侧的判别依赖画面内容,画面被随机擦除或强烈扰动之后,视频这一侧的信息量不足以定位音频对应的语义,正样本对变得不可学。这说明”增强强度”不是一个可以跨模态照搬的常数。
图像塔越大,非视觉模态越准
一个容易被误读的结论:既然深度、音频这些模态有自己的编码器,图像塔的大小应该只影响图像任务。消融给出的事实相反。固定其它模态塔的规模,只把图像塔从 ViT-B 换成 ViT-H:
- 深度分类提升约 7 个百分点;
- 音频分类提升约 4 个百分点(ESC 从 ViT-B 的 56.7 到 ViT-H 的 60.3,配合更大的音频塔时从 52.8 到 54.8)。
更有意思的是同一张表 6 里”模态塔自己变大”的效应:音频塔从 ViT-S 到 ViT-B,图像塔为 ViT-H 时从 54.8 升到 60.3,明显受益;而深度塔从 ViT-S 到 ViT-B,准确率反而从 33.3 掉到 29.5。原因还是数据量——深度配对数据小,更大的塔更容易过拟合。
这组结论把”绑定模态”的含义说透了:非视觉模态的表现有一部分是由图像空间的语义质量决定的,而不是由自己的塔决定。如果图像塔的嵌入本身不够丰富,音频塔再怎么大也只能对齐到一个贫瘠的空间。反过来,图像塔足够强时,小模态塔也能获得不错的结果。
论文还用 ImageBind 反过来评估视觉模型:把图像塔换成 DINO(自监督)和 DeiT(有监督)的 ViT-S,冻结后分别训练文本、音频、深度塔。DINO 在 ImageNet 上只有 64.4%,DeiT 是 74.4%,但 DINO 在 ESC 上 44.7 对 25.0、SUN-D 上 26.8 对 25.2,全面更好。也就是说,“图像塔有多适合当锚点”这件事,与它在本模态分类任务上的分数不是一回事,ImageBind 提供了一种新的评估维度。
涌现能力:没有训练过的模态组合为什么能用
论文用三类任务检验”没有一起训练过的模态对能不能用”,并且特意区分了两种零样本:
- 普通零样本(zero-shot):训练时见过模态对(如音文),测试用文本提示做同一模态的分类;
- 涌现零样本(emergent zero-shot):训练时从未见过这两个模态配对(如音文),测试直接用文本提示做音频分类。
ImageBind 全部属于后者。评估协议和 CLIP 一致:每个类别写成”a photo of a {class}“之类的提示模板(音频侧也有专门的模板,如”a sound of {class}”),用文本塔编码后与目标模态的嵌入算余弦相似度,取最高者作为类别。
文本提示分类:声音、深度、热成像、IMU
表 2 中最有说服力的几组数字(对比”随机”和”专门用该模态配对文本训练的模型”):
| 数据集 / 任务 | 随机 | ImageBind(涌现) | 文本配对训练的对照 | 监督 SOTA |
|---|---|---|---|---|
| AudioSet-AS(527 类,mAP) | 0.62 | 17.6 | 28.4(AudioCLIP,用类别名作训练目标) | 49.6 |
| ESC(50 类,准确率) | 2.75 | 66.9 | 68.6(AudioCLIP,非严格零样本) | 97.0 |
| VGGSound(309 类,准确率) | 0.32 | 27.8 | — | 52.5 |
| SUN-D 深度(19 类) | 5.26 | 35.1 | 25.4 | 64.9 |
| NYU-D 深度(10 类) | 10.0 | 54.0 | 41.9 | 76.7 |
| LLVIP 热成像(2 类) | 50.0 | 63.4 | — | — |
| Ego4D IMU(108 类) | 0.9 | 25.0 | — | — |
读这张表要分清楚三档比较:
与”随机”相比,所有任务都有数量级提升,这本身是必须的,因为对比学习本质上就是在学一个检索排序,随机排序的基线很低。
与”把模态强行当图像喂 CLIP”相比,深度和热成像这类本来就长得像图像的模态,直接当灰度图喂 CLIP 也能用:SUN-D 25.4、NYU-D 41.9。ImageBind 的 35.1 和 54.0 明显更好,原因是深度图经视差变换并专门有深度塔对齐后,图像空间里”深度语义”这部分被校准过;而直接当灰度图,CLIP 看到的只是另一个”图像”,两者语义并不对应。
与”专门用该模态配对文本训练”相比,ESC 上 66.9 对 68.6 是接近的,但 AudioCLIP 的 68.6 并非严格零样本——它在训练时见过 AudioSet 的类别名作为文本目标,类别集合与 ESC 有重叠。AudioSet 的 mAP 上 ImageBind 只有 17.6,明显低于 AudioCLIP 的 28.4,因为这里需要区分 527 个细粒度声学事件(警笛、鸟叫、不同乐器的细节),只靠”声音-画面”对齐得到的嵌入粒度不够。这个差距直接点出了”图像绑定”的边界:能被图像和视频语义覆盖的声学类别(雨、车、狗吠)对齐得很好;只存在于声音层面、画面无法区分的细分类别,涌现对齐就弱。
IMU 的 25.0% 特别值得注意。第一视角视频的 IMU 读数与”你在做什么”(走动、弯腰、伸手)有着天然对应,25 个点的零样本准确率说明这个对应被正确地编码进了图像空间,不需要任何”IMU 到动作标签”的标注。
少样本:特征质量的另一面
零样本只反映”嵌入能否与文本语义对上”,少样本线性探测则反映”嵌入作为一个特征有多可分”。论文在图 3 里给出了与 AudioMAE、MultiMAE 的对比:
- 音频侧,ImageBind 的音频特征在所有 shot 设置下都优于自监督 AudioMAE,在不超过 4 shot 时还能超过监督训练的 AudioMAE;零样本成绩甚至高于监督模型 ≤2 shot 的成绩;
- 深度侧,ImageBind 在所有 shot 设置下都优于用图像、深度、语义分割三种模态训练的 MultiMAE。
结论是,用”图像对齐”这一个训练信号换来的特征,本身就具有强判别性,而不是”只够做检索、做不了分类”。
检索:音频查询视频
表 4 用 MSR-VTT 1K-A 的文本检索任务检验。只用音频嵌入做文本检索,R@1 为 6.8、R@10 为 27.2,已经超过早期只用视频的 MIL-NCE(8.6 / 25.8 附近)和 SupportSet,与只靠视频的 FIT 还有差距。把音频与视频嵌入相加后,R@1 升到 36.8、R@10 到 70.0,高于 AVFIC(19.4 / 50.3)。
加和比单独任何一侧都强,说明两个模态的嵌入处在同一个尺度、方向可叠加的空间里,而不是”各自有用但互相打架”。这为下面一节的嵌入算术做了铺垫。
嵌入空间算术与音频查询检测
这一节是 ImageBind 最有辨识度的部分:既然所有模态落在同一个空间里,那么向量运算就不再是”图像向量只能加图像向量”。

论文 Figure 4 的四个例子:一张桌上水果的图片嵌入,加上鸟叫声音频嵌入,去图像库里检索,返回的是”果树上有鸟”这类同时包含两个概念的图片;一张海滩的图片加上鼓声,检索到”海滩上有乐队演奏”;一张有婴儿的图片加上婴儿哭声,检索到哭泣的婴儿;一张水果图片加上雨声,检索到雨中的水果。这些组合的语义不是任何单一模态训练时见过的——图像与音频的对齐只教过”这段声音对应这个画面”,没教过”把水果的视觉语义和鸟鸣的声学语义合成一个新概念”。
为什么加和能成立
从几何上看,每个模态的嵌入都被 InfoNCE 拉向它对应的图像嵌入。如果在训练集里”鸟鸣”经常出现在”有树的画面”中,那么鸟鸣的音频嵌入就落在图像空间中”树\鸟”的方向附近;“水果”的图像嵌入落在”水果”方向附近。两个向量相加,得到的方向是两者的合成,落在图像空间里”既有水果又有鸟”的区域。检索时用合成向量与图像库做余弦相似度,返回的自然就是这片区域里的图像。
这个推理成立的前提是嵌入空间近似线性可加。CLIP 一类对比学习出来的空间并不严格线性,但实验证明在”语义类别可以分解成几个独立属性”的情况下,加和的方向确实是可解释的。反过来,这个性质也有失效边界:如果两个概念的语义在空间中纠缠(比如”雨”和”低光照”在图像里几乎总是同时出现),加和之后无法分离两者,检索结果会偏向纠缠更强的那一侧。
不改任何权重,把文本检测器变成音频检测器
Figure 5 给出了一个更能说明”空间统一”威力的用法。

Detic 是一个开放词表的检测/分割模型,它的工作机制是:图像经检测头产生候选区域的特征,每个候选与一组类别嵌入算相似度,类别嵌入来自 CLIP 文本塔。ImageBind 做的事只有一步——把文本塔产出的类别嵌入,替换成音频塔对”狗叫”这段音频产出的嵌入。检测网络的结构、权重、候选生成都不变,只换了”类别描述”的来源。
结果是用一段狗叫声作为查询,可以在图像里框出狗。这里没有训练、没有微调,它成立的原因就是音频嵌入与文本嵌入本来就指向同一个图像空间里相近的方向,而 Detic 需要的正是”一个指向某类物体的方向”,不关心这个方向是文本给的还是声音给的。
同理,把 DALL·E 2 的文本提示嵌入换成语义对应的音频嵌入,就能做到”用声音生成图像”。论文用的 DALL·E 2 是私有重实现,只作为可行性验证,并非可复现的公开实验——这一点需要明确,不能把这部分当作工程上可直接复用的能力。
这类改造的意义在于它把”模态”从模型的接口层抽象了出来:只要一个下游模型的接口是”一个 d 维方向”,那么任何能产出同一空间中方向的模态都可以替换进去。这是”绑定”这个概念真正的工程价值,而不是某个具体的检测精度提升。
推理与部署:六种编码器各自的成本账
从”一张图”到”一条请求”:编码器的输入形态
部署这条链路时,第一个要落实的是每种模态到达服务时是什么形状的数据,以及它变成编码器输入要经过哪些步骤。这一步决定了服务的 CPU 负担——编码器本身跑在 GPU 上,但频谱图计算、深度图转视差、视频抽帧、IMU 重采样这些预处理全部在 CPU 侧完成,在高并发下它们往往比 ViT 前向更容易成为瓶颈。
- 图像:解码后的 RGB 图缩放到 224×224,按 14×14 切 patch 送入 ViT-H。这一步是标准的视觉预处理,成本与图片大小成正比,解码一张 4K 图的耗时可能超过 ViT-H 的前向。
- 视频:从片段里均匀抽 2 帧,分别过同一个 ViT,得到两组 token,在时间维度上被膨胀后的 patch 投影层合并。抽帧的位置必须与音频片段的起止点对齐——训练时用的就是同步的 2 秒片段,推理时错位会让视频嵌入偏移。
- 音频:解码到 16 kHz 单声道,切 2 秒窗口,做 STFT 得到约 200 帧,再按 128 个 mel 滤波器组投影成 128 带频谱图,最后做对数压缩与归一化。整条频谱图流水线是固定算法,不需要学习,可以用 CPU 上的向量化实现,也可以用 GPU 上的 kernel 完成。
- 深度:原始深度值转换为视差 D=1/d,做裁剪后按单通道图像送进 ViT-S。
- 热成像:单通道灰度,按图像处理。
- IMU:原始读数通常是数百 Hz 的采样率,5 秒窗口即上千步;按训练时的 8 倍一维卷积窗口做重采样,得到约 250 步,再补到固定长度送入 Transformer。重采样这一步有个容易出错的细节:训练时的 5 秒窗口和推理时的窗口如果采样率不同,重采样后的步数会对不上,编码器的位置编码也就错了。
编码器的成本分级
ImageBind 在部署侧的结构极其简单:每个模态一个编码器,编码后归一化,剩下全是向量检索。但实际系统的成本分布很不均匀,值得单独算一算。
图像塔是绝对大头。ViT-H 约 630M 参数,处理 224×224 图像时按 14×14 的 patch 切分,得到 16×16=256 个 token,加上 class token 是 257 个 token,32 层 Transformer,每层自注意力与 MLP 的计算量都在亿级乘加。这是推理延迟的主要来源,也是显存占用的主要来源。
音频塔是第二档。ViT-B 量级,输入是 128 带 mel 频谱图。2 秒 16 kHz 音频经 STFT 得到约 200 帧(10 ms 帧移),频谱图尺寸约 128×200。按 patch 16、步长 10 切分,得到约 12×19 个 patch,即约 230 个 token,与图像塔的 256 个 token 在同一量级。虽然参数少一半,但 token 数相近,实际前向时间大约是图像塔的一半到三分之二。这段成本常常被低估——很多人以为”音频编码应该很便宜”,但在频谱图 + ViT 的结构下,它的 token 数量与一张图片相当。
深度、热成像、IMU 是轻量档。ViT-S 或单通道 ViT,参数量在千万级;IMU 塔只有 6 层、512 维,输入序列约 250 步,前向成本可以忽略。
投影与归一化可以忽略不计:每个模态一个 d×dout 的线性层,d 在几百到一千量级。
把一个多模态检索服务按模态拆开,延迟可以写成:
Ttotal=Tencode(mquery)+Tsearch+Tencode(mcandidates 预计算)候选侧的编码可以完全离线批量完成,线上只承担查询侧编码与向量检索。真正需要在线计算的只有查询模态的塔:文本查询只走文本塔(约 302M 参数、几十个 token,极快);音频查询只走音频塔;只有”图像+音频”这类复合查询才需要同时跑两个塔再相加。
这套结构对工程有几点直接约束:
- 嵌入维度必须统一。所有塔的投影头输出同一个 d,否则空间无法比较。这意味着投影层的参数量与每个塔的输出维度都要对齐,不能各塔各用不同维度。
- 索引只需要一份。图像库里只有一个向量索引,不需要为每个模态建一份。代价是索引的维度由统一嵌入决定,量化、压缩方案要按这个维度设计。
- 冷启动成本集中在图像侧。如果线上服务的主要查询是文本或音频,那么图像塔只在构建索引时离线使用;如果查询包含图像,图像塔就进入在线路径,延迟会跳到数百毫秒量级(ViT-H 在单卡上的量级)。
- 模态缺失时的降级。空间是统一的,意味着任意一个模态的嵌入都可以单独使用;系统可以在音频塔不可用时退回文本查询,不需要重新训练或重建设计。
从系统设计的角度,ImageBind 提供的是一种”多模态编码器即插即用”的结构:每新增一个模态,只需要训练它的塔与投影头,把它的嵌入对齐进已有空间,其余所有下游组件(检索、检测、生成模型的提示接口)原样复用。这也正是它被当作后续多模态系统起点反复引用的原因。
局限:绑定模态的偏置与弱模态的短板
ImageBind 的失效边界几乎全部来自”绑定模态”这个选择本身。论文在讨论部分列了几条,结合实验数据可以展开成更具体的形式。
第一,单一锚点带来的偏置。 所有模态都对齐到图像嵌入,图像空间里没有的区域,其它模态也就没有位置。音频空间里的”纯声学概念”——音色、音高、混响、乐器的细微差别——在图像语义里没有对应物。这就是为什么 AudioSet 527 类的 mAP 只有 17.6,而 AudioCLIP 能到 28.4。反过来说,如果一个应用的核心是细粒度的声音识别,图像绑定是负资产;它更适合”场景级”的跨模态理解。
第二,模态间对齐的强度不均。 在同一个空间里,图像与深度、图像与热成像的对齐是”同一场景不同传感器”级别的强对齐,音频与图像是”语义级”的中等对齐,IMU 与图像的对应是”运动语义级”的更弱对齐。这个差异体现在跨模态检索的召回上:音-深度、热-深度的检索并不在论文的主表里,说明这方向的证据最弱。
第三,嵌入是通用目的,不是任务专用。 论文明确指出,因为没有针对下游任务训练,嵌入的性能落后于专门模型。Detic + 音频嵌入的检测是”能跑”级别的演示,不是可以代替专业检测器的方案。做结构化预测(检测、分割、跟踪)时,通用嵌入需要经过微调,而微调又会破坏”统一空间”中不需要重新训练就能组合的性质。
第四,配对数据的规模与多样性瓶颈。 SUN RGB-D 与 LLVIP 只有几万对样本,需要重复 50 次才能跟上训练节奏;消融中批次数太小会限制负样本多样性,批次太大又会引入”同场景难负样本”。这两个约束的张力说明,图像绑定并不是”自动解决数据问题”——它只是把”需要 n 个模态两两配对”压缩成”每个模态只需要与图像配对”,但每个模态自身的数据质量仍然是上限。
第五,视频的时间分辨率。 视频只有 2 帧,2 秒采样,因此视频侧的嵌入表达的是”两帧之间的场景”,不能表达”一段舞蹈的节奏”或”一个动作序列”。凡是需要长时序理解的视频任务,ImageBind 的视频嵌入都只是起点。
论文的改进方向与这些局限一一对应:可以用其它对齐数据扩充损失(例如别的模态与文本配对、或模态之间互配,比如音频与 IMU),可以针对下游任务做适配,也可以建立新的基准来测”涌现能力”本身。论文也明确指出该模型是研究原型,不能直接用于真实应用。
后续影响与同类路线
ImageBind 把”多模态对齐可以只用一个锚点”这件事验证出来之后,后续工作基本沿着三条线展开,每条线都在修正它最明显的问题。
第一,换锚点:从图像换成语言。 LanguageBind(2023 年,arXiv 2310.01852)的做法是把每种模态都与文本配对训练,用文本作为绑定模态。理由很直接:文本的语义覆盖面比图像广,能描述声音的音色、振动传感器的工作状态,而这些东西在图像里根本不存在。代价是文本配对数据要现造——很多模态没有现成的成对文本——所以 LanguageBind 需要为每个模态构造或采集文本描述。ImageBind 用”天然配对”,LanguageBind 用”更宽的语义带宽”,这是一个真实的取舍:前者数据几乎免费、后者覆盖更全但数据成本高。
第二,多锚点:允许两个绑定空间互相对齐。 OmniBind(2024 年,arXiv 2407.11895)的做法是同时存在多个绑定空间(例如图像锚定的空间和语言锚定的空间),再把它们之间做变换对齐,从而把两组各自绑定过的模态合并成一个更大范围的空间。这相当于承认”单一锚点的语义偏置不可避免”,转而用多个锚点的互补来抵消偏置。
第三,直接接进大模型:把嵌入当作输入。 ImageBind-LLM(2023 年,arXiv 2309.03905)把 ImageBind 的图像嵌入通过一个可训练的门控适配器接进 LLaMA 的输入层,实现多模态指令微调。这和站内拆过的 LLaVA 式投影连接是同一类思路(可参考 多模态大模型的四种融合机制:双塔对齐、投影连接、交叉注意力与统一词元),区别在于输入特征的来源是一个预先对齐好的通用空间,而不是只对齐过文本的视觉塔。这条线的价值在于把 ImageBind 从”检索工具”变成”语言模型的感官前端”。
另一条相近但目标不同的路线是 Meta-Transformer(2023 年,arXiv 2307.10802),它把各种模态都切成”token 序列”送进同一个 Transformer,实现的是编码器层面的统一,而不是嵌入空间层面的对齐。两者容易混淆:ImageBind 统一的是”输出的向量空间”,每个模态有自己的塔;Meta-Transformer 统一的是”处理这些向量的网络结构”。前者天然支持嵌入算术和下游模型的提示替换,后者天然支持参数共享,但要做到跨模态检索仍需要一套训练目标把它们拉在一起。
在感知前端这个方向上,站内拆过的音频编码器结构可以作为对照:音频进入频谱图再由 ViT 处理,与 语音识别的三种基础架构:log-mel 前端、CTC、RNN-T 与 Whisper 中 log-mel 前端的思路同源,只是目标从”识别文字”变成”产出可检索的语义向量”。同样,ImageBind 的音频塔与 MusicGen 架构拆解:单阶段自回归如何把文本变成 30 秒音乐 里的 EnCodec 量化路线正好是音频表示的两种极端:一边是连续的 mel 频谱图加 ViT,一边是离散的码本索引加自回归——前者适合”理解”,后者适合”生成”。
小结
ImageBind 的贡献可以用三句话概括:
- 把 n 个模态两两配对的问题压缩成 n−1 个”模态-图像”配对问题。每新增一个模态,只需要它与图像天然配对的数据,不需要它与任何其它模态配对的数据。
- 涌现对齐的前提是图像塔的语义质量。图像塔越大、嵌入越语义化,非视觉模态的对齐越好;而图像塔的选择与它在图像分类上的分数并不一致(DINO 比 DeiT 的 ImageNet 分数低,但作为锚点更好)。
- 统一空间让下游组件”模态无关”。检测器只需要一个类别方向,生成模型只需要一个提示方向,检索库只需要一份索引——这些都只要嵌入处在同一空间就能直接替换模态。
它的局限同样清晰:单一锚点带来的语义偏置让细粒度声学类别吃亏;配对数据规模决定每个模态塔的上限;嵌入是通用目的,做专业任务需要适配;视频只有 2 帧,长时序理解不在能力范围内。
从系统工程的眼光看,ImageBind 最值钱的其实不是某个具体指标,而是它展示了一种多模态系统的组织结构:给每个感官配一个可独立训练的编码器,把它们都对齐到同一张”地图”上,下游的一切——检索、检测、生成、语言模型输入——都在图上工作。这张地图一旦建立,接入新模态的成本从”采集与所有已有模态的配对”降到”采集与锚点模态的配对”,这才是它被反复用作起点的原因。
参考资料
- ImageBind: One Embedding Space To Bind Them All
- OpenCLIP:大规模对比学习视觉语言模型的开放实现
- AudioCLIP: Extending CLIP to Image, Text and Audio
- Look, Listen and Learn
- Omnivore: A Single Model for Many Visual Modalities
- Ego4D: Around the World in 3,000 Hours of Egocentric Video
- LLVIP: A Visible-infrared Paired Dataset for Low-light Vision
- CNN Architectures for Large-Scale Audio Classification
- Detecting Twenty-thousand Classes using Image-level Supervision
- Hierarchical Text-Conditional Image Generation with CLIP Latents
- ImageBind-LLM: Multi-modality Instruction Tuning
- LanguageBind: Extending Video-Language Pretraining to N-modality by Language-based Semantic Alignment
- OmniBind: Large-scale Omni Multimodal Representation via Binding Spaces
- Meta-Transformer: A Unified Framework for Multimodal Learning
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
评论区
分享你的想法,与大家交流讨论
正在获取所在地区…
正在读取天气
音乐
暂未播放



