AAAI 2024 | 基于由粗到细的视觉表征实现的高效匹配且兼顾性能的跨模态检索
日前,计算机人工智能领域顶会 AAAI(Association for the Advancement of Artificial Intelligence)在加拿大盛大召开。快手商业化算法团队的论文《Towards Efficient and Effective Text-to-Video Retrieval with Coarse-to-Fine Visual Representation Learning》成功被大会接收。本篇论文所探讨的方案已经成功应用于快手业务中,取得了显著的效果。本文将对这篇论文进行深入的解读,探讨其背后的技术原理和实践应用。
![](https://static001.geekbang.org/infoq/b5/b597959c9dbdca5f04ed5d26c614c473.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
论文标题:
Towards Efficient and Effective Text-to-Video Retrieval with Coarse-to-Fine Visual Representation Learning
论文作者:
Kaibin Tian, Yanhua Cheng, Yi Liu, Xinglin Hou, Quan Chen, Han Li
论文链接:
https://arxiv.org/abs/2401.00701
代码链接:
https://github.com/adxcreative/EERCF
内容摘要
近年来,从网络收集大规模图像文本进行预训练的文本图像匹配模型(比如 CLIP)得到迅速的发展。CLIP4Clip 初步实现将预训练的 CLIP 迁移到文本检索视频领域。
在此基础上,当前表现卓越的方法主要由两种方式实现:1)设计一个融合模块将文本特征与视觉特征进行融合,这使得检索的范式从双塔变为单塔;2)利用更细粒度的视觉和文本特征来实现对齐。虽然检索的准确性变好了,然而这些方法的在线特征匹配计算的花费却快速上升。如下图所示(整体趋势从左下角向右上角发展):
![](https://static001.geekbang.org/infoq/eb/eb02897e3fd818ef6777a663e5e6c9c6.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
因此我们提出了一个 recall-reranking 的两阶段检索架构算法 EERCF,不仅考虑到通过细粒度信息检索提高检索的准确性,同时兼顾到检索的效率。在四个 benchmark 上的大量实验展示了我们方法的优越性:我们的方法在保持与当前最先进方法可比的性能的同时,跨模态匹配计算量几乎少了 50 倍。
研究背景
随着快手、TikTok 和 YouTube 等平台每天上传的视频数量的爆炸性增长,以及 AIGC 视频内容的发展,文本到视频的检索成为了多模态表示学习的一个关键且基本任务。
近期,从网络收集大规模的图文对中预训练的文本-图像匹配模型 CLIP 在多种视觉-语言下游任务上展示了巨大的成功。基于学习到的良好视觉文本表征,CLIP4Clip 进行了初步研究,它通过简单的 MeanPooling 将一个视频的多帧表征合并为一个视频表征,从而实现将 CLIP 权重迁移到文本-视频匹配,并取得了不错的效果。然而不同于图像中相对较少的视觉信息,视频中的视觉信息存在冗余且增加了时间维度上的变化。因此直接使用 MeanPooling 来表征视觉信息时不合适的。解决上述问题的 CLIP 变体的发展可以分为两个主要类别:一类专注于设计重量级的融合模块,以加强视觉(视频,帧)和文本(句子,词语)表征之间的交互,以更好地对齐两种模态。另一类通过保留包括视频级和帧级在内的多粒度表征,优化由文本驱动的视频表征表示。
上面的方法虽然带来了很好的性能提升,但是文本-视频相似度计算的成本却极大的增加了,检索的效率降低了。此外过度细粒度的计算也可能会放大视频局部的噪声,导致检索效果下降。为了在文本到视频检索的效果与效率之间做出更好的权衡,本文提出了一种新方法,即 EERCF,实现了从粗到细的自适应视觉表示学习,并设计了先召回再重排的检索流程。
具体来说,在训练阶段,我们设计了一个无参数的文本门控交互模块(TIB)进行细粒度视频表征学习,并嵌入了额外的皮尔逊约束来优化跨模态表征学习。在检索阶段,我们使用粗粒度视频表征进行快速召回 top-k 候选者,然后由细粒度视频表征重新排名。
我们的主要贡献如下:
我们引入了一个无额外参数需要学习的文本门控交互模块 TIB,用于多粒度自适应视频表征学习,同时引入了 inter-Feature 对比损失和 intra-feature Pearson 约束损失的组合,以优化表征学习。
我们提出了一个两阶段文本到视频检索策略,实现了效果与效率之间的最佳平衡,与提出时候的 SOTA 方法相比,性能相近的情况下,而在 MSRVTT-1K-Test、MSRVTT-3K-Test、VATEX 和 ActivityNet 上进行跨模态相似度匹配的浮点运算次数(FLOPs)分别是 SOTA 的 14, 39, 20 和 126 分之一。
表征学习
![](https://static001.geekbang.org/infoq/fe/feca74ec2983a348d668f4f469546f95.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
1. 文本驱动的细粒度视觉表征模块:TIB
TIB 模块的输入是 Nv 个细粒度的视觉表征(帧级别或者 Patch 级别),一个文本表征。通过计算细粒度的视觉表征与文本表征的相似度,加权出最后的视频表征。其中会有一个超参数控制相似度分布的陡峭程度,从而增强对于关键信息的关注程度。
2. Inter-Feature 对比学习与 intra-feature Pearson 约束损失
Inter-Feature 对比学习是在样本维度,我们通过将视频-文本匹的一个 pair 对中特征视为正例对,而相同 batch 中的其他不匹配的 pair 对视为负例对,采用了 infoNCE 损失函数。
补充一下 Pearson Constraint 的知识:
![](https://static001.geekbang.org/infoq/ce/ce0a093dc113b04729a0b0f035d9814f.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
Intra-feature Pearson 约束损失是在通道维度,对于一个 batch 中视频特征的通道与文本特征的通道计算 Pearson 距离,从而实现了松弛的跨模态的通道 Correlation Reduction,文本特征的第 i 个通道与视频特征的第 i 个通道保持强的相关性,削弱但不完全消除与其他 j(j≠i)通道的相关性。同时 Pearson 距离也有助于保持小的数值变化,有利于训练过程中的稳定性。
两阶段策略
考虑到效率,我们采用了两阶段检索策略来使用从粗到细的视觉表示。有三种级别的视频表示,包括不被文本驱动的视频级视觉表征以及 TIB 模块生成的基于帧级和 Patch 级的视觉特征。视频级视觉表征用于快速召回前 k 个候选,然后由另外两个细粒度的视觉表征进行重排。
![](https://static001.geekbang.org/infoq/61/6192128fadc8a9a3cde450aebf9441f7.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
实验效果
我们对比了传统方法,和基于 CLIP 权重的 SOTA 方法。评估指标是根据文本从候选集中选出最匹配视频,是否在候选集中排位前 K 个,对应于 R@K。下表展示了 EERCF 在 MSRVTT-1K-Test 上的性能与效率平衡的优越性:
![](https://static001.geekbang.org/infoq/85/853cfe764d40cee9a7b42be2d48ba041.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
我们在下图中说明了粗到细的重新排序过程,图中显示直接使用视频表征召回可能会得到混乱的结果,而 TIB 可以逐渐挖掘相关的帧级或 Patch 级线索以获得准确的排序结果。
![](https://static001.geekbang.org/infoq/53/53422f873e106ab5fee8a1622d71e8ea.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
评论