浅谈开词汇目标检测

1. 引言

随着人工智能技术的快速发展，开放词汇物体检测(Open-Vocabulary Object Detection)已经成为计算机视觉领域的一个重要研究方向。开放词汇物体检测的目标是使机器能够识别并定位图像中未在训练集中出现的新类别的物体，这对于机器人技术、自动驾驶等领域具有重要的应用价值。然而，由于缺乏足够的标注数据和复杂的场景变化，这一任务面临着巨大的挑战。

近年来，研究者们提出了许多创新的方法来解决开放词汇物体检测的问题。其中，一些研究聚焦于通过深度学习模型，如 Vision Transformers,进行自我训练以提高检测性能。另一些研究则探索了如何利用多模态上下文知识或场景图发现等方法来增强模型的泛化能力。此外，还有研究 者尝试通过伪标签、伪边界框标签等方式生成更多的训练样本，以解决数据稀缺的问题。

本文将对上述各种方法进行详细的综述，并探讨它们的优点和局限性。我们还将讨论当前开放词汇物体检测面临的主要挑战以及可能的解决方案。希望通过这篇综述，读者能对开放词汇物体检测有一个全面而深入的理解，为未来的研究提供参考。

2 视觉-语言匹配与检测

视觉-语言匹配与检测是计算机视觉和自然语言处理交叉领域的一个重要研究方向，主要关注如何通过理解图像内容和描述来实现对图像中物体的准确定位和识别。这涉及到从自然语言描述中提取出有意义的特征，然后将这些特征映射到图像中的具体位置，以实现精确的物体检测。

2016 年，Sergio 等人提出了一种新颖的对象检索方法，该方法结合了类别和实例级别的语义，用于处理开放词汇的自然语言查询[1]。这种方法在数据集上的表现优于现有的方法，并证明了其适应性。2022 年，Bravo 等人提出了一种基于图像处理的开放式方法，通过 LO 引导的图像-标题匹配技术实现了对象分类的分级和分组[2]。同年，Long 等人引入了一种细粒度的视觉-文本提示适应阶段，用于开放词汇检测(OVD),增强了自我训练范式[3]。2023 年，Liu 等人探索了 AI-based 目标检测翻译(AI-Based ODT)应用在 EFL 学生词汇学习中的有效性[4]。同年，另一篇论文探讨了从预训练的文本到图像扩散模型的视觉-语言对应关系，使用了一种新的视觉-语言映射[5]。此外，还有研究介绍了开放词汇属性检测(OVAD)任务及其相应的 OVAD 基准[6],以及一种基于对象特征的对称分析框架[7]。最后，一篇论文提出了使用预训练视觉和语言模型的伪标签进行开放词汇目标检测的新方法[8]。

这些论文都关注了视觉-语言匹配与检测的问题，并提出了各种不同的解决方案。共同点在于他们都试图通过理解自然语言描述来提高目标检测的效果，并且都采用了一些形式的自我训练或半监督学习策略。不同之处在于他们解决问题的方法和侧重点各不相同。例如，Sergio 等人侧重于类别和实例级别的语义[1],而 Bravo 等人则侧重于图像处理和 LO 引导的匹配技术[2]。Long 等人的研究更注重细粒度的视觉-文本提示适应阶段[3],而 Liu 等人则关注 AI-based 目标检测翻译在教育中的应用[4]。总的来说，这些研究都在推动视觉-语言匹配与检测领域的发展，为解决实际问题提供了有价值的思路和方法。

3 多模态知识与检测

多模态知识与检测是近年来的研究热点，主要关注如何结合视觉和语言信息来提高目标检测的性能。特别是在开放词汇的目标检测中，这种方法可以更好地处理新类别的对象，而不需要为每个新类

别单独训练模型。以下是该方向的一些最新研究论文的总结：

2022 年，一篇论文提出了一种新颖的开放词汇目标检测框架，专门用于从图像-文本对数据中进行目标检测[9]。该方法引入了一个开放词汇的目标检测器，并在 COCO 和 LVIS 等数据集上取得了优越的性能。同年，另一篇论文介绍了 ViLD,这是一种使用两阶段检测器(学生)的视觉和语言知识蒸馏的训练方法[10]。它通过显示类别文本和图像区域来超越先前的最新技术。

到了 2023 年，一篇文章引入了一种细粒度的视觉-文本协议驱动的自训练范式，用于开放词汇检测(VTP-OVD)[11]。该方法通过更强大的细粒度对齐来增强自我训练范式。同年，Xu 等人提出了一种

多模态上下文知识蒸馏框架，用于开放词汇目标检测(ovD)[12]。该方法解决了以前的检测框架的问题，强调了模型多模态上下文知识的需求。到 2024 年，Open Vocabulary Object Detection (OVOD)的目标是识别新的对象，解决视觉和语言模型的零样本能力问题[13]。为了进一步提高对未见新类的泛化能力，这篇论文引入了一种新颖而

简单的技术，强调了对分布的新类泛化的需要。同年，另一篇论文介绍了一种描述符增强的开放词汇检测器，用于图像分类任务[14]。该方法利用条件上下文提示和分层文本描述符，超越了最先进的技术。

对比这些论文，它们都集中在开放词汇的目标检测上，并尝试结合视觉和语言信息来提高性能。相同点是它们都采用了知识蒸馏或自训练的方法来增强模型的能力。不同点在于每篇论文都提出了不

同的技术和策略来解决这个问题。例如，一些论文重点关注如何更好地处理新类别的对象[9][13],而另一些则侧重于如何更好地融合视觉和语言信息[10][12]。此外，这些论文在实验设计、数据集选择和

评估指标上也有所不同。

4 开放词汇物体检测

开放词汇物体检测(Open-Vocabulary Object Detection,OVD)是计算机视觉领域的一个重要研究方向，其目标是扩大词汇表的大小以便检测训练词汇之外的新类别对象。这种方法可以有效地处理那

些在训练阶段未出现过的对象类别，从而提高模型的泛化能力。

2021 年，Zareian 等人提出了一种新颖的开放词汇物体检测方法[15]。该方法通过增强有限对象类别的物体检测器，如图像-标题对，优于零样本方法。该方法在没有提供边界框注释的情况下提高了对象的检测和定位精度。2022 年，一篇论文介绍了 F-VLM,一种利用 Froch 视觉和语言模型的新型开放词汇物体检测方法[16]。该方法使用冻结的 VLM 作为局部敏感特征，是一种强大的区域分类器，性能超过了之前的 LVIS 分类器。同年，Minderer 等人引入了一种将图像-文本模型转移到开放词汇物体检测的强大方法[17],并展示了适应策略和正则化对于零样本文本条件和一次样本图像条件物体检测的强大性能。另一篇研究提出了一种新的 OVD 框架，包括提议挖掘和预测均衡，提高了在新类别上的预测效率[18]。

到了 2023 年，一篇论文引入了一种基于场景图的开放词汇物体检测网络 SGDN[19],解决了传统检测和非类别对象的问题。该方法引入了 SGDecoder,整合了稀疏场景图引导注意力(SSGA)和 SGPred 机

制，实现了场景图提取和对象定位之间的增强。另一篇论文探讨了区域感知开放词汇视觉变换器(RO-VIT)[20],这是一种对比图像-文本预训练配方，解决了图像级预训练和物体检测之间的差距。Song 等

人提出了 Propt-ovD 框架[21],利用 CLIP 的类嵌入作为提示，引导变换器解码器检测基类和新类的对象。最后一篇研究引入了一种新的伪字幕标签(PCL)用于通过从视觉-语言模型中提取知识来检测新对象

[22]。

这些论文都关注了开放词汇物体检测的问题，并提出了各种不同的解决方案。他们都试图通过扩大词汇表、改进模型架构或引入新的技术来提高模型的性能。然而，他们的方法各有侧重：一些研究侧重于利用图像-文本配对或场景图进行目标检测；另一些研究则侧重于利用语言模型或转换器进行目标检测；还有一些研究则侧重于提出新的框架或技术来提高目标检测的效率和精度。总的来说，这些研究都在推动开放词汇物体检测领域的发展，为解决实际问题提供了有力的工具。

2022 年，Gao 等人引入了一种基于新颖对象类别的物体检测方法[23]。该方法在 COCO 新类别、PASCAL VOC、Objects365 和 LVIS 等数据集上均取得了优于当前最先进方法的结果。同年，Rasheed 等人提出了一种针对弱监督开放词汇检测(OVD)的新颖的对象中心对齐方法

[24],强调了 CLIP 模型和图像级监督的重要性，并通过最小化对象和图像表示来提高性能。

5 总结与展望

在过去的研究中，我们看到了开放词汇物体检测领域的各种创新和进步。这些研究涵盖了从基于 AI 的物体检测翻译应用到理解机器人中的物体描述，再到使用视觉-语言匹配进行开放词汇物体检测

等多个方面。此外，一些研究还探讨了如何通过改进伪标签、利用细粒度描述符以及探索多模态上下文知识等方法来提高开放词汇物体检测的效果。

然而，尽管取得了显著的进步，但开放词汇物体检测领域仍存在许多挑战和问题需要解决。例如，如何在没有 3D 注释的情况下进行点云物体检测，如何将对象放入上下文中以进行开放词汇 3D 检测，以及如何缩小对象和图像级表示之间的差距等问题。这些问题的解决将有助于进一步推动该领域的发展。

展望未来，我们期待看到更多关于开放词汇物体检测的研究，特别是那些能够解决当前存在的问题并提出新的方法和技术的研究。同时，我们也希望看到更多跨学科的研究，因为这将有助于我们更

全面地理解和解决这个问题。总的来说，开放词汇物体检测是一个充满挑战和机遇的领域，我们期待着在这个领域取得更多的突破。

6 参考文献

[1] Guadarrama, Sergio,Rodner, Erik,Saenko, Kate Darrell, Trevor. 2016. Understanding object descriptions in robotics by open-vocabulary object retrieval and detection, INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH

[2] Maria A Bravo,Sudhanshu Mittal Thomas Brox. 2022. Localized Vision-Language Matching for Open-vocabulary Object Detection, arxiv

[3] Yanxin Long,Jianhua Han,Runhui Huang,Xu Hang,Yi Zhu,Chunjing Xu Xiaodan Liang. 2022. P$^3$OVD: Fine-grained Visual-Text Prompt-Driven Self-Training for Open-Vocabulary Object

Detection, arxiv

[4] PeiLin Liu ChiuJung Chen. 2023. Using an AI-Based Object Detection Translation Application for English Vocabulary Learning, EDUCATIONAL TECHNOLOGY & SOCIETY

[5] Ziyi Li,Qinye Zhou,Xiaoyun Zhang,Ya Zhang,Yanfeng Wang Weidi Xie. 2023. Openvocabulary Object Segmentation with Diffusion Models, arxiv

[6] Mara A Bravo,Sudhanshu Mittal,Simon Ging Thomas Brox. 2023. Open-vocabulary Attribute Detection, arxiv

[7] Luting Wang,Yi Liu,Penghui Du,Zihan Ding,Yue Liao,Qiaosong Qi,Biaolong Chen Si Liu. 2023. Object-Aware Distillation Pyramid for Open-Vocabulary Object Detection, arxiv

[8] Shiyu Zhao,Samuel Schulter,Long Zhao,Zhixing Zhang,Vijay Kumar B G,Yumin Suh,Manmohan Chandraker Dimitris N Metaxas. 2023. Improving Pseudo Labels for Open Vocabulary Object Detection, arxiv

[9] Chuang Lin,Peize Sun,Yi Jiang,Ping Luo,Lizhen Qu,Gholamreza Haffari,Zehuan Yuan Jianfei Cai. 2022. Learning Object-Language Alignments for Open-Vocabulary Object Detection, arxiv

[10] Xiuye Gu,TsungYi Lin,Weicheng Kuo Yin Cui. 2022. Open-vocabulary Object Detection via Vision and Language Knowledge Distillation, arxiv

[11] Long, Yanxin,Han, Jianhua,Huang, Runhui,Xu, Hang,Zhu, Yi,Xu, Chunjing Liang, Xiaodan. 2023. Fine-Grained Visual-Text Prompt-Driven Self-Training for Open-Vocabulary Object

Detection, IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS

[12] Yifan Xu,Mengdan Zhang,Xiaoshan Yang Changsheng Xu. 2023. Exploring Multi-Modal Contextual Knowledge for Open-Vocabulary Object Detection, arxiv

[13] Joonhyun Jeong,Geondo Park,Jayeon Yoo,Hyungsik Jung Heesu Kim. 2024. ProxyDet: Synthesizing Proxy Novel Classes via Classwise Mixup for Open-Vocabulary Object Detection, arxiv

[14] Sheng Jin,Xueying Jiang,Jiaxing Huang,Lewei Lu Shijian Lu. 2024. LLMs Meet VLMs: Boost Open Vocabulary Object Detection with Fine-grained Descriptors, arxiv

[15] Alireza Zareian,Kevin Dela Rosa,Derek Hao Hu ShihFu Chang. 2021. Open-Vocabulary Object Detection Using Captions, arxiv

[16] Weicheng Kuo,Yin Cui,Xiuye Gu,AJ Piergiovanni Anelia Angelova. 2022. F-VLM: OpenVocabulary Object Detection upon Frozen Vision and Language Models, arxiv

[17] Matthias Minderer,Alexey Gritsenko,Austin Stone,Maxim Neumann,Dirk Weissenborn,Alexey Dosovitskiy,Aravindh Mahendran,Anurag Arnab,Mostafa Dehghani,Zhuoran Shen,Xiao Wang,Xiaohua Zhai,Thomas Kipf Neil Houlsby. 2022. Simple

Open-Vocabulary Object Detection with Vision Transformers, arxiv

[18] Peixian Chen,Kekai Sheng,Mengdan Zhang,Mingbao Lin,Yunhang Shen,Shaohui Lin,Bo Ren Ke Li. 2022. Open Vocabulary Object Detection with Proposal Mining and Prediction Equalization, arxiv

[19] Hengcan Shi,Munawar Hayat Jianfei Cai. 2023. Open-Vocabulary Object Detection via Scene Graph Discovery, arxiv

[20] Dahun Kim,Anelia Angelova Weicheng Kuo. 2023. Region-Aware Pretraining for OpenVocabulary Object Detection with Vision Transformers, arxiv

[21] Hwanjun Song Jihwan Bang. 2023. Prompt-Guided Transformers for End-to-End OpenVocabulary Object Detection, arxiv

[22] HanCheol Cho,Won Young Jhoo,Wooyoung Kang Byungseok Roh. 2023. Open-Vocabulary Object Detection using Pseudo Caption Labels, arxiv

[23] Mingfei Gao,Chen Xing,Juan Carlos Niebles,Junnan Li,Ran Xu,Wenhao Liu Caiming Xiong. 2022. Open Vocabulary Object Detection with Pseudo Bounding-Box Labels, arxiv

[24] Hanoona Rasheed,Muhammad Maaz,Muhammad Uzair Khattak,Salman Khan Fahad Shahbaz Khan. 2022. Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection, arxiv

希望今天的分享，能带给大家些许启动，也欢迎大家一起留言共建~

写在最后，欢迎大家下载我们的https://ibc.inspures.com/，加入我们，开启开发之旅！