生成式 AI 实现多模态信息检索新突破

多模态检索的范式革新

过去十年间，机器学习主要依赖嵌入技术——将输入数据转换为向量，使向量空间中的几何关系反映语义关联。传统检索方式需计算查询向量与所有候选向量的相似度，当面对海量数据时效率低下。

GENIUS 框架核心技术

在 2025 年 CVPR 会议上提出的 GENIUS 框架带来两项关键创新：

1. 语义量化编码

2. 通过残差量化生成层级式 ID 序列：首段代码定义数据类型（图像/文本/图文对），后续代码逐级细化表征空间区域。这种结构使得相似数据具有共同的前缀编码。

3. 查询增强技术

4. 通过在表征空间对查询-ID 对进行插值，生成多样化训练样本，使模型能适应新型数据分布，显著提升泛化能力。

性能突破

在 M-BEIR 基准测试中：

• 文本到图像检索任务（COCO 数据集）Recall@5 指标超越现有生成式方法 28.6 分

• 结合嵌入重排序后，性能差距较传统方法缩小 31%-56%

• 检索速度不受数据库规模影响，索引构建成本降低 90%

系统架构

1. 预训练阶段

2. 独立训练图像和文本编码器

3. 对比学习阶段

4. 残差量化模块学习生成层级编码

5. 推理阶段

6. 基于 Trie 树结构约束输出序列，确保生成有效 ID

该技术已应用于某机构搜索系统，在十亿级数据规模下保持毫秒级响应，为跨模态检索提供高效解决方案。

（图示：GENIUS 三阶段训练流程与推理机制）更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手