斩获冠亚军！开源检索引擎 Puck 闪耀 NeurIPS'2023

2023-12-22
上海
本文字数：1783 字
阅读完需：约 6 分钟

近日，备受全球瞩目的国际向量检索大赛 Big-ANN in NeurIPS'23 的排行榜正式公布。百度搜索内容技术团队，以其自研 ANN 检索算法 PUCK 的出色性能表现，成功斩获 Streaming Search 赛道冠军与 Filtered Search 赛道亚军。

NeurIPS（Conference on Neural Information Processing Systems）是一个在机器学习、人工智能和神经科学领域内享有盛誉的学术会，与 ICML、ICLR 并称为机器学习领域难度最大、水平最高、影响力最强的会议。它为研究人员和从业者提供了展示和对比最新技术和算法的机会。

随着向量检索越来越普遍，解决实际场景中最近邻搜索或向量检索问题的多样化变体变得愈发重要。在此背景下，NeurIPS'23 设置了 Big-ANN 竞赛，旨在提升大规模 ANN 的研究创新和生产环境中的落地应用，推动索引数据结构和索引算法的发展。因 NeurlPS 的极高知名度和权威性，Big-ANN 吸引了众多知名企业和顶尖大学的同台竞技。

赛题及冠军：https://big-ann-benchmarks.com/neurips23.html

Puck 凭借出色的性能表现脱颖而出

本届 Big-ANN 包含 4 个赛题：Filtered Search、Out-Of-Distribution、Sparse、Streaming Search，参与者可以选择向一个或多个曲目提交参赛作品。评估硬件标准为 Azure Standard D8lds v5（8 vCPU 和 16GB DRAM），这台机器上的索引构建时间将限制为 12 小时，Streaming Search 赛道的时间限制更严格。

1）在 Streaming Search 赛道以高召回率位列第一

赛题要求：把 30M 数据集通 K-means 聚类，分成 64 组。一轮索引更新包括：插入某一组样本、检索、删除某一组样本、检索。要求算法在 1 小时内完成 5 轮索引更新，共计 1280 次操作。每次插入的数据，属于不同的分组，因而要求算法在未知数据分布全貌的情况下，也能提供较好的检索效果。插入和删除操作不断交替，整个索引包含的样本动态变换，要求算法在动态的数据集上，保持索引结构的紧凑（消耗较少的内存）。

相比其他赛道（只关注检索性能），Streaming Search 赛道期望算法对变化的数据分布有更好的鲁棒性。Streaming 赛道使用每次检索 recall@10 的统计值作为算法的成绩，Puck 以 0.9849 的召回率排名第一，斩获冠军。

Puck 结合赛题要求和业务应用落地成本，对当前代码进行改造，能够支持在线的训练、建库和检索过程。Puck 默认的索引结构有四层，每层肩负不同的功能。调整索引参数，降低空间划分层对召回率的影响，召回率交由第三层过滤层控制。第三层结果依赖 query 与样本的距离计算，受数据分布变化影响较小，因而可以保证召回率足够稳定。