分组向量检索

作者：DashVector

2024-11-25
陕西
本文字数：1627 字
阅读完需：约 5 分钟

本文介绍如何在向量检索时将结果按照字段值进行分组返回。

背景介绍

在向量检索的实际应用中，有些场景需要将向量检索的结果分组返回。例如：

在 RAG 中，一篇文档往往需要拆分为多个段落，每个段落生成一个向量存入 DashVector。在向量检索时，为了结果的多样性，不希望所有结果都来自同一篇文档的段落，而是希望结果返回多篇文档，并且每篇文档下仅返回最相似的若干个段落。
在商品图像检索时，每个商品通常有多个商品图片，每个图片生成一个向量存入 DashVector。在向量检索时，为了结果的多样性，不希望所有结果都是同一个商品的图片，而是希望返回多样化商品，并且每个商品下仅返回最相似的若干个图片。

向量检索服务 DashVector 支持分组向量检索，对于上面的两个场景可以通过分组检索 Doc 接口分别设置group_by_field为"文档 ID"和"商品 ID"，然后执行分组向量检索。

使用示例

前提条件

已创建 Cluster
已获得 API-KEY
已安装最新版 SDK

插入带有 Field 的数据

说明

需要使用您的 api-key 替换示例中的 YOUR_API_KEY、您的 Cluster Endpoint 替换示例中的 YOUR_CLUSTER_ENDPOINT，代码才能正常运行。

import dashvectorimport numpy as np
client = dashvector.Client(    api_key='YOUR_API_KEY',    endpoint='YOUR_CLUSTER_ENDPOINT')ret = client.create(    name='group_by_demo',    dimension=4,    fields_schema={'document_id': str, 'chunk_id': int})assert ret
collection = client.get(name='group_by_demo')
ret = collection.insert([    ('1', np.random.rand(4), {'document_id': 'paper-01', 'chunk_id': 1, 'content': 'xxxA'}),    ('2', np.random.rand(4), {'document_id': 'paper-01', 'chunk_id': 2, 'content': 'xxxB'}),    ('3', np.random.rand(4), {'document_id': 'paper-02', 'chunk_id': 1, 'content': 'xxxC'}),    ('4', np.random.rand(4), {'document_id': 'paper-02', 'chunk_id': 2, 'content': 'xxxD'}),    ('5', np.random.rand(4), {'document_id': 'paper-02', 'chunk_id': 3, 'content': 'xxxE'}),    ('6', np.random.rand(4), {'document_id': 'paper-03', 'chunk_id': 1, 'content': 'xxxF'}),])assert ret

复制代码

执行分组向量检索

ret = collection.query_group_by(    vector=[0.1, 0.2, 0.3, 0.4],    group_by_field='document_id',  # 按document_id字段的值分组    group_count=2,  # 返回2个分组    group_topk=2,   # 每个分组最多返回2个doc)# 判断是否成功if ret:    print('query_group_by success')    print(len(ret))    print('------------------------')    for group in ret:        print('group key:', group.group_id)        for doc in group.docs:            prefix = ' -'            print(prefix, doc)

复制代码

上面分组检索的示例结果如下：

query_group_by success4------------------------group key: paper-01 - {"id": "2", "fields": {"document_id": "paper-01", "chunk_id": 2, "content": "xxxB"}, "score": 0.6807} - {"id": "1", "fields": {"document_id": "paper-01", "chunk_id": 1, "content": "xxxA"}, "score": 0.4289}group key: paper-02 - {"id": "3", "fields": {"document_id": "paper-02", "chunk_id": 1, "content": "xxxC"}, "score": 0.6553} - {"id": "5", "fields": {"document_id": "paper-02", "chunk_id": 3, "content": "xxxE"}, "score": 0.4401}

复制代码

限制说明

重要

group_by_field只能指定新建 Collection 时通过fields_schema参数定义的 Field 名称，Schema Free 字段不支持分组检索。
group_count和group_topk均为尽力而为参数，实际返回的分组数（group_count）和每个分组的 doc 数（group_topk）可能少于所设置的值。DashVector 会优先保证分组数（group_count）。
过大的group_count和group_topk会增加索引扫描量，从而导致接口耗时增加。当前group_count最大值为 64，group_topk最大值为 16。

发布于: 刚刚阅读数: 4

原文链接:【http://xie.infoq.cn/article/23fad5be300c5ab43a8ad9f81】。文章转载请联系作者。

DashVector

关注

还未添加个人签名 2024-05-14 加入

向量检索服务DashVector基于通义实验室自研的高效向量引擎Proxima内核，提供具备水平拓展能力的云原生、全托管的向量检索服务。

发布

暂无评论

创作场景

分组向量检索

背景介绍

使用示例

前提条件

插入带有 Field 的数据

执行分组向量检索

限制说明

DashVector

评论