腾讯云大数据 ES：结合 AI 大模型与向量检索的新一代云端检索分析引擎

引言

信息化技术的飞速发展使得海量数据爆发式增长。一方面，越来越多的数据可以为我们的生活带来便利，但另一方面，也给软件开发带来巨大的挑战——图片、声音、视频等不同结构的数据越来越多地出现，为搜索分析带来巨大的挑战，传统的关键词搜索，搜索结果局限于输入的关键词，用户体验较差。向量检索的出现，给我们提供了一个新的思路，向量数据库将非结构化、半结构化甚至是结构化等数据以向量形式存储，实现相似度搜索、聚类、降维等操作，结合机器学习模型，为用户更加智能的搜索服务。

然而，集文本搜索➕向量检索➕AI 能力于一身，且成熟稳定、值得信赖的云端搜索引擎，在业内屈指可数，腾讯云大数据 Elasticsearch Service 近期首发上线的 ES 8.8.1 版本，提供了强大的云端 AI 增强与向量检索能力，支持在端到端搜索与分析平台中实现自然语言处理、向量搜索以及与大模型的集成，10 亿级向量检索平均响应延迟控制在毫秒级，助力客户实现由 AI 驱动的高级搜索能力，为搜索与分析带来全新的前沿体验。

强大的 AI 增强搜索引擎

结合 AI 的最佳实践和 Elastic 的文本搜索，Elasticsearch 为开发人员提供了一整套将复杂的检索算法与大型语言模型（LLM）集成的能力，其特性参考如下：

01

自定义 Transformer 模型

开发人员可在 Elastic 中管理和使用自己的 transformer 模型来完成各种自然语言处理任务，以适应特定的业务场景。

02

Elastic 训练的优化搜索模型

使用 Elastic 训练的开箱即用的 Learned Sparse Encoder 机器学习模型来优化搜索，可在各种领域提供更好相关性、语义化的搜索。

03

与第三方 Transformer 模型集成,提取直观摘

要

通过 API 与大语言模型集成(如 OpenAl 的 GPT- 3 和 4)，从 Elasticsearch 数据源中提取摘要。

04

充分应用各种自然语言处理(NLP)任务和

模型

通过强大的自然语言处理能力，处理各种 NLP 任务和模型，使得搜索结果更加符合自然语言的语义。

05

第三方工具集成，构建复杂的数据管道和生成式 AI 应用程序

通过强大的自然语言处理能力，处理各种 NLP 任务和模型，使得搜索结果更加符合自然语言的语义。

原生向量搜索引擎

企业可以将腾讯云 ES 作为向量数据库使用，有效地创建、存储和搜索密集向量，为用户提供更加智能的搜索功能。例如，企业可在腾讯云 ES 上传自定义大数据模型来做 Embedding，如词嵌入模型（Word Embeddings）或深度学习模型（如 BERT），在读写过程中实时将图片、文本等数据转换为向量，然后存入 Elasticsearch 构建索引并进行相似度召回。同时，在召回后，可选择将 TOP 结果传入 LLM 大语言模型，对信息进行对话式结果整合，最终返回给用户，实现对话式搜索。相关特性参考如下：

01

提供图索引,通过 HNSW 实现高效的最近邻

搜索

02

支持端到端的向量生成、向量索引、向量相似性比较，无需额外的平台进行向量推理

03

一体化的搜索体验:多路召回混合打分、Faceting 聚合分析能力、基于角色的访问控制

04

提供向量类型，将向量存储为字节而不是浮点，同时，应用主成分分析 PCA 等方法降低向量维度，节省存储空间

05

持续优化的向量索引和查询性能

全新混合排序算法

Elasticsearch 8.8.1 版本使用最新的 Reciprocal Rank Fusion (RRF) 混合排序算法，可同时支持全文检索和向量搜索，让开发人员更好地优化 Al 搜索引擎，实现语义和关键字的组合查询。

客户案例介绍

以使用腾讯云 ES 的某知名新媒体网站客户为例，客户通过腾讯云 ES 提供的强大搜索能力，实现文本搜索+向量搜索的混合搜索，精准的对用户上传的图文内容进行违规检测，进而降低业务风险。其相关实现如下：

1）相关数据通过自定义的模型进行 Embedding 之后，转换成向量，存储在索引里面。

2）APP 的用户用户发表评论或者上传文章等操作，相关数据将实时的进行 Embbdding，并与索引内的向量进行相似性比对，结合文本搜索能力，实现多路召回。

3）如相关内容涉嫌违规，将会被驳回，并予以警告。

写在最后

腾讯云大数据 Elasticsearch Service 近期首发上线的 ES 8.8.1 版本，提供向量检索和 AI 增强功能，支持在单一端到端搜索与分析平台中实现自然语言处理、向量搜索以及与大模型的集成，结合腾讯云 ES 提供的丰富的云原生能力，支持高达十亿级向量检索，平均响应延迟控制在毫秒级。

使用该服务，您可以轻松便捷地创建集群、部署 NLP 模型，并进行搜索和推理任务，快来体验吧！