【2023 云栖】郭瑞杰：阿里云搜索产品智能化升级

本文根据 2023 云栖大会演讲实录整理而成，演讲信息如下：

演讲人：郭瑞杰 | 阿里云资深技术专家、搜索负责人

演讲主题：阿里云搜索产品智能化升级发布

近日在 2023 云栖大会上，阿里云搜索负责人郭瑞杰对阿里云搜索产品智能化升级发布，在全场景的搜索细分领域，提供智能化产品能力，包括基于大模型的开放搜索（OpenSearch）LLM 智能问答版和向量检索版，以及面向日志和文本分析场景的 Elasticsearch Serverless 版等。

基于企业专属大模型的对话式搜索

开放搜索（OpenSearch）LLM 智能问答版是一站式 SaaS 化对话式搜索解决方案，内置通义千问以及第三方开源大语言模型，用户可基于业务数据搭建企业专属模型。产品内部集成了段落切分、向量化模型、向量引擎、检索增强大模型等对话式搜索的全链路能力，并可以做到分钟级 PoC，小时级正式上线。与开源大模型相比，有更高的准确率基线，答案准确率提升大概 20%，幻觉减少 40%。开放搜索做了大量的推理优化，token 生成速度提升 2-3 倍，GPU 资源使用量减少 50%。

识林是一个专注在制药合规领域进行知识收集整理的平台，为药企提供从药物研发、生产到变更等全生命周期的法律法规检索、咨询服务。在今年上半年，识林基于 OpenSearch 构建了大语言模型的智能问答体系，现在已经无需用户通过关键词反复的检索，通过浏览法律法规原文获取答案，而是以自然语言的方式向提问，识林平台理解问题意图，通过大模型快速的到最终答案，并清晰的展示参考依据。

同时，阿里云推出了基于开放搜索问答版构建的智能学术论文助手 SmartArxiv，支持学术调研、速读论文、方法对比、文献综述等功能，帮助解决学术界“信息过载”的问题。目前已在 ModelScope 官网创空间上线，用户可免费使用。

https://modelscope.cn/studios/smart_arxiv_opensearch/SmartArXiv

相比开源引擎，向量检索性能提升 3 倍

开放搜索向量检索版在本次的全新升级中，从原来的 PaaS 形态演化成了 Serverless 形态，易用性显著改善。核心引擎升级到新引擎 VectorStore，性能大幅提升，支持千亿数据毫秒级响应，实时数据秒级更新，与业界主流开源向量引擎相比检索性能提升 3 倍以上，内存占用降低到 50%。并支持标签+向量混合检索等能力，提供从图像向量化到向量存储查询的端到端图搜场景解决方案。

VectorStore 差异化特点是高性能，做了大量的向量检索算法的性能优化，千亿级别向量数据毫秒级查询响应，向量更新秒级可见。做了大量数据压缩优化，支持非全内存加载，更低的成本。作为阿里自研的向量引擎，在淘宝个性化搜索、推荐、多模态搜索，以及近期的各种大模型应用中广泛应用。VectorStore 的执行框架基于 Havenask 引擎，后面也将在 Havenask 中完整开源。

成本降低 70%的 Elasticsearch Serverless 版

阿里云检索分析服务 Elasticsearch 正式推出兼容开源、按需使用的 Serverless 产品，用户不再需要手动分配资源，平台会根据业务流量波动，自动调度决定资源的增加或缩减，秒级弹性扩缩，真正实现负载与资源动态匹配的按量付费，减少闲置资源冗余成本支出。基于 Indexing Service 索引构建服务以及 OpenStore 存储服务，阿里云从硬件选型、集群架构、内核性能进行了全方位优化，实现写入性能提升 150%，单位数据存储成本降低 70%。同时，阿里云 Easticsearch 已集成最新的 8.9 版本，并基于 ESRE 组件（Elasticsearch Relevance Engine）提供 AI 增强能力，包括 RRF 混合排序算法，第三方模型集成、部署和管理等。