Elasticsearch 8.17 智能检索升级全攻略
Elasticsearch 作为一款强大的搜索与分析引擎，支持传统检索、AI 搜索（如语义检索、RAG、多模态检索）及智能运维场景，结合阿里云 AI 搜索开放平台提供一站式解决方案。
本文介绍了最新发布的 Elasticsearch 8.17 检索增强型应用在性能和功能上的特性。同时本文介绍了 Elacticsearch 选购指南，帮助用户根据业务需求选择版本和节点配置，利用容量规划工具优化资源分配，特别适合 AI 应用和高弹性场景，为用户提供高性能、低成本、易扩展的搜索服务。
一、Elasticsearch 核心能力与场景
典型应用场景
检索与分析
数据库检索加速、企业信息检索、订单检索、内容搜索、交易数据分析、玩家行为分析等传统搜索与数据分析场景。
ES 支持关键字检索、全文检索、地理位置检索、搜索过滤与聚合搜索分析等业内全面的检索与分析用法。
AI 搜索
语义检索：挖掘更深语义相关度、相比传统检索 20%+效果提升。
检索增强生成 RAG：与 LLM 结合，实现对话式问答，常用于智能在线客服、企业知识库检索等场景。
多模态检索：向量化图片、语音、视频等数据，通过相似度计算实现多模态搜索。
全观测智能运维
实时采集、分析与存储系统日志、指标、进行链路追踪，通过 ES 实现全链路监控、根因定位、复杂 IT 性能优化等。
结合 LLM、Agent 技术，使用生成式 AI 交互式地探索问题并执行补救措施、加速事件管理和根本原因分析，助力企业运维体系智能化、效率提升。
无缝结合 AI 搜索开放平台，模型开箱即用
一站式的 AI 搜索开放平台作为阿里云 AI 搜索整个产品体系核心，可以提供丰富的 AI 搜索组件化服务。兼容主流开发框架 LangChain 和 LlamaIndex，支持搜索专属大模型、百炼等大模型服务，以及 Elasticsearch、Havenask 等开源引擎。用户可灵活调用多模态数据解析、大语言模型、效果测评等数十个服务，实现智能搜索、检索增强生成（RAG）、多模态搜索等场景的搭建。
ES 开放的 API 注册和使用，结合自研的 AI 搜索开放平台，支持用户利用平台上的模型和能力，便于提升语音搜索和 RAG 场景的性能。利用 AI 搜索开放平台的数据处理和服务优化功能，可以在 ES Serverless 上搭建更高效的搜索链路，从而提升整体搜索体验。针对 RAG 场景的优化，AI 搜索开放平台不仅提供了模型支持，还通过数据处理和服务优化，帮助实现更精准的搜索结果。
AI 场景下的数据解析与提取
针对 PDF、Word 等文档中的数据解析和提取，包括图表理解、OCR 能力的应用，以及数据分析与综合，以实现深度表达。将图表等复杂数据通过 OCR 和数据分析技术转化为文字描述，增强数据的可读性和理解性。数据转化后，进行文本切片处理，以便于更细致地分析和利用这些信息。
通过图表理解能力和数据分析，提升对图表数据的解读效率和准确性。整合 OCR、图表理解和数据分析能力，构建高效的数据解析和表达体系，优化信息处理流程。
AI 场景下的文本切片
根据文章目录和标题进行分段，实现细粒度切分，如按段落或句子，确保内容的层次性。通过后验方式判断切片相邻片段的语义相关度，进行二次校准，保障语义关联性和内容完整性。
设置灵活可调的切片大小参数，根据不同的数据情况调整，优化切片效果。完成切片后，进行多语言向量化处理，为后续分析或应用准备数据。模型优化和参数调整旨在提升切片质量和效率，确保语义理解和内容组织的准确性。
AI 场景下的混合检索及 Rerank
混合检索技术融合了稀疏向量和稠密向量，以及文本检索能力，使 TOP 10 结果的匹配效果相比单路检索提升了 20%。在混合检索后，通过对接基于 BERT 的重排模型，进一步提高了搜索结果的准确率。
ES Serverless 的简单使用特性，结合 AI 搜索开放平台的融合能力，支持快速搭建和上线服务。
混合检索与重排模型的结合，显著增强了搜索系统的整体性能和用户体验。技术的快速搭建和服务上线能力，体现了在 AI 搜索领域的高效与灵活性。
AI 搜索服务集成了丰富的功能，如语音识别、意图识别和多模态向量能力，以及联网搜索功能，这些都能与 ES 引擎有效融合，提升服务的智能化水平。用户可以将自己的应用、大模型或特定服务，以串联的方式整合进 ES 业务流程中，实现个性化和定制化的服务扩展。
通过与 ES 引擎的融合，服务能够提供更精准的识别和搜索结果，增强用户体验和交互效率。AI 搜索开放平台服务的开放性和兼容性允许开发者和企业根据自身需求，灵活地调整和优化业务逻辑，促进创新和业务增长。AI 搜索开放平台服务的多模态能力和联网搜索功能，为用户提供了一站式的解决方案，满足多样化和复杂场景下的需求，提升整体服务质量。
基于 ES Serverless 快捷搭建 RAG 应用
主要分为离线数据写入与在线查询两个阶段，利用 AI 搜索开放平台的解析、切分、向量化等能力，结合 ES Serverless 的多模索引与检索能力，可以实现对外部文档的智能问答。
离线数据写入阶段：
模块包括基于 AI 搜索平台的文档解析、多维度切片、稠密与稀疏向量化处理，以及向 ES Serverless 写入向量数据，实现非结构化数据向结构化向量数据的转化。
为提升语义搜索效果，索引构建时结合稠密向量、稀疏向量和文本倒排索引，通过多路结果召回和 TOP N 知识片融合，优化离线构建过程。
在线查询阶段：
先进行查询理解服务扩展，再对 query 进行稀疏和稠密向量处理，结合文本和向量相似度计算召回结果，提高搜索精度。
结合重排模型进行相关度排序，生成最终回答，涉及与大模型交互的能力，完成从检索结果到回答生成的完整 RAG 链路。
ES Serverless 服务与 AI 搜索开放平台的打通，简化了搭建过程，为用户提供更高效、便捷的语义搜索解决方案。
二、Elasticsearch Serverless 8.17 新升级
检索增强型 8.17 版本在最新特性扩展、自动扩缩性能、资源成本优化三大维度实现全面跃升：
升级一：向量检索性能飞跃
基于 Elasticsearch 8.17 版，发布最新向量能力，实现检索性能、开发体验的跨越式升级
高效 KNN 检索：相较于 7.10 版依赖 script_score 自定义脚本进行暴力检索，8.17 版原生支持高效的 KNN 检索，查询速度实现了质的飞跃。
资源优化：在高召回的同时，默认 int8 量化能力将内存占用降低 75%，bbq 量化进一步降低资源消耗。同等资源下，百万级向量检索 QPS 提升数十倍。
灵活组合查询：8.17 版原生支持 KNN 向量查询与传统 Query 子句的灵活组合，并结合 RRF（Reciprocal Rank Fusion）实现多元召回结果的智能融合与统一排名，显著提升复杂场景下的搜索相关性与用户体验。
升级二：智能化弹性调度架构
全面升级智能化弹性调度架构，保障服务稳定的同时 1 秒内资源拓展到位，扩缩更丝滑
ES Serverless 服务底层采用弹性架构，基于应用 CU 等水位观测，高效调度底层机器资源，实现低成本承接高用量的业务效果。相比检索通用型（7.10 版）应用，检索增强型（8.17 版）不但大幅缩短了弹性响应时效，同时放开了低峰期突增流量限流的限制。
真实案例对比：
A 场景-流量逐渐稳定增长：8.17 版能够瞬时响应并正常承接增加的用户请求量，几乎没有触发限流；整体 RT 平稳度和耗时更有优势，扩容期间服务稳定、性能有保障。
B 场景-流量瞬时突增：8.17 版能够稳定承接流量突增，而 7.10 版需要一定时间缓冲，初期成功率较低。8.17 版在整体 RT 平稳度、稳定性与无感扩容体验上更优。
8.17 应用弹性扩容性能提升明显，可做到无感升配，能有效承接突增、平稳趋势下的流量增长，提供流畅、稳定的服务体验。
升级三：资源成本优化
通过预留+弹性 CU 模式灵活调度资源，CU 单价再调低，资源成本再优化
为进一步优化资源成本，提升资源扩缩体验。检索通用型 8.17 版采用了预留固定 CU 配额+按需使用的弹性 CU 用量收费的模式，预留固定 CU 的单价调整至更低。
1、节点间 shard 调度
通过基于 cu 的 shard 均衡策略，保证各节点水位均衡；
2、集群间索引调度
在多个服务集群间调度查询和写入任务，保证整体水位均衡；
3、基于水位智能调整索引配置
基于 shard 的 cu、存储、限流等情况，调整 shard 数、副本数，熔断阈值；
4、基于水位智能调整集群配置
基于 cpu,mem, io，限流情况等十多个指标，调整集群规格、规模、线程池、限流等集群配置无需关注复杂的集群运维，由系统托管治理。通过智能调度优化实现弹性扩缩容能力，进一步降低资源成本。
Elasticsearch Serverless 通过按需资源预留+弹性伸缩机制，解决自建集群的冗余浪费与运维难题。8.17 版本性能升级，弹性反应时间提升，扩容期间服务稳定性增强，保障高负载场景体验。
阿里云 Elasticsearch Serverless 8.17 版在向量检索性能、智能化弹性调度架构及资源成本优化方面实现了全面升级，为开发者提供了高性能、低成本且免运维的检索服务解决方案。
三、Elasticserach Serverless 的优势
ES Serverless 对比自建 ES 优势
弹性扩缩在容量规划上的应用，有效避免资源浪费，确保资源高效利用。
快速应用搭建与集群变更减少，显著降低运维投入，提升工作效率。
智能调度与数据均衡策略，自动优化配置，无需人工调优即可实现最佳服务性能。
弹性资源使用方式，灵活控制成本，实现人力与资源成本的双重优化。
通过智能技术，实现服务性能的自动调优，用户无需额外操作即可享受最优配置。
ES Serverless 与 ES Paas 形态体验差异:
ES 的 Serverless 版本在选型上比 Paas 集群版本更少，且屏蔽了不常用的 API，使用更加简单。针对 AI 方向，当前主要推广的是检索增强型 8.17 版，相比 7.10 版，在向量检索性能和算法知识度上有了显著提升。
四、Elasticsearch 选购指南
PAAS 版本选配指南
Elasticsearch 实例类型及版本选择是关键，需根据实际需求和兼容性进行合理配置，以优化性能和功能。
数据节点是 ES 集群中关键组件，负责数据存储和增删改查操作，需具备高存储空间和 CPU 性能。选择数据节点时，总存储容量应为总数据量的 3 到 4 倍，考虑索引开销、副本需求、内部操作和安全阀值。
ES 索引存储比原始数据大 10%到 15%，且需预留空间用于断合并、日志记录和计算任务。
集群健康运行需平衡节点数量与存储空间，确保有足够的冗余和性能支持。经验表明，数据源的 3 到 4 倍的存储空间配置为维护健康 ES 集群的理想选择。
专有节点说明：
专有主节点在集群中扮演类似 master 节点的角色，主要负责监控和任务分配，不存储数据，且其配置与可用区强绑定。对于数据量不大或业务起步阶段，选择单可用区可使专有主节点成为可选项，有助于节约成本。
专有主节点的默认配置适用于数据量较大的情况，用户在购买时可直接选择此配置，无需额外调整。也可以综合考虑数据量、业务需求及成本节约等因素，在决定是否启用专有主节点。
在业务起步或数据量较小的情况下，可以不专门配置主节点，由数据节点分配资源充当，以节约成本。
冷数据节点说明：
冷数据节点适用于冷热数据分层场景，通过设置时间配置，将七天后不活跃数据自动归档至冷数据节点存储，优化存储费用和检索开销。
协调节点说明：
协调节点在处理复杂查询时可帮助数据节点分担 CPU 压力，适用于频繁复杂查询的场景，但一般场景下较少使用。
容量规划工具：对于选配不确定的用户，系统还提供了容量规划工具，通过输入具体场景参数，可以得到推荐配置。
Serverless 版本选配指南
Serverless 版本相较于普通 Paas 版本更加便捷，简化了集群配置和资源管理过程，适合追求高效部署的用户。对于 T 级数据量，选择数据节点时需配置 CPU 规格，其他默认设置即可，这涉及性能与成本的平衡考量。
优惠活动(节省计划)
为降低企业使用成本，阿里云 ES Serverless 推出通用预付优惠抵扣包（节省计划），可以用于抵扣长期使用按量付费资源的折扣权益，为您抵扣 ES Serverless 应用的账单费用。合理的配置节省计划可让您在灵活使用资源的同时，享受较低的折扣。所有 Serverless 应用、计费项均可参与抵扣。
新增功能/规格：
ES Serverless 推出通用预付优惠抵扣包（节省计划），用户承诺 6 个月或 1 年内达到消费金额可换取账单折扣。相比按量付费模式，通过预付抵扣包的形式将更加优惠。
承诺消费金说明：
在指定时间周期内承诺消费的最低金额（即此次购买节省计划的充值金额），单位为元。承诺消费金额最低为200，最高为20000，步长为200，并且不同有效期、不同消费金额所享受的折扣存在差异。
当有效期为1年时，不同消费金额区间所享受的折扣如下：
[200,600]：可享受 85 折。(600,3000]：可享受 8 折。(3000,20000]：可享受 7 折。
当有效期为6个月时，不同消费金额区间所享受的折扣如下：
[200,600]：可享受 8 折。(600,3000]：可享受 75 折。(3000,20000]：可享受 7 折。
点击下方链接，立即领取折扣。
>>>ES Serverless产品详情页****
>>>ES Serverless抵扣包****
五、结尾
阿里云 Elasticsearch 可以支撑多种业务场景，如日志分析、故障排查和性能监控等等，在能够高效满足传统搜索需求的同时，结合 Kibana 等生态工具，企业可快速搭建可视化报表和业务分析平台，其空间检索能力进一步扩展了应用场景。在日志管理和可观测性领域，ELK 组件协同工作，实现数据采集、投递与分析，强化了 ES 在日志管理和可观测性方面的功能。企业能高效处理搜索需求，优化用户体验，同时提升数据处理与分析的效率和准确性。
ES Serverless 8.17 在向量检索性能（高效 KNN、资源优化）、智能化弹性调度（秒级扩缩容）和成本控制（预留+弹性 CU 模式）三大维度升级，显著提升效率与用户体验。相比自建 ES，Serverless 版本免运维、自动调优、按需付费，降低资源浪费和人力成本。
阿里云 Elasticsearch 通过灵活的 API 和生态整合能力，持续帮助企业优化搜索体验，提升数据处理与分析效率，成为支撑业务创新的重要力量。
点击下方链接，助力企业以更低成本实现数据价值最大化！
>>>官方计费文档
还未添加个人签名 2020-10-15 加入
分享阿里云计算平台的大数据和AI方向的技术创新和趋势、实战案例、经验总结。
评论