Amazon ES 现更名为 Amazon OpenSearch Service 并支持 OpenSearch 1.0
从 9 月 8 日开始,Amazon Elasticsearch Service(简称:Amazon ES)在所有亚马逊云科技区域重命名为 Amazon OpenSearch Service。有关更多信息,请参阅 Amazon OpenSearch Service 页面。
https://aws.amazon.com/opensearch-service
Amazon OpenSearch Servcie 的功能增强
以下功能由 Amazon OpenSearch Servcie 提供,开源 Elasticsearch 目前不具备这些功能。
安全管理:提供加密、身份验证、授权和审计功能。包括与 Active Directory、LDAP、SAML、Kerberos、JSON Web token 等的集成。OpenSearch 还提供对索引、文档和字段的基于角色的精细访问控制。
安全管理:
https://github.com/opensearch-project/security
SQL 查询语法:提供熟悉的 SQL 查询语法。使用聚合、分组依据和 where 子句调查您的数据。以 JSON 文档或 CSV 表的形式读取数据,使您能够灵活采用最适合的格式。
SQL 查询语法:
https://github.com/opensearch-project/sql
统计报表:计划、导出和共享来自控制面板的报告、保存的搜索、警报和可视化内容。
统计报表:
https://github.com/opensearch-project/dashboards-reports
异常检测:使用基于随机森林(RCF)算法的机器学习异常检测功能,在数据被提取时自动检测异常。与警报结合使用,近乎实时地监控数据并自动发送警报通知。
异常检测:
https://github.com/opensearch-project/anomaly-detection
随机森林(RCF)算法:
https://github.com/aws/random-cut-forest-by-aws
警报:
https://github.com/opensearch-project/alerting
索引管理:定义自定义策略来自动执行例行的索引管理任务,例如滚动和删除、将它们应用于索引和索引模式,以及转换。
索引管理:
https://github.com/opensearch-project/anomaly-detection
转换:
https://opensearch.org/docs/im-plugin/index-transforms/index/
Performance Analyzer 和 RCA 框架:查询大量的集群性能指标和聚合。使用 PerfTop 命令行界面(CLI)快速显示和分析这些指标。使用根本原因分析(RCA)框架调查集群中的性能和可靠性问题。
Performance Analyzer 和 RCA 框架:
https://github.com/opensearch-project/performance-analyzer
异步搜索:运行复杂的查询,而不必担心在后台运行的异步搜索查询会超时。跟踪查询进度并检索可用的部分结果。
异步搜索:
https://github.com/opensearch-project/asynchronous-search
Trace 跟踪分析:为分布式应用程序提取和可视化 OpenTelemetry 数据。可视化这些应用程序之间的事件流,以识别性能问题。
Trace 跟踪分析:
https://github.com/opensearch-project/trace-analytics
警报:自动监控数据并向利益相关者发送警报通知。通过直观的界面和强大的 API,可轻松设置、管理和监控警报。使用 OpenSearch 完整的查询语言和脚本功能创建非常具体的警报条件。
警报:
https://github.com/opensearch-project/alerting
k-NN 搜索:使用机器学习可以对成千上万个维度的数十亿文档运行最近邻搜索算法,与普通的 OpenSearch 查询一样轻松。使用聚合和筛选子句进一步优化相似性搜索操作。K-NN 相似性搜索为产品建议、欺诈侦测、图像和视频搜索、相关文档搜索等使用案例提供支持。
k-NN 搜索:
https://github.com/opensearch-project/k-NN
竖线分隔的处理语言:提供熟悉的查询语法来查询数据,其中包含一组由竖线 (|) 分隔的命令。
竖线分隔的处理语言:
https://github.com/opensearch-project/piped-processing-language
控制面板笔记本:将控制面板、可视化、文本等结合起来,在分析数据时提供上下文和详细说明。
控制面板笔记本:
https://github.com/opensearch-project/dashboards-notebooks
OpenSearch 1.0 提供了三项新功能,它们分别是:OpenSearch 控制面板中的 Transforms(转换)、Data Streams(数据流)和 Notebooks,而 Amazon OpenSearch Service 支持的现有 Elasticsearch 版本不具备这些功能。
Transforms
https://opensearch.org/docs/im-plugin/index-transforms/index/
Data Streams
https://opensearch.org/docs/opensearch/data-streams/
Notebooks
https://opensearch.org/docs/dashboards/notebooks/
发布历史
2015 年,我们推出了 Amazon Elasticsearch Service(简称:Amazon ES),它是一项完全托管式服务,可让您轻松执行交互式日志分析、实时应用程序监控、网站搜索等。
推出了 Amazon Elasticsearch Service:
https://aws.amazon.com/blogs/aws/new-amazon-elasticsearch-service/
Amazon ES 一直是一项受欢迎的日志分析服务,因为它能够提取大量日志数据。此外,借助 UltraWarm 和冷存储层,您在 Amazon ES 上可以将成本降低到传统热存储的十分之一。Amazon ES 借助与 Logstash、Amazon Kinesis Data Firehose、Amazon CloudWatch Logs 和 Amazon IoT 集成,您可以选择符合场景要求的数据提取工具。
UltraWarm:
https://aws.amazon.com/blogs/aws/general-availability-of-ultrawarm-for-amazon-elasticsearch-service/
冷存储层
https://aws.amazon.com/blogs/big-data/introducing-cold-storage-for-amazon-elasticsearch-service/
Logstash
https://aws.amazon.com/ko/elasticsearch-service/the-elk-stack/logstash
Amazon Kinesis Data Firehose
https://aws.amazon.com/kinesis/data-firehose/
Amazon CloudWatch Logs
https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/WhatIsCloudWatchLogs.html
Amazon IoT
开发人员之所以接受开源软件,原因有很多。最重要的原因之一是能够自由地以想要的方式在想要的位置使用该软件。2021 年 1 月 21 日,Elastic NV 宣布他们将变更软件许可策略。在 Elasticsearch 版本 7.10.2 和 Kibana 7.10.2 之后,他们将不会根据宽松的 Apache 许可证 2.0 版本(Alv2)发布 Elasticsearch 和 Kibana 的新版本。相反,Elastic NV 根据 Elastic 许可证发布 Elasticsearch 和 Kibana,源代码根据 Elastic 许可证或 Server Side Public License (SSPL)提供。这些许可证不是开源的,不为用户提供同样的自由。
出于这个原因,我们决定创建并维护 OpenSearch 项目。它是一个由社区驱动的开源项目,基于 Elasticsearch 和 Kibana 的最后一个 Alv2 版本。我们在近期发布了 1.0 版本,并会长期稳定的贡献 OpenSearch 项目。
OpenSearch:
https://aws.amazon.com/blogs/opensource/introducing-opensearch/
社区驱动的开源项目:
https://aws.amazon.com/blogs/opensource/stepping-up-for-a-truly-open-source-elasticsearch/
发布了 1.0 版:
https://www.opensearch.org/blog/updates/2021/07/opensearch-general-availability-announcement/
OpenSearch 项目:
OpenSearch 提供了一个高度可扩展的系统,通过集成的可视化工具 OpenSearch 控制面板,可以快速访问和响应大量数据,使用户能够轻松浏览其数据。OpenSearch 和 OpenSearch 控制面板最初来自 Elasticsearch7.10.2 和 Kibana7.10.2。与 Elasticsearch 和 Apache Solr 一样,OpenSearch 也基于 Apache Lucene 库实现搜索引擎。
控制面板:
https://github.com/opensearch-project/OpenSearch-Dashboards
Apache Solr
Apache Lucene
推出 Amazon OpenSearch Service
我们将 Amazon Elasticsearch Service 重命名为 Amazon OpenSearch Service,因为该服务现已支持 OpenSearch 1.0。虽然名称改变,但我们将继续提供相同的体验,且不会对正在进行的、正在开发的或商业性使用的集群产生任何负面影响。
Amazon OpenSearch Service:
https://aws.amazon.com/opensearch-service/
Amazon OpenSearch Service 提供了一系列可供部署和运行的开源引擎,包括当前可用的 19 个版本的 Alv2 Elasticsearch(包括 7.10 及更早版本)以及 OpenSearch 1.0。我们会继续支持和维护 Alv2 Elasticsearch 版本,包括提供安全和错误修复。同时,我们将通过 OpenSearch 和 OpenSearch 控制面板提供全新的特性和功能。Amazon OpenSearch Service API 将与现有的服务 API 向后兼容,因此,您无需更新当前的客户端代码或应用程序。我们将使 OpenSearch 的客户端与开源兼容。
7.10 及更早版本:
OpenSearch 的客户端与开源兼容:
要开始使用,请在亚马逊云科技管理控制台中选择 Create a domain(创建域)。在步骤 1:选择部署类型中,选择 OpenSearch 1.0(最新版本)。
亚马逊云科技管理控制台:
https://console.aws.amazon.com/
如果您要部署新集群并访问最新功能和增强功能,我们建议使用 OpenSearch 1.0。OpenSearch 1.0 与开源 Elasticsearch 7.10 API 和大多数客户端兼容。
升级到 OpenSearch 1.0
Amazon OpenSearch Service 提供从现有 Elasticsearch 6.x 和 7.x 托管式集群到 OpenSearch 的无缝就地升级路径。
要了解详情,请参阅 Amazon OpenSearch Service 开发人员指南中的升级 Elasticsearch 和服务软件升级。
升级 Elasticsearch:
https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-version-migration.html
服务软件升级:
https://docs.aws.amazon.com/opensearch-service/latest/developerguide/os-version-migration.html
评论