写点什么

用 Easysearch 帮助大型车企降本增效

作者:极限实验室
  • 2024-02-02
    湖南
  • 本文字数:1038 字

    阅读完需:约 3 分钟

用 Easysearch 帮助大型车企降本增效

最近某头部汽车集团需要针对当前 ES 集群进行优化,背景如下:


ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用,合计超 50 余套集群,累计数据超 1.5PB 。


本文针对其中一个 ES 集群进行分享,该集群原本使用的是 ES 7.3.2 免费版,数据已经 130TB 了,14 个节点。写入数据时经常掉节点,写入性能也不稳定,当天的数据写不完。迫切需要新的解决方案。


分析业务场景后总结需求要点:主要是写,很少查。审计需求,数据需要长期保存。


这个需求比较普遍,处理起来也很简单:


  • 使用 Easysearch 软件,只需少量节点存储近两天的数据。

  • 索引设置开启 ZSTD 压缩功能,节省磁盘空间。

  • 每天索引数据写完后,第二天执行快照备份存放到 S3 存储。

  • 备份成功后,删除索引释放磁盘空间。

  • 需要搜索数据时,直接从快照搜索。



将近期的数据,存放到本地磁盘,保障写入速度。写入完毕的索引,在执行快照备份后,可删除索引,释放本地磁盘空间。

Easysearch 配置要点

path.repo: ["/S3-path"]node.roles: ["data","search"]node.search.cache.size: 500mb
复制代码


  • path.repo : 指定 S3 存储路径,上传快照用。

  • node.roles : 只有 search 角色的节点,才能去搜索快照中的数据。

  • node.search.cache.size : 执行快照搜索时的,缓存大小。


更多信息请参考官方文档

旧数据迁移

通过 console 将原 ES 集群的数据,迁移到新 Easysearch 集群。迁移时,复制 mapping 和 setting,并在 setting 中添加如下设置。


"codec": "ZSTD","source_reuse": true,
复制代码




原索引数据量大,可拆分成多个小任务。



迁移完,索引存储空间一般节省 50% 左右。原索引 279GB ,迁移完后 138GB。


搜索快照数据

挂载快照后,搜索快照里的索引和搜索本地的索引,语法完全一样。



如何判断一个索引是在快照还是本地磁盘呢?可以查看索引设置里的 settings.index.store.type



如果是 remote_snapshot ,说明是快照中的数据。如果是空值,则是集群本地的数据。这次迁移,节省了 6 台主机资源。更重要的是,用上对象存储后,主机磁盘空间压力骤减。

关于 Easysearch


INFINI Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。


官网文档:https://www.infinilabs.com/docs/latest/easysearch


下载地址:https://www.infinilabs.com/download

发布于: 刚刚阅读数: 5
用户头像

简单、易用、极致、创新 2021-11-22 加入

极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

评论

发布
暂无评论
用 Easysearch 帮助大型车企降本增效_索引_极限实验室_InfoQ写作社区