INFINI Labs 产品更新 | Gateway 支持基于 Kafka 的复制能力，发布 Helm Charts 部署方式

INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增了索引字段相关统计 API，优化了 source_reuse 提升压缩效率；Gateway 新增诸多新特性，如：支持基于 Kafka 的复制能力，添加可插拔的分布式锁实现，新增 CPU 资源限制等功能；Console 本次主要优化了数据迁移功能，迁移任务详情页新增了若干指标图和日志查看等功能。

欢迎大家下载使用和反馈。

INFINI Helm Charts v0.1.0

INFINI Helm Charts 是一组 Kubernetes 部署包管理工具。基于 Helm Charts，我们将 INFINI Labs 旗下相关产品预先配置好程序资源包，大大简化了部署流程。Github 仓库地址：https://github.com/infinilabs/helm-charts。

Helm Charts 本次更新如下：

Features

• 添加 Console Chart

• 添加 Easysearch Chart，支持单节点以及多节点（节点角色可配置）部署

部署视频演示：

• 如何通过 Helm Chart 部署 Easysearch
  

• 如何通过 Helm Chart 部署 Console
  

博客文章：

• 如何通过 Helm Chart 部署 Easysearch
  

INFINI Easysearch v1.6.0

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Features

• 新增 _field_usage_stats API，统计索引每个字段的访问次数

• 新增 _disk_usage API，可以分析指定索引每个字段的磁盘占用大小

• 增加 flattened 类型，将 JSON 对象作为字符串处理，可以减少嵌套 JSON 型的文档的大小

Improvements

• source_reuse 增加对 _source 中数字类型的值进行复用压缩，可进一步降低 _source 磁盘占用

• 改进 source_reuse 筛选字段的逻辑

INFINI Gateway v1.18.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Breaking changes

• 彻底移除了 request_body_truncate 和 response_body_truncate 过滤器

Features

• 支持基于 Kafka 的复制能力

• 在请求上下文中添加 _util.generate_uuid

• 在请求上下文中添加 _util.increment_id.BUCKET_NAME

• 在 Pipeline 配置中添加 singleton，防止多个 Pipeline 同时运行

• 添加可插拔的分布式锁实现

• 添加通用应用程序的 preference 配置

• 泛化队列抽象，重构磁盘队列，完善 Kafka 实现

• 添加 merge_to_bulk 处理器， 废弃 indexing_merge 处理器

• 添加 flow_replay 处理器，废弃 flow_runner 处理器

• 为复制场景添加 replication_correlation

• 添加 hash_mod 过滤器

• 在 bulk_response_process 过滤器中添加新参数

• 添加 request_reshuffle 过滤器

• 添加资源限制，允许设置最大 CPU 数或绑定亲和性

• 支持模板中的嵌套变量

• 添加 rewrite_to_bulk 过滤器

Bug fix

• 修复了 Pipeline 中重试延迟未生效的问题

• 修复了模板中不支持数字的问题

• 修复了队列选择器通过标签的问题，如果指定了多个标签，它们都应该一起匹配

Improvements

• 将所有模块名称转换为小写

• 在启动期间预取 Elasticsearch 元数据

• 添加应用程序范围的关闭信号

• 重构队列 API，支持 Kafka 管理

• 在 Badger 模块中添加 enabled

• 允许使用优先级注册模块/插件

• 统一队列的使用和初始化

• 优化 bulk_reshuffle 过滤器的性能，添加响应头 X-Bulk-Reshuffled

• 支持在 queue 过滤器中使用变量，允许输出最后生成的消息偏移量

INFINI Console v1.8.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Features

• 数据迁移任务支持自定义名称和添加标签

• 数据迁移任务详情页新增若干指标

• 数据迁移任务详情页新增查看日志

Improvements

• 数据迁移 UI 优化

• 优化监控报表、数据看板、数据探索的时间控件 UI

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• INFINI Gateway： https://github.com/infinilabs/gateway/issues
  

• INFINI Console： https://github.com/infinilabs/console/issues
  

• 下载地址： https://www.infinilabs.com/download
  

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.com/invite/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com