openGemini v0.2.0 版本正式发布:5 大特性全面增强
openGemini 是华为云面向物联网和运维监控场景开源的一款云原生分布式时序数据库,兼容 InfluxDB API,具有高性能、高并发、高扩展等特点。openGemini 已在华为云内部广泛使用,如 SRE 基础设施运维监控系统、IoT 物联平台等。其云服务 GaussDB(for Influx)已服务超过 100 家来自物联网、车联网、智能制造等行业客户。
openGemini v0.2.0 版本正式上线!
openGemini v0.2.0 版本与之前版本特性功能保持兼容,并新增了 5 大特性,欢迎体验使用 v0.2.0 版本!
https://github.com/openGemini/openGemini/releases/tag/v0.2.0
5 大特性全面了解
支持 Linux ARM64 架构服务器适配
openGemini 可在鲲鹏服务器或者其他 ARM64 架构的物联网设备上运行,单机性能相比 InfluxDB 提升了 2-5 倍,海量数据场景下 openGemini 性能更是大幅提升。
支持 Docker 容器化部署
openGemini 提供了 dockerfile 和相关脚本,支持在 KubeEdge 和 K8s 平台部署集群。由于容器重新拉起后,IP 地址随之变化,openGemini 新增域名功能,确保集群节点在容器重启后依然可以保持连通。
应用部署文档见:https://github.com/openGemini/openGemini/tree/main/docker
openGemini 自有客户端工具 ts-cli
ts-cli 兼容 Influx 用法,支持 openGemini 数据写入和查询的全部语句,还提供了 openGemini 常用命令的语法提示和查询时延回显功能,与 Influx 相比,目前暂不支持 auth、数据导入导出等功能。
下载社区二进制安装包,解压后,ts-cli 在 usr/bin 目录下,与其他组件二进制一起。如果通过源码编译方式,源码成功编译后,在 ts-cli 在 build 目录中。
新增 AI 时序数据分析算子 castor
openGemini 提供一套基于 AI 的数据分析引擎,该引擎支持独立节点部署,用于对 castor 算子提供异常检测能力。目前 castor 算子能检测的异常场景包括:
数据突增突降异常,比如用于网络流量和服务器负载的波动异常分析
数据超过阈值异常,比如用于油井下有毒气体、可燃气体浓度的告警
数据持续增长或持续下降,比如用于建筑内部或数据中心的温度监测告警
详细介绍见:http://www.opengemini.org/docs Data Analysis
提供高性能数据分析 Python 库 openGemini-castor
openGemini-castor 是一个数据分析 Python 库,包含了多种基于 AI 的数据异常检测算法,为 castor 算子提供具体的分析算法支持。openGemini-castor 库具备如下特性:
高性能分析:支持每秒万级指标(时间线)实时、并发检测。
流式检测:多种异常检测器都对流式异常检测做了相应的支持。完成流式数据的实时检测,只需缓存少量数据且每次不必输入大量历史数据,从而可以有效地缓解计算压力。
告警抑制:针对不同场景,可以组合使用多种告警抑制器,以抑制误报和重复告警。
严重程度分级:根据多种异常出现情况,按严重程度对异常进行分类。辅助开发者对故障严重程度的判断。
灵活的算法编排:可通过配置参数灵活地制定检测流程。其中,异常检测器、告警抑制器和严重程度分级器都可以根据不同的需求进行配置。
访问https://github.com/openGemini/openGemini-castor,了解更多详情
v0.1.0 提供了哪些能力?
openGemini v0.1.0 虽然为初始版本,但在高性能、高安全、工具链、企业级特性、可扩展性、功能等五个方面已具备生产环境可使用的完整能力。
高性能
openGemini 采用了 MPP 大规模并行处理分层架构,针对物联网、运维监控等领域海量数据管理和分析诉求,对计算引擎和存储引擎做了大量的优化设计,取得了明显效果。
支持亿级指标管理
每秒千万级指标数据并发写入
查询万级指标数据毫秒级响应
相比开源的单机版 InfluxDB,openGemini 单机版写入性能提升 5 倍,复杂查询响应时间缩短 60 倍。
高安全
openGemini 支持数据传输加密和用户密码鉴权,支持用户弱密码校验和审计日志。此外,openGemini 集群的各组件之间通信采用了 HTTPS 双向认证(Mutual TLS),确保每一个链接都是可信的。
企业级特性
openGemini 在 v0.1.0 版本中提供了如下企业级特性:
采用列式数据存储,不同数据类型对应不同的数据压缩算法,相比传统关系型数据库,存储数据量可缩减 10-20 倍,可支持 PB 级指标数据的长期高效存储。相比 HBase,存储空间节省 90%以上
支持数据保留策略,数据过期后自动删除
支持写前日志(WAL),确保设备掉电后数据不丢失
提供集群横向扩展能力,支持大并发数据访问
结合时序数据特点,数据分热、温、冷多级存储,进一步提升了查询性能;
提供了开源监控工具 ts-monitor,可采集 260 余种内核和服务器关键监控指标,更好的观察系统的运行状况,快速定位和解决问题。
功能
openGemini 提供丰富的分析算子(COUNT、SUM、MAX、MIN、LAST、MEAN 等)60+种、统计分析算子(PERCENTILE 分位数、HISTOGRAM 直方图);支持 TAG;支持嵌套查询。完全兼容 InfluxDB 内置函数功能。
可扩展性
openGemini 集群由 ts-sql、ts-store、ts-meta 组成,ts-sql 和 ts-store 可根据业务复杂进行灵活扩展,可支持 100+节点的集群规模。
工具链
openGemini 兼容 InfluxDB API,因此 InfluxDB 支持 1.x 版本的工具链可以直接与 openGemini 对接。openGemini 生态图谱如下图所示:
结束
感谢 openGemini 社区所有贡献者
物联网、运维监控就选 openGemini,openGemini 社区邀您一起,共创新、赢未来!
版权声明: 本文为 InfoQ 作者【华为云开发者联盟】的原创文章。
原文链接:【http://xie.infoq.cn/article/de7251272ceb109d96cba7c82】。文章转载请联系作者。
评论