写点什么

站在全新的业务视角,重新认识 Bonree Zeus

作者:博睿数据
  • 2022 年 5 月 18 日
  • 本文字数:3015 字

    阅读完需:约 10 分钟

站在全新的业务视角,重新认识 Bonree Zeus

毋庸置疑,当今 IT 运维的重要性正在被更多企业熟知。

根据艾瑞预测数据显示,2021 年中国 IT 服务将突破万亿大关,其中 IT 运维市场规模将达到 2941.2 亿元。

​市场规模的另一面是增长速度。IT 桔子数据显示,截止 2021 年 8 月,IT 运维赛道融资金额达 21.786 亿元人民币,较去年同期的 10.66 亿元人民币,增长了一倍多。

从 IT 运维软件的市场规模来看,Gartner 认为全球的 ITOM(IT Operation Management)的市场规模到 20 年底达到了 339 亿美元,同期艾瑞咨询预计国内的市场规模大约在 114 亿人民币左右。数据看上去似乎并不大,但如果从整个 IT 运维管理服务市场的角度切入,中国市场空间仅 2020 年就预计超过 2500 亿。

显然,IT 运维这个赛道正在被重塑。


IT 运维企业的业务冗杂难题

但从 IT 运维的业务场景而言,枝叶繁杂众多,对于 IT 运维人员而言,压力也是倍增的。如何兼顾提升业务性能,减轻运维压力是当下 IT 运维企业们的普遍难题。

以博睿数据为例。

博睿数据作为 IT 运维领域的老兵,自成立以来,依托多年的技术积累,不断更新迭代出了多款智能运维产品。

众所周知,监控系统是整个运维环节,乃至整个产品生命周期中最重要的一环。通过监控系统,企业事前可以及时预警发现故障,事后也可利用系统提供翔实的数据用于追查定位问题。而保证上线的各项系统按照预期稳定运行,监控甚至预测什么时候可能会出现故障或风险,快速明确导致故障出现的原因,并提出行之有效的解决方案,是运维的主要工作。

在这个过程中,运维人员要想高效快速的解决企业的运维问题,就必须要收集海量的数据,比如博睿数据 Bonree SDK 和博睿数据 Bonree Server 每天要写入上 T 的原始数据。当然,除了海量的数据外,数据一般都是具有时间戳的,决定数据价值的也往往是最新的数据,这也决定了其对实时性的要求,当运维数据发生告警时,第一时间告知客户。

此外,为了及时有效的帮助客户提出有效的解决办法,运维人员还需要对数据进行分析,分析方法包括:

即席查询分析,即当监控发现问题时马上对实时数据进行分析;

长周期分析,及查看 3 个月时间跨度的数据;

多维分析,即从各种维度进行分析;

关联分析,即对各类数据进行联合关联分析等等。


不过,随着数字化转型的深入,更加复杂的 IT 基础设施和大量的业务系统也让运维人员们开始思考如何在兼顾性能及运维压力上作出平衡。而这也是博睿数据 Bonree Zeus 产品发布的一个重要契机。


博睿数据 Bonree Zeus 是什么?

由前文可知,对于运维工作而言,数据分析对业务的提升功不可没。而数据处理大致可以分为两类:联机事务处理 OLTP、联机分析处理 OLAP。

说到联机分析处理则与 Bonree Zeus 的产品研发有着很大的关系。

OLAP(OnLine Analysis Processing ,联机分析处理 ) 是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。在实际的商业分析中,OLAP 联机分析更多的是指对数据分析的一种解决方案。

根据博睿数据多年来对于市场的敏锐观察发现企业在产品实践中都会面临联机分析处理 OLAP(Online Analytical Processing)的应用场景,而 OLAP 的数据写多更新少,其中存在大量时序数据,需要更低的查询响应时间和更高的并发多维度查询进程。

因此,博睿数据认为,在数字化转型的大潮下,我们需要一款契合业务、高性能、低成本、自主可控、易运维的产品。于是,通过长期技术调研和深厚企业级数据经验积淀,自主研发了 Bonree Zeus 系统。


Bonree Zeus 是基于 Apache Druid 二次开发的分布式实时分析数据库,支持 PB 级数据存储,亚秒级高并发查询,并支持结构化数据和日志数据存储,拥有预聚合、高压缩比等特性。Bonree Zeus 系统为博睿数据众多产品提供了稳定可靠的数据仓库支撑。


Bonree Zeus 由 ZeusManager、Query Server、Master Server 及 Data Server 组成,均支持水平扩展。​

ZeusManager 主要负责提供用户 API 访问,用户可以通过 ZeusManager 建库,建表,写入数据,查询数据及 Job 管理。

Query Server 主要负责查询,当数据存储在 Data Server 后,Query Server 可以查询多个 Data Server 上数据,并进行汇总再返回给用户。

Data Server 分成 2 个部分,一个是 Middle Manager,主要负责实时数据写入,一个是 Historical,主要负责历史数据查询。


Bonree Zeus 能做什么?


1、高速高效

Bonree Zeus 使用位图索引,高效支持快速过滤和多列搜索,能够迅速过滤出客户想要的数据,并为即席查询(Ad Hoc)提供了高效的索引。

其提供了近似计算能力,面对高基数数据,能够在精度相对不高的情况下,用有限的内存和时间,快速获取排名、基数、直方图和分位值。

同时,其在存储上可以按时间分区,根据时间查找时序数据的效率大大提升。

Bonree Zeus 支持多时间粒度预聚合,面对大时间跨度的历史数据查询,客户能够切身感受到“飞一般的感觉”。

基于列式存储,Bonree Zeus 查询时可以只加载需要的列,而实际大部分查询语句也只涉及部分列的查询,所以这种独特的列式存储思路极大提升了查询速度,使得大多数查询可以在 1 秒内完成。


值得一提的是,Bonree Zeus 还可以发挥集群并行计算能力,使得数据入库和查询可以在多个节点上并行处理。


​2、自动化

DPL(Data Processing Language)是博睿数据所致力于开发的一种类 SPL(Searching Processing Language)查询语言。其包含了丰富的命令、函数、参数和从句,来完成多样的数据查询,让用户不需要编程就能达到数据分析的效果。


​这一语言同时支持 join 外部数据源联查,如 Zeus 数据和 mysql 联查,这极大降低了开发者的工作量。要知道,过去遇到这样的场景,程序员可是需要自行手工实现 join 过程的。​


​3、为日志查询赋能

Bonree Zeus 支持日志数据的存储和简单的全文检索,并集成了结构化数据和非结构化数据存储的特性。过去,在日志场景中,很多客户都需要额外用 ES(Elastic Search)来进行检索,现在,Bonree Zeus 则提供了另外一种更加简便高效的选择。


4、节省存储空间

Bonree Zeus 在数据入库的同时可以进行实时预聚合,摒弃那些企业用不到的时间精度,并进而将多条数据存为一条。这一方法,显著提升了存储效率并降低了由此带来的性能开销。


基于列式存储的 Bonree Zeus,能够对不同类型的数据列采用不同针对性的压缩算法,例如字典编码、位图压缩和类型感知压缩,这使得双副本条件下数据压缩比可达 7:2。


5、并发兼具高吞吐量

Bonree Zeus 提供了百万级 records 每秒的入库速度,并同时支持高并发查询支持,保证数据一致性。


6、高可靠,高弹性

一旦 Bonree Zeus 把数据入库,数据的副本就会存储至深度存储中(支持云存储、HDFS 或者共享文件系统)。即使单台数据节点宕机,其仍可以从深度存储中恢复数据。Bonree Zeus 所采用的的这一副本机制,同时保证了数据恢复时不会影响查询结果和查询性能。

除此之外,Bonree Zeus 所有的节点都支持水平扩展。当系统容量和资源不够时,这一水平扩展模式就可以派上用场。


结语

Bonree Zeus 已经在博睿数据的客户群体中进行了长期和广泛的应用。具体而言,在 APM 领域可对 APM 类型的数据进行存储分析;在 ITIM 领域可用作服务器指标存储;在 DEM 领域可用作网络监控指标存储及分析;在 NPM 领域可用做 NPM 指标数据存储及分析;在指标分析层面,可以存储应用程序各类指标,并提供查询;在数字营销或广告分析层面可以实时摄取各类点击数据,用作广告效应分析;在 OLAP 层面能够支撑各种 dashboard,提供给数据分析师进行多维分析。

未来,Bonree Zeus 依旧会不断打磨自身产品,帮助越来越多的企业,对业务产生的海量数据进行落盘存储和快速查询分析,助力更多企业的数字化转型业务。​​​​

发布于: 刚刚阅读数: 3
用户头像

博睿数据

关注

还未添加个人签名 2021.07.02 加入

专注于利用数据赋能IT运维,助力企业数字化转型成功

评论

发布
暂无评论
站在全新的业务视角,重新认识 Bonree Zeus_APM_博睿数据_InfoQ写作社区