写点什么

1 分钟解密:博睿大数据核心引擎 Bonree Zeus 六大优势

用户头像
BonreeAPM
关注
发布于: 2020 年 12 月 04 日

随着信息技术的飞速发展,企业纷纷开始将线下业务转移至线上,这使得数字化转型成为企业生存竞争的关键。而伴随数据的爆炸式增长,企业正在面对海量数据的存储和查询双重挑战,传统的关系型数据库(如MySQL)已经成为过去时,在面对大数据需求时往往会力不从心。



如同手握冷兵器的骑士在枪林弹雨中冲锋一般,在大数据时代,使用低效率的关系型数据库已经过时,不能匹配快速增长的数据需要。





“以卵击石,臣妾做不到啊!”



众所周知,企业在产品实践中都会面临联机分析处理OLAP(Online Analytical Processing)的应用场景,而OLAP的数据写多更新少,其中存在大量时序数据,需要更低的查询响应时间和更高的并发多维度查询进程。



时至今日,企业如果想要提升工作效率和业务能力,除了需要好员工,更需要与之相匹配的系统,一个好的“帮手”无疑是提升企业工作效率和工作质量的“利器”。



博睿数据(股票代码:688229)通过长期技术调研和深厚企业级数据经验积淀,自主研发了Bonree Zeus系统。Bonree Zeus是基于Apache Druid二次开发的分布式实时分析数据库,支持PB级数据存储,亚秒级高并发查询,并支持结构化数据和日志数据存储,拥有预聚合、高压缩比等特性。Bonree Zeus系统为博睿数据众多产品提供了稳定可靠的数据仓库支撑。



Bonree Zeus六大优势



01.高速且高效



Bonree Zeus使用位图索引,高效支持快速过滤和多列搜索,能够迅速过滤出客户想要的数据,并为即席查询(Ad Hoc)提供了高效的索引。



其提供了近似计算能力,面对高基数数据,能够在精度相对不高的情况下,用有限的内存和时间,快速获取排名、基数、直方图和分位值。



同时,其在存储上可以按时间分区,根据时间查找时序数据的效率大大提升。



Bonree Zeus支持多时间粒度预聚合,面对大时间跨度的历史数据查询,客户能够切身感受到“飞一般的感觉”。



基于列式存储,Bonree Zeus查询时可以只加载需要的列,而实际大部分查询语句也只涉及部分列的查询,所以这种独特的列式存储思路极大提升了查询速度,使得大多数查询可以在1秒内完成。



值得一提的是,Bonree Zeus还可以发挥集群并行计算能力,使得数据入库和查询可以在多个节点上并行处理。



02.自动化



DPL(Data Processing Language)是博睿数据所致力于开发的一种类SPL(Searching Processing Language)查询语言。其包含了丰富的命令、函数、参数和从句,来完成多样的数据查询,让用户不需要编程就能达到数据分析的效果。



这一语言同时支持join外部数据源联查,如Zeus数据和mysql联查,这极大降低了开发者的工作量。要知道,过去遇到这样的场景,程序员可是需要自行手工实现join过程的。



03.为日志查询赋能



Bonree Zeus支持日志数据的存储和简单的全文检索,并集成了结构化数据和非结构化数据存储的特性。过去,在日志场景中,很多客户都需要额外用ES(Elastic Search)来进行检索,现在,Bonree Zeus则提供了另外一种更加简便高效的选择。



04.节省存储空间



Bonree Zeus在数据入库的同时可以进行实时预聚合,摒弃那些企业用不到的时间精度,并进而将多条数据存为一条。这一方法,显著提升了存储效率并降低了由此带来的性能开销。



基于列式存储的Bonree Zeus,能够对不同类型的数据列采用不同针对性的压缩算法,例如字典编码、位图压缩和类型感知压缩,这使得双副本条件下数据压缩比可达7:2。



05.高并发兼具高吞吐量



Bonree Zeus提供了百万级records每秒的入库速度,并同时支持高并发查询支持,保证数据一致性。



06.高可靠,高弹性



一旦Bonree Zeus把数据入库,数据的副本就会存储至深度存储中(支持云存储、HDFS或者共享文件系统)。即使单台数据节点宕机,其仍可以从深度存储中恢复数据。Bonree Zeus所采用的的这一副本机制,同时保证了数据恢复时不会影响查询结果和查询性能。



除此之外,Bonree Zeus所有的节点都支持水平扩展。当系统容量和资源不够时,这一水平扩展模式就可以派上用场。





Bonree Zeus 应用场景:站在用户的角度去思考



Bonree Zeus已经在博睿数据的客户群体中进行了长期和广泛的应用。在博睿数据产品中,Bonree Zeus常见的使用方式如图所示:





这一方法可以从大量的应用服务、中间件服务、手机App、Web页面(含各种终端)、小程序和IT基础设施中采集海量数据,并经过预处理和清洗之后写入消息队列,Bonree Zeus可以在实时节点自动消费消息队列完成数据写入,并将数据最终存储到Bonree Zeus的历史节点。



与此同时,报表展示平台、告警服务、数据挖掘和AIOps都能够从Bonree Zeus查询到各自需要的数据,AIOps会将模型训练数据以及预测结果写回Bonree Zeus实时节点,从而形成数据闭环。



利用这一闭环,Bonree Zeus实现了典型的五类应用场景:



· 应用性能管理APM (Application Performance Management)



APM主要是对服务器的各种性能指标数据和少量日志数据进行应用。



· IT基础设施管理ITIM (IT Infrastructure Management)



ITIM工具捕获IT硬件设备、软件和网络设备的各种资源利用指标和网络统计指标。



· 数字化体验管理DEM (Digital Experience Management)



相对APM,DEM更加侧重于用户端性能数据的调取,其中包含指标数据、日志数据。



· 网络性能管理NPM (Network Performance Management)



NPM侧重于网络本身以及网络中的固定服务的可用性,其应用的主要形式也是指标数据。



· 数据挖掘和AIOps (Artificial intelligence for IT Operations)



面对海量数据,Bonree Zeus提供的高并发低延时的查询和高吞吐量的入库特性,为数据挖掘和AIOps提供了实时可靠的数据原料和数据仓库。



经过10余年行业深耕,博睿数据如今已经在数据采集、数据处理、数据存储、数据分析等核心环节具有较强的竞争力,能够满足国内企业不断变化升级的市场需求。



面对新形势下的挑战,博睿数据正在积极拥抱新技术变革的浪潮。Bonree Zeus基于自研的 PB 量级数据列式压缩存储及响应式分析技术,正在帮助越来越多企业,对业务产生的海量数据进行落盘存储和快速查询分析。



用户头像

BonreeAPM

关注

让IT运营更智能 2019.09.18 加入

北京博睿宏远数据科技股份有限公司(股票简称:博睿数据,股票代码:688229)是中国APM(应用性能管理)技术的领导厂商,成立于2008年。公司专注于利用数据赋能IT运维,助力企业数字化转型成功。

评论

发布
暂无评论
1分钟解密:博睿大数据核心引擎Bonree Zeus六大优势