1 分钟解密：博睿大数据核心引擎 Bonree Zeus 六大优势

随着信息技术的飞速发展，企业纷纷开始将线下业务转移至线上，这使得数字化转型成为企业生存竞争的关键。而伴随数据的爆炸式增长，企业正在面对海量数据的存储和查询双重挑战，传统的关系型数据库(如MySQL)已经成为过去时，在面对大数据需求时往往会力不从心。



如同手握冷兵器的骑士在枪林弹雨中冲锋一般，在大数据时代，使用低效率的关系型数据库已经过时，不能匹配快速增长的数据需要。





“以卵击石，臣妾做不到啊！”



众所周知，企业在产品实践中都会面临联机分析处理OLAP(Online Analytical Processing)的应用场景，而OLAP的数据写多更新少，其中存在大量时序数据，需要更低的查询响应时间和更高的并发多维度查询进程。



时至今日，企业如果想要提升工作效率和业务能力，除了需要好员工，更需要与之相匹配的系统，一个好的“帮手”无疑是提升企业工作效率和工作质量的“利器”。



博睿数据（股票代码：688229）通过长期技术调研和深厚企业级数据经验积淀，自主研发了Bonree Zeus系统。Bonree Zeus是基于Apache Druid二次开发的分布式实时分析数据库，支持PB级数据存储，亚秒级高并发查询，并支持结构化数据和日志数据存储，拥有预聚合、高压缩比等特性。Bonree Zeus系统为博睿数据众多产品提供了稳定可靠的数据仓库支撑。



Bonree Zeus六大优势



01.高速且高效



Bonree Zeus使用位图索引，高效支持快速过滤和多列搜索，能够迅速过滤出客户想要的数据，并为即席查询(Ad Hoc)提供了高效的索引。



其提供了近似计算能力，面对高基数数据，能够在精度相对不高的情况下，用有限的内存和时间，快速获取排名、基数、直方图和分位值。



同时，其在存储上可以按时间分区，根据时间查找时序数据的效率大大提升。



Bonree Zeus支持多时间粒度预聚合，面对大时间跨度的历史数据查询，客户能够切身感受到“飞一般的感觉”。



基于列式存储，Bonree Zeus查询时可以只加载需要的列，而实际大部分查询语句也只涉及部分列的查询，所以这种独特的列式存储思路极大提升了查询速度，使得大多数查询可以在1秒内完成。



值得一提的是，Bonree Zeus还可以发挥集群并行计算能力，使得数据入库和查询可以在多个节点上并行处理。



02.自动化



DPL(Data Processing Language)是博睿数据所致力于开发的一种类SPL(Searching Processing Language)查询语言。其包含了丰富的命令、函数、参数和从句，来完成多样的数据查询，让用户不需要编程就能达到数据分析的效果。



这一语言同时支持join外部数据源联查，如Zeus数据和mysql联查，这极大降低了开发者的工作量。要知道，过去遇到这样的场景，程序员可是需要自行手工实现join过程的。



03.为日志查询赋能



Bonree Zeus支持日志数据的存储和简单的全文检索，并集成了结构化数据和非结构化数据存储的特性。过去，在日志场景中，很多客户都需要额外用ES(Elastic Search)来进行检索，现在，Bonree Zeus则提供了另外一种更加简便高效的选择。



04.节省存储空间



Bonree Zeus在数据入库的同时可以进行实时预聚合，摒弃那些企业用不到的时间精度，并进而将多条数据存为一条。这一方法，显著提升了存储效率并降低了由此带来的性能开销。



基于列式存储的Bonree Zeus，能够对不同类型的数据列采用不同针对性的压缩算法，例如字典编码、位图压缩和类型感知压缩，这使得双副本条件下数据压缩比可达7:2。



05.高并发兼具高吞吐量



Bonree Zeus提供了百万级records每秒的入库速度，并同时支持高并发查询支持，保证数据一致性。



06.高可靠，高弹性



一旦Bonree Zeus把数据入库，数据的副本就会存储至深度存储中(支持云存储、HDFS或者共享文件系统)。即使单台数据节点宕机，其仍可以从深度存储中恢复数据。Bonree Zeus所采用的的这一副本机制，同时保证了数据恢复时不会影响查询结果和查询性能。



除此之外，Bonree Zeus所有的节点都支持水平扩展。当系统容量和资源不够时，这一水平扩展模式就可以派上用场。





Bonree Zeus 应用场景：站在用户的角度去思考



Bonree Zeus已经在博睿数据的客户群体中进行了长期和广泛的应用。在博睿数据产品中，Bonree Zeus常见的使用方式如图所示：





这一方法可以从大量的应用服务、中间件服务、手机App、Web页面(含各种终端）、小程序和IT基础设施中采集海量数据，并经过预处理和清洗之后写入消息队列，Bonree Zeus可以在实时节点自动消费消息队列完成数据写入，并将数据最终存储到Bonree Zeus的历史节点。



与此同时，报表展示平台、告警服务、数据挖掘和AIOps都能够从Bonree Zeus查询到各自需要的数据，AIOps会将模型训练数据以及预测结果写回Bonree Zeus实时节点，从而形成数据闭环。



利用这一闭环，Bonree Zeus实现了典型的五类应用场景：



· 应用性能管理APM (Application Performance Management)



APM主要是对服务器的各种性能指标数据和少量日志数据进行应用。



· IT基础设施管理ITIM (IT Infrastructure Management)



ITIM工具捕获IT硬件设备、软件和网络设备的各种资源利用指标和网络统计指标。



· 数字化体验管理DEM (Digital Experience Management)



相对APM，DEM更加侧重于用户端性能数据的调取，其中包含指标数据、日志数据。



· 网络性能管理NPM (Network Performance Management)



NPM侧重于网络本身以及网络中的固定服务的可用性，其应用的主要形式也是指标数据。



· 数据挖掘和AIOps (Artificial intelligence for IT Operations)



面对海量数据，Bonree Zeus提供的高并发低延时的查询和高吞吐量的入库特性，为数据挖掘和AIOps提供了实时可靠的数据原料和数据仓库。



经过10余年行业深耕，博睿数据如今已经在数据采集、数据处理、数据存储、数据分析等核心环节具有较强的竞争力，能够满足国内企业不断变化升级的市场需求。



面对新形势下的挑战，博睿数据正在积极拥抱新技术变革的浪潮。Bonree Zeus基于自研的 PB 量级数据列式压缩存储及响应式分析技术，正在帮助越来越多企业，对业务产生的海量数据进行落盘存储和快速查询分析。