Bonree ONE 技术带动「新质」可观测

2024 年 4 月 25 日，博睿数据 Bonree ONE 2024 春季正式版焕新发布，以全息观测、体验至上、轻锐交付三项特性开启智能运维新篇章。点击文末“阅读原文”，立即申请试用。

作者｜博睿数据数智能力中心负责人-太道

随着数字化转型的深入，企业对于 IT 系统的可观测性提出了更高的要求。可观测性不仅关乎系统的稳定性和安全性，更是企业决策和运营效率的重要保障。Bonree ONE 作为国内领先的一体化智能可观测平台，本次春季版的发布，在新一代技术变革中为生产力升级保驾护航，后台三板斧（高效能架构、高技术引擎、高质量数据）让可观测更“新质”。

高效能架构

架构是 IT 系统的骨架，决定了系统的稳定性和扩展性。高效能架构需要具备轻量化、高可用和易维护性，以适应不断变化的业务需求和技术环境。Bonree ONE 在本次春季版中从以下几个方面做了技术上的提升。

1. 多地多中心

Bonree ONE 平台支持异地多活的高可用架构。一般在金融或其他重要业务领域中，客户业务数据分布在多城市多数据中心（DC），同时对可观测性平台也是一样的能力要求。具体需要可观测平台具备数据本地存储（避免过多占用跨地带宽），多数据中心资源可以全局统一管理但权限又可以灵活，并且调用链要包含完整的跨数据中心的调用过程和详情。这对万亿级以上数据平台的技术挑战极大。Bonree ONE 技术底座实现了数据本地化存储，在 ClickHouse 集群存储层实现分布式表，本地先计算一次后再聚合数据分析结果（当然，里面有很多技术细节的考虑），并通过 OneService 的统一联邦数据服务建立全局数据地图和动态路由，做到了跨地跨中心计算，既做到了数据分开存，也做到了可以全局分析，还做到了任一节点的服务高可用和数据高可用。例如我们的四地八中心底层架构：

2. 存储瘦身

早期时候，调用链、会话、日志的数据存到了 Elasticsearch。我们历史架构如下图，大数据团队需要维护多种存储。比如，告警业务 A 说要做 AI 训练，就得自己加工一份时序数据到 HDFS，指标中心业务 B 说加工指标，就自己加工一条链路到 ClickHouse，DEM 业务 C 想做会话分析，APM 业务 D 又想做调用链分析，日志业务 E 还想做日志分析，那么业务 C、D、E 就分别加工各自数据到 ES，这就导致完全各自业务各自加工存储。这样烟囱式的发展到一定程度后，数据不好管理，资源浪费严重，并且各业务之间数据很难做关联式的统计和分析（比如用户的网络请求和后端调用链关联的多端打通场景），产品迭代越来越重。

在 IT 架构中，只要组件多、存储重，很多问题就会暴露。为了彻底解决数据底层割裂、资源成本、性能、稳定性等问题，本次 Bonree ONE 春季版将所有信号数据全部迁移到了 ClickHouse 中，彻底下线了 ES。

经过本次 Bonree ONE 架构瘦身治理和全面技术优化，博睿数据公有云千亿数据量的集群，下线了所有 ES 机器 24 台（16C32G 配置），扩容了 10 台 CK，节省了 58%机器成本。如果从资源占用比例看，收益更大：

3.  ZooKeeper 瘦身

众所周知，大数据很多开源引擎都用 ZooKeeper 做分布式协调和数据同步。作为 ClickHouse 大数据底座，我们原先架构也是用默认的用 ZooKeeper 去做数据管理。但随着数据量和数据种类不断扩充的情况下，ClickHouse 集群对于 ZooKeeper 的压力越来越大。例如在基于实时性要求高的告警数据入库查询时，数据查询的实时性要求秒级返回，ZooKeeper 会出现性能瓶颈（比如一套 ZK 集群最多支持 5 个 shard），资源占用和维护成本非常高，还经常出现 fullgc 和 zxid 溢出的故障发生。显然，我们把调用链数据和日志数据迁移到 ClickHouse 后，原有 ZK 方案明显支持不住，如下图，看层次就非常复杂，20 个 shard 需要 5 套 ZK 集群，每套 ZK 又有三个实例，在扩容和安装升级过程中，一步都不能错，否则就容易出问题。

本次 Bonree ONE 春季版中做了架构升级，我们把 ClickHouse 的 ZK 替换成了固定一套 ClickHouse-Keeper 的方案，同时从技术解决了多套转一套、ZK 加密鉴权

的问题。如下图，从层次看就很精简了：

4.  安装包瘦身

在私有化安装包瘦身方面，我们技术也一直追求极致，所谓“加能力不加体积！小 u 盘就代表实力！”。经过一年的努力，我们安装包在依赖包精简、dockerfile 镜像合并压缩、程序包精简、基础镜像瘦身等方面都做了相关治理和改造，从早期的 11GB 降到了本次发布的 5GB 左右，里面已经装进了全部可观测性的技能包（数字体验、指标分析、调用链、日志、全局拓扑、仪表盘、AI、告警，等等）。

高技术引擎

本次 Bonree ONE 春季版发布，技术亮剑出三大核心引擎（AI、OneService、ClickHouse）。就比如汽车，AI 更像方向盘，能感知全域信号上下文，通过关系挖掘、文本挖掘、因果挖掘辅助动态的决策；OneService 作为联邦引擎屏蔽了底层存储，并且从查询统一了标准 SQL，提供核心腰部力量，更像传动轴；ClickHouse 作为信号一体化湖仓底座，让 Bonree ONE 真正成为融合式平台，这跟传统的拼凑型产品有着质的区别。

1. AI 引擎 - SwiftAI

SwiftAI 作为 Bonree ONE 的 AI 核心引擎，本次从算法层面优化了自适应异常检测，自动按日和周级别聚类并满足不同场景分而治之，f1-score 提高到了 0.88，并和自研的混沌工程平台打通做可解释性验证和分析。根因分析方面，发布了新一代的融合式 AI 能力，跟数据集成自动化打通，做到了集成即 AI，不用再额外定制化配置流程或开发，能自动和 zabbix/promethus/skywalking/pinpoint 等多源数据融合自动做根因，为用户带来了“1+1>2”的卓越体验；另一方面，根因算法做了进一步优化，从空间和时间算法上都做了调整，提高了收敛和根因的准确性。

2. 联邦引擎 - OneService

OneService 作为 Bonree ONE 的联邦引擎，实现了多源异构数据联邦计算的能力，统一了标准 SQL 查询，比如同时联查 MySQL 和 ClickHouse。同时底层能力先支持了实体属性和标签分析的能力，这个相比业内比较领先。有了 OneService 引擎后，业务团队不再担忧各种信创适配的排期成本，主要工作由一个团队轻量级完成即可，这样可以更好更快的支持业务新创需求。

3.  存储底座 - ClickHouse

在 ClickHouse 引擎优化方面，从读写优化到内核二开，从高可用到运维管理自动化工具都做了大量工作。我们早期开始用社区版 ClickHouse 时，平台承载力大概在 85 探针/台，如今已经可以支持到 200+探针/台了，得益于不畏挑战的技术精神。

高质量数据

Bonree ONE 是可观测平台，能力不断迭代，功能不断增多，要想做到加码不加价，同时还需要持续做数据治理。我们会针对各种数据疑难问题做单独的技术优化和治理。比如在调用链业务场景，千亿级数据量做维度排序，我们用分位特征算法将数据量扫描缩小 1000 倍，查询性能从分钟级降到 ms 级。

再比如，网络请求首页优化，通过 projection 技术，优化后页面从 5s 访问耗时降到了 ms 级。

写在最后

技术经过不断迭代，目前 Bonree ONE 平台页面的访问耗时，历史上首次做到了 P99 在 3s 以内。从 Bonree ONE 经历了几个大版本的正式发布来看，组件和安装包瘦身不断降到一半，但性能提升数倍。Bonree ONE 在技术方面的深耕，也得到了 ClickHouse 社区的认可，已收到邀请发表相关文章和 meetup 演讲。静水深流，技术永无止境为业务保驾护航。