可观测性探索系列二：如何高效打造运维数据底座

01

引言：构建运维数据底座的必要性

在《可观测性探索系列一：如何赋能运维数据治理》中，我们提到企业需要构建一个统一的运维可观测性平台。在这之前，需要对不同层级、不同来源、不同类型的运维相关数据进行汇聚，并进行统一治理。因此，我们需要构建一个可靠的基础数据底座。

02

构建数据底座的首选

运维数据底座是支撑运维数据的基础结构，它需要对企业积累的海量数据进行汇聚和存储，需要对于企业结构化、非结构化的数据进行统一管理，需要能对形成的数据资产做统一的对外输出，同时对数据从接入到对外输出的整个过程能够溯源，形成一个可管理、易扩展、低开发成本的数据管理框架。

日志易能够帮助企业实现打造数据底座。作为国内优秀的运维大数据平台开发商，日志易在数据接入、数据处理、数据 ETL 等方面的能力表现都非常出色。日志易具有强大的采集能力，支持 Kafka、文本、Syslog、Prometheus、JDBC 等主流方式的采集；有强大的数据处理组件，能够对流数据进行数据标准化处理；日志易 SOAR 丰富的算子能够满足上游各类数据的 ETL 需求；还有标准化的 API，对于不适合进行数据交换的运维数据，日志易支持 API 对接以满足上游的数据使用需求。

03

聊聊“数据集中化”和“数据分布式计算”

数据集中化和数据分布式计算是目前数据处理和存储的两个重要概念，在构建不同的业务系统的时候会有不同的选择。

数据集中化有利于降低系统建设成本，也有助于数据的统一管控，能够实现全局性的数据分析和决策。然而，这种模式非常依赖于网络传输，在带宽有限的情况下，容易导致系统瓶颈。其次，由于数据都是集中化处理和存储，当系统出现故障或者安全威胁时，整个系统的稳定性和安全性都将受到影响。

在运维场景中，企业往往有大量的运维数据需要分析和存储。以日志数据为例，如果遇到数十 TB 级或者 PB 级的数据，很难实现集中化，因为打破物理距离强行集中化所需的成本可能会很高。因此，日志易设计了基于边缘计算的分布式数据底座方案。我们的原则是，核心数据通过 ETL 进行集中化，非核心数据进行边缘计算，再通过 API 进行实时的分析和查询。这样既能帮助企业满足集中化的可观测需求，也能打破网络传输带来的系统瓶颈。

这种边缘计算方案不仅解决了网络传输带来的系统瓶颈，还实现了不同部门或子公司之间的数据物理隔离，从而在一定程度上提高了数据的安全性。

04

功能解析：数据底座做了什么？

• 统一数据接入

作为数据的汇聚点，数据底座的首要任务是实现数据的统一接入和汇聚。在日志易强大的数据采集能力的支撑下，接入本身并不复杂，我们更需要关注的是如何高效地定义接入标准，包括接入的数据类型、数据的接入范围、数据的基础格式调研、数据的必要信息以及接入后数据的统一命名规范、数据权限和生命周期。

• 统一数据处理

由于数据源众多、格式不一、字段不一，作为数据底座，数据接入后的标准化处理尤为重要。为达到数据的标准化，又不增加源端改造的压力，对于数据底座的处理能力要求极高。日志易具有丰富的数据解析规则，通过正则解析、字段映射、类型转换，结合各种自定义规则，能够应对大多数数据处理场景，并且整个接入过程基本很少造成源端的改造。

• 统一数据存储

统一存储需要考虑数据的安全性、稳定性和存储数据的硬件成本。日志易采用 C++语言自主研发了非结构化海量数据存储引擎 Beaver，该引擎无内存泄露风险，符合国家信创战略，且数据存储具有极高的压缩比，是目前最适合做运维数据大数据的存储引擎，也是目前国内用户大数据产品国产化替代的首选。

• 统一对外输出

作为运维数据底座，日志易不仅服务于用户的可观测性平台，还承担了统一数据输出的角色。对于用户不同部门不同个性化的数据需求，都可以灵活满足。

• 标准化 API

如果在整个可观测性平台建设过程中，我们仅依赖数据 ETL 进行数据交换，那么对于某些数据而言，成本会很高。比如调用链的日志数据，上层需要进行可视化或者故障定位都需要使用到，但是出于成本考虑，这类数据不能再继续往上游传递了。因此，日志易提供了统一的对外 API 查询接口，通过接口上游应用可以实时查询各类不适合继续传递的数据。

此外，通过日志易（数据底座）的 API，上游数据使用方还可进行数据分析，这个是即便将数据继续往上游传递，上游也难以实现的。

05

建设成效

数据底座的建设是一个先难后易的过程，前期可能需要耗费大量精力做数据调研、数据的汇聚和标准化。但是这些工作一旦完成，对于用户来说就能获得长期收益，数据的标准化降低了数据管理、使用和拓展的成本。以已交付的客户为例，他们获得的收益包括：

• 提高数据使用效率

运维数据底座使得各种运维数据能够在统一的平台上进行整合。数据底座提供统一的输出接口，有效提高数据使用效率，大大降低数据复用成本。

• 降低数据管理成本

通过标准化的运维数据底座，企业可以建立一个统一的数据管理框架，使得数据的存储、备份、恢复、共享等操作更加便捷和高效，大大降低了数据管理的复杂性。

• 支持更复杂的运维场景

随着企业业务的不断发展和变化，运维场景也变得越来越复杂。数据底座汇聚了各个层级的数据，企业能够通过数据底座看到全量的运维资源，包括指标、告警、日志等，结合日志易本身的数据分析能力，能够帮助企业打造更加全面的、深度的运维分析场景。

• 便于跨团队协作

运维数据底座可以消除不同团队之间的数据孤岛，使得各个团队能够更便捷高效地共享数据，有助于提高整体业务运营的协同效率，帮助企业快速定位并解决问题。