更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

前言

Data Catalog 通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景。本篇内容源自于火山引擎大数据研发治理套件 DataLeap 中的 Data Catalog 功能模块的实践，主要介绍 Data Catalog 在公有云部署和发布中遇到挑战及解决方案。

背景

• Data Catalog 是一种元数据管理的服务，会收集技术元数据，并在其基础上提供更丰富的业务上下文与语义，通常支持元数据编目、查找、详情浏览等功能。目前 Data Catalog 作为火山引擎大数据研发治理套件 DataLeap 产品的核心功能之一，经过多年打磨，服务于字节跳动内部几乎所有核心业务线，解决了数据生产者和消费者对于元数据和资产管理的各项核心需求。

• DataLeap 作为一站式数据中台套件，汇集了字节内部多年积累的数据集成、开发、运维、治理、资产、安全等全套数据中台建设的经验，助力 ToB 市场客户提升数据研发治理效率、降低管理成本。

• Data Catalog 作为 DataLeap 的核心功能之一，本文汇集了 Data Catalog 团队在最近一年公有云从 0 到 1 实践的整体经验，主要讲解遇到的各项挑战和对应的解决方案。

Data Catalog 公有云发展历程

Data Catalog 已经随着 DataLeap 一起作为公有云产品正式在火山引擎对外发布，下面是 Data Catalog 在功能演进上的一些重要时间节点：

• 2021 年 9 月，Data Catalog 随着 DataLeap 完成在火山引擎公有云首个版本部署和发布，包含 60%内部核心功能，支持 EMR Hive 数据源元数据管理。

• 2022 年 2 月，Data Catalog 随着 DataLeap 完成火山引擎公有云 Beta 版本发布，吸引了一批客户试用。

• 2022 年 5 月，Data Catalog 随着 DataLeap 完成火山引擎公有云 GA 版本发布，正式对外开放。

• 2021 年 9 月至 2022 年 5 月，Data Catalog 发布 10+版本，对齐 95%内部核心功能以及发布新功能 20+，包括支持 LAS/ByteHouse 数据源、OpenAPI 和元数据采集等 ToB 场景新特性。

Data Catalog 公有云整体架构

Data Catalog 支持综合搜索、血缘分析、库表管理、元数据采集、备注问答、专题管理、OpenAPI 等功能，和 DataLeap 其他功能模块（如数据开发、数据集成、数据质量、数据安全等）一起提供了大数据研发和治理场景的一站式解决方案。同时，Data Catalog 公有云产品是基于火山引擎提供的数据引擎和云基础设施来部署和服务的，下面会简单介绍下我们所依赖和使用的产品和服务：

• 数据引擎：是火山引擎提供的数据分析、数据仓库和数据湖相关产品，包括 ByteHouse/EMR/LAS 等产品。通常 Data Catalog 会从这类系统内采集元并存储元数据，进行处理加工后，再提供搜索、血缘分析等功能；另外，库表管理模块也会依赖这类系统提供对应的接口来做建库建表等操作。

• 内部公共服务：是火山引擎为支持公司内部产品上公有云提供的若干公共基础服务，主要作用是方便内部产品能快速在公有云部署，提供和公司内部兼容性比较高的公共服务，降低改造和迁移成本。其中 Data Catalog 使用较多的包括：API 网关、网络代理、访问控制、安全认证、监控报警等。

• 基础服务：这类服务或产品相较于上面说的内部公共服务主要区别是，他们是火山引擎对外售卖的标准云服务，内外部用户都可使用，且和业界主流云厂商能力是基本对齐的，不过会和公司内部一些类似的基础服务会有不少差异。Data Catalog 主要使用这类基础服务来进行自身服务的部署运维，并且进行较多的兼容性改造，包括容器部署、网络打通、内外部 CICD 和监控报警流程一致性等方面。

• 数据库和中间件：是和业界主流云厂商对齐的存储和中间件领域的标准云服务，和公司内部对应组件也会有若干差异，Data Catalog 为此也做了多版本的兼容。Data Catalog 在元数据存储上使用到了 Hbase/MySQL/ES/Redis，然后在元数据采集和同步场景使用了 Kafka，同时用到了日志服务来提高研发运维效率。

下篇将继续给大家分享 Data Catalog 公有云遇到的挑战及解决方案。

点击跳转大数据研发治理套件 DataLeap了解更多