vivo x TiDB 丨解决云服务海量数据挑战

vivo 是一家全球性的移动互联网智能终端公司，品牌产品包括智能手机、平板电脑、智能手表等 ，截至 2022 年 8 月，已进驻 60 多个国家和地区，全球用户覆盖 4 亿多人。

vivo 为用户提供了在手机上备份联系人、短信、便签、书签等数据的能力，底层存储采用 MySQL 数据库进行数据存储。 随着 vivo 业务发展，用户量增长迅速，存储在云端的数据量越来越大，海量数据给后端存储和数据库带来了巨大的挑战。云服务业务最大的痛点，就是如何解决用户海量数据的存储问题 。

本文介绍了 vivo 的数据库和存储系统，以及如何使用分布式数据库 TiDB 解决海量数据挑战。 详细介绍了 vivo 采用 TiDB 过程中的真实体验，包括海量数据实时 OLAP 方案、云服务业务中的元数据管理方案，和基于自研的 NoSQL 数据库 TiKV 的实践。 分享了如何解决海量数据存储和管理的问题，以及提高业务效率和用户体验的实践经验。

vivo 数据库与存储体系

1.png

<center>vivo 数据库与存储体系产品矩阵</center>

在整个 vivo 云服务体系中，数据库与存储处于核心位置，从体系上可以分为两层，最上面一层是工具产品层，包含数据库存储统一管控平台、数据传输服务（支持数据同步、数据订阅、数据迁移等）、运维白屏化工具等。下面一层是数据库产品层，这一层又分为三个部分：一部分是 MySQL、 TiDB 等关系型数据库；一部分是 Redis、ElasticSearch、MongoDB、磁盘 KV 等非关系型数据库；还有一部分是对象存储、文件存储、块存储等存储服务。

2.png

<center>vivo 数据库与存储运营管理</center>

为了管理这些众多的数据库与存储产品，vivo 打造了一个数据库与存储运营管理平台，主要分为三层架构：

• 最底层是支撑、管理所有数据库的工具产品，包含数据存储服务、关系型数据库、NoSQL 数据库，以及生态工具；

• 中间是功能层，包括基础存储服务、数据管理服务，以及存储自治服务；

• 最上面是运营层，包括权限账单、用户管理、工单服务等基础服务。同时还有一些安全相关服务，如数据脱敏、数据加密、权限管控、命令通道、数据审计等一系列功能。

TiDB 在 vivo 的落地实践

3.png

此前，vivo 已经用了很多年关系型数据库 MySQL。基于原生的 MySQL 数据库，vivo 结合集群高可用的管理与数据库代理的一体化架构，通过域名服务、名字服务进行接入，提供通用的关系型数据库服务。它主要具有三大核心能力：

• 第一，兼容 MySQL 协议与 SQL 语法；

• 第二，增强 MySQL 集群管控能力。vivo 引入 MySQL 的时间很早，在 MySQL 的一些集群管控能力上都有自研的能力；

• 第三，安全增强能力，包括密码管理、数据脱敏、数据加密等能力。

本质上 MySQL 架构还是一个主从架构，并没有分布式技术引入。针对数据量较大、流量较大的场景，或者分析场景，给业务带来了巨大挑战。基于以上原因，vivo 在对比了主流分布式数据后后考虑引入分布式关系型数据库 TiDB，作为关系型数据库产品矩阵的一环，补充整个关系型数据库的能力。

引入 TiDB 帮助 vivo 解决了一些在 MySQL 生态中无法解决的问题：

• TiDB 可以解决数据量过大、流量过大的问题，以及海量数据分析的场景；

• TiDB 兼容 MySQL 语法，业务迁移比较平滑；

• TiDB 支持水平扩展，相比传统的 MySQL 复杂的分库分表方式，TiDB 的扩展能力大大降低了运维压力；

• TiDB 具备数据强一致性、高可用性，可以提供金融级数据安全性。

vivo 研发团队具有较强的自研能力，他们将内部所有数据库统一实现了平台化管理，这是一种提供高度自助、高度智能化、高可用、低成本的数据存储使用与管理平台，包含从数据库服务的申请、部署、维护、变更、优化，以及数据恢复、服务下线等一系列数据库全生命周期的管理。

4.png

在应用 TiDB 后，vivo 研发团队同样也将 TiDB 集成到该平台中，实现诸如 TiDB 的自动化部署、服务维护、数据变更、数据恢复，包括一些还在持续建设中的能力，如服务优化、服务变更。这些能力与 vivo 的全球化业务场景息息相关。全球化业务场景要求更好满足于本地客户服务，以及符合本地数据安全相关的一些管理规范。所以 vivo 的服务都是本地化部署，平台化的管理方式可以帮助运维、研发更好地支撑业务研发或者业务变更的效率。

该平台一方面提升了 vivo 整个数据服务的安全性，如账号密码管控、敏感数据加密脱敏、集成的研发效能等。在业务开发团队需要一个 TiDB 服务的时候，几分钟内就能得到一款分布式数据库进行代码开发，降低了运维管理成本；运维（DBA）再也不需要登陆服务器执行各种涉钥命令；最后，平台也大大提升了数据的可用性。vivo 数据库团队将一些 TiDB 的备份恢复工具及数据库的可用性也集成在平台里。

应用场景

推送业务基于 TiDB 的海量数据实时 OLAP 方案

5.jpg

vivo 的推送业务基于 TiDB 实现了一套实时 OLAP 方案。该场景中具有千亿级别的数据指标，vivo 希望数据在数据指标写入时可以实现秒级入库。同时，该场景还要求以月度为范围秒级出报表。原方案中使用了其他 OLAP 数据库方案或 MySQL 方案，在出报表时总会给数据库集群服务造成很大压力，指标的计算性、时效性也很差。尤其当面临海量数据时，查询与指标变更成本会变得很高。引入 TiDB 后，vivo 可以从实时链路里直接把数据秒级写入，再通过 DM 工具，把关系型数据库里面维度的数据，以及其他相关联的数据都同步过来，最终在 TiDB 中进行多表关联，为最终用户提供数据服务，如 BI 报表等。在该场景中，TiDB 的高性能、低延时等特性解决了 vivo 数据量大、时效性高等难题。

云服务业务基于 TiDB 的海量元数据管理方案

6.png

vivo 云服务是 vivo 为用户提供的在手机上进行数据备份、数据恢复同步的一款服务。这款服务用到了对象存储与文件存储，同时有大量的元数据需要存储。原方案使用了 MySQL 分库分表的方式，但 MySQL 实际上还是一个单集群方案，分库分表的业务逻辑需要在业务层实现，这就需要解决复杂的业务逻辑问题。同时，分库分表造成运维十分困难，扩容成本高、扩容耗时间长。基于以上原因，vivo 基于 TiDB 实现了一套海量元数据管理方案，支撑了 vivo 百亿级别的元数据表和日志数据表存储，核心业务时延小于 50ms。

基于 TiKV 自研的 NoSQL 数据库实践

由于 TiDB 整个产品都采用开源的模式，vivo 并没有满足于只作为 TiDB 的使用者，还基于 TiDB 的底层存储引擎 TiKV 自研了一款 NoSQL 数据库，希望能够实现一个高性能的、高稳定的多数据模型的分布式数据库，用以服务内部大数据量存储场景，降低整体数据库的运营成本，同时还针对一些 AI 特殊业务场景的应用进行定制优化。

在此之前，vivo 的 NoSQL 数据库产品矩阵中 KV 产品实际上只有 Redis，但 Redis 是基于内存的存储，性能虽然很好，但存在数据无法持久化及成本高等问题。基于此，vivo 基于 TiKV 研发了自己的 NoSQL 数据库。它兼容 Redis 协议，能够以很低的成本进行迁移，可以持久化大规模存储 TB 级别，甚至 PB 级别数据，还具备高性能、水平扩展、高效故障切换、数据安全保证一致性等特点。之所以能做到这些，很大程度上是因为 TiKV 原本就具备了很好的能力，如存储引擎水平扩展能力、高效故障切换能力、数据安全保证能力等。目前，这款 NoSQL 数据库已经在 vivo 内部的推荐平台、内部管理平台、应用中心中应用。

7.png

通过引入 TiDB ，vivo 解决了原 MySQL 架构无法应对数据量大、流量大等挑战，优秀的水平扩展能力及高可用特性支撑了 vivo 百亿级别的元数据表和日志数据表存储，核心业务时延不到 50ms 。同时，TiDB 的实时 HTAP 能力还帮助 vivo 解决了报表时效性问题。未来，vivo 还将持续在内部混合云中云化 TiDB 产品，将 TiDB 全生命周期的各个能力，在 vivo 内部云上实现出来，支持更多的业务场景。