教你三步实现 CDH 到星环 TDH 的平滑迁移

2022 年 4 月 02 日
本文字数：3031 字
阅读完需：约 10 分钟

Transwarp Data Hub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。8 种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的 10 种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。

星环一站式多模型大数据基础平台 TDH 架构图

TDH 能够存储 PB 级别的海量数据，同时能够提供高性能的查询搜索、实时分析、统计分析、预测性分析等数据分析功能，被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库、数据湖、图存储分析、空间数据存储、实时数据处理等各类大数据业务场景。

目前 TDH 已经在政府、金融、能源、制造业等十多个行业内落地，可以替代 Oracle、IBM DB2、Teradata 等传统主流数据库在分析型场景中的应用及替代 CDH 在大数据平台的应用，帮助企业，更全面、更便捷、更智能、更安全地运用数据，加速企业数字化转型。

本文将基于某金融机构的数据仓库批处理场景来手把手带领大家“三步”完成 CDH 到星环 TDH 的平滑迁移。

CDH 集群及业务场景

某金融机构基于 CDH 构建了离线数仓和对客高并发查询业务，完整业务场景包括：

数据抽取，通过 Sqoop 基本从业务数据库中抽取数据到分布式文件 HDFS；
数据加载，通过 Shell 脚本将数据 Load 到离线数仓 Hive 中，保存为 orc 格式；
数据加工，通过 Hive 脚本做数据离线批处理加工，支撑营销、风控等业务；
对客查询，部分结果 load 到 HBase 对客提供高并发查询服务；

实际客户场景涉及数千张表和脚本，百 TB 级别数据量，这里我们对其中完整逻辑做了抽象，精简的过程便以理解迁移过程。

CDH 集群信息

CDH 数据处理流程 数据抽取（模拟数据 ETL）

用 Sqoop 工具从业务数据库抽取数据到 Hive 表。

批处理数据（模拟数据加工）

在 Hive 中执行批处理 SQL，把结果写入销售统计表。

将处理结果导入 HBase，在 HBase 中查询结果（模拟对客查询）

* 用 HBase 的导数工具把 Hive 批处理结果导入 HBase。

* 点查

在正式迁移之前，我们需要准备好 TDH 的部署环境，并安装好星环 TDH，具体的安装步骤可参考《手把手教你安装 TDH8.1.0》。

TDH 集群信息

TDH 集群信息

星环 TDH 产品介绍

在安装好 TDH 及服务之后，我们需要安装星环大数据平台数据备份恢复软件 Transwarp Backup (TBAK），之后我们就可以在 TBAK 的可视化界面通过简单的“三步”来实现 CDH 到星环 TDH 的平滑迁移。

Transwarp Backup (TBAK）是星环的大数据平台数据备份恢复软件，可独立于生产集群与备份集群之外，具备灾备方案制定与调度灾备任务的功能。同时，灾备系统提供了可视化的操作页面以及丰富的统计监控页面，用户通过浏览器进行简单的操作即可直观的设计灾备方案、分析灾备任务，从而完成集群的数据备份、同步、迁移。

三步实现 CDH 到星环 TDH 的平滑迁移

Step1 配置 CDH 和 TDH 集群

该步骤主要是用来配置 CDH 和 TDH 集群，为后续数据迁移做准备。星环 TBAK 提供可视化的界面进行集群配置，我们根据界面指引式向导进行配置即可完成，简便快捷。

CDH 集群配置

首先新建一个 CDH 集群配置，我们可以在集群配置界面设置 CDH 集群名称，协议，CDH Manager IP，端口，用户名和密码等信息。

当集群信息配置完成并校验成功后，我们就可以获取到配置文件。之后我们需要对各服务进行配置并测试连接，在该案例场景中使用的是 HDFS，HBase 和 Hive。

TDH 集群配置

同样，我们对 TDH 集群进行相应配置。

Step2 创建 CDH 迁移方案

当 CDH 和 TDH 集群配置完成后，我们就可以配置 CDH 到 TDH 的迁移方案了。根据该案例 CDH 的业务情况，我们需要分别对 CDH Hive，HDFS 和 HBase 的迁移方案进行配置。

创建 CDH Hive 迁移方案

以 CDH Hive 迁移方案为例，TDH 提供服务级和表级的迁移策略，例如这里我们在同步类型中选择“CDH 到 TDH Hvie 表迁移”，同时我们可以对源集群，灾备集群，调度策略等进行配置。在调度策略中用户可以根据实际情况进行配置，我们可以设置在业务空窗期的每天凌晨 2 点进行数据迁移。同时，用户可以设置相应的告警策略，当迁移发生问题时可以第一时间收到告警信息并对问题进行排查和恢复。