5 分钟带您了解 DRS 录制回放

什么是 DRS 录制回放？

DRS 录制回放是将源数据库发生的真实业务流量，在目标数据库模拟执行，从而观察和检验目标数据库的功能和性能表现。录制回放主要分为录制、回放两个阶段，录制过程是从源数据库上将所需时间段内的全部 SQL 原语句（包括增、删、改、查）通过审计日志下载、录制代理等进行采集；回放是将采集到的全部 SQL 语句在目标数据库上进行执行（目标数据库需有源数据库的初始数据）。

DRS 录制回放与 DRS、UGO 的关系

数据复制服务（Data Replication Service，简称 DRS）是一种易用、稳定、高效，用于数据库实时迁移和数据库实时同步的云服务，着重于数据库毫秒级数据同步，支持同构异构数据库之间的数据传输/搬迁，降低数据库之间数据流通的复杂性，减少数据传输成本。

数据库和应用迁移 UGO（Database and Application Migration UGO，简称 UGO）是专注于异构数据库结构迁移的云服务，可将源数据库中的 DDL、DML 和 DCL 一键自动转换为华为云 GaussDB 的 SQL 语法，最大化降低用户数据库的迁移成本。

录制回放是 DRS 提供的业务仿真特性，结合 DRS+UGO，以及 DRS 提供的数据一致性对比能力，形成了华为云数据库迁移整体解决方案，以保障客户割接过程的平滑性以及割接后数据库的稳定可靠运行。

技术原理

1.初始数据生成

在录制回放开始前，需要为目标数据库创建初始数据，初始数据的来源是源数据库某一时刻的快照数据。一致性模式场景下需要构建两个目标数据库，以某商业数据库（以下简称 X 数据库）到 GaussDB 为例，一个是 X 数据库回放数据库，一个是 GaussDB 回放数据库，两个回放数据库的初始数据必须完全一致。X 数据库回放数据库的初始数据可以通过 X 数据库的备份恢复机制生成，GaussDB 回放库的初始数据可以通过 DRS 数据同步能力，把 X 数据库回放数据库的初始数据全量同步过来。两个回放数据库的初始数据生成之后，建议做一次数据对比，确保数据一致。

2.流量录制

公有云场景主要支持自建或其他云上的 MySQL 生态数据库到华为云 RDS for MySQL、GaussDB(for MySQL)的录制回放，流量录制以源数据库提供的全量 SQL、审计日志等技术为主。

具体流程如下：

1） 在源数据库上开启审计日志或者全量 SQL，等待业务执行一段时间。

2） 将业务执行期间生成的审计日志或者全量 SQL 上传到华为云 OBS。

3） 在 DRS 上创建录制回放任务，选择上传到 OBS 的审计日志或全量 SQL 文件，DRS 录制回放任务会读取审计日志或全量 SQL 文件，根据任务配置的源数据库类型解析出数据文件中的 SQL 信息，包含 SQL 语句、SQL 类型、SQL 执行时间、Schema 名称、Session ID、客户端 IP 等，根据 SQL 语句的执行时间进行分片存储在元数据库中，在目标数据库上进行回放。

HCS 场景主要支持常用自建数据库到 GaussDB 等几条链路的录制回放能力，流量录制均基于网络旁路抓包与协议解析技术，通过部署抓包 Agent，在服务器上对数据库端口进行 TCP/IP 网络数据包抓取，分析推测出业务执行的 SQL 信息，该技术对源数据库影响极小且 SQL 抓取率极高。具体流程如下：

1） 在源数据库上部署流量采集 Agent 包。

2） Agent 采集服务器上对应数据库端口的 TCP/IP 网络包，通过 UDP 协议发给流量采集器，生成流量数据文件。

3） 流量解析模块读取流量数据文件，分析推测出业务执行的 SQL 信息，包含连接 ID、客户端类型、SQL 类型、SQL 语句、绑定变量值、执行开始时间、执行结束时间、执行是否成功、存储过程参数等信息，根据 SQL 语句的执行时间进行分片存储在元数据库中，在目标数据库上进行回放。

3.仿真回放

将流量录制的 SQL 语句在目标上根据配置的回放模式进行回放，实现业务 SQL 的兼容性验证、执行性能评估、结果一致性验证等。具体原理如下：

1） 异构场景下，会对流量录制的 SQL 语句进行语法转换，转换成目标数据库支持的语法，避免因为 SQL 语法的差异导致在目标数据库回放时出现语法错误。

2） 语法转换成功后，通过流量控制器将待回放的 SQL 语句根据不同的回放模式进行调度控制，以便验证不同场景的回放结果。流量控制器支持三种回放模式：

仿真模式：完全模拟源数据库的流量和并发进行回放，以便验证相同压力下目标数据库的运行情况。

摸高模式：把源数据库流量等比例成倍增加压力，以便验证目标数据库可以承受的最大压力情况。

一致性模式：以单并发的方式在两个目标数据库回放，确保回放的顺序完全一致，以达到回放后的数据也是一致的目的。回放完成后可通过数据对比工具对比两个目标库的数据，在排除了幂等 SQL 的前提下，验证所有 SQL 是否在两个目标库上语义完全一致。

3） SQL 回放器往目标数据库中并发回放 SQL，场景不同，回放方式也不同。仿真和摸高模式，采用多并发回放，两个目标数据库是独立的，互不干扰。一致性模式，采用单并发回放，两个目标数据库回放是同步，即对于一条 SQL，先回放同构目标数据库，成功之后再回放异构目标数据库，如果同构目标数据库回放失败，则该 SQL 就不再异构目标数据库上回放了。

4） 回放完成的 SQL 会经过回放分析器进行分析，将回放异常的结果以及根据配置的慢 SQL 标准分析得出的慢 SQL 结果存入回放记录表中。

应用场景

数据库兼容性和性能验证

互联网客户将云数据库搬迁到华为云数据库 RDS for MySQL 或 GaussDB(for MySQL)，以及金融客户使用华为云 GaussDB 数据库替代传统数据库，可以采用录制回放验证华为云数据库的稳定性和性能。

数据库重大问题复现定位

针对异构数据库搬迁，如某商业数据库搬迁到 GaussDB，如内核做了该商业数据库类型的兼容性或者使用 UGO 进行对象迁移，可以采用录制回放验证存储过程、触发器等对象的执行成功率和结果的正确性。

数据库大版本间升级验证

RDS for MySQL、GaussDB(for MySQL)及 GaussDB 从各自的低版本升级到高版本，可以采用录制回放验证版本升级后是否存在功能变化或性能劣化。

DRS 录制回放，通过业务仿真提前感知业务稳定性和性能，保障客户割接后数据库的稳定可靠运行。

点击关注，第一时间了解华为云新鲜技术~