5 分钟迁移关系型数据库到图数据库

2023-07-26
广东
本文字数：2028 字
阅读完需：约 7 分钟

本文分享自华为云社区《5分钟迁移关系型数据库到图数据库》，作者： RiverSide 。

以往开发者会使用关系型数据库如 MySQL 对领域数据进行存储，这类关系型数据库诞生较早，但并不适合存储关联度较大的数据，如社交关系网络。随着高关联度数据的存储及分析的需求随数据量日益增长，将海量关联数据存入图数据库中进行深度挖掘分析是大势所趋。华为云图引擎服务（Graph Engine Service）是国内首个商用的、拥有自主知识产权的国产分布式原生图引擎。广泛应用于社交应用、企业关系分析、风控、推荐、反欺诈等具有丰富关系数据的场景。

由于关系型数据库和如 GES 的图数据库天然存在的异构性，将已有的关系型数据库中的数据存储至图数据库中仍存在较多的难点。本文借助 Apache Hop 及 GES 插件，提供了多数据源通用、可视化、开箱即用的数据转换工程，可将多种关系型数据库迁移至 GES 图数据库中。转换工作流复用度高，可通过输入不同的元数据文件与数据源连接，使转换工作流完成多个数据源的迁移任务。

支持的数据源

借助 Apache Hop 的能力，支持 MySQL，PostgreSQL，Oracle，MS SqlServer 等多种关系型数据库，具体列表参见：Database Plugins :: Apache Hop

数据要求

已经建立好 GES 图模型，属性名与表中的字段名相同
对单个标签来说，所有属性都在同一张表中
数据源中的数据符合图模型中对应数据类型的要求（如 GES 中 date 类型为 yyyy-mm-dd hh:mm:ss，若数据源中的 date 类型不合要求，应在数据源转为相应格式的字符串类型）

节点唯一性问题

在图数据库中不允许存在两个索引值相同的节点，因此需要确保节点的全局唯一性，即节点 id。通常情况下，可以将表中具有唯一性约束的字段，如表的主键映射为对应节点数据的 id。在关系型数据库（如 MySQL）中，不同的表属于不同的命名空间，即不同表中的主键可以相同的值。因此在这种情况下，需要改变相应的映射规则。如通过将表名与主键拼接的方式生成新的节点 id，以确保节点的全局唯一性。

在转换过程中，需要将指定的 id 映射关系生成为以下格式的 csv：标签名，表名，节点 id 对应字段，终点 id 对应字段。此处若标签对应的是点数据，则终点 id 为空。

如在 TPC-H 数据集中，表数据转换为一条简单的关系及其起点终点，需要指明的信息如下：

对于 Order 标签的节点，数据源中对应的表名为 orders；采用主键 o_orderkey 作为节点 id。
对于 Supplier 标签的节点，数据源中对应的表名为 supplier；采用主键 s_suppkey 作为节点 id。
对于 supply 标签的边，数据源中对应的表名为 lineitem；起点为 Supplier，对应表 lineitem 表中外键 l_suppkey 作为起点 id；终点为 Order，对应外键 l_orderkey 作为终点 id。需要注意的是，边的起点与终点的 id 映射需要与对应标签的节点 id 映射对应，如例子中的 lineitem 表的外键 l_suppkey 对应的正是 supplier 表中的 s_suppkey，它们的值为一一对应的关系。