写点什么

深入探索 Sharding JDBC:分库分表的利器

作者:高端章鱼哥
  • 2023-10-20
    福建
  • 本文字数:3313 字

    阅读完需:约 11 分钟

随着互联网应用的不断发展和用户量的不断增加,传统的数据库在应对高并发和大数据量的场景下面临着巨大的挑战。为了解决这一问题,分库分表成为了一个非常流行的方案。分库分表主流的技术包括 MyCat 和 Sharding JDBC。我们来通过一张图来了解这两者有什么区别:



从上图可以看到,MyCat 是一个单独的中间件,读者朋友们可以把它理解为一个数据库(不过它不是数据库哦,只是对于应用端来说连接使用 MyCat 和数据库是一样的,对应用程序来说,不需要关心具体是数据库还是 MyCat;而 Sharding JDBC 则是整合到应用端的,它运行在应用端,和代码的耦合性相对 MyCat 来说要更高)。


本文笔者将深入探索 Sharding JDBC,介绍其核心概念、工作原理以及使用方法,并通过一个示例帮助读者更好地理解和应用 Sharding JDBC。

1.什么是 Sharding JDBC?

Sharding JDBC 是一款基于 Java 的开源中间件,用于简化分库分表的操作和管理。它提供了一套统一的接口和封装,屏蔽了底层数据库的细节,让开发者可以像使用单一数据库一样操作分布式数据库。

2.Sharding JDBC 的核心概念

2.1 数据库切片(Sharding)

数据库切片是指将一个大型数据库按照某种规则拆分成多个较小的数据库实例,每个数据库实例称为一个切片。切片可以根据不同的规则进行拆分,如按照用户 ID、地域等进行划分。

2.2 分布式表(Sharding Table)

分布式表是指将一个表按照某种规则拆分成多个子表,每个子表存储了相同表结构的不同数据。通常,分布式表的拆分规则与数据库切片的规则相一致。

2.3 数据库路由(Database Sharding)

数据库路由是指根据某种规则将数据库的操作路由到对应的数据库切片上。Sharding JDBC 提供了路由策略的配置,可以根据业务需求进行灵活的配置。

2.4 表路由(Table Sharding)

表路由是指根据某种规则将数据操作路由到对应的分布式表上。Sharding JDBC 同样提供了灵活的表路由策略配置,支持多种分表策略。

3.Sharding JDBC 的工作原理

简单来说,Sharding JDBC 的工作原理可以概括为以下几个步骤:

  • 客户端发起数据库操作请求。

  • Sharding JDBC 根据路由策略解析请求,确定对应的数据库切片和分布式表。

  • Sharding JDBC 将请求转发给对应的数据库切片和分布式表。

  • 数据库切片和分布式表执行具体的数据库操作。

  • 结果返回给 Sharding JDBC,再由 Sharding JDBC 返回给客户端。


Sharding JDBC 通过对数据库操作的解析和转发,实现了透明的分库分表功能,对上层应用透明,使得应用无需关心分布式数据库的复杂性。

4.如何使用 Sharding JDBC?

接下来,我们一起来看下如何使用。使用 Sharding JDBC 可以分为以下几个步骤:

4.1 引入 Sharding JDBC 依赖

在项目的 pom.xml 文件中引入 Sharding JDBC 的相关依赖,以及对应的数据库驱动依赖。

4.2 配置数据源和数据库规则

在配置文件中配置数据源和数据库规则,包括数据库连接信息、数据库切片和分布式表的规则等。

4.3 编写业务代码

编写业务代码时,使用 Sharding JDBC 提供的 API 进行数据库操作,无需关心具体的数据库切片和分布式表。


下面笔者根据上述步骤,以一个例子来详细展示具体的使用方法:

我们以用户表和订单表为例,对其分库分表。


A.引入 Sharding JDBC 依赖,可以通过 Maven 来管理项目依赖。

<dependency>    <groupId>io.shardingsphere</groupId>    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>    <version>xxx</version></dependency>
复制代码


B.配置数据源和数据库规则,在 application.yaml 中进行配置。

spring:  shardingsphere:    datasource:      # 数据源配置,定义两个数据源      names: ds0, ds1      ds0:        driver-class-name: com.mysql.cj.jdbc.Driver        url: jdbc:mysql://localhost:3306/database0        username: root        password: root      ds1:        driver-class-name: com.mysql.cj.jdbc.Driver        url: jdbc:mysql://localhost:3306/database1        username: root        password: root    sharding:      tables:        # 订单表的配置        order:          actualDataNodes: ds${0..1}.order_${0..3}          # 表路由策略,根据用户ID进行分表          tableStrategy:            standard:              shardingColumn: user_id              preciseAlgorithmClassName: com.example.algorithm.PreciseModuloTableShardingAlgorithm          # 数据库路由策略,根据用户ID进行分库          databaseStrategy:            standard:              shardingColumn: user_id              preciseAlgorithmClassName: com.example.algorithm.PreciseModuloDatabaseShardingAlgorithm
复制代码


C.编写自定义的分表策略和分库策略。例如,我们自定义了


PreciseModuloTableShardingAlgorithm 和 PreciseModuloDatabaseShardingAlgorithm 两个算法类,根据用户 ID 进行分表和分库的计算。

public class PreciseModuloTableShardingAlgorithm implements PreciseShardingAlgorithm<Long> {    @Override    public String doSharding(Collection<String> tableNames, PreciseShardingValue<Long> shardingValue) {        for (String tableName : tableNames) {            if (tableName.endsWith(String.valueOf(shardingValue.getValue() % 4))) {                return tableName;            }        }        throw new IllegalArgumentException("Unsupported table name: " + shardingValue.getLogicTableName());    }}
public class PreciseModuloDatabaseShardingAlgorithm implements PreciseShardingAlgorithm<Long> { @Override public String doSharding(Collection<String> databaseNames, PreciseShardingValue<Long> shardingValue) { for (String databaseName : databaseNames) { if (databaseName.endsWith(String.valueOf(shardingValue.getValue() % 2))) { return databaseName; } } throw new IllegalArgumentException("Unsupported database name: " + shardingValue.getLogicTableName()); }}
复制代码


D. 编写业务代码,使用 Sharding JDBC 进行数据库操作。

public class PreciseModuloTableShardingAlgorithm implements PreciseShardingAlgorithm<Long> {    @Override    public String doSharding(Collection<String> tableNames, PreciseShardingValue<Long> shardingValue) {        for (String tableName : tableNames) {            if (tableName.endsWith(String.valueOf(shardingValue.getValue() % 4))) {                return tableName;            }        }        throw new IllegalArgumentException("Unsupported table name: " + shardingValue.getLogicTableName());    }}
public class PreciseModuloDatabaseShardingAlgorithm implements PreciseShardingAlgorithm<Long> { @Override public String doSharding(Collection<String> databaseNames, PreciseShardingValue<Long> shardingValue) { for (String databaseName : databaseNames) { if (databaseName.endsWith(String.valueOf(shardingValue.getValue() % 2))) { return databaseName; } } throw new IllegalArgumentException("Unsupported database name: " + shardingValue.getLogicTableName()); }}
复制代码


在上述示例中,我们配置了两个数据源(ds0 和 ds1),每个数据源对应一个数据库实例。订单表根据用户 ID 进行分表,共分为 4 张表(order_0、order_1、order_2、order_3),并根据用户 ID 进行分库,共分为 2 个数据库实例。在业务代码中,我们通过 Sharding JDBC 的 API 来进行数据库操作,无需关心具体的数据库切片和分布式表。


本文深入探索了 Sharding JDBC 的核心概念、工作原理和使用方法,并通过一个用户订单分库分表的示例加以完善。通过使用 Sharding JDBC,开发者可以轻松应对高并发和大数据量的场景,提升系统的性能和可扩展性。希望本文对读者理解和应用 Sharding JDBC 有所帮助。

发布于: 刚刚阅读数: 6
用户头像

还未添加个人签名 2023-06-19 加入

还未添加个人简介

评论

发布
暂无评论
深入探索Sharding JDBC:分库分表的利器_数据库_高端章鱼哥_InfoQ写作社区