解析—MyBatis 在 SpringBoot 中动态多数据源配置

关注
发布于: 2020 年 12 月 07 日
﻿
在分库的业务场景和跨数据库实例获取信息之类的场景中，我们会遇到处理多个数据源访问的问题，通常情况下可以采用中间件，如cobar, tddl, mycat等。
﻿
但取决于业务需求，有时我们需要直接通过MyBatis和SpringData来完成这个任务。即使没有，理解MyBatis多数据源配置的过程也有助于理解其他分库分表操作的原理。
﻿
背景依赖如下：
﻿
<dependencies>
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-jdbc</artifactId>
    </dependency>
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
    </dependency>
    <dependency>
      <groupId>org.mybatis.spring.boot</groupId>
      <artifactId>mybatis-spring-boot-starter</artifactId>
    </dependency>
</dependencies>
﻿
﻿
要进行多数据源的配置，首先需要了解MyBatis是如何将XML中的Sql语句执行的，是哪些类提供了数据库的连接，又是哪些类提供了配置参数。
﻿
首先来看MyBatis的SQL执行过程：
﻿
不难看出，与数据源相关的处理是在第4、5步中完成的。第四步获取到的SqlSessionFactory为第五步的SqlSession提供了连接工具，也就是说我们只需要对第四步进行处理，替换掉原生的DefaultSqlSessionFactory即可。
﻿
接下来，在SpringBoot框架下，我们可以通过常用的FactoryBean<T>来尝试获取SqlSessionFactory：通过查找FactoryBean与SqlSessionFactory的交集，不难找到SqlSessionFactoryBean，这个类中包含大量与数据库连接配置相关的字段。
﻿
﻿
并且因为它实现了FactoryBean<T>，可以通过getObject()方法来获得一个SqlSessionFactory的实例。
﻿
通过分析SqlSessionFactoryBean的参数，对于多数据源的处理，基本的可以分为两种思路：不同数据源使用的SQL语句不同（一般见于跨业务实例数据访问），通过不同的SqlSessionFactory管理不同包中的mapper来实现。
不同数据源使用的SQL语句相同（一般见于分表场景），通过在语句执行前动态替换线程所使用的数据源来完成。
﻿
对于第一种情况，处理方式非常简单，通过配置多个SqlSessionFactory，为每一个配置不同的MapperLocations来管理。本文不细讲这种情况。
﻿
对于第二种情况，相对复杂一些，我们接下来一步一步分析。
﻿
SqlSessionFactory进行数据库连接的核心是通过DataSource完成的，因此需要获取一个可以调整规则的非固化DataSource通过对javax.sql.DataSource接口进行分析，可以发现AbstractDataSource是绝大部分Spring数据源的父类，与此不同的是我们的连接池数据源（如HikariDataSource）和驱动数据源（如MySqlDataSource），由于我们使用SpringBoot框架进行IOC托管，并且通过mybatis-spring-boot-starter进行mybatis接入，因此我们进一步调研AbstractDataSource。
﻿
经过简单的父子关系跟踪，我们发现Spring提供了一个动态配置数据源的抽象类AbstractRoutingDataSource，我们只需要对这个类进行routing部分的实现即可完成需求.
﻿
P.S. Spring全都想到了，tql...
﻿
这个抽象类需要重写的方法是protected abstract Object determineCurrentLookupKey()返回值虽然是Object类型，但意思实际上是允许我们自定义key而避免IllegalArgumentException等相关的问题。因此我们先去看一下这个key对应的map是一个什么结构。
﻿
省去无关代码后，AbstractRoutingDataSource对dataSource的map相关操作实际上基于下面的这个部分
﻿
/**
 * 数据源Map key即determineCurrentLookupKey()方法返回的Object，value即为动态切换到的目标dataSource
 */
@Nullable
private Map<Object, Object> targetDataSources;
﻿
/**
 * 当determineCurrentLookupKey()返回的结果无法获取到一个可用的DataSource时，采用的默认数据源
 */
@Nullable
private Object defaultTargetDataSource;
	
﻿
﻿
换言之，在AbstractRoutingDataSource中实际上维护了多个DataSource，我们只需要将自定义的key获取方法写入determineCurrentLookupKey()，并将数据源map和默认数据源set进这两个变量中即可。
﻿
重写AbstractRoutingDataSource，提供determineCurrentLookupKey()方法的实现这个部分为了将数据源的切换与DynamicDataSource隔离，我选择通过编写一个DataSourceSwitcher来作为数据源选择的中介。众所周知，MyBatis的事务和sql执行都是基于SqlSessionHolder进行的线程隔离，其内部是基于ThreadLocal完成的。这个方法很好的解决了单例对象复用时的线程安全问题。因此参考这种形式，switcher应该提供基于ThreadLocal的DataSource选择机制。
﻿
// DataSourceSwitcher.java
@Component
public class DataSourceSwitcher {
    private static final ThreadLocal<Integer> DATA_SOURCE = new ThreadLocal<>();
﻿
    public int chooseDefaultDataSource() {
        DATA_SOURCE.set(0);
        return 0;
    }
﻿
    public void chooseDataSource(int index) {
        DATA_SOURCE.set(index);
    }
﻿
    public static Integer getDataSource() {
        return DATA_SOURCE.get();
    }
﻿
    public void clear() {
        DATA_SOURCE.remove();
    }
}
﻿
﻿
而我们重写的AbstractRoutingDataSource则应接入为
﻿
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
﻿
/**
 * <p>动态数据源</p>
 *
 * @author zora
 * @since 2020.09.15
 */
public class DynamicDataSource extends AbstractRoutingDataSource {
    @Override
    protected Object determineCurrentLookupKey() {
        return DataSourceSwitcher.getDataSource();
    }
}
﻿
﻿
到目前为止，动态数据源的切换部分我们已经完成，接下来需要进行数据源的提供。
﻿
向AbstractRoutingDataSource中的两个setter提供对应的内容最简单的当然是new几个DataSource，但是大部分环境中，我们是通过连接池进行数据库连接，而不是每次去创建新的连接对象。而连接池与数据库的交互需要有最基本的4个参数。
﻿
首先创建DatabaseSetting类作为数据模版。
﻿
@Data
public class DatabaseSetting {
    /**
     * 用户名
     */
    private String username;
    /**
     * 密码
     */
    private String password;
    /**
     * 连接url
     */
    private String url;
    /**
     * driver
     */
    private String driver;
}
﻿
﻿
然后，本文以主流的HikariPool作为示例，首先创建一个获取hikari配置的映射器。
﻿
import com.zaxxer.hikari.HikariConfig;
import lombok.Setter;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.collections.CollectionUtils;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;
﻿
import javax.annotation.PostConstruct;
import java.util.Comparator;
import java.util.List;
import java.util.stream.Collectors;
﻿
/**
 * <h3>cloud-userPlayTime</h3>
 * <h4>com.metaapp.cloud.userplaytime.config.db</h4>
 * <p>动态数据源yml配置映射</p>
 *
 * @author zora
 * @since 2020.09.15
 */
@Slf4j
@Configuration
@ConfigurationProperties(prefix = "spring.datasource")
public class DynamicDataSourceValueMapper {
    @Setter
    @Getter
    private List<DatabaseSetting> dynamic;
    @Setter
    @Getter
    private HikariConfig hikari;
﻿
    @PostConstruct
    private void statePrint() {
        dynamic = dynamic.stream().sorted(Comparator.comparingInt(DatabaseSetting::getId)).collect(Collectors.toList());
        StringBuilder builder = new StringBuilder();
        builder.append("【");
        if (CollectionUtils.isEmpty(dynamic)) {
            builder.append("配置失败，数据源为空");
            builder.append('】');
            log.error("多数据源{}", builder.toString());
        } else {
            for (DatabaseSetting databaseSetting : dynamic) {
                builder.append('{').append("UserName=").append(databaseSetting.getUrl()).append(", ").append("Url=").append(databaseSetting.getUrl()).append("} ,");
            }
            builder.deleteCharAt(builder.lastIndexOf(","));
            builder.append('】');
            log.info("多数据源配置获取完毕，配置信息为{}", builder.toString());
        }
﻿
    }
}
﻿
﻿
接下来，通过DynamicDataSourceValueMapper提供的元数据，开始创建对应的多个数据源.
﻿
@Autowired
private DynamicDataSourceValueMapper dynamicDataSourceValueMapper;
﻿
/**
 * 基于元数据创建多个HikariDataSource
 *
 * @return 对应到AbstractRoutingDataSource中Map的数据集
 */
@Bean(name = "dynamicDataSourceList")
public List<DataSource> getDataSourceList() {
    List<DatabaseSetting> settingList = dynamicDataSourceValueMapper.getDynamic();
    HikariConfig hikariPoolConfig = dynamicDataSourceValueMapper.getHikari();
    List<DataSource> dataSourceList = new ArrayList<>(settingList.size());
    for (DatabaseSetting databaseSetting : settingList) {
        HikariConfig currentHikariConfig = new HikariConfig();
        hikariPoolConfig.copyStateTo(currentHikariConfig);
        currentHikariConfig.setDataSource(DataSourceBuilder.create()
                .driverClassName(databaseSetting.getDriver())
                .url(databaseSetting.getUrl())
                .password(databaseSetting.getPassword())
                .username(databaseSetting.getUsername())
                .build());
        dataSourceList.add(new HikariDataSource(currentHikariConfig));
    }
    return dataSourceList;
}
﻿
/**
 * 创建真正的"动态切换"数据源
 *
 * @param dataSourceList 上面方法提供的HikariDataSource
 * @return 实际使用的DynamicDataSource
 */
@Bean(name = "dynamicDataSource")
public DynamicDataSource getDynamicDataSource(@Qualifier(value = "dynamicDataSourceList") List<DataSource> dataSourceList) {
  Map<Object, Object> targetDataSource = new HashMap<>(dataSourceList.size());
  for (int i = 0; i < dataSourceList.size(); i++) {
    DataSource dataSource = dataSourceList.get(i);
    targetDataSource.put(i, dataSource);
  }
  DynamicDataSource dataSource = new DynamicDataSource();
  dataSource.setTargetDataSources(targetDataSource);
  dataSource.setDefaultTargetDataSource(dataSourceList.get(0));
  return dataSource;
}
﻿
﻿
至此，动态数据源的切换部分已经完成。在需要进行数据源切换的时候，注入DataSourceSwitcher并调用chooseDataSource(int index)方法即可。可以根据具体场景，采用aop等其他形式进行增强。
﻿
结合到MyBatis中，需要更新SqlSessionFactory以提供对应的SqlSession因为我们是基于MyBatis来做数据映射，因此我们在重写数据源的过程中，需要保证mybatis与我们的数据源能够正常关联。因此，我们需要重新提供sqlSessionFactory给容器。
﻿
@Bean(name = "MybatisConfiguration")
@ConfigurationProperties("mybatis.configuration")
public org.apache.ibatis.session.Configuration mybatisConfiguration() {
    return new org.apache.ibatis.session.Configuration();
}
﻿
@Bean(name = "SqlSessionFactory")
public SqlSessionFactory dynamicSqlSessionFactory(@Qualifier("dynamicDataSource") DataSource dynamicDataSource, @Qualifier("MybatisConfiguration") org.apache.ibatis.session.Configuration configuration)
        throws Exception {
    SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
    bean.setDataSource(dynamicDataSource);
    bean.setConfiguration(configuration);
    // 调整MapperLocation指定到实际的mapper路径即可。
    bean.setMapperLocations(
            new PathMatchingResourcePatternResolver().getResources("classpath*:com/zora/demo/mapper/mapping/*.xml"));
    return bean.getObject();
}
﻿
﻿
如果我的文章对您有所帮助，希望能够点右下角支持一下，不胜感谢
﻿
最后，小编还给大家整理了一份面试宝典，有需要的添加小编的vx：mxzFAFAFA即可免费获取！
﻿
﻿
﻿
发布于: 2020 年 12 月 07 日阅读数: 21
比伯

关注
还未添加个人签名 2020.11.09 加入
还未添加个人简介
发布
暂无评论