1.简介

一个轻量级，完善的批处理框架，旨在帮助企业建立健壮高效的批处理应用程序.

1.1 作用

a. 数据迁移,数据同步,数据批处理等工作

b. 让研发更关心具体业务实现,流程以及流程的控制交给 springBatch

2.架构

官网架构:

个人理解的架构:

组件介绍:

3.分析

1.优势

2.使用场景

3.竞品分析

4.总结

现在负责的会员系统其实存在很多同步会员信息,然后进行数据处理场景(比如用户等级,用户信用分,成长值都需要很多会员原始数据).

放弃 XXL-Job + 多线程业原因:

1.Job 的执行偶尔会影响夜间线上业务

2.很多数据源,代码比较混乱.

3.没法支持流程定义

使用 SpringBatch 的原因:

1.大数据不愿意做太多业务同步数据

2.数据量没有特别大,业务系统可以自己支持(依赖外部,增加沟通和研发成本)

3.对爪哇程序员很友好,spring 全家桶

DataX 放弃原因:

1.感觉很吃内存

2.同时不方便二次定制化开发

3.跟 Spring 集成效果很差,投入成本高.

5.参考文献

SpringBatch 源码:

https://github.com/spring-projects/spring-batch

SpringBatch 官网:

https://spring.io/projects/spring-batch/#overview

入门学习参考:

https://blog.csdn.net/masson32/category_9008923.html