扫盲篇 - 什么是分布式任务调度

会飞的鱼

关注

发布于: 2021 年 05 月 27 日

什么是任务调度

我们可以先思考一下下面业务场景的解决方案：

某电商系统需要在每天上午 10 点，下午 3 点，晚上 8 点发放一批优惠券。
某银行系统需要在信用卡到期还款日的前三天进行短信提醒。
某财务系统需要在每天凌晨 0:10 结算前一天的财务数据，统计汇总。
12306 会根据车次的不同，而设置某几个时间点进行分批放票。
某网站为了实现天气实时展示，每隔 5 分钟就去天气服务器获取最新的实时天气信息。

以上场景就是任务调度所需要解决的问题。

任务调度是指系统为了自动完成特定任务，在约定的特定时刻去执行任务的过程。有了任务调度即可解放更多的人力由系统自动去执行任务。

任务调度如何实现？

多线程方式实现：

学过多线程的同学，可能会想到，我们可以开启一个线程，每 sleep 一段时间，就去检查是否已到预期执行时间。

以下代码简单实现了任务调度的功能：

public static void main(String[] args) {      	//任务执行间隔时间    final long timeInterval = 1000;    Runnable runnable = new Runnable() {        public void run() {            while (true) {                //TODO：something                try {                    Thread.sleep(timeInterval);                } catch (InterruptedException e) {                    e.printStackTrace();                }            }        }    };    Thread thread = new Thread(runnable);    thread.start();}

复制代码

上面的代码实现了按一定的间隔时间执行任务调度的功能。

JDK 也为我们提供了相关支持，如 Timer、ScheduledExecutor，下边我们了解下:

Timer 方式实现：

public static void main(String[] args){     	Timer timer = new Timer();     	timer.schedule(new TimerTask(){        @Override          public void run() {             //TODO：something        }  	}, 1000, 2000);  //1秒后开始调度，每2秒执行一次}

复制代码

Timer 的优点在于简单易用，每个 Timer 对应一个线程，因此可以同时启动多个 Timer 并行执行多个任务，同一个 Timer 中的任务是串行执行。

ScheduledExecutor 方式实现：

public static void main(String [] agrs){    ScheduledExecutorService service = Executors.newScheduledThreadPool(10);    service.scheduleAtFixedRate(            new Runnable() {                @Override                public void run() {                    //TODO：something                    System.out.println("todo something");                }            }, 1,            2, TimeUnit.SECONDS);}

复制代码

Java 5 推出了基于线程池设计的 ScheduledExecutor，其设计思想是，每一个被调度的任务都会由线程池中一个线程去执行，因此任务是并发执行的，相互之间不会受到干扰。

Timer 和 ScheduledExecutor 都仅能提供基于开始时间与重复间隔的任务调度，不能胜任更加复杂的调度需求。比如，设置每月第一天凌晨 1 点执行任务、复杂调度任务的管理、任务间传递数据等等。

Quartz 是一个功能强大的任务调度框架，它可以满足更多更复杂的调度需求，Quartz 设计的核心类包括 Scheduler, Job 以及 Trigger。其中，Job 负责定义需要执行的任务，Trigger 负责设置调度策略，Scheduler 将二者组装在一起，并触发任务开始执行。Quartz 支持简单的按时间间隔调度、还支持按日历调度方式，通过设置 CronTrigger 表达式（包括：秒、分、时、日、月、周、年）进行任务调度。

第三方 Quartz 方式实现：

public static void main(String [] agrs) throws SchedulerException {    //创建一个Scheduler    SchedulerFactory schedulerFactory = new StdSchedulerFactory();    Scheduler scheduler = schedulerFactory.getScheduler();    //创建JobDetail    JobBuilder jobDetailBuilder = JobBuilder.newJob(MyJob.class);    jobDetailBuilder.withIdentity("jobName","jobGroupName");    JobDetail jobDetail = jobDetailBuilder.build();    //创建触发的CronTrigger 支持按日历调度        CronTrigger trigger = TriggerBuilder.newTrigger()                .withIdentity("triggerName", "triggerGroupName")                .startNow()                .withSchedule(CronScheduleBuilder.cronSchedule("0/2 * * * * ?"))                .build();        //创建触发的SimpleTrigger 简单的间隔调度        /*SimpleTrigger trigger = TriggerBuilder.newTrigger()                .withIdentity("triggerName","triggerGroupName")                .startNow()                .withSchedule(SimpleScheduleBuilder                        .simpleSchedule()                        .withIntervalInSeconds(2)                        .repeatForever())                .build();*/    scheduler.scheduleJob(jobDetail,trigger);    scheduler.start();}
public class MyJob implements Job {    @Override    public void execute(JobExecutionContext jobExecutionContext){        System.out.println("todo something");    }}

复制代码

通过以上内容我们学习了什么是任务调度，任务调度所解决的问题，以及任务调度的多种实现方式。

2.什么是分布式任务调度

什么是分布式？

当前软件的架构正在逐步转变为分布式架构，将单体结构分为若干服务，服务之间通过网络交互来完成用户的业务处理，如下图，电商系统为分布式架构，由订单服务、商品服务、用户服务等组成：

分布式系统具体如下基本特点：

分布性：每个部分都可以独立部署，服务之间交互通过网络进行通信，比如：订单服务、商品服务。
伸缩性：每个部分都可以集群方式部署，并可针对部分结点进行硬件及软件扩容，具有一定的伸缩能力。
高可用：每个部分都可以集群部分，保证高可用。

什么是分布式调度？

通常任务调度的程序是集成在应用中的，比如：优惠卷服务中包括了定时发放优惠卷的的调度程序，结算服务中包括了定期生成报表的任务调度程序，由于采用分布式架构，一个服务往往会部署多个冗余实例来运行我们的业务，在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度，如下图：

分布式调度要实现的目标：

不管是任务调度程序集成在应用程序中，还是单独构建的任务调度系统，如果采用分布式调度任务的方式就相当于将任务调度程序分布式构建，这样就可以具有分布式系统的特点，并且提高任务的调度处理能力：

1.并行任务调度

并行任务调度实现靠多线程，如果有大量任务需要调度，此时光靠多线程就会有瓶颈了，因为一台计算机 CPU 的处理能力是有限的。

如果将任务调度程序分布式部署，每个结点还可以部署为集群，这样就可以让多台计算机共同去完成任务调度，我们可以将任务分割为若干个分片，由不同的实例并行执行，来提高任务调度的处理效率。

2.高可用

若某一个实例宕机，不影响其他实例来执行任务。

3.弹性扩容

当集群中增加实例就可以提高并执行任务的处理效率。

4.任务管理与监测

对系统中存在的所有定时任务进行统一的管理及监测。让开发人员及运维人员能够时刻了解任务执行情况，从而做出快速的应急处理响应。

5.避免任务重复执行

当任务调度以集群方式部署，同一个任务调度可能会执行多次，比如在上面提到的电商系统中到点发优惠券的例子，就会发放多次优惠券，对公司造成很多损失，所以我们需要控制相同的任务在多个运行实例上只执行一次，考虑采用下边的方法：

分布式锁，多个实例在任务执行前首先需要获取锁，如果获取失败那么久证明有其他服务已经再运行，如果获取成功那么证明没有服务在运行定时任务，那么就可以执行。

ZooKeeper 选举，利用 ZooKeeper 对 Leader 实例执行定时任务，有其他业务已经使用了 ZK，那么执行定时任务的时候判断自己是否是 Leader，如果不是则不执行，如果是则执行业务逻辑，这样也能达到我们的目的。

发布于: 2021 年 05 月 27 日阅读数: 513

原文链接:【http://xie.infoq.cn/article/ba6a7ccae4247953ee73391ff】。文章转载请联系作者。

会飞的鱼

关注

解析ETL批量调度形式、IT大数据技术分享~ 2020.12.23 加入

还未添加个人简介

发布

暂无评论

创作场景

扫盲篇 - 什么是分布式任务调度

什么是任务调度

任务调度如何实现？

2.什么是分布式任务调度

会飞的鱼

评论