为了让你面试不再害怕线程池,5 亿脱发大军从此有了我
一、为什么需要线程池
在实际使用中,线程是很占用系统资源的,如果对线程管理不完善的话很容易导致系统问题。因此,在大多数并发框架中都会使用线程池来管理线程,使用线程池管理线程主要有如下好处:
1、使用线程池可以重复利用已有的线程继续执行任务,避免线程在创建和销毁时造成的消耗
2、由于没有线程创建和销毁时的消耗,可以提高系统响应速度
3、通过线程可以对线程进行合理的管理,根据系统的承受能力调整可运行线程数量的大小等
文末放了一个手撕线程池的视频,觉得文字枯燥的朋友不妨看看
二、工作原理
流程图:
线程池执行所提交的任务过程:
▪ 1、比如我们设置核心线程池的数量为30个,不管有没有用户连接,我们总是保证30个连接,这个就是核心线程数,这里的核心线程数不一定是30你可以根据你的需求、业务和并发访问量来设置,先判断线程池中核心线程池所有的线程是否都在执行任务,如果不是,则新创建一个线程执行刚提交的任务,否则,核心线程池中所有的线程都在执行任务,则进入第2步;
▪ 2、如果我们核心线程数的30个数量已经满了,就需要到阻塞队列中去查看,判断当前阻塞队列是否已满,如果未满,则将提交的任务放置在阻塞队列中等待执行;否则,则进入第3步;
▪ 3、判断线程池中所有的线程是否都在执行任务,如果没有,则创建一个新的线程来执行任务,否则,则交给饱和策略进行处理,也叫拒绝策略,等下我们会有详细的介绍
注意: 这里有一个核心线程数和一个线程池数量,这两个是不同的概念,核心线程数代表我能够维护常用的线程开销,而线程池数量则代表我最大能够创建的线程数,例如在我们农村每家每户都有吃水的井,基本上有半井深的水就可以维持我们的日常生活的使用,这里的半井深的水就好比我们的核心线程数,还有一半的容量是我们井能够容纳的最大水资源了,超过了就不行,水就会漫出来,这个就类似于我们的线程池的数量,不知道这里说明大家是否能够更好的进行理解
三、线程池的分类
1.newCachedThreadPool: 创建一个可根据需要创建新线程的线程池,但是在以前构造的线程可用时讲重用它们,并在需要时使用提供的ThreadFactory 创建新线程
特征:
(1) 线程池中的数量没有固定,可以达到最大值(Integer.MAX_VALUE=2147483647)
(2) 线程池中的线程可进行缓存重复利用和回收(回收默认时间为1分钟)
(3) 当线程池中,没有可用线程,会重新创建一个线程
2.newFixedThreadPool: 创建一个可重用固定线程数的线程池,以共享的无界队列方式来运行这些线程,在任意点,在大多数nThreads线程会处于处理任务的活动状态。如果在所有线程处于活动状态时提交附件任务,则在有可用线程之前,附件任务将在队列中等待,如果在关闭前的执行期间由于失败而导致任何线程终止,那么一个新线程将代替它执行后续的任务(如果需要)。在某个线程被显式关闭之前,池中的线程将一直存在
特征:
(1) 线程池中的线程处于一定的量,可以很好的控制线程的并发量
(2) 线程可以重复被使用,在显示关闭之前,都将一直存在
(3) 超过一定量的线程被提交时需在队列中等待
3.newSingleThreadExecutor: 创建一个使用单个 worker 线程的Executor ,以无界队列方式来运行该线程。(注意,如果因为在关闭前的执行期间出现失败而终止了此单个线程,那么如果需要,一个新线程将代替它执行后续的任务)。可保证顺序地执行各个任务,并且在任意给定的时间不会有多个线程是活动的,与其他等效的 newFixedThreadPool(1)
不同,可保证无需重新配置此方法所返回的执行程序即可使用其他的线程
特征:
(1) 线程池中最多执行一个线程,之后提交的线程将会排在队列中以此执行
4.newSingleThreadScheduledExecutor: 创建一个单线程执行程序,它可安排在给定延迟后运行命令或者定期执行
特征:
(1) 线程池中最多执行一个线程,之后提交的线程活动将会排在队列中依次执行
(2) 可定时或者延迟执行线程活动
5.newScheduledThreadPool: 创建一个线程池,它可安排在给定延迟后运行命令或者定期的执行
特征:
(1) 线程池中具有执行数量的线程,即便是空线程也将保留
(2) 可定时或者延迟执行线程活动
6.newWorkStealingPool: 创建一个带并行级别的线程池,并行级别决定了同一时刻最多有多少个线程在执行,如不传并行级别参数,将默认为当前系统的CPU个数
我们可以在开发工具中搜索一个叫Executors
的类,在里面我们可以看到我们上面所有的使用方法
四、线程池的具体实现:ThreadPoolExecutor
线程工具类——Task :
4.1 newCachedThreadPool
源码实现:
案例:
结果输出:
从开始到结束我们总共输出了20个(pool-1-thread-1到pool-1-thread-20)线程
4.2 newFixedThreadPool
源码实现:
案例:
输出结果:
我们可以看到其中的线程是每五个(pool-1-thread-1到pool-1-thread-5)一执行,在当前执行的线程运行中,最多允许五个线程进行执行
4.3 newSingleThreadExecutor
源码实现:
案例:
结果输出:
我们可以看到每次都是线程1输出结果
五、线程池的具体实现:ScheduledThreadPoolExecutor
5.1 newScheduledThreadPool
案例:
输出结果:
5.2 newSingleThreadScheduledExecutor
案例:
输出结果:
六、线程池的生命周期
一般来说线程池只有两种状态,一种是Running
,一种是TERMINATED
,图中间的都是过渡状态
Running
:能接受新提交的任务,并且也能处理阻塞队列中的任务
SHUTDOWN
:关闭状态,不再接受新提交的任务,但却可以继续处理阻塞队列中已保存的任务
STOP
:不能接受新任务,也不处理队列中的任务,会中断正在处理任务的线程
TIDYING
:如果所有的任务都已终止了,workerCount(有效线程数)为0.线程池进入该状态后会调用terminated()方法进入TERMINATED状态
TERMINATED
:在terminated()方法执行完成后进入该状态,默认terminated()方法中什么也没有做
七、线程池的创建
7.1 Executors 源码
7.2 参数说明
corePoolSize
:核心线程池的大小
maximumPoolSize
:线程池能创建线程的最大个数
keepAliveTime
:空闲线程存活时间
unit
:时间单位,为keepAliveTime指定时间单位
workQueue
:阻塞队列,用于保存任务的阻塞队列
threadFactory
:创建线程的工程类
handler
:饱和策略(拒绝策略)
八、阻塞队列
ArrayBlockingQueue:
基于数组的阻塞队列实现,在ArrayBlockingQueue内部,维护了一个定长数组,以便缓存队列中的数据对象,这是-个常用的阻塞队列,除了一个定长数组外,ArrayBlockingQueue内部还保存着两个整形变量,分别标识着队列的头部和尾部在数组中的位置。
ArrayBlockingQueue在生产者放入数据和消费者获取数据,都是共用同一个锁对象,由此也意味着两者无法真正并行运行,这点尤其不同于LinkedBlockingQueue;按照实现原理来分析,ArrayBlockingQueue完全可以采用分离锁,从而实现生产者和消费者操作的完全并行运行。Doug Lea之所以没这样去做,也许是因为ArrayBlockingQueue的数据写入和获取操作已经足够轻巧,以至于引入独立的锁机制,除了给代码带来额外的复杂性外,其在性能上完全占不到任何便宜。
ArrayBlockingQueue和LinkedBlockingQueue间还有一个明显的不同之处在于,前者在插入或删除元素时不会产生或销毁任何额外的对象实例,而后者则会生成一个额外的Node对象。这在长时间内需要高效并发地处理大批量数据的系统中,其对于GC的影响还是存在一定的区别。而在创建ArrayBlockingQueue时,我们还可以控制对象的内部锁是否采用公平锁,默认采用非公平锁。
LinkedBlockingQueue:
基于链表的阻塞队列,同ArrayListBlockingQueue类似,其内部也维持着一个数据缓冲队列(该队列由一个链表构成),当生产者往队列中放入一个数据时,队列会从生产者手中获取数据,并缓存在队列内部,而生产者立即返回;只有当队列缓冲区达到最大值缓存容量时( LinkedBlockingQueue可以通过构造函数指定该值),才会阻塞生产者队列,直到消费者从队列中消费掉─份数据,生产者线程会被唤醒,反之对打于消费者这端的处理也基于同样的原理。而
LinkedBlockingQueue之所以能够高效的处理并发数据,还因为其对于生产者端和消费者端分别采用了独立的锁来控制数据同步,这也意味着在高并发的情况下生产者和消费者可以并行地操作队列中的数据,以此来提高整个队列的并发性能。
DelayQueue:
DelayQueue中的元素只有当其指定的延迟时间到了,才能够从队列中获取到该元素。DelayQueue是一个没有大小限制的队列,因此往队列中插入数据的操作(生产者)永远不会被阻塞,而只有获取数据的操作(消费者)才会被阻塞。
使用场景︰
DelayQueue使用场景较少,但都相当巧妙,常见的例子比如使用一个DelayQueue来管理一个超时未响应的连接队列。
PriorityBlockingQueue:
基于优先级的阻塞队列(优先级的判断通过构造函数传入的Compator对象来决定),但需要注意的是
PriorityBlockingQueue并不会阻塞数据生产者,而只会在没有可消费的数据时,阻塞数据的消费者。因此使用的时候要特别注意,生产者生产数据的速度绝对不能快于消费者消费数据的速度,否则时间一长,会最终耗尽所有的可用堆内存空间。在实现PriorityBlockingQueue时,内部控制线程同步的锁采用的是公平锁。
SynchronousQueue:
一种无缓冲的等待队列,类似于无中介的直接交易,有点像原始社会中的生产者和消费者,生产者拿着产品去集市销售给产品的最终消费者,而消费者必须亲自去集市找到所要商品的直接生产者,如果一方没有找到合适的目标,那么对不起,大家都在集市等待。相对于有缓冲的BlockingQueue来说,少了一个中间经销商的环节(缓冲区),如果有经销商,生产者直接把产品批发给经销商,而无需在意经销商最终会将这些产品卖给那些消费者,由于经销商可以库存一部分商品,因此相对于直接交易模式,总体来说采用中间经销商的模式会吞吐量高一些(可以批量买卖)﹔但另一方面,又因为经销商的引入,使得产品从生产者到消费者中间增加了额外的交易环节,单个产品的及时响应性能可能会降低。
声明一个SynchronousQueue有两种不同的方式,它们之间有着不太一样的行为。公平模式和非公平模式的区别:如果采用公平模式:SynchronousQueue会采用公平锁,并配合一个FIFO队列来阻塞多余的生产者和消费者,从而体系整体的公平策略;
但如果是非公平模式 ( SynchronousQueue默认) : SynchronousQueue采用非公平锁,同时配合一个LIFO队列来管理多余的生产者和消费者,而后一种模式,如果生产者和消费者的处理速度有差距,则很容易出现饥渴的情况,即可能有某些生产者或者是消费者的数据永远都得不到处理。
注意:
arrayblockingqueue和linkedblockqueue的区别:1.队列中锁的实现不同
1、ArrayBlockingQueue实现的队列中的锁是没有分离的,即生产和消费用的是同一个锁;
LinkedBlockingQueue实现的队列中的锁是分离的,即生产用的是putLock,消费是takeLock2.队列大小初始化方式不同
2、ArrayBlockingQueue实现的队列中必须指定队列的大小;
LinkedBlockingQueue实现的队列中可以不指定队列的大小,但是默认是Integer.MAX_VALUE
九、拒绝策略
ThreadPoolExecutor.AbortPolicy(系统默认): 丢弃任务并抛出RejectedExecutionException异常,让你感知到任务被拒绝了,我们可以根据业务逻辑选择重试或者放弃提交等策略
ThreadPoolExecutor.DiscardPolicy: 也是丢弃任务,但是不抛出异常,相对而言存在一定的风险,因为我们提交的时候根本不知道这个任务会被丢弃,可能造成数据丢失。
ThreadPoolExecutor.DiscardOldestPolicy: 丢弃队列最前面的任务,然后重新尝试执行任务(重复此过程),通常是存活时间最长的任务,它也存在一定的数据丢失风险
ThreadPoolExecutor.CallerRunsPolicy: 由调用线程处理该任务
十、execute()和submit()方法
10.1 execute方法执行逻辑
如果当前运行的线程少于corePoolSize,则会创建新的线程来执行新的任务;
如果运行的线程个数等于或者大于corePoolSize,则会将提交的任务存放到阻塞队列workQueue中;
如果当前workQueue队列已满的话,则会创建新的线程来执行任务;
如果线程个数已经超过了maximumPoolSize,则会使用饱和策略RejectedExecutionHandler来进行处理
10.2 Submit
submit是基方法Executor.execute(Runnable)的延伸,通过创建并返回一个Future类对象可用于取消执行和/或等待完成。
十一、线程池的关闭
关闭线程池,可以通过shutdown和shutdownNow两个方法
原理:遍历线程池中的所有线程,然后依次中断
1、shutdownNow首先将线程池的状态设置为STOP,然后尝试停止所有的正在执行和未执行任务的线程,并返回等待执行任务的列表;
2、shutdown只是将线程池的状态设置为SHUTDOWN状态,然后中断所有没有正在执行任务的线程
版权声明: 本文为 InfoQ 作者【linux亦有归途】的原创文章。
原文链接:【http://xie.infoq.cn/article/3dceeee5f5872a748fe5cdac6】。文章转载请联系作者。
评论 (1 条评论)