写点什么

Golang 协程池的使用

  • 2022 年 9 月 29 日
    北京
  • 本文字数:1824 字

    阅读完需:约 6 分钟

背景

系统开发部分需求涉及到了多任务执行,而多任务执行过程中需要处理并发问题,都知道 Golang 本身是支持高并发的,其实很多语言都支持并发,像 Java 也可以创建多个线程(Thread),但是为什么要强调 Golang 支持高并发呢?那是因为 Golang 并发执行 100w 个协程。(coroutine)也不会觉得特别吃力,但是 Java 并发执行 1w 个线程(Thread)其性能下降就显而易见了,因此支持高并发也是 Golang 的特性之一。

Golang 的并发是通过协程来实现支持的,Go 中 main 函数入口本身是一个主协程,如果我们没有创建子协程,那么这种程序执行模式就是串行(即一件事情做完再做另外一件事)

可想而知这种模式效率低下,所以多用户量的网站使用这种网络请求模式不可取。并行的话(同一时间多个任务同时执行),这种模式不太现实,因为没有那么多核的 CPU。那就只剩下并发模式了(同一时间段内多个任务交替间隔执行),Golang 每个协程执行的都是一个函数。

Golang 使用协程处理并发任务效率比较高,但是我们在实际的开发过程中真的给每个任务都新开一个子协程吗?启动子协程越多占用的系统资源越多,那么程序的执行效率反而会受到影响,因此需要使用协程池来限制协程的启动数量。

实现方案

协程池的实现是有入口队列 entryChannel 和任务队列 jobChannel 以及具体做任务的协程 worker 组成,画图如下:

package mainimport (   "fmt"   "time")//golang协程池 使用/* 有关Task任务相关定义及操作 *///定义任务Task类型,每一个任务Task都可以抽象成一个函数type Task struct {   fu func() error //一个无参的函数类型}//通过NewTask来创建一个Taskfunc NewTask(f func() error) *Task {   t := Task{      fu: f,   }   return &t}//执行Task任务的方法func (t *Task) Execute() {   _ = t.fu() //调用任务所绑定的函数}/* 有关协程池的定义及操作 *///定义池类型type Pool struct {   //对外接收Task的入口   EntryChannel chan *Task   //协程池最大worker数量,限定Goroutine的个数   worker_num int   //协程池内部的任务就绪队列   JobsChannel chan *Task}
//创建一个协程池func NewPool(cap int) *Pool { p := Pool{ EntryChannel: make(chan *Task), worker_num: cap, JobsChannel: make(chan *Task), } return &p}//协程池创建一个worker并且开始工作func (p *Pool) worker(work_ID int) { //worker不断的从JobsChannel内部任务队列中拿任务 for task := range p.JobsChannel { //如果拿到任务,则执行task任务 task.Execute() fmt.Println("worker ID ", work_ID, " 执行完毕任务") }}//让协程池Pool开始工作func (p *Pool) Run() { //1,首先根据协程池的worker数量限定,开启固定数量的Worker, // 每一个Worker用一个Goroutine承载 for i := 0; i < p.worker_num; i++ { go p.worker(i) } //2, 从EntryChannel协程池入口取外界传递过来的任务 // 并且将任务送进JobsChannel中 for task := range p.EntryChannel { p.JobsChannel <- task } //3, 执行完毕需要关闭JobsChannel close(p.JobsChannel) //4, 执行完毕需要关闭EntryChannel close(p.EntryChannel)}//主函数func main() { //创建一个Task t := NewTask(func() error { fmt.Println(time.Now()) return nil }) //创建一个协程池,最大开启3个协程worker p := NewPool(3) //开一个协程 不断的向 Pool 输送打印一条时间的task任务 go func() { for { p.EntryChannel <- t } }() //启动协程池p p.Run()}
复制代码

测试效果

总结

理论上资源够可以开很多很多协程, main 就是一个主协程,其他协程,无论是协程里面又开启的协程,其实理论上都从属于 main 主协程。协程的通讯和控制就依赖于 channel 通道和 context 包,而协程的代码一定注意不要有死循环或者无限制等待的阻塞任务,不然除非 main 退出,子协程是无法退出的,他不像进程这样,你还可以通过 kill 等命令强制结束,context 的控制逻辑其实也是要代码执行到判断逻辑主动退出的,如果之前就阻塞或者死循环,那就无法退出了。当然就像上面可以自己控制实现一个协程池来管控一下。

更多学习资料戳下方!!!

https://qrcode.ceba.ceshiren.com/link?name=article&project_id=qrcode&from=infoQ&timestamp=1662366626&author=xueqi

用户头像

社区:ceshiren.com 2022.08.29 加入

微信公众号:霍格沃兹测试开发 提供性能测试、自动化测试、测试开发等资料、实事更新一线互联网大厂测试岗位内推需求,共享测试行业动态及资讯,更可零距离接触众多业内大佬

评论

发布
暂无评论
Golang协程池的使用_测试_测吧(北京)科技有限公司_InfoQ写作社区