写点什么

赞!一篇博客讲解清楚 Python queue 模块,作为 Python 爬虫预备知识,用它解决采集队列问题

作者:梦想橡皮擦
  • 2021 年 11 月 16 日
  • 本文字数:3396 字

    阅读完需:约 11 分钟

原计划直接写爬虫第 25 例,但是发现它需要 Queue 队列相关知识,翻阅了一下同步编写的《滚雪球学 Python》专栏,竟然没有相关博客。这就不得不补充一篇,恰好把他放在《Python 爬虫 120 例》中。

Queue 模块

在学习之前,你可以直接打开 官方手册 对比学习。


只要涉及到多线程爬虫,就会涉及到数据采集队列的优先级问题,在 Python 中 Queue 模块提供了一个同步的,线程安全的队列类,它包括常见的 FIFO(先入先出)、LIFO(后入先出)、PriorityQueue(按优先级队列)以及先入先出类型的简单队列(SimpleQueue,3.7 版本新增功能)。


先入先出,后入先出这些都是数据结构中的一些基本知识,不再扩展说明,直接百度相关关键词即可学习。


可以回忆出来栈是先进后出,队列(Queue)是先进先出即可。


初始队列可以先掌握这样几个概念:


  • 初始化队列:创建一个空队列;

  • 入队:把数据添加到对位;

  • 出队:从队首取数据;

  • 销毁队列:删除队列相关数据。

初始化一个队列

在 Python 中可以直接导入 Queue 模块,然后对其进行初始化操作:


import queue
q = queue.Queue(maxsize=5)print(type(q))
复制代码


参数 maxsize 是一个整数,表示队列的最大长度,在实际操作中,当队列达到上限时,插入数据会被阻塞,直到有数据出队之后,才可被插入。该参数默认为 0,即表示队列长度不限制,如果设置为负数,队列长度也无限(一般无人设置为负数)。


如果要声明为其它不同类型的队列,使用下述代码即可:


# 后进先出q = queue.LifoQueue(maxsize=5)# 优先级队列q = queue.PriorityQueue(maxsize=5)# 先进先出类型的简单队列,没有大小限制q = queue.SimpleQueue()
复制代码


这四种队列区别如下:


  1. queue.Queue(maxsize=0):先进先出,最早进入队列的数据先出队列;

  2. queue.LifoQueue(maxsize=0):最后进入队列的数据先出队列;

  3. PriorityQueue(maxsize=0):比较队列中每个数据的大小,值最小的数据先出队列;

  4. queue.SimpleQueue:与 1 相似,只是一个简单队列,缺少一些高级的方法。

队列数据新增

队列新增数据,即将一个值放入队列中,该方法的格式如下:


Queue.put(item, [block[, timeout]])
复制代码


其中 item 必填参数,即插入的值,block 默认为 True,如果当 blockTrue 时且 timeoutNone (默认),put() 方法就使调用线程阻塞在这里,直到空出一个数据单元,代码如下:


# 不要运行代码,会进入假死等待状态。import queue
q = queue.Queue(maxsize=2)q.put("橡",block=True)q.put("皮",block=True)q.put("擦",block=True)
print(q)
复制代码


如果 timeout 是个正数,将最多阻塞 timeout 秒,如果在这段时间没有可用的空闲插槽,将引发 Full 异常。如果 blockFalse,如果空闲插槽立即可用,则把 item 放入队列,否则引发 Full 异常 ( 在这种情况下,timeout 将被忽略)。


import queue
q = queue.Queue(maxsize=2)q.put("橡",block=True)q.put("皮",block=True)q.put("擦",block=True,timeout=3)
print(q)
复制代码


运行代码,等待 3s 之后,出现如下异常。


    raise Fullqueue.Full
复制代码

取队列值

代码格式如下:


Queue.get(block=True, timeout=None)
复制代码


该函数表示从队列头部获取一个值,并在队列中删除该值,如果可选参数 blockTrue 并且 timeoutNone (默认值),则在必要时阻塞至项目可得到。如果 timeout 是个正数,将最多阻塞 timeout 秒,如果在这段时间内项目不能得到,将引发 Empty 异常。反之 (blockFalse) , 如果一个项目立即可得到,则返回一个项目,否则引发 Empty 异常 (这种情况下,timeout 将被忽略)。


import queue
q = queue.Queue(maxsize=4)q.put("橡",block=True)q.put("皮",block=True)q.put("擦",block=True,timeout=3)
item1 = q.get()item2 = q.get()item3 = q.get()print(item1,item2,item3)
复制代码

其它常用方法

队列的基本使用参考上述即可,非常简单,其余的都为方法级的应用。


  • q.qsize():队列大小;

  • q.empty():判断队列是否为空;

  • q.full():判断队列是否为满;

  • q.get_nowait():等价于 q.get(False),该方法使用参考上述取队列值部分内容;

  • q.put_nowait(item) :等价于 q.put(item, False)

  • q.task_done()q.join():这两个方法继续阅读后续内容。

q.task_done() 与 q.join() 方法

首先 SimpleQueue 是不支持 task_donejoin 方法的,使用的时候需要注意下。


学习之前,先大概了解一下这两个方法的说明:


  • task_done:表示队列中的元素已经被取出,即每个 get 获取一个元素之后,调用 task_done 告诉数据处理已经完成,如果被调用的次数大于队列中元素格式,引发 ValueError 异常;

  • join:一直阻塞到队列中所有元素都被取出和执行,只要元素在不断的添加到 queue 中,join 就不会阻塞,也可以理解为需要等到队列为空,再执行别的操作。


如果看文字描述不容易理解,直接对比代码查阅,下述队列将被一直阻塞,原因是在第一个 put 之后,并没有调用 task_done 告知任务完成。


import queue
q = queue.Queue(3)q.put('橡', block=True, timeout=5)q.put_nowait('皮')q.task_done()print(q.get())q.join()
复制代码


解除阻塞的办法也非常简单,只需要在每次的 put 方法后面,增加一个 task_done 方法的调用即可。


import queue
q = queue.Queue(3)q.put('橡', block=True, timeout=5)q.task_done()q.put_nowait('皮')q.task_done()
print(q.get())q.join()
复制代码


如果理解起来还有困难,可以在参考下述案例:


import queueq = queue.Queue()q.put('橡')q.put('皮')q.put('擦')for i in range(3):    print(q.get())    # 如果不执行 task_done,join 会一直处于阻塞状态,等待 task_done 告知它数据的处理已经完成    # q.task_done()q.join()
复制代码


官方手册还提供了一个多线程的案例提供参考,这里也为大家标记一下,并提供中文注释说明。


import threading, queue
# 初始化一个空队列,不限制长度q = queue.Queue()
def worker(): while True: item = q.get() print(f'正在执行: {item}') print(f'完成: {item}') # 发送任务完成的命令 q.task_done()
# 开启多线程threading.Thread(target=worker, daemon=True).start()
# 设置 30 个 putfor item in range(30): q.put(item)
print('所有的任务已经完成\n', end='')
# 阻塞,直到所有任务完成q.join()print('所有任务完成')
复制代码

队列在爬虫应用上的落地

队列既然是线程之间常用的通讯方式,并且自带锁机制,那自然会被应用到爬虫采集中,一般是使用生产者消费者模式进行开发。


下述案例存在一个生产者【橡皮擦】,每间隔 5 秒制作一套课程,存在两个消费者,一直监听橡皮擦是否制作课程,当橡皮擦制作出课程之后,就进行购买:


from queue import Queueimport timeimport threading
# 初始化一个队列q = Queue(maxsize=0)

# 生产者def producer(name): course_num = 1 while True: q.put('制作的第 {} 套课程'.format(course_num)) print("{} 制作的第 {} 套课程".format(name, course_num)) course_num += 1 time.sleep(5)

# 消费者def consumer(name): while True: print('{} 购买了 {}'.format(name, q.get())) time.sleep(1) q.task_done()

# 开启三个进程t1 = threading.Thread(target=producer, args=('橡皮擦',))t2 = threading.Thread(target=consumer, args=('CSDN 账户 A',))t3 = threading.Thread(target=consumer, args=('CSDN 账户 B',))
t1.start()t2.start()t3.start()
复制代码

优先级队列

接下来在说明一下优先级队列,优先级队列出队列的顺序与优先级有关,所以在入队的时候,就需要将数据排好顺序。


import queue
q = queue.PriorityQueue(5)q.put((5,'梦'))q.put((4,'想'))q.put((4,'橡'))q.put((3,'皮'))q.put((2,'擦'))

print(q.get())print(q.get())print(q.get())print(q.get())print(q.get())
复制代码


输出顺序如下所示:


(2, '擦')(3, '皮')(4, '想')(4, '橡')(5, '梦')
复制代码

写在后面

本文作为《爬虫 120 例》专栏中的一篇,但是不会占用案例篇幅滴,仅作为一个番外存在,毕竟从下一篇开始,我们将会把 threading 模块与 queue 模块结合起来,实现多线程爬虫 。


《爬虫 120 例》代码仓库地址:https://codechina.csdn.net/hihell/python120,去给个关注或者 Star 吧。


==来都来了,不发个评论,点个赞,收个藏吗?==


发布于: 6 小时前阅读数: 5
用户头像

爬虫 100 例作者,蓝桥签约作者,博客专家 2021.02.06 加入

6 年产品经理+教学经验,3 年互联网项目管理经验; 互联网资深爱好者; 沉迷各种技术无法自拔,导致年龄被困在 25 岁; CSDN 爬虫 100 例作者。 个人公众号“梦想橡皮擦”。

评论

发布
暂无评论
赞!一篇博客讲解清楚 Python queue模块,作为Python爬虫预备知识,用它解决采集队列问题