gevent
0 人感兴趣 · 1 次引用
- 最新
- 推荐
使用 gevent 实现高并发爬虫
现在给定这么一个场景,有一千个url需要采集,请大家思考下,如何能高效完成采集任务?在上一节课中,我们学到了requests这个强大的第三方库,有的同学会说,我们直接遍历采集就好了,那么会写出如下代码
0 人感兴趣 · 1 次引用
现在给定这么一个场景,有一千个url需要采集,请大家思考下,如何能高效完成采集任务?在上一节课中,我们学到了requests这个强大的第三方库,有的同学会说,我们直接遍历采集就好了,那么会写出如下代码