豆瓣评分 9.0！Python3 网络爬虫开发实战，堪称教学典范！

作者：我再BUG界嘎嘎乱杀

2024-08-21
湖南
本文字数：2166 字
阅读完需：约 7 分钟

今天我们所处的时代是信息化时代，是数据驱动的人工智能时代。在人工智能、物联网时代，万物互联和物理世界的全面数字化使得人工智能可以基于这些数据产生优质的决策，从而对人类的生产生活产生巨大价值。

在这个以数据驱动为特征的时代，数据是最基础的。数据既可以通过研发产品获得，也可以通过爬虫采集公开数据获得，因此爬虫技术在这个快速发展的时代就显得尤为重要，高端爬虫人才的收人也在逐年提高。

今天给小伙伴们分享的这份手册是 Python 之父 Guido van Rossum 推荐的爬虫入门书，主要介绍了如何利用 Python 3 开发网络爬虫（文末有最新版的爬虫案例整理）。

限于文章篇幅原因，只能以截图的形式展示出来，有需要的小伙伴 点击这里凭本文截图即可获取！

第 1 章爬虫基础

第 1 章介绍了学习爬虫之前需要了解的基础知识，如 HTTP、爬虫、代理、网页结构、多进程、多线程等内容。对爬虫没有任何了解的读者，建议好好了解这一章的知识。

第 2 章基本库的使用

第 2 章介绍了最基本的爬出操作，爬虫通常是从这一步学起的。这一章介绍了最基本的请求库(urllib、requests、httpx)和正则表达式的基本用法。学完这一章，就可以掌握最基本的爬虫技术了。

第 3 章网页数据的解析提取

第 3 章介绍了网页解析库的基本用法，包括 Beautiful Soup、XPath、pyquery、parsel 的基本使用方法，这些库可以使信息的提取更加方便、快捷，是爬虫必备的利器。

第 4 章数据的存储

第 4 章介绍了数据存储的常见形式及存储操作，包括 TXT 文件、JSON 文件、CSV 文件的存储以及关系型数据库 MySQL 和非关系型数据库 MongoDB，Redis 的基本存储操作，另外还介绍了 Elasticsearch 搜索引擎存储、RabbitMQ 消息队列的用法。学完这一章，就可以灵活、方便地保存爬取下来的数据。

第 5 章 Ajax 数据爬取

第 5 章介绍了 Ajax 数据爬取的过程。一些网页数据可能是通过 Ajax 请求 API 接口的方式加载的用常规方法无法爬取，这一章介绍了 Ajax 分析和爬取实战案例。

第 6 章异步爬虫

第 6 章介绍了异步爬虫的相关知识，如支持更高并发的协程的基本原理、aiohttp 库的使用和实战案例。有了异步爬虫，爬虫的爬取效率将会大大提高。

第 7 章 JavaScript 动态浪染页面爬取

第 7 章介绍了爬取动态渲染页面的相关内容。现在越来越多的网站内容是由 JavaScript 渲染得到的原始 HTML 文本可能不包含任何有效内容，同时渲染过程会涉及某些 JavaScript 加密算法，对此可以使用 Selenium、Splash、Pyppetcer，Playwright 等工具模拟浏览器来进行数据爬取。