Scrapy
0 人感兴趣 · 16 次引用
- 最新
- 推荐
强大的爬虫框架 Scrapy
本节来介绍一个强大的爬虫框架 Scrapy。Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Python 实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。
Scrapy 中 process_request 返回 request 和 None 的区别
上篇文章中遇到了一个问题，就是在 process_request 函数中返回 request 对象导致爬虫退出的问题，这篇文章来解释下。
scrapy 学习之爬虫练习平台 5
本篇文章是这个爬虫练习平台的最后一篇了，由于是学习 Scrapy，所以前面跳过了验证码逆向的题目，后面跳过了 APK 逆向的题目，验证码和 APK 看情况以后再单独写文章。本篇文章写使用代理 IP 突破 IP 地址反爬。
scrapy 学习之爬虫练习平台 4
上一篇文章讲了如何使用 scrapy 和 selenium 搭配来爬取数据，这篇文章来写一下如何用 selenium 来爬取使用 Ajax 加载数据的网站并且过掉反爬。
scrapy 学习之爬虫练习平台 3
上一篇文章爬取了爬虫练习平台的 spa 部分，有 Ajax 和接口加密，没有涉及到登录，都是 GET 请求。
scrapy 学习之爬虫练习平台 2
上一篇文章中爬取了爬虫练习平台的所有 ssr 网站，都是比较简单的，没有反爬措施，这次来爬一下后面的 spa 系列。
scrapy 学习之爬虫练习平台爬取
为了练习 Scrapy，找了一个爬虫练习平台，网址为：https://scrape.center/，目前爬取了前十个比较简单的网站，在此感谢平台作者提供的练习平台。
从零开始搭建完整的电影全栈系统（一）——数据库设计及爬虫编写
前言：关于标题似乎有些浮夸，所谓的全栈系统主要包括数据的爬取，web网站展示，移动设备App，主要记录学习过程中知识点，以备忘。
