写点什么

python 爬虫 - 学习 urllib 和 requests 使用,模拟请求

用户头像
大佬sam
关注
发布于: 2021 年 02 月 23 日

前言


上篇我们了解了爬虫的基本知识,这次我们来学习下,如何用 Python 模拟浏览器访问网站和登录。

正文

Python 如此方便,正是因为它提供了很多实现好各种功能的库,它内置了许多非常有用的模块,无需额外安装和配置,即可直接使用。

同时也有很多第三方模块,我们只需要用好各种工具库和模块,就能实现很多方便的操作,用程序来代替繁琐的功能。


这次我们来学习 urllib 和 requests 模块,实现模拟请求。

urllib 介绍

Python 内置的 HTTP 请求库,安装好 Python 就能用,它是最基本的请求库,用于访问网络资源,程序发起请求,获取响应数据,使用该库实现。


主要有 4 个模块

>urllib.request 请求模块

urllib.error 异常处理模块,捕获请求和响应中出现的错误

urllib.parse url 解析模块,提供 url 处理方法,拆分合并

urllib.robotparser robots.txt 解析模块

使用

get 请求

get 请求一般是我们在浏览器地址直接输入一个地址,就能能访问到网页。

urllib 的 request 模块可以非常方便地抓取 URL 内容,也就是发送一个 GET 请求到指定的页面,然后返回 HTTP 的响应:

# 导入urllib.request 库import urllib.request
# 向指定的url发送请求,并返回服务器响应的类文件对象response = urllib.request.urlopen("http://www.baidu.com")
# 类文件对象支持文件对象的操作方法,如read()方法读取文件全部内容,返回字符串html = response.read()
# 打印字符串print (html)
复制代码

我们可以浏览器上打开百度, 右键选择“查看源代码”,你会发现,跟我们刚才打印出来的是一模一样,经过浏览器渲染,就是好看的百度页面。

也就是说,上面的代码就已经帮我们把百度的首页的全部代码爬了下来。


post 请求

一般我们想要向某一个地方发送数据,就需要用到 post 请求。

像我们登陆网站,下订单等,都是用 post 实现。

# POST请求的目标URLurl = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"
headers={"User-Agent": "Mozilla"}
formdata = { "type":"AUTO", "i":"i love python", "doctype":"json", "xmlVersion":"1.8", "keyfrom":"fanyi.web", "ue":"UTF-8", "action":"FY_BY_ENTER", "typoResult":"true"}
data = urllib.parse.urlencode(formdata)
request = urllib.request.Request(url, data = data, headers = headers)response = urllib.request.urlopen(request)print (response.read())
复制代码

发送 POST 请求时,需要特别注意 headers 的一些属性,这个 headers 的作用就是让请求模拟浏览器发送。


headers 属性有:

>Content-Length: 144: 是指发送的表单数据长度为 144,也就是字符个数是 144 个。

Content-Type: application/x-www-form-urlencoded : 表示浏览器提交 Web 表单时使用,表单数据会按照 name1=value1&name2=value2 键值对形式进行编码。

X-Requested-With: XMLHttpRequest :表示 Ajax 异步请求。


requests

相对于 urllib,第三方库 requests 增加很多实用的高级功能,处理 URL 资源特别方便。

它包含了 urllib 全部的功能,可以节约大部分的工作。

一句话概括:Python 实现的简单易用的 HTTP 库


windows 安装:

pip install requests
pip list -- 可查看已安装的库
复制代码

验证安装是否成功:

win 键+x 选择 命令提示符。输入以下命令:

Pythonimport requests//没报错就成功安装了
复制代码


GET 请求

import requests
kw = {'wd':'英雄联盟'}
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# params 接收一个字典或者字符串的查询参数,字典类型自动转换为url编码,不需要urlencode()response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)
# 查看响应内容,response.text 返回的是Unicode格式的数据print (response.text)
# 查看响应内容,response.content返回的字节流数据print (responese.content)
# 查看完整url地址print (response.url)
# 查看响应头部字符编码print (response.encoding)
# 查看响应码print (response.status_code)
复制代码

使用 response.text 时,Requests 会基于 HTTP 响应的文本编码自动解码响应内容,大多数 Unicode 字符集都能被无缝地解码。


使用 response.content 时,返回的是服务器响应数据的原始二进制字节流,可以用来保存图片等二进制文件。


POST 请求

要发送 POST 请求,只需要把 get()方法变成 post(),然后传入 data 参数作为 POST 请求的数据


import requests
formdata = { "type":"AUTO", "i":"i love python", "doctype":"json", "xmlVersion":"1.8", "keyfrom":"fanyi.web", "ue":"UTF-8", "action":"FY_BY_ENTER", "typoResult":"true"}
url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"
headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
response = requests.post(url, data = formdata, headers = headers)
print (response.text)# 如果是json文件可以直接显示print (response.json())`
复制代码

Cookies 和 Sission

如果一个响应中包含了 cookie,那么我们可以利用 cookies 参数拿到:

import requests
response = requests.get("http://www.baidu.com/")
# 返回CookieJar对象:cookiejar = response.cookies
# 将CookieJar转为字典:cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print (cookiejar)
print (cookiedict)
复制代码

运行结果:

>>> print (cookiejar)<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>>>>>>> print (cookiedict){'BDORZ': '27315'}
复制代码


在 requests 里,session 对象是一个非常常用的对象,这个对象代表一次用户会话:从客户端浏览器连接服务器开始,到客户端浏览器与服务器断开。


抢茅台脚本,一直保持登陆状态的实现:

def _validate_cookies(self):   """   验证cookies是否有效(是否登陆)   通过访问用户订单列表页进行判断:若未登录,将会重定向到登陆页面。   :return: cookies是否有效 True/False   """   url = 'https://order.jd.com/center/list.action'   payload = {       'rid': str(int(time.time() * 1000)),   }   try:       resp = self.session.get(url=url, params=payload, allow_redirects=False)       if resp.status_code == requests.codes.OK:           return True   except Exception as e:       logger.error("验证cookies是否有效发生异常", e)   return False
复制代码

后面的请求,都是使用 requests.session 对象去发起,这样能保证每次请求都是在登陆状态下的。


另外,附上 requests 的其他常用的方法:


>requests.request() 构造一个请求,支持以下各种方法

requests.get() 获取 html 的主要方法

requests.head() 获取 html 头部信息的主要方法

requests.post() 向 html 网页提交 post 请求的方法

requests.put() 向 html 网页提交 put 请求的方法

requests.patch() 向 html 提交局部修改的请求

requests.delete() 向 html 提交删除请求


最后

学习 urllib 和 requests 使用,是我们学习爬虫最关键的一步。


对我们来说,能学会爬虫,相当于也熟悉了 python,可以自己写一写自动化的程序,减少很多重复的劳动,提高我们的工作效率,有更多时间做自己想做的事情。


关注博主公众号 “phper 进阶笔记”,获取学习资料,一起学习 Python。

希望大家点赞、评论、收藏


发布于: 2021 年 02 月 23 日阅读数: 56
用户头像

大佬sam

关注

服务器攻城狮。 2018.09.29 加入

日更

评论

发布
暂无评论
python爬虫-学习urllib和requests使用,模拟请求