Python 爬取 51job 招聘信息，全网独家首发

import requests

url = 'http

s://search.51job.com/list/010000%252c020000%252c030200%252c040000,000000,0000,00,9,99,python,2,1.html'

params = {

'lang': 'c',

'postchannel': '0000',

'workyear': '99',

'cotype': '99',

'degreefrom': '99',

'jobterm': '99',

'companysize': '99',

'ord_field': '0',

'dibiaoid': '0',

'line': '',

'welfare': '',

}

cookies = {

'''

你的 cookie

'''

}

headers = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9',

'Host': 'search.51job.com',

'Referer': 'https://search.51job.com/list/190200,000000,0000,00,9,99,python,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',

}

response = requests.get(url=url, params=params, headers=headers, cookies=cookies)

response.encoding = response.apparent_encoding

print(response.text)

咱们需要的数据的在<script> 里面

<script type="text/javascript">

window.SEARCH_RESULT =

'''

你想要获取的内容

'''

<div class="clear"></div>

用正则表达式匹配出来就可以了

把匹配出来的数据转化程 json 数据，然后根据字典的取值方式取自己想要数据即可

r = re.findall('window.SEARCH_RESULT = (.*?)</script>', response.text, re.S)

string = ''.join(r)

info_dict = json.loads(string)

pprint.pprint(info_dict)

完整代码

import requests

import re

import json

for page in range(1, 11):

url = 'https://search.51job.com/list/010000%252c020000%252c030200%252c040000,000000,0000,00,9,99,python,2,{}.html'.format(page)

params = {

'lang': 'c',

'postchannel': '0000',

'workyear': '99',

'cotype': '99',

'degreefrom': '99',

'jobterm': '99',

'companysize': '99',

'ord_field': '0',

'dibiaoid': '0',

'line': '',

'welfare': '',

}

cookies = {

}

headers = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9',

'Host': 'search.51job.com',

（1）Python 所有方向的学习路线（新版）

这是我花了几天的时间去把 Python 所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python 学习视频

包含了 Python 入门、爬虫、数据分析和 web 开发的学习视频，总共 100 多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100 多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。