• Python 3.6

• Pycharm

相关模块的使用??

import requests

import os

安装 Python 并添加到环境变量，pip 安装需要的相关模块即可。

一、??明确需求

爬取某音乐网站的排行榜歌曲。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20210203135318218.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,t

ext_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA==,size_16,color_FFFFFF,t_70)

二、??网页数据分析

1、F12 或者鼠标右键点击检查打开开发者工具，点击播放音乐，下面会加载出音乐数据。

干饭人之歌 音频数据地址：

https://gm-sycdn.kuwo.cn/82c2c756b7ebeacb907831ff0906199e/601a3aa9/resource/n2/88/78/3642423505.mp3

复制链接粘贴到浏览器中

2、根据音频链接中的参数，搜索查找来源

音频链接来源

https://www.kuwo.cn/url?format=mp3&rid=160864905&response=url&type=convert_url3&br=128kmp3&from=web&t=1612331691895&httpsStatus=1&reqId=550f7f80-65e4-11eb-9b00-6d65a3b5fef1

一首歌曲的来源地址是找不出规律的，所以要再对比一些另外一首歌曲的链接参数

如图所示： rid 和 t 参数不一样，很明显 t 就是代表的时间戳，这个使用 time.time() 就有了，所以可以继续在开发者工具中搜索 rid 的值

https://www.kuwo.cn/api/www/bang/bang/musicList?bangId=93&pn=1&rn=30&httpsStatus=1&reqId=428dcbf0-65e4-11eb-9b00-6d65a3b5fef1

rid 以及 歌名 歌手名都有了。

三、??代码实现

爬虫分析思路是从上到下开始分析，写代码则是从下往上写。

1、获取音乐的 rid 、歌名、歌手名

import pprint

import requests

def get_response(html_url):

headers = {

'Cookie': '你自己的 cookie',

'csrf': 'D2YF7NMH81N',

'Host': 'www.kuwo.cn',

'Referer': 'https://www.kuwo.cn/rankList',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',

}

response = requests.get(url=html_url, headers=headers)

return response

def get_music_info(html_url):

json_data = get_response(html_url).json()

pprint.pprint(json_data)

music_list = json_data['data']['musicList']

for index in music_list:

music_name = index['album']

singer = index['artist']

music_rid = index['rid']

if name == 'main':

url = 'https://www.kuwo.cn/api/www/bang/bang/musicList?bangId=93&pn=1&rn=30&httpsStatus=1&reqId=428dcbf0-65e4-11eb-9b00-6d65a3b5fef1'

get_music_info(url)

返回的是一个 json 数据，一个一个去取值就可以了，主要的注意点就是 headers 参数的问题，如果参数不给全，爬取不到数据。

2、获取音频 URL 地址

def get_music_url(music_rid):

page_url = f'https://www.kuwo.cn/url?format=mp3&rid={music_rid}&response=url&type=convert_url3&br=128kmp3&from=web&t=1612331691895&httpsStatus=1&reqId=550f7f80-65e4-11eb-9b00-6d65a3b5fef1'

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到 1 套比较全的学习资源之前，我并没着急去看第 1 节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做 1 个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习