Python+ 淘宝 API：3 步爬取 10 万条商品评论（附反爬破解技巧）

1.核心工具配置

安装 requests、fake_useragent 库，模拟浏览器请求头规避基础反爬：

from fake_useragent import UserAgent ua = UserAgent() headers = {"User-Agent": ua.random, "Referer": "https://detail.tmall.com/"}

使用 Flask 搭建本地 API 中转服务，降低直接调用淘宝接口的封禁风险。

评论接口定位

通过浏览器开发者工具抓取真实接口，解析关键参数：

itemId：商品 ID（从商品页 URL 提取）

currentPage：分页页码（需循环至尾页）

Cookie：登录态维持（需动态更新）。

二、爬虫核心逻辑实现

1.请求与反破解

动态生成请求间隔（time.sleep(random.uniform(1, 3))）模拟人工操作。代理 IP 池轮换（示例使用免费代理，生产环境建议付费服务）：

proxies = {"http": "http://IP:PORT", "https": "http://IP:PORT"} response = requests.get(url, headers=headers, proxies=proxies)

2.数据解析与存储 解析 JSON 响应中的 rateContent 字段，使用 pandas 结构化存储：

import pandas as pd df = pd.DataFrame(data["rateDetail"]["rateList"], columns=["content", "time"]) df.to_csv("comments.csv", index=False)

处理 Unicode 编码问题（如表情符号），指定 encoding='gb18030'写入 CSV。

3.公共请求地址：c0b.cc/R4rbK2 。

三、反爬破解技巧

1.动态签名绕过

淘宝接口可能携带动态参数（如_t 时间戳），需通过逆向 JS 代码生成签名。

2.验证码应对

触发验证码时自动切换 IP 或暂停爬取，避免账号封禁。

3.数据去重与清洗

使用 hashlib 生成评论内容 MD5 值，过滤重复数据。

注意事项

法律风险：仅用于合法数据分析，禁止商业爬取或滥用。

频率控制：单日请求量建议不超过 1 万条，避免触发风控。

通过以上步骤，可高效获取海量商品评论数据，适用于竞品分析、用户画像构建等场景。