手把手教你用 Java 爬虫抓取淘宝商品信息（附完整代码）

引言：为什么要爬淘宝商品数据？无论是做价格监控、竞品分析还是个性化推荐，获取淘宝商品详情都是关键一步。但手动复制效率太低，用 Java 爬虫 10 分钟就能自动化搞定！本文用小白也能懂的方式，教你从零开始抓取商品标题、价格、销量等信息。

一、准备工作（3 分钟）

环境需求：JDK8+、Maven 项目

必备库：

HttpClient（发送 HTTP 请求）

Jsoup（解析 HTML）

步骤 1：伪装浏览器访问页面淘宝反爬严格，需设置请求头模拟浏览器：

java 复制 HttpGet request = new HttpGet("https://item.taobao.com/item.htm?id=商品 ID");// 关键！设置 User-Agent 和 Cookierequest.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...");request.setHeader("Cookie", "你的登录 Cookie（可选）");步骤 2：提取动态加载的数据（核心）淘宝商品页数据通过接口加载，直接解析 HTML 无效！需：

浏览器按 F12 打开开发者工具

在“网络”选项卡中找到类似 https://api.taobao.com/xxx 的接口

用 HttpClient 模拟该请求获取 JSON 数据

步骤 3：解析 JSON 获取关键信息假设接口返回数据格式如下：

json 复制{"item": {"title": "iPhone 15","price": "5999","sales": "2000+"}}解析代码示例：

java 复制// 使用 Jackson 或 Gson 解析 ObjectMapper mapper = new ObjectMapper();JsonNode root = mapper.readTree(jsonResponse);String title = root.path("item").path("title").asText();三、完整代码示例

java 复制 public class TaobaoCrawler {public static void main(String[] args) throws IOException {String apiUrl = "https://api.taobao.com/xxxx"; // 替换为真实接口

    try (CloseableHttpClient client = HttpClients.createDefault()) {        HttpGet request = new HttpGet(apiUrl);        request.setHeader("User-Agent", "Mozilla/5.0 (兼容Chrome头)");                // 发送请求        try (CloseableHttpResponse response = client.execute(request)) {            String json = EntityUtils.toString(response.getEntity());                        // 解析数据            JsonNode data = new ObjectMapper().readTree(json);            System.out.println("标题：" + data.get("title").asText());            System.out.println("价格：" + data.get("price").asText() + "元");        }    }}

}四、必看注意事项！

反爬破解：

频率限制：每分钟请求≤5 次

IP 代理池推荐（如快代理、芝麻代理）

法律风险：

遵守淘宝 robots.txt 协议

禁止商用！仅限学习测试

高阶技巧：

使用 Selenium 模拟点击解决验证码

加密参数逆向（需 JavaScript 逆向知识）

结语本文演示了 Java 爬虫的核心逻辑，实际项目中需结合代理 IP、分布式爬取等技术。如果你在测试中遇到封 IP 问题，欢迎留言交流解决方案！

（原创声明：本文代码均为作者实测整理，转载请注明出处）

✍️ 下期预告：《突破反爬！淘宝 Sign 参数逆向实战》👉 关注我，获取更多爬虫/数据分析干货！