实例操作教你爬取京东的商品数据

作者：技术冰糖葫芦

2024-03-29
江西
本文字数：1076 字
阅读完需：约 4 分钟

提出问题

如何在京东商城爬取出各个商品的相关信息(价格、名称、评价、店铺名等等)，比如，打开 web 京东网站，在搜索框输入关键字：口红。那么商品展示列表的所有商品的信息，怎么爬下来，怎么保存到表格中？

我们来看看怎么实现这个功能。图片

解决思路

1、打开网站，输入关键字，点击搜索按钮；

2、将右侧下拉框拉到最下面，保证获取到全部的数据；

3、将每一个商品进行遍历，把每个 item 中的价格、名称、店铺、评价数量全部获取到；

4、将获取的信息，装在表格中。图片

import timeimport pandas as pdfrom selenium import webdriverimport requestsfrom selenium.webdriver import Keysfrom selenium.webdriver.common.by import By

if name == 'main':search_word = input("请输入你要搜索的商品：")page_size = int(input("请输入你要爬取的页数："))prices, names, commits, shops = [], [], [], []# 打开浏览器 driver = webdriver.Chrome()driver.get("https://www.jd.com")time.sleep(1)# 将 web 网页窗口最大化 driver.maximize_window()# 找到搜索框 input_box = driver.find_element(By.ID, "key")# 将搜索的字输入到京东搜索框中 input_box.send_keys(search_word)# 按下 enter 键 input_box.send_keys(Keys.ENTER)

# range(page_size)for i in range(page_size):    # 将下拉框拖到最下面：    driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')    time.sleep(3)  # 确保在向下拖动的过程中，数据全部加载出来，加几秒等待
    # 获取所有的li    good_lists = driver.find_elements(By.XPATH, '//*[@id="J_goodsList"]/ul/li')
    for item in good_lists:        # 找到产品的价格        price = item.find_element(By.CLASS_NAME, "p-price").text        # 找到商品的名字        name = item.find_element(By.CLASS_NAME, "p-name").text        # 找到商品的评论        commit = item.find_element(By.CLASS_NAME, "p-commit").text        # 找到商品的店铺        shop = item.find_element(By.CLASS_NAME, "p-shop").text        # 将每一次爬到的数据信息，追加到列表[ ]中        prices.append(price)        names.append(name)        commits.append(commit)        shops.append(shop)
    # 点击下一页    driver.find_element(By.CLASS_NAME, "pn-next").click()
df = pd.DataFrame({    "价格": prices,    "名称": names,    "评论": commits,    "商家": shops})
# 将数据保存到excel表格中df.to_excel("{}.xlsx".format(search_word))

复制代码

发布于: 刚刚阅读数: 5

技术冰糖葫芦

关注

还未添加个人签名 2023-11-13 加入

还未添加个人简介

发布

暂无评论

创作场景

实例操作教你爬取京东的商品数据

技术冰糖葫芦

评论