爬虫入门到放弃 02：如何解析网页获取数据

<div class="detail_video">    <div class="video_title_collect cf">        <h1 class="video_title_cn">            <a target="_blank" _stat="info:title" href="http://v.qq.com/x/cover/m441e3rjq9kwpsc.html">斗罗大陆</a>            <span class="title_en" itemprop="alternateName"></span>            <i class="dot"></i>            <span class="type">动漫</span>        </h1>    </div>
    <div class="video_type cf">        <div class="type_item">            <span class="type_tit">别　名:</span>            <span class="type_txt">斗罗大陆动画版</span>        </div>
        <div class="type_item">            <span class="type_tit">地　区:</span>            <span class="type_txt">内地</span>        </div>
        <div class="type_item">            <span class="type_tit">更新集数:</span>            <span class="type_txt">更新至141集</span>        </div>    </div>
    <div class="video_type video_type_even cf">        <div class="type_item">            <span class="type_tit">出品时间:</span>            <span class="type_txt">2018</span>        </div>
        <div class="type_item">            <span class="type_tit">更新时间:</span>            <span class="type_txt">每周六10:00更新1集</span>        </div>    </div>
    <div class="video_tag cf">        <span class="tag_tit">标　签: </span>        <div class="tag_list">            <a class="tag" href="http://v.qq.com/x/search?q=%E6%88%98%E6%96%97" target="_blank" _stat="info:tag">战斗</a>        </div>    </div>
    <div class="video_desc">        <span class="desc_tit">简　介：</span>        <span class="desc_txt">          <span class="txt _desc_txt_lineHight" itemprop="description">唐门外门弟子唐三，因偷学内门绝学为唐门所不容，跳崖明志时却发现没有死，反而以另外一个身份来到了另一个世界，一个属于武魂的世界，名叫斗罗大陆。这里没有魔法，没有斗气，没有武术，却有神奇的武魂。这里的每个人，在自己六岁的时候，都会在武魂殿中令武魂觉醒。武魂有动物，有植物，有器物，武魂可以辅助人们的日常生活。而其中一些特别出色的武魂却可以用来修炼并进行战斗，这个职业，是斗罗大陆上最为强大也是最荣耀的职业“魂师”。小小的唐三在圣魂村开始了他的魂师修炼之路，并萌生了振兴唐门的梦想。当唐门暗器来到斗罗大陆，当唐三武魂觉醒，他能否在这片武魂的世界再铸唐门的辉煌？?          </span>      </span>    </div></div>

import requestsfrom bs4 import BeautifulSoup
url = 'https://v.qq.com/detail/m/m441e3rjq9kwpsc.html'# 发起请求，获取页面response = requests.get(url)# 解析html，获取数据soup = BeautifulSoup(response.text, 'html.parser')# .video_title_cn a  表示class=video_title_cn元素下的<a># 这里指的就是<h1 class="video_title_cn">下的<a>，就一个<a>，所以[0]取出此元素name = soup.select(".video_title_cn a")[0].string# span.type表示属性class=type的<span>元素# 这里指的是<span class="type">动漫</span>此元素category = soup.select("span.type")[0].string# class=type_txt的<span>有多个，所以根据下标取出列表中对应的元素# 这里指的是<span class="type_txt">斗罗大陆动画版</span>alias = soup.select("span.type_txt")[0].string# <span class="type_txt">内地</span>  [1]代表是第二个元素area = soup.select("span.type_txt")[1].string# <span class="type_txt">更新至141集</span>parts =soup.select("span.type_txt")[2].string# <span class="type_txt">2018</span>date = soup.select("span.type_txt")[3].string# <span class="type_txt">每周六10:00更新1集</span>update = soup.select("span.type_txt")[4].string# <a class="tag" href="http://v.qq.com/x/search?q=%E6%88%98%E6%96%97" target="_blank" _stat="info:tag">战斗</a>tag = soup.select("a.tag")[0].string#  <span class="txt _desc_txt_lineHight">describe = soup.select("span._desc_txt_lineHight")[0].stringprint(name, category, alias, parts, date, update, tag, describe, sep='\n')

body > div:nth-child(3) > div.site_container.container_detail_top > div > div > div > div:nth-child(3) > div:nth-child(1) > span.type_txt

import requestsfrom lxml.html import etree
url = 'https://v.qq.com/detail/m/m441e3rjq9kwpsc.html'response = requests.get(url)response_demo = etree.HTML(response.text)# 选择_stat属性为info:title的a元素，/text()表示输出选中的a元素的文本内容# <a _stat="info:title>斗罗大陆</a>，结果是输出 斗罗大陆name = response_demo.xpath('//a[@_stat="info:title"]/text()')# *表示所有节点，所有class="type_txt"的节点的文本type_txt = response_demo.xpath('//*[@class="type_txt"]/text()')tag = response_demo.xpath('//*[@class="tag"]/text()')describe = response_demo.xpath('//*[@class="txt _desc_txt_lineHight"]/text()')print(name, type_txt, tag, describe, sep='\n')

/html/body/div[2]/div[1]/div/div/div/div[3]/div[1]/span[2]