写点什么

Android 中 Jsoup 的使用 (网页内容解析)(1),android 音乐播放器开发教程

作者:嘟嘟侠客
  • 2021 年 11 月 27 日
  • 本文字数:1987 字

    阅读完需:约 7 分钟

Jsoup 在安卓中的应用场景举例


==========================================================================


  • 如果你想做一个资讯类的 APP,那么可以使用 jsoup 去腾讯新闻、网易新闻、今日头条等资讯网站爬取相关的资讯内容。

  • 如果你想做一个小说阅读 APP,那么可以使用 jsoup 去一些免费的小说网站实时爬取内容然后放到 APP 里。

  • 如果你做一个课程表的 APP 且需要获取教务系统的课程表,那么可以使用 jsoup 进行模拟登录然后爬取教务系统的课程表内容。

  • 。。。。。。


相关基础知识简述


==================================================================


HTML 简述




html 是一种超文本标记语言。我们平时使用浏览器浏览的 web 页面几乎都是 html 格式的文本。下面是一个 hello world 的 html 页面的代码:


<html>


<head>


<title>a sample demo</title>


</head>


<body>


hello world


</body>


</html>


从上面的代码我们可以很直观的看出,html 和 xml 语言很像都是树形结构,即一个根节点包含几个子节点,子节点又可以包含自己的子节点…。通常我们把 html 格式的这种树结构称为:文档树(dom 树)


HTTP 请求与响应的内容格式




Http 请求包含四个部分的内容:


  1. 请求行(request line)

  2. 请求头(header)

  3. 空行

  4. 参数


抓包的 request 结构如下:


GET / HTTP/1.1


Host: jwgl.fjnu.edu.cn


Upgrade-Insecure-Requests: 1


User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36


Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3


Referer: https://www.baidu.com/link?url=a98CxMug1u-J-RFk4E7kaP9hhk2EK8700MuPKT4cZYTTPG_urDB7Asq8TDNqQJFD&wd=&eqid=f7c332cc007927a4000000065cf20629


Accept-Encoding: gzip, deflate


Accept-Language: zh-CN,zh;q=0.9


Cookie: UM_distinctid=1696fc8ec3e1b0-0585ff9addbe6b-1333062-100200-1696fc8ec3f2f4; ASP.NET_SessionId=1uslg345bvgyqnny4yyjbz45


Connection: keep-alive


请求行:请求行只会有一行,且固定为第一行。在这里是GET / HTTP/1.1


请求头:Host Upgrade-Insecure-RequestsCookie Connection这些都是请求头,每一行都是一个请求头 格式为键值对类型。


空行:请求头与参数之间会有一个空行


参数: 因为 GET 请求的参数是放在 URL 上的,所以这里的参数没有独占一行


HTTP 响应也包含四个部分(这个比较重要):


  1. 状态行

  2. 消息报头(有时也俗称响应头)

  3. 空行

  4. 响应正文



Jsoup 的库的主要 API 介绍


=========================================================================


Jsoup 类是一个工具类,提供了一些静态函数,主要函数如下:


Jsoup.parse(String html) 该函数的作用是将传入的 html 格式的字符串解析成文档树,返回值是Document对象。


Jsoup.parse(File in,String charsetName) 将文件的内容解析成Document对象。


Jsoup.connect(String url) 根据传入的 url 返回一个Connection对象,`Connection


《Android 学习笔记总结+最新移动架构视频+大厂安卓面试真题+项目实战源码讲义》

【docs.qq.com/doc/DSkNLaERkbnFoS0ZF】 完整内容开源分享


`类的功能下面会介绍。


Element类对应文档树中的节点元素,这个类的常用函数如下:


getElementsByClass(String className) 返回所有带有 className 类属性的孩子节点。


getElementById(String id) 返回对应 id 的子节点


getElementsByTag(String tagName) 返回标签为 tagName 的所有孩子节点


jsoup 库有着很丰富的功能与 API,需要详细了解可以查看官网API文档


Jsoup 实例


=================================================================


在 Android Studio 中使用 Jsoup 库




在 app 模块下的 build.gradle 文件中的 dependencies 属性里添加一行内容


implementation group: 'org.jsoup', name: 'jsoup', version: '1.8.3'



实例一:使用 jsoup 解析 HTML 格式的字符串




String html = "<html>" +


"<head>" +


"<title>a sample demo</title>" +


"</head>" +


"<body>" +


"hello world" +


"</body>" +


"</html>";


Document doc = Jsoup.parse(html);//解析 html 字符串,获取 document 对象


Elements body = doc.getElementsByTag("body");//获取 body 标签的元素

最后

最后为了帮助大家深刻理解 Android 相关知识点的原理以及面试相关知识,这里放上相关的我搜集整理的 24 套腾讯、字节跳动、阿里、百度 2019-2021BAT 面试真题解析,我把大厂面试中常被问到的技术点整理成了视频和 PDF(实际上比预期多花了不少精力),包知识脉络 + 诸多细节。


还有 高级架构技术进阶脑图 帮助大家学习提升进阶,也节省大家在网上搜索资料的时间来学习,也可以分享给身边好友一起学习。


Android 基础知识点


Java 基础知识点


Android 源码相关分析


常见的一些原理性问题



希望大家在今年一切顺利,进到自己想进的公司,共勉!


本文已被CODING开源项目:《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》收录

用户头像

嘟嘟侠客

关注

还未添加个人签名 2021.03.19 加入

还未添加个人简介

评论

发布
暂无评论
Android中Jsoup的使用(网页内容解析)(1),android音乐播放器开发教程