寻找海量数据集用于大数据开发实战 (维基百科网站统计数据)
欢迎访问我的 GitHub
这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos
在学习 spark 的过程中，除了经典的 WrodCount 例子（用于统计文本文件中的单词出现次数），我们也在寻找其他海量数据来做更多实战以提高自己，今天介绍的是一个海量数据集的下载方法，以及数据内容的简介；
关于维基百科网站统计数据
今天要下载的数据集就是维基百科的统计数据，如下图，有多个文件下载的连接，每个文件代表一个小时内所有 wiki 页面被点击的次数，红框中的文件名分为三部分，"20160801"代表统计的年月日，"030000"代表统计的是凌晨 3 点整到 3 点 59 分之间的页面访问情况：
这个网站有 2007 年到 2016 年之间的统计数据，如下图，下载地址是：https://dumps.wikimedia.org/other/pagecounts-raw
使用迅雷的批量下载功能
这么多数据一个一个下载会很麻烦，可以通过迅雷的批量下载功能来减少工作量；
如下图，在一个下载文件上点击鼠标右键，选择"复制链接地址"，即可取到此文件的下载地址：
打开迅雷软件，如下图操作，点击红框 1 中的加号，在弹出的窗口点击红框 2 中的"添加批量任务"：
如下图，在弹出的窗口中，将前面的 url 粘贴进去，然后将红框 1 中的两个"0"改成"(*)"，再把红框 2 中的数字改为 23，然后点击下面的"确定"按钮：
如下图，在弹出的窗口中，勾选红框中的"合并为任务组"，然后点击下面的"立即下载"按钮，即可开始下载：
这样就把 2016 年 8 月 1 日的所有统计数据下载下来了，其他日期的数据也可以用此方法批量下载；
数据格式简介
经过漫长等待终于将数据下载下来了，打开看看里面内容，如下所示：
以第一行 aa.b User_talk:Sevela.p 1 5786 为例，这一行由空格字符分割成了四个字段：
上述内容可以还原为一个网址，如下图所示，对应的 URL 为：https://aa.wikibooks.org/wiki/User_talk:Sevela.p
关于"aa.b"如何映射成为一级域名"aa.wikibooks.org"，请参照这个网页中关于"domain_code"的描述：https://wikitech.wikimedia.org/wiki/Analytics/Archive/Data/Pagecounts-raw
至此，海量数据的下载和格式介绍就全部完成了，后面的章节，我们一起用这份数据来做 spark 开发，演练大数据技能；
网盘下载
有读者说下载不方便，我这里将一部分数据传到了百度网盘，您可以在此下载：链接：https://pan.baidu.com/s/1xk9RRTpCQnW_l3KWfaZ8MQ 提取码：g05g
欢迎关注 InfoQ：程序员欣宸
版权声明: 本文为 InfoQ 作者【程序员欣宸】的原创文章。
原文链接:【http://xie.infoq.cn/article/12c1ae0ce0508f3597fc94d11】。文章转载请联系作者。
搜索"程序员欣宸"，一起畅游Java宇宙 2018.04.19 加入
前腾讯、前阿里员工，从事Java后台工作，对Docker和Kubernetes充满热爱，所有文章均为作者原创，个人Github：https://github.com/zq2599/blog_demos
评论