写点什么

寻找海量数据集用于大数据开发实战 (维基百科网站统计数据)

作者:程序员欣宸
  • 2022 年 8 月 18 日
    广东
  • 本文字数:1281 字

    阅读完需:约 4 分钟

寻找海量数据集用于大数据开发实战(维基百科网站统计数据)

欢迎访问我的 GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos


  • 在学习 spark 的过程中,除了经典的 WrodCount 例子(用于统计文本文件中的单词出现次数),我们也在寻找其他海量数据来做更多实战以提高自己,今天介绍的是一个海量数据集的下载方法,以及数据内容的简介;

关于维基百科网站统计数据

  • 数据的下载页面地址:https://dumps.wikimedia.org/other/pagecounts-raw

  • 今天要下载的数据集就是维基百科的统计数据,如下图,有多个文件下载的连接,每个文件代表一个小时内所有 wiki 页面被点击的次数,红框中的文件名分为三部分,"20160801"代表统计的年月日,"030000"代表统计的是凌晨 3 点整到 3 点 59 分之间的页面访问情况:


  • 这个网站有 2007 年到 2016 年之间的统计数据,如下图,下载地址是:https://dumps.wikimedia.org/other/pagecounts-raw


使用迅雷的批量下载功能

数据格式简介

  • 经过漫长等待终于将数据下载下来了,打开看看里面内容,如下所示:


aa.b User_talk:Sevela.p 1 5786aa.b Wikidata 1 4654aa.b Wikiquote 1 4658aa.b Wikiversity 1 4655aa.d Main_Page 1 5449aa.d Special:Log/Rschen7754 1 5589aa.d Special:WhatLinksHere/User:Rschen7754 1 5168aa.d User:14.99.4.25 1 4761aa.d User:88.5.75.89 1 4760aa.d User:95.27.0.82 1 4762
复制代码


  • 以第一行 aa.b User_talk:Sevela.p 1 5786 为例,这一行由空格字符分割成了四个字段:



网盘下载

欢迎关注 InfoQ:程序员欣宸

学习路上,你不孤单,欣宸原创一路相伴...


发布于: 2022 年 08 月 18 日阅读数: 48
用户头像

搜索"程序员欣宸",一起畅游Java宇宙 2018.04.19 加入

前腾讯、前阿里员工,从事Java后台工作,对Docker和Kubernetes充满热爱,所有文章均为作者原创,个人Github:https://github.com/zq2599/blog_demos

评论

发布
暂无评论
寻找海量数据集用于大数据开发实战(维基百科网站统计数据)_大数据_程序员欣宸_InfoQ写作社区