写点什么

第十二周作业

用户头像
Meow
关注
发布于: 2020 年 12 月 13 日

作业一:

(至少完成一个)

  • 在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

我目前从事交通行业,大数据目前应用于接收处理海量车载终端数据,车辆稽查业务以及实时大屏这块的业务。目前采用的是 Flink,极大的提高了系统的数据吞吐量响应效率。

  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码


page_view 表和 user 表结构与数据示例如下



map 输入,表名,记录

page_view,{1,111}

page_view,{2,111}

page_view,{1, 222}

user, {111, 25}

user, {222, 32}


map 输出,key:userId,value<表名,page_view:pageid;user:age>

111, {page_view,1}

111, {page_view,2}

222, {page_view,1}

111, {user, 25}

222, {user, 32}


reduce 输入,key:userId,value<表名,page_view:pageid;user:age>

111, {page_view,1}

111, {page_view,2}

111, {user, 25}

222, {page_view,1}

222, {user, 32}


reduce 输出,pageid,age

1,25

2,25

1,32


用户头像

Meow

关注

还未添加个人签名 2018.05.09 加入

还未添加个人简介

评论

发布
暂无评论
第十二周作业