写点什么

架构师训练营第 12 周课后练习

用户头像
薛凯
关注
发布于: 2020 年 12 月 13 日
  • 在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

复制代码

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码

page_view 表和 user 表结构与数据示例如下



Map1 输入为 page_view 表行记录

Map2 输入为 user 表行记录。

Map1 输出为:Key:userId,Value:<1(表 1),pageid>

Map2 输出为:key:userId,Value:<2(表 2),age>

Reduce 输入为:排序后的 Key:userId,Value:<表 id,pageid>

Reduce 输出为:<pageid,age>


用户头像

薛凯

关注

还未添加个人签名 2018.09.02 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第 12 周课后练习