写点什么

作业 - 第 12 周

用户头像
X﹏X
关注
发布于: 2020 年 09 月 02 日
  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pvJOIN user uON (pv.userid = u.userid);
复制代码

Page_view 表和 user 表结构与数据示例如下:


  1. map 输入<key, value>, key<tableid>, value<一条 sql 记录>

  2. 将相同 key 归并,并按 tableid 和 value 做排序输出(shuffle 输入为 map 输出,shuffle 输出为 reduce 输入)

  3. reduce 将遍历 tableid:1 和 tabelid:2 做 join 操作


发布于: 2020 年 09 月 02 日阅读数: 46
用户头像

X﹏X

关注

还未添加个人签名 2018.04.25 加入

还未添加个人简介

评论

发布
暂无评论
作业 - 第12周