写点什么

架构师训练营第 2 期 第 12 周命题作业

用户头像
月下独酌
关注
发布于: 2021 年 01 月 11 日
  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?


INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码

page_view 表和 user 表结构与数据示例如下



page_view 的行记录作为 map 输入

此时的 map 输出


user 表的行记录作为 map 输入

此时的 map 输出


reduce 函数输入



reduce 函数的输出需要进行 join 操作,在偏移量为 1 与偏移量为 2 的表之间操作,结果如下


用户头像

月下独酌

关注

还未添加个人签名 2019.07.22 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第 2 期 第12周命题作业