写点什么

架构师训练营第十二周作业

用户头像
Shunyi
关注
发布于: 2020 年 12 月 13 日

作业一:

  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码

page_view 表和 user 表结构与数据示例如下


map 函数输入:

page_view 表的一条记录或 user 表的一条记录

map 函数输出:

key: user_id

value: <1, pageid> 来自 page_view 的结果。 (其中“1”代表该结果来自第一个表:page_view)

value: <2, age> 来自 user 表个结果。(其中“2”代表该结果来自第二个表:user)

reduce 函数输入:

和 map 函数输出相同。

reduce 函数输出:

pageid, age

作业二:

  • 根据当周学习情况,完成一篇学习总结


用户头像

Shunyi

关注

还未添加个人签名 2018.09.18 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第十二周作业