架构师训练营第 1 期 第 12 周作业

发布于: 2020 年 12 月 14 日

分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);





map函数的输入:

map of page_view :<pageid, userid>

map of user: <userid, age>

map函数的输出:

map of page_view :{key: userid, value:<1, pageid>}

map of user: {key: userid, value:<2, age>}

reduce 函数输入:

{key: userid, values:[<1, pageid>, <2, age>....]}

reduce 函数输出:

[<pageid, age>, ...]



用户头像

还未添加个人签名 2018.05.23 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第 1 期 第 12 周作业