写点什么

架构师训练营第一期第十二周作业

用户头像
Leo乐
关注
发布于: 2020 年 12 月 13 日

分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么

INSERT OVERWRITE TABLE pv_users

SELECT pv.pageid, u.age

FROM page_view pv

JOIN user u

ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下


Map 输入: Map 输出:

pageid userid key value

1 111 111 <1,1>

2 111 111 <1,2>

1 222 222 <1,1>


userid age key value

111 25 111 <2,25>

222 32 222 <2,32>


Reduce 输入: Reduce 输出:

key value pageid age

111 <1,1> 1 25

111 <1,2> 2 25

111 <2,25>


222 <1,1> 1 32

222 <2,32>


用户头像

Leo乐

关注

还未添加个人签名 2018.10.17 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第一期第十二周作业