架构师训练营第一期第十二周作业
分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么
INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);
page_view 表和 user 表结构与数据示例如下
Map 输入: Map 输出:
pageid userid key value
1 111 111 <1,1>
2 111 111 <1,2>
1 222 222 <1,1>
userid age key value
111 25 111 <2,25>
222 32 222 <2,32>
Reduce 输入: Reduce 输出:
key value pageid age
111 <1,1> 1 25
111 <1,2> 2 25
111 <2,25>
222 <1,1> 1 32
222 <2,32>
评论