写点什么

架构师训练营第十二周作业

发布于: 2020 年 09 月 02 日
  1. 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);

Page_view 表和 user 表结构与数据示例如下:





map输入:

key 偏移量

values:数据表page_view或者user的一行记录

map输出:

key:userid

value:<表1,pageid>或者<表2,age>



reduce输入:

map输出的一个key的数据

reduce输出:<pagid,age>, count



用户头像

还未添加个人签名 2019.01.06 加入

还未添加个人简介

评论 (1 条评论)

发布
用户头像
作业请添加“极客大学架构师训练营”标签,便于分类
2020 年 09 月 03 日 10:26
回复
没有更多了
架构师训练营第十二周作业