架构师训练营第 2 期 第 12 周命题作业

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

page_view 的行记录作为 map 输入

此时的 map 输出

user 表的行记录作为 map 输入

此时的 map 输出

reduce 函数输入

reduce 函数的输出需要进行 join 操作，在偏移量为 1 与偏移量为 2 的表之间操作，结果如下