HiveQL 分析

分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv 
  JOIN user u   
  ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下





• map 函数的输入

page_view和user表的所有记录



• map 函数的输出

page_view表经过map阶段之后的输出，key为userid，value为<表编号,pageid>



user表经过map阶段之后的输出，key为userid，value为<表编号,age>



• reduce 函数的输入

map的输出经过shuffle之后reduce函数的输入，如下图



• reduce 函数的输出