Week 12 命题作业

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

无

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？



INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);




Page_view 表和 user 表结构与数据示例如下：





map函数的输入:分2块， userid，pageid的数据行集合，userid,age的数据行集合

map函数的输出：以userid 为key，表序号&pageid 为value 的键值对

reduce函数输入：以userid为条件进行分组的 2个键值对

reduce函数输出：经过键值对内循环，符合条件的pageid,age行记录输出。