第十二周作业

1.在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

答：公司在大数据应用方面，主要是通过 App 端埋点，收集用户的习惯，然后通过大数据分析，统计后，为运营提供参考依据，定位用户消费习惯，评估消费能力，评估消费水平，根据最近的浏览热度，给用户推荐热门商品

2.分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

答：

1.map 的输出为

2.reduce 的输入，经过 shuffle sort 之后相同的 key 合并到一起如图：

3.最后 reduce 输出为：