架构师第十二周作业

作业一：

（至少完成一个）

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

我在快递行业

目前有用到大数据的点：根据每天各个快递公司的快递量预估明年快递量；或者根据数据获取哪家快递公司满意度是最高的，使用率最高之类的。

价值：预估快递单量，构造合适的系统去承载快递的压力。判断快递满意度的高低，可以有选择地使用满意度高的快递公司进行寄件



• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？



map 函数输入是什么？

输入是一行一行的page_view和user记录



输出是什么 ？

是一个map，key：userid，value：表page_view,pageid；以及另一个一个map，key：userid，value：表user,age



reduce 函数输入是什么？

输入是同一个key存储的map



输出是什么？

key对应的表page_view的page_id和表user的age关联输出



复制代码

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age FROM page_view pv   
JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下





作业二：

• 根据当周学习情况，完成一篇学习总结

作业提交链接

https://jinshuju.net/f/kiVzTR