数据应用 课后练习

作业一：

（至少完成一个）

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

• 答：

• map 函数输入：

• page_view 表记录

• user 表记录

• map 函数输出：

• page_view 表：key（userId）、value（<1, pageId>）

• user 表：key（userId）、value（<2, age>）

• reduce 函数输入： 对 map 函数输出进行 shuffle sort 后的数据

• reduce 函数输出：pv_users 表记录 List(<Pageid, age>)

复制代码

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

作业二：

• 根据当周学习情况，完成一篇学习总结

•