极客大学架构师训练营 0 期 week 12 作业

在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

解答：

很遗憾，我们只是把大数据用来存放大量数据，Oracle存不下的数据用大数据来存，提供了接口供应用数据提取数据进行分析，并没有什么实时的map Reduce或实时流计算，只是当做一个存储及获取数据的工具来用的。

Hive

分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？



INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);



Page_view 表和 user 表结构与数据示例如下：



解答:

map输入:

key: 偏移量, value: 每一行记录



map输出:

page_view: key:userid, value: <第几张表，pageid>

user: key: userid, value:<第几张表，age>

reduce输入:

page_view: key:userid, value: <第几张表，pageid>

user: key: userid, value:<第几张表，age>



reduce输出:

key: pageid, value: age