第十二周作业

问：在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

答：目前公司使用大数据去处理数据分析和推荐两部分业务。通过分析可以知道产品功能细节效果和用户画像，然后进行推荐。

问：分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);



答：map 函数的输入是 pageview 和 user 表，输出 key 是 userid，value 根据不同的表有所不同，pageview 的 value 中包含表的标示和 pageid，user 的 value 中包含表的标示和 age。map 的输出经过 shuffle 后就是 reduce 函数的输入，reduce 输出 pageid 和 age 就是 HiveQL 的结果。