架构师训练营第二期 Week 12 作业

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

我们是销售零食为主。用大数据处理用户反馈，以积分，折扣和赠品方式激励用户填写格式化的产品问卷，然后用大数据分析用户偏好，数据可以反馈给厂家改进产品，同时可以利用数据为客户提供更好的定制化服务。

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv     JOIN user u ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

以上 SQL 会有两段 Map，第一段读取 pv 表，输入是 pv 表的行，输出是 key-value 对，key 是 userid，value 是 pv 表 id 和 pageid；第二段读取 u 表，输入是 u 表的行，输出是 key-value 对，key 是 userid，value 是 u 表 id 和 age。Reduce 的输入的 key 是 userid，values 是所有此 userid 对应的 pv 表 value 和 u 表 value，输出的 key 是一个全局唯一值，value 是每一个 pv 表 value 和 u 表 value 的组合。