架构师训练营 - 第十二周命题作业

在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

1. 我所在公司从事电子商务行业，主要向用户推荐商品促进销量。

2. 用户行为埋点与分析，将大量的用户行为数据存储在大数据服务器内，可以通过分析数据可以获取广告的点击率、功能使用率、用户活跃数据等

3. 通过分析用户行为大数据，获取用户行为偏好，生成个性化推荐内容。通过埋点获取点击率反馈推荐算法效果，不断提升推荐算法。



分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？



INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);



• map输入为page_view表的userid和pageid，user表的userid和age；

• map输出的key为userid，value包含表的序列号和（pageid或age）

• reduce的输入为map的输出：key为userid，value包含表的序列号和（pageid或age）

• reduce的输出包含pageid和age字段