架构师训练营 -week12- 作业

本周作业：

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

作业 1：

1. 客户拉新：根据用户的行为特征，购买地点、时间段、商品种类，产生用户画像，作为拉新的依据。

2. 销量分析：分析各省市的销量数据，包括时间、地域、商品种类等维度。做到"以销定产"，提前准备生产计划。

作业 2：

1. page_view 表进行 Map 计算：

• map 函数输出分别为：

Key value

-------------

111 <1,1>

111 <1,2>

222 <1,1>



2. user 表进行 Map 计算：

• map 函数输出分别为：

Key value

-------------

111 <2,25>

222 <232>



3. 对以上 map 函数结果进行 Shuffle 结果后：

Key value

-------------

111 <1,1>

111 <1,2>

111 <2,25>



Key value

-------------

222 <1,1>

222 <2,32>



4. reduce 函数最后输出：

Pageid age

-------------

1 25

2 25

1 32