第十二周作业

作业一：

（至少完成一个）

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

我目前从事交通行业，大数据目前应用于接收处理海量车载终端数据，车辆稽查业务以及实时大屏这块的业务。目前采用的是 Flink，极大的提高了系统的数据吞吐量响应效率。

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

map 输入，表名，记录

page_view，｛1，111｝

page_view，｛2，111｝

page_view，｛1, 222｝

user, {111, 25}

user, {222, 32}

map 输出，key：userId，value<表名，page_view：pageid；user：age>

111， ｛page_view，1｝

111， ｛page_view，2｝

222， ｛page_view，1｝

111， ｛user， 25｝

222， ｛user， 32｝

reduce 输入，key：userId，value<表名，page_view：pageid；user：age>

111， ｛page_view，1｝

111， ｛page_view，2｝

111， ｛user， 25｝

222， ｛page_view，1｝

222， ｛user， 32｝

reduce 输出，pageid，age

1，25

2，25

1，32