架构师训练营第 1 期 - 第 12 周 - 命题作业

（至少完成一个）

1. 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

2. 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

复制代码

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.age FROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

第 2 题：

map 函数输入的是 key value。

key 是偏移量，value 是一行记录<userid，pageid>或<userid，age>

| key | value |

| 偏移量 | <111,1> |

| 偏移量 | <111,2> |

| 偏移量 | <222,1> |

| key | value |

| 偏移量 | <111,25> |

| 偏移量 | <222,32> |

-------------------------------------------------------------------------------------------------

map 函数输出是 key value。

key 是 userid， value 是 <表编号，pageid> 或 <表编号，age>

| key | value |

| 111 | <1,1> |

| 111 | <1,2> |

| 222 | <1,1> |

| 111 | <2,25> |

| 222 | <2,32> |

--------------------------------------------------------------------------------------------------

reduce 函数输入是 key values。

key 是 userid , values 是相同 userid 合并的 value 列表： <表编号，pageid> <表编号，age>

| key | values |

| 111 | <1,1> <1,2> <2,25> |

| 222 | <1,1> <2,32> |

-------------------------------------------------------------------------------------------------------

reduce 输出是不同表的 value 进行 jion 的结果

| 1 | 25 |

| 2 | 25 |

| 1 | 32 |