架构师训练营第十二周作业

作业一：

（至少完成一个）

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

复制代码

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.age  FROM page_view pv     JOIN user u ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

互联网金融行业大数据应用场景：风控、用户行为分析、用户标签、基金实时估值、用户收益计算

价值：

• 降低运营风险

• 更加了解用户，为精细化、智能化运营提供基础

• 提升用户体验

map 的输入是两张表对应文件的每一行数据，输出为 userid，<1，pageid> 或 <2，age>

reduce 的输入为 map 的输出，输出为 userid, <pageid, age>