架构师训练营第十二周作业

作业一：

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

1 Splunk 统一日志服务，部分应用也用 ELK，快速查询 log，定位问题

2 HIVE 数据库，风控数据，基于规则引擎进行风控

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？



INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

Map

input: page_view table

output: userId -> <1, pageId>

input: user table

output: userId -> <2, age>

Reduce

input: userId -> <1, pageId>, userId -> <2, age>

output: <pageId, userAge>

作业二：

• 根据当周学习情况，完成一篇学习总结

大数据经验不多，通过学习，掌握了基本原理，下一步开始实践。