第 12 周 系统架构作业
1、在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?
我所在的公司是业务安全公司,研发的产品是反欺诈系统,使用大数据实现的所做的业务有规则引擎实习惯类数据的统计计算,报表数据的统计计算,机器学习模型训练。大数据技术可以将海量数据进行全量存储,统一计算,短时间内即可算出所要的结果,对传统单节点服务是一个有效的补充。
2、分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?
复制代码
page_view 表和 user 表结构与数据示例如下
输入输出分别为:
Map 的输入为 page_view 和 user 表数据,Reduce 的输入为 Map 的输出。
评论