写点什么

第 12 周 系统架构作业

发布于: 2021 年 01 月 10 日

1、在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

我所在的公司是业务安全公司,研发的产品是反欺诈系统,使用大数据实现的所做的业务有规则引擎实习惯类数据的统计计算,报表数据的统计计算,机器学习模型训练。大数据技术可以将海量数据进行全量存储,统一计算,短时间内即可算出所要的结果,对传统单节点服务是一个有效的补充。


2、分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?


INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码

page_view 表和 user 表结构与数据示例如下


输入输出分别为:


Map 的输入为 page_view 和 user 表数据,Reduce 的输入为 Map 的输出。


用户头像

还未添加个人签名 2019.02.12 加入

还未添加个人简介

评论

发布
暂无评论
第 12 周 系统架构作业