写点什么

「架构师训练营第 1 期」第十二周作业

用户头像
张国荣
关注
发布于: 2020 年 12 月 13 日



在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

  • 业务报表

  • 对账

  • 数据分析

  • 个性化推荐

大数据价值:







分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_users SELECT pv.pageid, u.age FROM page_view pv
JOIN user u ON (pv.userid = u.userid);



2个Map Job ,Job1输入是pv数据,输出是userid为key,pageid,Job2输入是u数据,输出是userid为key,age。

一个Reduce Job, 输入是 2个Map的结果,输出是pageid, age



用户头像

张国荣

关注

还未添加个人签名 2018.06.26 加入

还未添加个人简介

评论

发布
暂无评论
「架构师训练营第 1 期」第十二周作业