写点什么

第 12 周 大数据

用户头像
陆不得
关注
发布于: 2020 年 09 月 03 日

1、在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

1、监控分析:故障预警,减少故障几率

2、爬虫分析:过滤非法请求,安全防护

2、分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

map 输入

pageid userid
1 111
2 111
1 222
userid age
111 25
222 32


map 输出

111 <1,1>
111 <1,2>
222 <1,1>
111 <2,25>
222 <2,32>

reduce 输入

111 <1,1>
111 <1,2>
111 <2,25>
222 <1,1>
222 <2,32>

reduce 输出

pageid age
1 25
2 25
1 32



用户头像

陆不得

关注

还未添加个人签名 2017.12.14 加入

还未添加个人简介

评论 (1 条评论)

发布
用户头像
作业请添加“极客大学架构师训练营”标签,便于分类
2020 年 09 月 03 日 10:17
回复
没有更多了
第12周 大数据