极客大学架构师训练营 0 期 week 12 作业

用户头像
chun1123
关注
发布于: 2020 年 09 月 02 日

在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

解答:

很遗憾,我们只是把大数据用来存放大量数据,Oracle存不下的数据用大数据来存,提供了接口供应用数据提取数据进行分析,并没有什么实时的map Reduce或实时流计算,只是当做一个存储及获取数据的工具来用的。

Hive

分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?



INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);



Page_view 表和 user 表结构与数据示例如下:



解答:

map输入:

key: 偏移量, value: 每一行记录



map输出:

page_view: key:userid, value: <第几张表,pageid>

user: key: userid, value:<第几张表,age>

reduce输入:

page_view: key:userid, value: <第几张表,pageid>

user: key: userid, value:<第几张表,age>



reduce输出:

key: pageid, value: age



用户头像

chun1123

关注

还未添加个人签名 2018.03.09 加入

还未添加个人简介

评论 (1 条评论)

发布
用户头像
作业请添加“极客大学架构师训练营”标签,便于分类
2020 年 09 月 03 日 10:29
回复
没有更多了
极客大学架构师训练营 0 期 week 12 作业