写点什么

架构师训练营第 12 周课后作业一

用户头像
不谈
关注
发布于: 2020 年 09 月 01 日

分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?



INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pvJOIN user uON (pv.userid = u.userid);

Page_view 表和 user 表结构与数据示例如下:





map 输入为

pageId userid time

1 111 9:08:01

1 111 9:08:14

2 222 9:08:13

userid age gender

111 25 female

222 32 male



输出为

userid age gender pageId time

111 25 female 1 9:08:01

222 32 male 1 9:08:14

111 25 female 2 9:08:13



reduce 函数输入是

userid age gender pageId time

111 25 female 1 9:08:01

222 32 male 1 9:08:14

111 25 female 2 9:08:13



reduce 函数输出是



userid age pageId

111 25 1

222 32 1

111 25 2



用户头像

不谈

关注

还未添加个人签名 2018.06.14 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第12周课后作业一