写点什么

架构师训练营第 1 期第 12 周作业

用户头像
业哥
关注
发布于: 2020 年 12 月 10 日
架构师训练营第 1 期第12周作业
  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下





解:

  1. page_view表进行Map计算:

  • map 函数输入分别为3行文本:

1 111 9:08:01

2 111 9:08:03

1 222 9:08:14

  • map 函数输出分别为:

Key value

-------------

111 <1,1>

111 <1,2>

222 <1,1>



  1. user表进行Map计算:

  • map 函数输入分别为2行文本:

111 25 female

222 25 male

  • map 函数输出分别为:

Key value

-------------

111 <2,25>

222 <232>



  1. 对以上map函数结果进行Shuffle结果后:

Key value

-------------

111 <1,1>

111 <1,2>

111 <2,25>



Key value

-------------

222 <1,1>

222 <2,32>



  1. reduce 函数最后输出:

Pageid age

-------------

1 25

2 25

1 32



用户头像

业哥

关注

架构即未来! 2018.02.19 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第 1 期第12周作业