写点什么

架构师训练营第 12 周课后练习

用户头像
菜青虫
关注
发布于: 2021 年 01 月 10 日
  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);
复制代码


  • map 函数输入

key: 文件偏移量

value: page_view / user 的一行数据


  • map 函数输出

key: userid

value:

  • page_view: <1, pageid>

  • user: <2, age>


  • reduce 函数输入

key: userid

values: 属于同样 userid 的<1, pageid> / <2, age>列表


  • reduce 函数输出

最终 join 的结果 <pageid, age>

用户头像

菜青虫

关注

还未添加个人签名 2017.11.20 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第 12 周课后练习