写点什么

week12 作业一

用户头像
关注
发布于: 2020 年 09 月 02 日
  • 分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

复制代码

INSERT OVERWRITE TABLE pv_users SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);

Page_view 表和 user 表结构与数据示例如下:





map函数输入:

key: value

page_view,{1,111}

page_view,{2,111}

page_view,{1, 222}

user, {111, 25}

user, {222, 32}

map函数输出:

111, {page_view,1}

111, {page_view,2}

222, {page_view,1}

111, {user, 25}

222, {user, 32}

reduce函数输入:

111, {page_view,1}

111, {page_view,2}

111, {user, 25}

222, {page_view,1}

222, {user, 32}

reduce函数输出:

pageid, age

1,25

2,25

1,32



发布于: 2020 年 09 月 02 日阅读数: 42
用户头像

关注

还未添加个人签名 2019.04.12 加入

还未添加个人简介

评论

发布
暂无评论
week12作业一