写点什么

分析 HiveQL,生成的 MapReduce 执行程序

用户头像
Z冰红茶
关注
发布于: 2020 年 09 月 02 日

分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);

Page_view 表和 user 表结构与数据示例如下:





map输入,表名,记录

page_view,{1,111}

page_view,{2,111}

page_view,{1, 222}

user, {111, 25}

user, {222, 32}

map输出,key:userId,value<表名,page_view:pageid;user:age>

111, {page_view,1}

111, {page_view,2}

222, {page_view,1}

111, {user, 25}

222, {user, 32}

reduce输入,key:userId,value<表名,page_view:pageid;user:age>

111, {page_view,1}

111, {page_view,2}

111, {user, 25}

222, {page_view,1}

222, {user, 32}

reduce输出,pageid,age

1,25

2,25

1,32



发布于: 2020 年 09 月 02 日阅读数: 47
用户头像

Z冰红茶

关注

还未添加个人签名 2018.09.17 加入

还未添加个人简介

评论

发布
暂无评论
分析HiveQL,生成的 MapReduce 执行程序