分析 HiveQL,生成的 MapReduce 执行程序
分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?
Page_view 表和 user 表结构与数据示例如下:
map输入,表名,记录
page_view,{1,111}
page_view,{2,111}
page_view,{1, 222}
user, {111, 25}
user, {222, 32}
map输出,key:userId,value<表名,page_view:pageid;user:age>
111, {page_view,1}
111, {page_view,2}
222, {page_view,1}
111, {user, 25}
222, {user, 32}
reduce输入,key:userId,value<表名,page_view:pageid;user:age>
111, {page_view,1}
111, {page_view,2}
111, {user, 25}
222, {page_view,1}
222, {user, 32}
reduce输出,pageid,age
1,25
2,25
1,32
版权声明: 本文为 InfoQ 作者【Z冰红茶】的原创文章。
原文链接:【http://xie.infoq.cn/article/7acaba3ce52c3b8388d2d8454】。未经作者许可,禁止转载。
评论