作业 - 第 12 周
分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?
复制代码
Page_view 表和 user 表结构与数据示例如下:
map 输入<key, value>, key<tableid>, value<一条 sql 记录>
将相同 key 归并,并按 tableid 和 value 做排序输出(shuffle 输入为 map 输出,shuffle 输出为 reduce 输入)
reduce 将遍历 tableid:1 和 tabelid:2 做 join 操作
版权声明: 本文为 InfoQ 作者【X﹏X】的原创文章。
原文链接:【http://xie.infoq.cn/article/5f552309eb031487382dbeef0】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论