架构师训练营第 1 期第 12 周作业
分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?
page_view 表和 user 表结构与数据示例如下
解:
page_view表进行Map计算:
map 函数输入分别为3行文本:
1 111 9:08:01
2 111 9:08:03
1 222 9:08:14
map 函数输出分别为:
Key value
-------------
111 <1,1>
111 <1,2>
222 <1,1>
user表进行Map计算:
map 函数输入分别为2行文本:
111 25 female
222 25 male
map 函数输出分别为:
Key value
-------------
111 <2,25>
222 <232>
对以上map函数结果进行Shuffle结果后:
Key value
-------------
111 <1,1>
111 <1,2>
111 <2,25>
Key value
-------------
222 <1,1>
222 <2,32>
reduce 函数最后输出:
Pageid age
-------------
1 25
2 25
1 32
评论