架构师训练营第 1 期第 12 周作业

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
   JOIN user u
   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下





解：

1. page_view表进行Map计算：

• map 函数输入分别为3行文本：

1 111 9:08:01

2 111 9:08:03

1 222 9:08:14

• map 函数输出分别为：

Key value

-------------

111 <1,1>

111 <1,2>

222 <1,1>



1. user表进行Map计算：

• map 函数输入分别为2行文本：

111 25 female

222 25 male

• map 函数输出分别为：

Key value

-------------

111 <2,25>

222 <232>



1. 对以上map函数结果进行Shuffle结果后：

Key value

-------------

111 <1,1>

111 <1,2>

111 <2,25>



Key value

-------------

222 <1,1>

222 <2,32>



1. reduce 函数最后输出：

Pageid age

-------------

1 25

2 25

1 32