Week12



• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);

Page_view 表和 user 表结构与数据示例如下：

• map 函数输入

pageview user

1 111 9:08:01 111 25 female

2 111 9:08:13 222 32 male

1 222 9:08:14



• map输出

page view user

key (userid) value key (userid) value

111 (1,1) 111 (2,25)

111 (1,2) 222 (2,32)

222 (1,1)



• reduce 函数输入

page view user

key (userid) value key (userid) value

111 (1,1) 222 (1,1)

111 (1,2) 222 (2,32)

111 (2,25)

• reduce输出

pageid age

1 25

2 25

1 32