架构师训练营第十二周”数据应用一“作业

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

输入：key:偏移量，value: <page_id><user_id>-,(1,111)  偏移量没有实际业务意义，用-代替-,(2,111)-,(1,222)输出：key:<user_id>, value:<page_view标识，1><page_id>111, (1,1)111, (1,2)222, (1,1)

输入：key:偏移量，value:<user_id><age>-,(111,25)  偏移量没有实际业务意义，用-代替-,(222,32)输出：key:<user_id>, value:<user标识，2><age>111, (2, 25)222, (2, 32)

输入：key:两个mapper输出的key<user_id>, value:两个mapper输出的value按key排序汇总后：111, (1,1)111, (1,2)111, (2, 25)222, (1,1)222, (2, 32)针对每个key，Reducer内部Join后输出(user_id为111的数据，page_view.page_id[1,2] x user.age[25])1, 252, 25(user_id为222的数据，page_view.page_id[1] x user.age[32])1, 32

1,252,251,32

SELECT /*+ MAPJOIN(pv) */ pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

输入：key:偏移量，value:<user_id><age>-,(111,25)  偏移量没有实际业务意义，用-代替-,(222,32)
HashTable:<user_id>:<page_id list>111: [1, 2]222: [1]
输出：Join后的结果1, 252, 251, 32