12 周作业
作业一:
Map 的输入是 page_view 和 user 表的每行记录。
Map 的输出 key 是 user_id,value 是表的编号和 pageid。
reduce 的输入是 map 的输出,通过 shuffle 将相同的 key 放到一个 reduce 中。
reduce 的输出是 select 的要查询的信息,pageid 和 age。
学习笔记:
本周学习了大数据相关的架构知识,由于平时没太接触过这方面的知识,所以感觉也没听懂多少。分布式文件系统 HDFS 和 mapreduce 的编程模型和大数据仓库 HIVE 明白的多一些。剩下的感觉也不太理解,需要继续学习。
评论