写点什么

12 周作业

发布于: 2020 年 12 月 13 日

作业一:



Map 的输入是 page_view 和 user 表的每行记录。

Map 的输出 key 是 user_id,value 是表的编号和 pageid。


reduce 的输入是 map 的输出,通过 shuffle 将相同的 key 放到一个 reduce 中。

reduce 的输出是 select 的要查询的信息,pageid 和 age。


学习笔记:

本周学习了大数据相关的架构知识,由于平时没太接触过这方面的知识,所以感觉也没听懂多少。分布式文件系统 HDFS 和 mapreduce 的编程模型和大数据仓库 HIVE 明白的多一些。剩下的感觉也不太理解,需要继续学习。


用户头像

还未添加个人签名 2020.04.23 加入

还未添加个人简介

评论

发布
暂无评论
12周作业