第 12 周总结

用户头像
饭桶
关注
发布于: 2020 年 12 月 14 日

大数据最早用于搜索引擎,后来用到各个领域。

Hdfs思想其实就是分块和复制。raid是其雏形。解决大规模数据的存储、读取以及高可用。

Mr移动计算比移动数据更划算。分而治之。

Map输出是key ,value ,reduce的输入是key,valuelist。



不适合mr计算

斐波拉契

getSplits得到切片数量,决定map数量。



领取任务的时候,判断一下分片是否在本地,如果再这执行任务,如果不在则放弃。这个叫本地化。



Yarn 对容器进行管理。承担资源管理。



将现有工具二次包装,进行简化,降低使用门槛。



用户头像

饭桶

关注

还未添加个人签名 2020.07.27 加入

还未添加个人简介

评论

发布
暂无评论
第12周总结