第 12 周总结

大数据最早用于搜索引擎，后来用到各个领域。

Hdfs思想其实就是分块和复制。raid是其雏形。解决大规模数据的存储、读取以及高可用。

Mr移动计算比移动数据更划算。分而治之。

Map输出是key ,value ,reduce的输入是key,valuelist。



不适合mr计算

斐波拉契

getSplits得到切片数量，决定map数量。



领取任务的时候，判断一下分片是否在本地，如果再这执行任务，如果不在则放弃。这个叫本地化。



Yarn 对容器进行管理。承担资源管理。



将现有工具二次包装，进行简化，降低使用门槛。