第 12 周总结
大数据最早用于搜索引擎,后来用到各个领域。
Hdfs思想其实就是分块和复制。raid是其雏形。解决大规模数据的存储、读取以及高可用。
Mr移动计算比移动数据更划算。分而治之。
Map输出是key ,value ,reduce的输入是key,valuelist。
不适合mr计算
斐波拉契
getSplits得到切片数量,决定map数量。
领取任务的时候,判断一下分片是否在本地,如果再这执行任务,如果不在则放弃。这个叫本地化。
Yarn 对容器进行管理。承担资源管理。
将现有工具二次包装,进行简化,降低使用门槛。
评论