架构师训练营第 2 期 第 12 周总结

一、HDFS

常用 RAID 技术

参考之前的 RAID0,1,5

HDFS 设计目标

流式数据访问，存储大文件吗，支持一次写入多次读取

不适用 HDFS 场景

1、低延迟数据访问

2、大量小文件

3、多用户随机写文件

NameNode

1、中心服务器：管理文件系统的命名空间与客户端对文件的访问。

2、元数据：文件名；块列表；所在 DataNode；包含创建者，创建时间，文件权限等在内的文件属性。

二、MapReduce

编程模型

移动计算，并行处理的特点

MapReduce 的工作流程

相关架构

MapReduce 运行过程

调度方法：单队列调度、容器调度

工作节点： JobTracker,TaskTracker