架构师训练营 第十二周 总结



大数据发展史

• 分布式文件系统 GFS

• 大数据分布式计算框架 MapReduce

• NoSQL数据库系统 BigTable



HDFS

设计目标：

• 以流式数据访问模式存储超大文件，运行于商用硬件集群上。

• 假设节点失效是常态，任何一个节点失效，不影响HDFS服务，HDFS可以自动完成副本的复制



不适合场景：低延迟的数据访问、大量小文件、多用户随机写入修改文件

实现思路：分而治之