架构师训练营第一期第十二周总结

本周主要讲述大数据，以及相关架构

首先介绍了大数据技术的发展史，大数据应用的发展史，以及大数据应用领域，接着介绍了HDFS系统架构，HDFS是大数据实现的技术，HDFS技术的关键是高可用，并且在节点失效时如何保证高可用，以及HDFS的一致性模型如何实现。





MapReduce是大数据架构实现高性能的核心，通过Map和Reduce两个动作完成海量数据的计算

大数据架构通过yarn实现资源管理

Hive帮助开发人员通过SQL语句实现对大数据内容的处理，Hive的核心是Hive编译器，通过将SQL语句转化成大数据查询和计算语句实现操作。