架构师训练营第十二周作业 2

• 根据当周学习情况，完成一篇学习总结

这周开始学习了大数据应用，学习了大数据技术发展史及一些常见的应用。学习了 HDFS 的系统架构及一些实现原理，主要是 namenode，和 datanode 之间是如何存储和控制的，如何实现读写操作及如何实现高可用。

之后学习了 mapreduce 分而治之的思想及 mapreduce 的编程逻辑和编程框架。

Yarn 是 mapreduce2 框架的名称，已经变成一个通用的资源调度框架。

由于 mapreduce 编程还是有一定的难度，所以有了 hive 的出现。Hive 可以把 sql 语句转换成 MR 命令从而大大降低了 MR 操作的难度。

这些知识我之前有学习过，但是由于实际工作中并没有应用过，所以理解起来深度有限，只是对原理有了一定对了解，真是对掌握还是要靠中实际项目中积累。