极客时间架构师训练营 - week12 - 作业 2

根据当周学习情况，完成一篇学习总结

本周的架构师课程，主要讲的是大数据相关的内容。首先是大数据的发展历程，了解其历程，有助于我们更深刻地理解相关技术。几年之前还是高新技术的大数据技术，现在已经深深扎根于各行各业，推动了各行各业的发展与进步。大数据技术的基础是HDFS，理解其高可用架构设计，对于我们设计架构有指导性价值。接着而来的是MapReduce大规模数据处理技术。前一阵子，公司刚用上开源的定时任务框架，PowerJob，其中的分布式计算方法就是借鉴MapReduce的，在理解了MapReduce计算思想之后，便能很快的上手其他类似框架。MapReduce计算里很重要的一点是，如何设计和组合Map/Reduce两个阶段。随后讲的是Yarn框架，同样的，作为架构师，应该理解其工作流程与原理，思考其在架构层面的设计。随后是Hive，Hive主要是讲复杂的MapReduce转化为开发者最熟悉的SQL来执行。随后是Spark架构，RDD概念，Spark计算过程与执行过程，分析了Spark的性能优势等。

通过本次课程，我深刻理解到，组件在架构层面的设计，例如，高可用设计等，是每个想成为架构师的技术人该总结与归纳吸收的。技术是不断迭代更新的，我们应该站到更多层次去看待问题，思考解决方案。