极客时间架构师训练营 - week13 - 作业 2

根据当周学习情况，完成一篇学习总结

本周课程主要讲解的是近年来比较火热的技术与应用实践，包括Spark，流计算与机器学习等。这次课程所涉及的领域都是时下比较火热的，相对而言要“高大上”的技术，正是有了这些技术，才有了我们当下日益智能化的生活。第一次课主要讲解的内容包括Spark, Spark Streaming, Flink, Impala等。Spark是优化了Hadoop的MapReduce计算过程，而流计算本质上则是一段较短时间窗口内的批计算。按我个人的理解，这些大数据的架构，主要是去体会其设计，学习的重点是理解其思想，这才是架构师要注重把握的。这样未来在设计自己的系统的时候，也会有借鉴的意义。前一阵子我们组调研了定时任务框架，最终选择的PowerJob，也有借鉴这些框架的思想，将分布式任务进行MapReduce划分，由Server通过指定的配置方式分发给各个Worker。我想他们这些作者，正是在前人的基础之上，才有如此优秀的作品。答疑阶段，有关技术发展趋势的判断，老师强调说我们每个人要有自己的思想，多动脑，多总结。想必这也是每个大佬成长路上所必不可少的。

第二次课程里主要讲解了机器学习相关的知识。老师强调架构师的知识面必要要广，作为系统的核心把控者，有必要了解系统的方方面面的知识。非自己所在的专业领域也需要有所涉猎，一方面可以更好地与其他部门的同事合作，与其他人交流，另外一方面，可以宏观把握整个系统。