week 12 学习总结

明白为啥查日志要上yarn了，yarn是资源管理和调度平台，任务由yarn分配到具体容器，它知道每个任务的application master在那个容器上，进而可以找到容器列表和具体的日志。

client向yarn提交任务，yarn里的job是一个任务，每个任务细分为task，task的一次执行成为attempt，就是yarn上那么多task attempt的由来。

启动hadoop会同时启动resource manager / node manager，前者管理全局资源，后者管理一个节点（机器）上的资源。job先被分配到一个容器执行，这个容器以application master的角色启动，分析job生成task列表，申请资源（容器），再把task分配到各个容器上执行。applicatoin master相当于job tracker，执行容器里跑task tracker和实际计算任务。当job执行结束application master向resource manager汇报，然后退出，resource manger会回收所有被分配的计算资源。

resource manager的容错跟hdfs的namenode类似，主节点向zookeeper注册自己，并持续发送心跳，服务挂掉后备用节点会在zookeeper注册成功，然后接替成为新的主节点。主备节点通过复制/写共享文件同步信息。如果备节点恢复的慢，整个集群不可用的时间也会变长。