大数据知识专栏 - Hadoop 的资源管理 Yarn 介绍

1, 介绍

存在目的: 实现资源管理和任务管理

yarn 核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器

Hadoop1.x 同样实现了资源管理和任务管理, 但是全部集中在 MapReduce 的任务中, 不适合将资源应用于其它框架, 例如 Spark, 于是 Hadoop2 开始, 重新设置了资源管理框架 Yarn, 将资源和任务的管理实现分离. 由 ResourceManager 负责资源管理, 由 ApplicationMaster 负责作业管理. 通过分配 Container 这种最小单位来实现对资源的管理.

2, 主要组件及作用

YARN 总体上是 Master/Slave 结构 ，主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等几个组件构成.

ResourceManager: 资源管理和调度

​ ResourceManager 负责处理客户端请求, 对各个 NM 上的资源进行统一管理和调度.

​组成 1-调度器: Scheduler 分配资源, 将系统中的资源分配给正在运行的应用

​ 调度器根据容量、队列等限制条件，将系统中的资源分配给各个正在运行的应用程序。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位是 Container。Shceduler 不负责监控或者跟踪应用程序的状态。总之，调度器根据应用程序的资源要求，以及集群机器的资源情况，为应用程序分配封装在 Container 中的资源。

​组成 2-应用程序管理器 ApplicationsManager

​ ApplicationsManager 负责管理整个系统中所有应用程序, 包括应用程序提交、与调度器协商资源以启动 ApplicationMaster 、监控 ApplicationMaster 运行状态并在失败时重新启动等，跟踪分给的 Container 的进度、状态.

NodeManager

每个节点上资源和任务管理器, 定时汇报本节点上的资源使用情况和各个 Container 的运行状态; 接收并处理来自 ApplicationMaster 的 Container 请求

ApplicationMaster

​ 应用程序均包含一个 ApplicationMaster, 负责对应用的监控跟踪应用执行状态，重启失败任务等。ApplicationMaster 是应用框架，它负责向 ResourceManager 协调资源，并且与 NodeManager 协同工作完成 Task 的执行和监控。

Container

​ 最小单位资源抽象, 封装了某个节点上的多维度资源.如内存、CPU、磁盘、网络等，当 ApplicationMaster 向 ResourceManager 申请资源时，ResourceManager 为 ApplicationMaster 返回的资源便是用 Container 表示的。

3, 架构和工作流程

任务提交到作业工作开始流程

1, Client 找 ApplicationsManager 提交任务;

2, 启动 ApplicationMaster;

3, ApplicationMaster 向 ApplicationsManager 注册;

4, ApplicationMasterr 向 Scheduler 申请资源;

5, Scheduler 返回资源列表给 ApplicationMaster;

6, ApplicationMaster 向资源列表中的目标主机申请分配资源;

7, 目标主机执行计算任务;

8, 目标主机向 ApplicationMaster 汇报各个应用执行情况;

9, AppMaster 向 ApplicationsManager 汇报任务执行情况;

10, ApplicationsManager 向 Client 返回作业执行结果.

4, 资源调度器

yarn 我们都知道主要是用于做资源调度，任务分配等功能的，那么在 hadoop 当中，究竟使用什么算法来进行任务调度就需要我们关注了，hadoop 支持好几种任务的调度方式，不同的场景需要使用不同的任务调度器.

第一种调度器: FIFO Scheduler 队列调度

把任务按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的任务进行分配资源，待最头上任务需求满足后再给下一个分配，以此类推。FIFO Scheduler 是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的任务可能会占用所有集群资源，这就导致其它任务被阻塞。

第二种调度器: Capacity Scheduler 容量调度器

apache 版本默认使用的调度器

Capacity 调度器允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外，队列内部又可以垂直划分，这样一个组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是采用的是先进先出(FIFO)策略。

总结一句话: 共享集群, 各个组织分一部分容量. 不用阻塞任务, 可以同时计算.

第三种调度器: Fair Scheduler 公平调度器

CDH 版本的 hadoop 默认使用的调度器

Fair 调度器的设计目标是为所有的应用分配公平的资源（对公平的定义可以通过参数来设置）。公平调度在也可以在多个队列间工作。举个例子，假设有两个用户 A 和 B，他们分别拥有一个队列。当 A 启动一个 job 而 B 没有任务时，A 会获得全部集群资源；当 B 启动一个 job 后，A 的 job 会继续运行，不过一会儿之后两个任务会各自获得一半的集群资源。如果此时 B 再启动第二个 job 并且其它 job 还在运行，则它将会和 B 的第一个 job 共享 B 这个队列的资源，也就是 B 的两个 job 会用于四分之一的集群资源，而 A 的 job 仍然用于集群一半的资源，结果就是资源最终在两个用户之间平等的共享.

总结一句话: 共享集群, 各个组织动态调整拥有的资源容量, 实现按需索取和分配.

使用哪种调度器取决于 yarn-site.xml 当中的 yarn.resourcemanager.scheduler.class 这个属性的配置

5, 常用参数设置

设置资源

设置 container 分配最小内存

yarn.scheduler.minimum-allocation-mb 1024 给应用程序 container 分配的最小内存

设置 container 分配最大内存

yarn.scheduler.maximum-allocation-mb 8192 给应用程序 container 分配的最大内存

设置每个 container 的最小虚拟内核个数

yarn.scheduler.minimum-allocation-vcores 1 每个 container 默认给分配的最小的虚拟内核个数

设置每个 container 的最大虚拟内核个数

yarn.scheduler.maximum-allocation-vcores 32 每个 container 可以分配的最大的虚拟内核的个数

设置 NodeManager 可以分配的内存大小

yarn.nodemanager.resource.memory-mb 8192 nodemanager 可以分配的最大内存大小，默认

8192Mb

定义每台机器的内存使用大小

yarn.nodemanager.resource.memory-mb 8192

定义交换区空间可以使用的大小

硬盘当做内存使用, 比例作为值,这里指定的是 nodemanager 的 2.1 倍

yarn.nodemanager.vmem-pmem-ratio 2.1