写点什么

yarn 的基本介绍和产生背景

发布于: 1 小时前

YARN 是 Hadoop2 引入的通用的资源管理和任务调度的平台,可以在 YARN 上运行 MapReduce、Tez、Spark 等多种计算框架,只要计算框架实现了 YARN 所定义的接口,都可以运行在这套通用的 Hadoop 资源管理和任务调度平台上。


Hadoop 1.0 是由 HDFS 和 MapReduce V1 组成的,YARN 出现之前是 MapReduce V1 来负责资源管理和任务调度,MapReduce V1 由 JobTracker 和 TaskTracker 两部分组成。


MapReduce V1 有如下缺点


  1. 扩展性差

  2. 在 MapReduce V1 中,JobTracker 同时负责资源管理和任务调度,而 JobTracker 只有一个节点,所以 JobTracker 成为了制约系统性能的一个瓶颈,制约了 Hadoop 平台的扩展性。

  3. 可靠性低

  4. MapReduce V1 中 JobTracker 存在单点故障问题,所以可靠性低。

  5. 资源利用率低

  6. MapReduce V1 采用了基于槽位的资源分配模型,槽位是一种粗粒度的资源划分单位。

  7. 不支持多种计算框架

  8. MapReduce V1 这种资源管理和任务调度方式只适合 MapReduce 这种计算框架,而 MapReduce 这种离线计算框架很多时候不能满足应用需求


yarn 的优点:


  1. 支持多种计算框架

  2. YARN 是通用的资源管理和任务调度平台,只要实现了 YARN 的接口的计算框架都可以运行在 YARN 上

  3. 资源利用率高

  4. 多种计算框架可以共用一套集群资源,让资源充分利用起来,提高了利用率。

  5. 运维成本低

  6. 避免一个框架一个集群的模式,YARN 降低了集群的运维成本。

  7. 数据可共享 :

  8. 共享集群模式可以让多种框架共享数据和硬件资源,减少数据移动带来的成本

发布于: 1 小时前阅读数: 3
用户头像

还未添加个人签名 2021.03.07 加入

还未添加个人简介

评论

发布
暂无评论
yarn 的基本介绍和产生背景