写点什么

YARN

0 人感兴趣 · 17 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/81/81fa606a95b564035e37b5ebb88a45aa.jpeg?x-oss-process=image/resize,w_416,h_234

This BigData,Hadoop 组成及生态

用户头像
Simon郎5 月 21 日

随着科技的发展,我们在网上留下的数据越来越多,大到网上购物、商品交易,小到浏览网页、微信聊天、手机自动记录日常行程等,可以说,在如今的生活里,只要你还在,你就会每时每刻产生数据,但是这些数据能称为大数据么?不,这些还不能称为大数据。那么大数

https://static001.geekbang.org/infoq/29/2942095ecc9aefda5e10f385e171ddcd.jpeg?x-oss-process=image/resize,w_416,h_234

Yarn 的架构和原理

YARN的基本设计思想是将MapReduce V1中的JobTracker拆分为两个独立的服务:ResourceManager和ApplicationMaster。ResourceManager负责整个系统的资源管理和分配,ApplicationMaster负责单个应用程序的的管理。

https://static001.geekbang.org/infoq/29/2942095ecc9aefda5e10f385e171ddcd.jpeg?x-oss-process=image/resize,w_416,h_234

HDFS 的 HA 以及 Yarn 的 HA 高可用

​ HA(High Available), 高可用,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,分为活动节点(Active)及备用节点(Standby)。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在

yarn 的多租户配置实现资源隔离

资源隔离目前有2种,静态隔离和动态隔离。

yarn 的 applicationMaster 介绍

ApplicationMaster实际上是特定计算框架的一个实例,每种计算框架都有自己独特的ApplicationMaster,负责与ResourceManager协商资源,并和NodeManager协同来执行和监控Container。MapReduce只是可以运行在YARN上一种计算框架。

yarn 的基本介绍和产生背景

YARN是Hadoop2引入的通用的资源管理和任务调度的平台,可以在YARN上运行MapReduce、Tez、Spark等多种计算框架,只要计算框架实现了YARN所定义的接口,都可以运行在这套通用的Hadoop资源管理和任务调度平台上。

https://static001.geekbang.org/infoq/29/2965c741e35d351c1364e26f1cd5b60a.png?x-oss-process=image/resize,w_416,h_234

yarn 集群的架构和工作原理

YARN的基本设计思想是将MapReduce V1中的JobTracker拆分为两个独立的服务:ResourceManager和ApplicationMaster。ResourceManager负责整个系统的资源管理和分配,ApplicationMaster负责单个应用程序的的管理。

https://static001.geekbang.org/infoq/db/db32c73e38c6f291ce88d1b834c20a35.jpeg?x-oss-process=image/resize,w_416,h_234

Hadoop 之 YARN 的内部机制

用户头像
hanke3 月 15 日

前面两篇文章,我们介绍了Hadoop里两个重要的组件MapReduce和HDFS。本文我们一起看一下,作为大数据业内用的比较普遍的YARN的内部机制。

Yarn 日志聚合优化—摆脱 HDFS 依赖

用户头像
笨小康3 月 10 日

针对集群 Yarn 日志聚合依赖独立的 HDFS 集群,当该 HDFS 集群 namenode rpc 压力过大时,提交到 Yarn 集群的作业量会下降,Yarn 分配 Container 的性能也会下降,进而影响到整个集群的吞吐量,本文针对问题进行优化,主要是摆脱作业提交对 HDFS 集群的依赖。

12 周架构

用户头像
FreeOcean2 月 12 日

大数据概要总结

https://static001.geekbang.org/infoq/8a/8ab3c0e215fafcaff9aad5e253fd3c47.jpeg?x-oss-process=image/resize,w_416,h_234

大数据知识专栏 - Hadoop 的资源管理 Yarn 介绍

用户头像
小马哥1 月 23 日

大数据专栏系列文章: 通过该文章, 了解Yarn的运行机制, 包括资源调度与应用管理.

Yarn RM 写 ZNode 超数据量限制 bug 修复

用户头像
笨小康1 月 8 日

Yarn RM写ZK ZNode的数据量超过限制,导致 RM 服务进入Standby状态,用户无法正常提交任务,整个集群hang住,后续排查发现是异常任务写ZNode数据量太大超过限制,为避免类似问题再次出现,对RM写ZNode逻辑进行了优化,规避异常任务对整个集群造成的雪崩效应。

极客大学架构师训练营 大数据 GFS、MapReduce、BigTable,Hadoop HDFS Yarn Hive 第 12 次作业

用户头像
John(易筋)2020 年 9 月 2 日

笔者在一家成立于1885年的全球性跨国银行,用大数据处理的业务包括:分析出洗黑钱的用户,根据用户的存款和消费数据给用户信用评分,贷款的时候给出相应额度。

https://static001.geekbang.org/infoq/39/3936b9caa775a175bb843e9e99510807.jpeg?x-oss-process=image/resize,w_416,h_234

大数据简介 & 架构 (一)

用户头像
dony.zhang2020 年 9 月 2 日

随着近年来,信息技术迅猛发展,通过各种终端设备收集大量的用户信息、操作行为等日志,数据的来源和数量正以前所未有的速度增长。对这些数据进行分析、挖掘、机器学习,实现个性化营销、智能推荐等应用,为公司挖掘更多的商业价值,为用户带来更好的体验。

https://static001.geekbang.org/infoq/47/47bae64eed6cd41015226caea9014684.png?x-oss-process=image/resize,w_416,h_234

命令行一键启动 Hadoop 集群

用户头像
大数据学徒2020 年 7 月 18 日

不装虚拟机,不配环境变量,不写配置文件,命令行一键启动单机Hadoop集群

YARN_YARN资料文章-InfoQ写作平台