写点什么

Hadoop 的发展及其架构

发布于: 2021 年 04 月 12 日
Hadoop的发展及其架构

1. hadoop 概念及其发展

      Hadoop 最早起源于 Nutch。Nutch 的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

2003 年、2004 年谷歌发表的两篇论文为该问题提供了可行的解决方案。

  • 分布式文件系统(GFS),可用于处理海量网页的存储

  • 分布式计算框架 MAPREDUCE,可用于处理海量网页的索引计算问题。

      Nutch 的开发人员完成了相应的开源实现 HDFS 和 MAPREDUCE,并从 Nutch 中剥离成为独立项目 HADOOP,到 2008 年 1 月,HADOOP 成为 Apache 顶级项目(同年,cloudera 公司成立),迎来了它的快速发展期。

狭义上来说,hadoop 就是单独指代 hadoop 这个软件

广义上来说,hadoop 指代大数据的一个生态圈,包括很多其他的软件

2. hadoop 的历史版本介绍


0.x 系列版本:hadoop 当中最早的一个开源版本,国外使用较多,因为当时国内大数据还没发展起来,在此基础上演变而来的 1.x 以及 2.x 的版本

1.x 版本系列:hadoop 版本当中的第二代开源版本,主要修复 0.x 版本的一些 bug 等,是存在时间最短的一代。

2.x 版本系列:架构产生重大变化,引入了 yarn 平台等许多新特性,国内目前使用最多的版本,因为当时国内正处于大数据爆发的阶段。

3.x 版本系列:引入了一些重要的功能和优化,包括 HDFS 纠删码、多 Namenode 支持(两个以上)、MR Native Task 优化、YARN 基于 cgroup 的内存和磁盘 IO 隔离等,且对 JDK 最低版本要求为 JDK1.8。发行时间较晚,目前使用不多,但未来必将成为主流。

3. hadoop 三大公司发型版本介绍

3.1 免费开源版本 apache

http://hadoop.apache.org/

优点:拥有全世界的开源贡献者,代码更新迭代版本比较快

缺点:版本的升级,版本的维护,版本的兼容性,版本的补丁都可能考虑不太周到,学习可以用,实际生产工作环境尽量不要使用

apache 所有软件的下载地址(包括各种历史版本):

http://archive.apache.org/dist/

3.2 免费开源 hortonWorks

https://hortonworks.com/

      hortonworks 主要是雅虎主导 Hadoop 开发的副总裁,带领二十几个核心成员成立 Hortonworks,核心产品软件 HDP(ambari),HDF 免费开源,并且提供一整套的 web 管理界面,供我们可以通过 web 界面管理我们的集群状态,web 管理界面软件 HDF 网址(http://ambari.apache.org/

3.3 软件收费版本 ClouderaManager

https://www.cloudera.com/

      cloudera 主要是美国一家大数据公司在 apache 开源 hadoop 的版本上,通过自己公司内部的各种补丁,实现版本之间的稳定运行,大数据生态圈的各个版本的软件都提供了对应的版本,解决了版本的升级困难,版本兼容性等各种问题

 

4. hadoop 的模块组成



1)Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统。

      2)Hadoop MapReduce:一个分布式的离线并行计算框架。

      3)Hadoop YARN:作业调度与集群资源管理的框架。

      4)Hadoop Common:支持其他模块的工具模块。

5. hadoop 的架构模型

 

NameNode 与 ResourceManager 单节点架构模型



文件系统核心模块:

      NameNode:集群当中的主节点,主要用于管理集群当中的各种数据

      secondaryNameNode:主要能用于 hadoop 当中元数据信息的辅助管理

      DataNode:集群当中的从节点,主要用于存储集群当中的各种数据

数据计算核心模块:

      ResourceManager:接收用户的计算请求任务,并负责集群的资源分配

      NodeManager:主要用于接收 applicationMaster 分配的任务

      applicationMaster: resourcemanager 为每个计算任务启动一个 appMaster, appMatser 主要负责资源的申请, 任务的分配

 

NameNode 与 ResourceManager 高可用架构模型



文件系统核心模块:

      NameNode:集群当中的主节点,主要用于管理集群当中的各种数据,一般都是使用两个,实现 HA 高可用

      JournalNode:元数据信息管理进程,一般都是奇数个

      DataNode:从节点,用于数据的存储

数据计算核心模块:

      ResourceManager:Yarn 平台的主节点,主要用于接收各种任务,通过两个,构建成高可用

      NodeManager:Yarn 平台的从节点,主要用于处理 ResourceManager 分配的任务

 

发布于: 2021 年 04 月 12 日阅读数: 37
用户头像

专注于大数据技术研究 2020.11.10 加入

运营公众号:五分钟学大数据。大数据领域原创技术号,深入大数据技术

评论

发布
暂无评论
Hadoop的发展及其架构