hadoop
0 人感兴趣 · 88 次引用
- 最新
- 推荐


HDFS 的 block 块和副本机制
hdfs将所有的文件全部抽象成为block块来进行存储,不管文件大小,全部一视同仁都是以block块的统一大小和形式进行存储,方便我们的分布式文件系统对文件的管理

Hadoop 3.x 版本相对于 Hadoop 2.x 的新特性
Apache Hadoop 3.0.0在以前的主要发行版本(hadoop-2.x)上进行了许多重大改进。
跟我学丨如何用鲲鹏服务器搭建 Hadoop 全分布式集群
摘要:今天教大家如何利用鲲鹏服务器搭建Hadoop全分布式集群,动起来···


MapReduce 中 shuffle 阶段的数据压缩机制
在shuffle阶段,可以看到数据通过大量的拷贝,从map阶段输出的数据,都要通过网络拷贝,发送到reduce阶段,这一过程中,涉及到大量的网络IO,如果数据能够进行压缩,那么数据的发送量就会少得多,那么如何了解hadoop当中支持文件的那些压缩算法, 已经如何配置
Hive HMS Canary 时间较长异常分析
Cloudera 管理的 Hadoop 集群中 Hive 服务 MetaStore 角色出现 canary 异常,表现为用户通过 Hive 客户端 create/drop/alter 等操作时间很慢,基本维持在 200s 多一点,本文主要针对问题分析这一现象的原因之一。

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解 (上万字建议收藏)
Hadoop 分布式系统框架中,首要的基础功能就是文件系统,在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统,这个抽象类下面有很多子实现类,究竟使用哪一种,需要看我们具体的实现类,在我们实际工作中,用到的最多的就是HDFS(分布式文件系统)以


企业是如何解决 HDFS 单点问题的?
在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决NameNode单点问题,接下来我们就来聊一聊。

Hadoop 编程实战:HDFS 用户 Shell 详解
HDFS Shell主要分为两部分,分别为用户Shell及管理员Shell,对应的关键字分别是dfs与dfsadmin。本文将介绍用户Shell 39个指令的功能描述,选项详解及样例演示。