HDFS 杂谈：DFSAdmin Report 解读

DFSAdmin Report 介绍

在管理 HDFS 集群的时候，需要定时监控集群内 NameNode 与 DataNode 的情况，防止因节点故障导致集群无法提供服务的惨剧。在 DFS 管理员指令中，有一条 report 指令可以实时查看集群的运营情况。

指令的执行语句为 hdfs dfsadmin -report，先执行看看具体显示什么内容。

Report 内容解读

从执行结果可以看出，NameNode 与 DataNode 反馈信息的侧重点是不一致的，以下将解读各自的报告信息。

• NameNode

• Configured Capacity：配置容量，具体指 NameNode 节点的整体空间

• Present Capacity：可用容量，具体指 NameNode 节点的可用空间

• DFS Remaining：Hadoop 文件系统的剩余空间

• DFS Used：Hadoop 文件系统的已用空间

• DFS Used%：Hadoop 文件系统的已用空间百分比

• Replicated Blocks：复制副本的数据块情况，所属细项将详细介绍具体情况

• Under replicated blocks：正在复制副本的数据块数量

• Blocks with corrupt replicas：副本内损坏的数据块数量

• Missing blocks：丢失的数据块数量

• Missing blocks (with replication factor 1)：丢失的数据块（带复制因子 1）数量

• Low redundancy blocks with highest priority to recover：最高优先级恢复的低冗余数据块

• Pending deletion blocks：挂起待删除的数据块

• Erasure Coded Block Groups：EC 编码的数据块集群情况，所属细项与复制副本的数据块情况一致，就不重复注释了

• DataNode

• Name：DataNode 节点的具体 IP

• Hostname：DataNode 节点名称

• Rack：机架类型

• Decommission Status：节点运行情况。主要分为 5 类：

• NORMAL ：节点正常

• DECOMMISSIONED：节点已停止服务

• DECOMMISSION_INPROGRESS：节点正转变为停止服务状态

• IN_MAINTENANCE ：节点处于维护状态

• ENTERING_MAINTENANCE：节点正在转变为维护状态

• Configured Capacity：配置容量，具体指 DataNode 节点的整体空间

• DFS Used：Hadoop 文件系统的已用空间

• Non DFS Used：非 Hadoop 文件系统的已用空间，比如本地存放的数据

• DFS Remaining：Hadoop 文件系统的可用空间

• DFS Used%：Hadoop 文件系统的已用空间百分比

• DFS Remaining%：Hadoop 文件系统的剩余空间百分比

• Configured Cache Capacity：缓存配置容量，具体指 Hadoop 文件系统的缓存空间

• Cache Used：文件缓存已用空间

• Cache Remaining：文件缓存可用空间

• Cache Used%：文件缓存已用空间百分比

• Cache Remaining%：文件缓存可用空间百分比

• Xceivers：DataNode 用于传输数据的线程数

• Last contact：最后心跳连接时间

• Last Block Report：最后数据块汇报时间

通过解读 NameNode 与 DataNode 基本信息的报告反馈，基本可知 HDFS 集群的运行情况。

总结

• HDFS 管理员指令中的 report 指令可以反馈 HDFS 集群内 NameNode 与 DataNode 的运行情况。

• NameNode 的报告主要为节点的空间使用情况及数据块信息统计。

• DataNode 的报告主要为节点的文件空间及缓存空间的使用情况，及运行状态。