hdfs 中 datanode 工作机制以及数据存储

1 datanode 工作机制

1）一个数据块在 datanode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode 启动后向 namenode 注册，通过后，周期性（1 小时）的向 namenode 上报所有的块信息。(dfs.blockreport.intervalMsec)

3）心跳是每 3 秒一次，心跳返回结果带有 namenode 给该 datanode 的命令如复制块数据到另一台机器，或删除某个数据块。如果超过 10 分钟没有收到某个 datanode 的心跳，则认为该节点不可用

4）集群运行中可以安全加入和退出一些机器

2 数据完整性

2.1）当 DataNode 读取 block 的时候，它会计算 checksum

2.2）如果计算后的 checksum，与 block 创建时值不一样，说明 block 已经损坏。

2.3）client 读取其他 DataNode 上的 block.

2.4）datanode 在其文件创建后周期验证 checksum

3 掉线时限参数设置

datanode 进程死亡或者网络故障造成 datanode 无法与 namenode 通信，namenode 不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS 默认的超时时长为 10 分钟+30 秒。如果定义超时时间为 timeout，则超时时长的计算公式为：

timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。

而默认的 dfs.namenode.heartbeat.recheck-interval 大小为 5 分钟，dfs.heartbeat.interval 默认为 3 秒。

需要注意的是 hdfs-site.xml 配置文件中的 heartbeat.recheck.interval 的单位为毫秒，dfs.heartbeat.interval 的单位为秒

<property>    <name>dfs.namenode.heartbeat.recheck-interval</name>    <value>300000</value></property><property>    <name>dfs.heartbeat.interval </name>    <value>3</value></property>

4 DataNode 的目录结构

和 namenode 不同的是，datanode 的存储目录是初始阶段自动创建的，不需要额外格式化。

在/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current这个目录下查看版本号[root@node01 current]# cat VERSION     #Thu Mar 14 07:58:46 CST 2019    storageID=DS-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39    clusterID=CID-dac2e9fa-65d2-4963-a7b5-bb4d0280d3f4    cTime=0    datanodeUuid=c44514a0-9ed6-4642-b3a8-5af79f03d7a4    storageType=DATA_NODE    layoutVersion=-56

具体解释:

storageID：存储 id 号

clusterID 集群 id，全局唯一

cTime 属性标记了 datanode 存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为 0；但是在文件系统升级之后，该值会更新到新的时间戳。

datanodeUuid：datanode 的唯一识别码

storageType：存储类型

layoutVersion 是一个负整数。通常只有 HDFS 增加新特性时才会更新这个版本号。