hadoop2.7 集群初始化之后没有 DataNode 的问题

作者：程序员欣宸

2022-11-05
广东
本文字数：777 字
阅读完需：约 3 分钟

欢迎访问我的 GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

问题

三台机器组成的 hadoop2.7 集群中，重新初始化之后再次启动启动，发现以下问题：

在 master 节点，用 hdfs 命令上传文件报错 There are 0 datanode(s) running and no node(s) ；
去 DataNode 节点执行 jps 命令，没有名为 DataNode 的进程；

解决

停止 yarn 和 hdfs(我这里的 hadoop 部署在~目录下，请根据您自己的部署目录调整下面的命令)：

~/hadoop-2.7.7/sbin/stop-yarn.sh \&& ~/hadoop-2.7.7/sbin/stop-dfs.sh

复制代码

再次格式化 namenode 和 hdfs：

~/hadoop-2.7.7/bin/hadoop namenode -format \&& ~/hadoop-2.7.7/bin/hdfs namenode -format

复制代码

清理临时文件夹（这一步很重要）：打开文件 hadoop-2.7.7/etc/hadoop/core-site.xml ，找到节点 hadoop.tmp.dir ，该节点的值是临时文件夹目录，我这里是 /home/hadoop/work/tmp ，因此执行以下命令，将临时文件夹清理干净，并且重建 name 和 data 目录：

rm -rf /home/hadoop/work/tmp/* \&& mkdir -p /home/hadoop/work/tmp/dfs/name \&& mkdir -p /home/hadoop/work/tmp/dfs/data

复制代码

再次启动 hdfs 和 yarn：

~/hadoop-2.7.7/sbin/start-dfs.sh \&& ~/hadoop-2.7.7/sbin/start-yarn.sh

复制代码

在 DataNode 机器上执行 jps 命令，发现 DataNode 进程已经有了：

[hadoop@node1 logs]$ jps9664 DataNode9974 Jps9784 NodeManager

复制代码

用 hdfs 命令创建文件夹，上传文件，一切正常：

[hadoop@node0 ~]$ ~/hadoop-2.7.7/bin/hdfs dfs -mkdir /input[hadoop@node0 ~]$ ~/hadoop-2.7.7/bin/hdfs dfs -put ~/GoneWiththeWind.txt /input[hadoop@node0 ~]$ ~/hadoop-2.7.7/bin/hdfs dfs -ls /inputFound 1 items-rw-r--r--   3 hadoop supergroup    2372994 2019-10-27 11:44 /input/GoneWiththeWind.txt

复制代码