Mac 部署 hadoop3(伪分布式)
欢迎访问我的 GitHub
这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos
环境信息
操作系统：macOS Mojave 10.14.6
JDK：1.8.0_211 (安装位置：/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home)
hadoop：3.2.1
开通 ssh
在"系统偏好设置"->"共享"，设置如下：
免密码登录
执行以下命令创建秘钥：
一路 next，最终会在~/.ssh 目录生成 id_rsa 和 id_rsa.pub 文件
执行以下命令，将自己的秘钥放在 ssh 授权目录，这样 ssh 登录自身就不需要输入密码了：
ssh 登录试试，这次不需要密码了：
下载 hadoop
下载 hadoop，地址是：http://hadoop.apache.org/releases.html
将下载文件 hadoop-3.2.1.tar.gz 解压，我这里解压后的地址是：~/software/hadoop-3.2.1/
如果只需要 hadoop 单机模式，现在就可以了，但是单机模式没有 hdfs，因此接下来要做伪分布模式的设置；
伪分布模式设置
进入目录 hadoop-3.2.1/etc/hadoop，做以下设置：
打开 hadoop-env.sh 文件，增加 JAVA 的路径设置：
打开 core-site.xml 文件，将 configuration 节点改为如下内容：
打开 hdfs-site.xml 文件，将 configuration 节点改为如下内容：
打开 mapred-site.xml 文件，将 configuration 节点改为如下内容：
打开 yarn-site.xml 文件，将 configuration 节点改为如下内容：
在目录 hadoop-3.2.1/bin 执行以下命令，初始化 hdfs：
初始化成功后，可见如下信息：
启动
进入目录 hadoop-3.2.1/sbin，执行 ./start-dfs.sh 启动 hdfs：
上面的警告不会影响使用；
浏览器访问地址：localhost:9870 ，可见 hadoop 的 web 页面如下图：
进入目录 hadoop-3.2.1/sbin，执行 ./start-yarn.sh 启动 yarn：
浏览器访问地址：localhost:8088 ，可见 yarn 的 web 页面如下图：
执行 jps 命令查看所有 java 进程，正常情况下可以见到以下进程：
至此，hadoop3 伪分布式环境的部署、设置、启动都已经完成。
停止 hadoop 服务
进入目录 hadoop-3.2.1/sbin，执行 ./stop-all.sh 即可关闭 hadoop 的所有服务：
以上就是 Mac 环境部署 hadoop3 的全部过程，希望能给您一些参考。
欢迎关注 InfoQ：程序员欣宸
版权声明: 本文为 InfoQ 作者【程序员欣宸】的原创文章。
原文链接:【http://xie.infoq.cn/article/d9d70767c9cfc1ccdbd8e07cf】。文章转载请联系作者。
搜索"程序员欣宸"，一起畅游Java宇宙 2018-04-19 加入
前腾讯、前阿里员工，从事Java后台工作，对Docker和Kubernetes充满热爱，所有文章均为作者原创，个人Github：https://github.com/zq2599/blog_demos
评论