java 程序员的 AI 之路 - 大数据篇 hadoop 安装

二、windows 安装 VM 虚拟机

Windows 下面安装虚拟机并且安装好 centOS7 系统。这些没什么好说的。

但是这里会有个问题，就是虚机系统安装好之后会连不上网络。这个时候我们需要配置一下网络。

1、首先打开虚机编辑-》虚拟网络编辑器

2、然后点击更改设置使用管理员权限

之后变成下图

3、选择 VMent0 位桥接模式

选择 VMent8 设置为 nat 模式。

之后点击确定保存。

4、进入虚机系统执行命令 cd /etc/sysconfig/network-scripts/

查看该目录下是否存在 ifcfg-enoXXX 的文件，使用 vi 编辑（刚安装的虚机只有 vi），按照下图进行修改。之后按 esc 然后 wq！保存退出。

在执行 service network restart 命令重启网络服务。?

之后网络应该就配置完毕。然后就可以使用 yum insatll 开始安装自己喜欢的软件把。（在现在这家公司已经练就了一身运维的功夫，真心感觉 linux 是好用啊）

三、安装 jdk

1、Jdk 安装很简单，将安装包放到指定目录解压。我是安装在/usr/etc/目录下面

2、设置环境变量，vim /etc/profile

在最后添加下面几行，根据 java 的安装目录。

JAVA_HOME=/usr/etc/jdk1.8.0_151

CLASSPATH=$JAVA_HOME/lib/

PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

3、验证环境变量，输入 java -version ,如果出现以下内容说明安装成功

四、设置 ssh 免密登录

集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），但这样登陆是需要每次输入密码的，我们需要配置成 SSH 无密码登陆比较方便。

利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

1.?cd ~/.ssh/ ????????????????????# 若没有该目录，请先执行一次 ssh localhost

2.?ssh-keygen -t rsa ?????????????# 会有提示，都按回车就可以

3.?cat ./id_rsa.pub >> ./authorized_keys ?# 加入授权

Shell 命令

~的含义

在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注释。

此时再用?ssh localhost?命令，无需输入密码就可以直接登陆了。

五、安装 hadoop

其实 hadoop 的安装还是很简单的，但是中间会出现一些异常的坑。。。

1、首先将安装包放在/usr/etc/下面，解压

2、配置 hadoop 配置文件

1）配置 hadoop-env.sh

该"hadoop-env.sh"文件位于"hadoop/etc/hadoop/"目录下。在文件里添加 JAVA_HOME ??java 环境变量。

2）配置 core-site.xml 文件

修改 Hadoop 核心配置文件 core-site.xml，这里配置的是 HDFS 的地址和端口号。

3）配置 hdfs-site.xml 文件

修改 Hadoop 中 HDFS 的配置，配置的备份方式默认为 3。

4、最后修改环境变量

执行 vim ~/.bashrc

在文件里新增以下内容。Java 环境变量，以及 hadoop 的安装路径。

这里我在/etc/profile 里面也配置过，按理说应该和在~/.bashrc 配置效果一样，但是在/etc/profile 配置就会出现 hadoop 读取不到配置的异常。这个待研究。

export JAVA_HOME=/usr/etc/jdk1.8.0_151

export HADOOP_INSTALL=/usr/etc/hadoop

export PATH=$PATH:$HAD

【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】
浏览器打开：qq.cn.hn/FTf 免费领取

OOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

然后在执行 source ~/.bashrc