写点什么

java 程序员的 AI 之路 - 大数据篇 hadoop 安装,java 基础知识点梳理

用户头像
极客good
关注
发布于: 刚刚

4、进入虚机系统执行命令 cd /etc/sysconfig/network-scripts/



查看该目录下是否存在 ifcfg-enoXXX 的文件,使用 vi 编辑(刚安装的虚机只有 vi),按照下图进行修改。之后按 esc 然后 wq!保存退出。



在执行 service network restart 命令重启网络服务。?


之后网络应该就配置完毕。然后就可以使用 yum insatll 开始安装自己喜欢的软件把。(在现在这家公司已经练就了一身运维的功夫,真心感觉 linux 是好用啊)


三、安装 jdk




1、Jdk 安装很简单,将安装包放到指定目录解压。我是安装在/usr/etc/目录下面


2、设置环境变量,vim /etc/profile


在最后添加下面几行,根据 java 的安装目录。


JAVA_HOME=/usr/etc/jdk1.8.0_151


CLASSPATH=$JAVA_HOME/lib/


PATH=JAVA_HOME/bin


export PATH JAVA_HOME CLASSPATH



3、验证环境变量,输入 java -version ,如果出现以下内容说明安装成功



四、设置 ssh 免密登录




集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),但这样登陆是需要每次输入密码的,我们需要配置成 SSH 无密码登陆比较方便。


利用 ssh-keygen 生成密钥,并将密钥加入到授权中:


1.?cd ~/.ssh/ ????????????????????_# 若没有


【一线大厂Java面试题解析+核心总结学习笔记+最新架构讲解视频+实战项目源码讲义】
浏览器打开:qq.cn.hn/FTf 免费领取
复制代码


该目录,请先执行一次 ssh localhost_


2.?ssh-keygen -t rsa ?????????????# 会有提示,都按回车就可以


3.?cat ./id_rsa.pub >> ./authorized_keys ?# 加入授权


Shell 命令


~的含义


在 Linux 系统中,~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”。 此外,命令中的 # 后面的文字是注释。


此时再用?ssh localhost?命令,无需输入密码就可以直接登陆了。


五、安装 hadoop




其实 hadoop 的安装还是很简单的,但是中间会出现一些异常的坑。。。


1、首先将安装包放在/usr/etc/下面,解压


2、配置 hadoop 配置文件


1)配置 hadoop-env.sh


该"hadoop-env.sh"文件位于"hadoop/etc/hadoop/"目录下。在文件里添加 JAVA_HOME ??java 环境变量。



2)配置 core-site.xml 文件


修改 Hadoop 核心配置文件 core-site.xml,这里配置的是 HDFS 的地址和端口号。



3)配置 hdfs-site.xml 文件


修改 Hadoop 中 HDFS 的配置,配置的备份方式默认为 3。



4、最后修改环境变量


执行 vim ~/.bashrc


在文件里新增以下内容。Java 环境变量,以及 hadoop 的安装路径。


这里我在/etc/profile 里面也配置过,按理说应该和在~/.bashrc 配置效果一样,但是在/etc/profile 配置就会出现 hadoop 读取不到配置的异常。这个待研究。


export JAVA_HOME=/usr/etc/jdk1.8.0_151


export HADOOP_INSTALL=/usr/etc/hadoop


export PATH=HADOOP_INSTALL/bin


export PATH=HADOOP_INSTALL/sbin


export HADOOP_MAPRED_HOME=$HADOOP_INSTALL


export HADOOP_COMMON_HOME=$HADOOP_INSTALL


export HADOOP_HDFS_HOME=$HADOOP_INSTALL


export YARN_HOME=$HADOOP_INSTALL


export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native


export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"



然后在执行 source ~/.bashrc


使配置生效。


六、启动 hadoop




进入 hadoop 的安装路径 /usr/etc/hadoop/bin 执行 hdfs namenode -format


进行格式化,出现以下信息说明格式化成功。

用户头像

极客good

关注

还未添加个人签名 2021.03.18 加入

还未添加个人简介

评论

发布
暂无评论
java程序员的AI之路-大数据篇 hadoop安装,java基础知识点梳理