1. JDK Hadoop Spark 安装与配置
1.1 解压包
官网下载 jdk、hadoop、sprak 对应的包，注意版本
tar -zxvf jdk-8u241-linux-x64.tar.gztar -zxvf hadoop-3.2.2.tar.gz tar -zxvf spark-3.2.0-bin-hadoop3.2.taz
复制代码
1.2 配置环境变量
添加配置，注意文件路径以及文件名
export JAVA_HOME=/root/ClassWork/jdk1.8.0_241export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jarexport PATH=$PATH:${JAVA_HOME}/bin
export HADOOP_HOME=/root/ClassWork/hadoop-3.2.2export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATHexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob):$CLASSPATH
export SPARK_HOME="/root/ClassWork/spark-3.2.0-bin-hadoop3.2"export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
复制代码
使配置生效
2. Scala 安装与配置
2.1 Scala 安装
wget http://www.scala-lang.org/files/archive/scala-2.11.8.tgz
复制代码
tar -zxf scala-2.11.8.tgz
复制代码
2.2 配置环境变量
添加配置
export SCALA_HOME=/root/ClassWork/scala-2.11.8export PATH=$PATH:$SCALA_HOME/binsource /root/.bashrc
复制代码
使配置生效
3. 配置集群
3.1 配置 sprak
进入 sprak 的 conf 文件夹把 spark-env.sh.template 复制一份 spark-env.sh
cp spark-env.sh.template spark-env.sh
复制代码
加入以下配置,注意目录以及版本号，对应上面第 1 步下载的版本
export JAVA_HOME=/home/hadoop/jdk1.8.0_241export SCALA_HOME=/home/hadoop/scala-2.11.8export HADOOP_HOME=/home/hadoop/hadoop-3.2.2export SPARK_HOME=/home/hadoop/spark-3.2.0-bin-hadoop3.2export SPARK_MASTER_IP=masterexport SPARK_MASTER_PORT=7077
复制代码
3.2 启动 spark
进入 hadoop 安装目录，启动 hadoop
在进入 spark 安装目录，启动 spark
然后输入 jps，看到了进程，说明已经启动了 spark
4. 问题：虚拟机能运行，本机却不行？
原因：Centos 防火墙拦截了端口
解决方法 2 选 1
6.1 关闭 Centos 防火墙
查看防火墙状态
systemctl status firewalld.service
复制代码
看到绿色字样标注的“active（running）”，说明防火墙是开启状态
停止防火墙
6.2 如果不关闭防火墙，则开放端口
查看已开放的端口
firewall-cmd --list-ports
复制代码
开放端口(上面配置的端口)
firewall-cmd --zone=public --add-port=8080/tcp --permanent
复制代码
重启防火墙
解决
评论