Mac 部署 spark2.4.4

作者：程序员欣宸

2022-11-06
广东
本文字数：1204 字
阅读完需：约 4 分钟

欢迎访问我的 GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

环境信息

操作系统：macOS Mojave 10.14.6
JDK：1.8.0_211 (安装位置：/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home)

前提条件

请参考《Mac部署hadoop3(伪分布式)》一文，在 Mac 上事先部署好 hadoop3

部署步骤

安装 scala：

brew install scala

复制代码

配置 scala 的环境变量，打开文件 ~/.bash_profile ，增加以下配置内容：

export SCALA_HOME=/usr/local/Cellar/scala/2.13.0export PATH=$PATH:$SCALA_HOME/bin

复制代码

执行命令 source ~/.bash_profile ，再验证 scala：

base) zhaoqindeMBP:~ zhaoqin$ scala -versionScala code runner version 2.13.0 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.

复制代码

下载 spark，地址是：http://spark.apache.org/downloads.html ，如下图红框：
将下载的文件在 /usr/local/ 目录下解压，并将文件夹名字从 spark-2.4.4-bin-hadoop2.7 改为 spark
配置 spark 的环境变量，打开文件 ~/.bash_profile ，增加以下配置内容：

export SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SPARK_HOME/bin

复制代码

执行命令 source ~/.bash_profile 使配置生效；
打开文件 spark/conf/spark-env.sh ，在尾部增加以下三行：

export SCALA_HOME=/usr/local/Cellar/scala/2.13.0export SPARK_MASTER_IP=localhostexport SPARK_WORKER_MEMORY=2G

复制代码

确保 hdfs 和 yarn 已经启动，然后执行命令 spark-shell ，即可启动 spark 服务：

To update your account to use zsh, please run `chsh -s /bin/zsh`.For more details, please visit https://support.apple.com/kb/HT208050.(base) zhaoqindeMBP:~ zhaoqin$ spark-shell19/10/27 13:33:51 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableUsing Spark's default log4j profile: org/apache/spark/log4j-defaults.propertiesSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).Spark context Web UI available at http://zhaoqindembp:4040Spark context available as 'sc' (master = local[*], app id = local-1572154437623).Spark session available as 'spark'.Welcome to      ____              __     / __/__  ___ _____/ /__    _\ \/ _ \/ _ `/ __/  '_/   /___/ .__/\_,_/_/ /_/\_\   version 2.4.4      /_/
Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_211)Type in expressions to have them evaluated.Type :help for more information.
scala>

复制代码

至此，Mac 机器上的 hadoop 和 spark 都运行起来了，希望本文能给您带来一些参考。

欢迎关注 InfoQ：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...

发布于: 2022-11-06阅读数: 56

原文链接:【http://xie.infoq.cn/article/f29781c71623ebbeba84bc677】。文章转载请联系作者。

程序员欣宸

关注

搜索"程序员欣宸"，一起畅游Java宇宙 2018-04-19 加入

前腾讯、前阿里员工，从事Java后台工作，对Docker和Kubernetes充满热爱，所有文章均为作者原创，个人Github：https://github.com/zq2599/blog_demos

发布

暂无评论

创作场景

Mac 部署 spark2.4.4

欢迎访问我的 GitHub

环境信息

前提条件

部署步骤

欢迎关注 InfoQ：程序员欣宸

程序员欣宸

评论