macOS spark的安装与运行

1.访问spark官网https://spark.apache.org/，然后单击download连接https://spark.apache.org/downloads.html

2.进入download界面后，选择类型为Pre-buil for Apache Hadoop2.7 and later，这样就不用事先安装Hadoop了

3.单击download spark后的连接，下载 spark-2.4.3-bin-hadoop2.7.tgz文件，大概有230M

4.打开命令行终端，将spark-2.4.3-bin-hadoop2.7.tgz文件移动到/usr/local下

sudo mv spark-2.4.3-bin-hadoop2.7.tgz /usr/local

5.解压缩该文件

sudo tar -zvxf spark-2.4.3-bin-hadoop2.7.tgz

6.配置环境变量

sudo nano ~/.bash_profile

7.在配置文件里添加如下配置后保存退出

export SPARK_HOME=/usr/local/spark-2.4.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=python3

8.配置文件生效

source ~/.bash_profile

9.安装pyspark

pip3 install pyspark

10.启动pyspark，进入交互式命令窗口

参考连接：

[1]https://medium.com/luckspark/installing-spark-2-3-0-on-macos-high-sierra-276a127b8b85

版权声明：本文来源CSDN，感谢博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/hil2000/article/details/90747665
站方申明：本站部分内容来自社区用户分享，若涉及侵权，请联系站方删除。

发表于 2019-08-26 22:02:42
阅读 ( 2048 )
分类：

macOS spark的安装与运行

你可能感兴趣的文章

精选的优质文章

0 条评论

官方社群

GO教程

推荐文章

猜你喜欢

随便看看