Spark集群安装

1      环境准备

网上的资料真的是太混乱了，写的都是乱七八糟。还得自己动手

1.1   机器环境

使用vmware准备三台机器

192.167.2.10 Master

192.167.2.11 Slave1

192.167.2.12 Slave2

注意一定要在/etc/sysconfig/network和hosts中修改主机名称和ip映射。在spark中是通过主机名称来找master。

1.2   软件环境

创建用户spark或者hadoop这个随意，最好修改一下/etc/sudoers文件，让这些用户有sudo的权限方便。

1.3   需要安装的软件

1)jdk-8u92-linux-x64.gz

2) hadoop-2.7.3.tar.gz

3) spark-2.0.2-bin-hadoop2.7.tgz

这是最小安装

1.4   关闭防火墙

Systemctl stop firewalld

Systemctl disable firewalld

2      安装java

这个简单，我就直接写命令了

tar –zvxf jdk-8u92-linux-x64.gz

sudo mv jdk1.8.92 /usr/local/jdk

修改.bash_profile

Export JAVA_HOME=/usr/local/jdk

Export PATH=$PATH:$JAVA_HOME/bin

然后source .bash_profile使其生效。这个简单，也可以子啊/etc/profile中修改。三个机器要安装。建议三台机器安装的路径要一致。

3      Ssh配置

这是一个关键的问题。

在192.167.2.10上

Ssh-genkey –t rsa

在~/.ssh/目录下创建了id_rsa和id_rsa.pub文件，而id_rsa.pub为公钥。

Cd ~/.ssh/

Cat id_rsa.pub >> authorized_keys

Chmod 600 authorized_keys  只有将权限修改为600才起作用。

使用ssh localhost测试是否无密码登录本地。

将authorized_keys拷贝到192.167.2.11和192.167.2.12上。都是~/.ssh/目录下即

~/.ssh/authorized_keys文件。

将.ssh目录修改为700,将authorized_keys文件修改为600

通过ssh Slave1和ssh Slave2来测试是否能无密码登录远程机器。

4      安装hadoop

4.1   软件安装

我使用了用hlf用户，所以在/home/hlf目录，我就在这个目录下完成hadoop和spark的安装。

Cd /home/hlf

Mkdir hadoop

将hadoop-2.7.3.tar.gz上传到hadoop目录下

Tar –zvxf Hadoop-2.7.3.tar.gz

这样/home/hlf/hadoop/hadoop-2.7.3就存在了

4.2   配置文件

在/home/hlf/hadoop/hadoop-2.7.3中的etc/hadoop/是配置文件

需要修改的文件：

Hadoop-env.sh

Core-site.xml

Hdfs-site.xml

Mapred-site.xml

Yarn-site.xml

4.2.1  Hadoop-env.sh

在hadoop-env.sh中添加export JAVA_HOME=/usr/local/jdk

4.2.2  Core-site.xml

在该文件中用到了临时目录，所以使用mkdir 要创建/home/hlf/hpdata/tmp目录。

4.2.3  Hdfs-site.xml

在该文件中需要使用/home/hlf/hpdata/dfs/data目录和/home/hlf/hpdata/dfs/name目录

4.2.4  Mapred-site.xml

4.2.5  Yarn-site.xml

注意yarn.nodemanager.resource.memory-mb至少为1024

4.2.6  Slaves文件

在该文件中添加

192.167.2.11

192.167.2.12

4.3   分布

将/home/hlf/hadoop目录分发大Slave1和Slave2中。

4.4   运行

bin/hdfs  namenode  -format 进行格式化

sbin/start-all.sh启动hadoop系统。

5      安装spark

将spark-2.0.2-bin-hadoop2.7.tgz上传到/home/hlf/spark下，解压为spark-2.0.2-bin-hadoop2.7

在conf目录中是配置文件，修改spark-env.sh文件和slaves文件

5.1   Slaves文件

添加如下：

Master

Slave1

Slave2

5.2   Spark-env.sh

5.3   启动

Spark目录下的sbin/start-all.sh

5.4   测试

Spark目录下bin/pyspark启动python的shell进行测试。

6      总结

这是最小的安装和配置，可以作为玩具的类型进行学习和研究。