spark集群配置

目录

1.集群部署规划

2.安装Spark

3.文件配置

4. 分发文件

5.启动集群

6.查看集群

1.集群部署规划

表1-1 集群部署规划

2.安装Spark

          进入/export/software目录，将spark软件包导入该目录下。解压spark软件包 到/export/servers目录下，并重命名为spark。

[root@master ~]# cd /export/software/
[root@master software]# rz -be
[root@master software]# ls
[root@master software]# tar -zxvf spark-3.0.3-bin-hadoop3.2.tgz -C /export/servers/
[root@master software]# cd /export/servers/
[root@master servers]# mv spark-3.0.3-bin-hadoop3.2 spark

3.文件配置

        配置spark-env.sh。

[root@master servers]# cd spark/
[root@master spark]# cd conf/
[root@master conf]# cp spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.sh

export JAVA_HOME=/export/servers/jdk
export HADOOP_CONF_DIR=/export/servers/hadoop-3.1.3/etc/hadoop
export SPARK_MASTER_IP=192.168.38.128
export SPARK_MASTER_PORT=7077

      配置slaves文件。

[root@master conf]# cp slaves.template slaves
[root@master conf]# vi slaves

         master

         slave1

         slave2

        该文件中写入哪个主机名，哪个主机就会存在worker节点。按照集群部署规划，slave1和slave2主机拥有worker，因此写入这两行内容。

        配置Spark环境变量。将以下内容写入配置文件/etc/profile末尾，并source使之生效。

         export SPARK_HOME=/export/servers/spark
         export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

  4. 分发文件

        将spark远程发送到其他集群

[root@master conf]# cd /export/servers/
[root@master servers]# scp -r /export/servers/spark slave1:/export/servers/
[root@master servers]# scp -r /export/servers/spark slave2:/export/servers/

5.启动集群

首先启动Hadoop集群。（命令省略）

启动Master节点。

[root@master ~]#start-master.sh

启动Slave节点。

[root@master ~]#start-slaves.sh

6.查看集群

                集群进程与集群部署规划一致。

[root@master servers]# jps.sh
[root@master spark]# jps.sh
**********master**********
3778 Worker
3091 ResourceManager
2660 DataNode
3702 Master
2507 NameNode
3835 Jps
3247 NodeManager
**********slave1**********
1920 DataNode
2403 Jps
2040 SecondaryNameNode
2139 NodeManager
2349 Worker
**********slave2**********
1923 DataNode
2260 Worker
2054 NodeManager
2314 Jps

        查看Spark页面

   启动成功后，可以通过“host:port”的方式来访问Spark管理页面，例如：http://192.168.38.128:8080 

最后

以上就是娇气乌龟为你收集整理的spark集群配置的全部内容，希望文章能够帮你解决spark集群配置所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。