在linux上安装spark

匿名 (未验证) 提交于 2019-12-02 21:56:30

第一、通过xftp工具将spark安装包上传到linux上
第二、解压spark到指定目录:
tar -zxf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/
第三、配置
1、在spark安装路径配置spark-env.sh,我的路径是/opt/module/spark-2.1.0-bin-hadoop2.7/conf
输入命令:vi spark-env.sh,如下
export JAVA_HOME=/root/training/jdk1.7.0_75(填自己的java_home配置路径)
export SPARK_MASTER_HOST=bigdata111(填自己的主节点)
export SPARK_MASTER_PORT=7077


2、在conf文件夹下配置slaves文件,
先输入命令:cp slaves.template slaves
再输入命令:vi slaves
然后添加自己的节点域名:
我的是:bigdata111


3.在sbin文件夹下用命令./start-all.sh启动spark,用jps命令查看进程


4.进入bin文件夹下,输入./spark-shell --master spark://bigdata111:7077,显示如下,则表示spark的伪分布式搭建成功


5.配置完全分布式环境,首先修改conf文件夹下的slaves文件,我的是添加
bigdata111
bigdata112
bigdata113



6.将配置好的虚拟机的配置信息复制到其他虚拟机的同名目录下
scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata112:/opt/module/


7.在sbin文件夹下用命令./start-all.sh启动spark,用jps命令查看进程,也可以在浏览器上查看:
输入主节点:8080,显示如下,则表示spark完全分布式搭建成功。

文章来源: https://blog.csdn.net/qq_34609633/article/details/92663143
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!