【Spark】- 单机模式部署

单机部署：单台主机运行Spark,不依赖YARN、MESOS管理资源

Saprk版本：spark-2.2.1-bin-hadoop2.7

部署步骤：

1. 解压Spark的二进制压缩包,最好配置环境变量

2. 启动master节点：./sbin/start-master.sh

webUI访问端口：8080

Master默认监听端口：7077

3. 启动woker节点：./sbin/start-slave.sh <master-spark-URL>

例如：start-slave.sh spark://debian:7077

参数：表示master节点的访问地址（注意host-ip映射）

4. 连接单机Spark集群：spark-shell --master spark://debian:7077 （Spark Scala交互式开发环境，“:quit”退出）

5. 单机提交Spark自带测试作业：计算PI

命令：spark-submit --class org.apache.spark.examples.SparkPi --master spark:// debian:7077 examples/jars/spark-examples_2.11-2.2.1.jar 100

Master UI界面介绍：

来源：oschina

链接：https://my.oschina.net/u/4074151/blog/3014302