spark搭建

标题

记录基于python搭建spark的过程 ，python过程省去。
需要安装java , java安装教程

spark下载地址 http://spark.apache.org/downloads.html
选择 Spark版本 、hadoop兼容版本

安装

tar -zxvf  spark-2.4.4-bin-hadoop2.6.tgz
mv spark-2.4.4-bin-hadoop2.6 /usr/local/spark

vim /etc/profile
# spark path
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

source /etc/profile

启动shell

python-shell: pyspark
scala-shell :  spark-shell

验证

pyspark
al lines = sc.textFile("<file_path>")
lines.count()
lines.first()

配置文件

cd conf
cp log4j.properties.template log4j.properties

vim  log4j.properties
log4j.rootCategory=INFO, console => log4j.rootCategory=WARN, console

来源：CSDN

作者：_Tsun

链接：https://blog.csdn.net/sunt2018/article/details/103633078