windows下安装spark及hadoop

别等时光非礼了梦想. 提交于 2019-12-12 18:00:54

windows下安装spark

1、安装jdk

在这里插入图片描述

2、安装scala

在这里插入图片描述

3、下载spark

spark下载地址
在这里插入图片描述

3.1安装spark

将下载的文件解压到一个目录,注意目录不能有空格,比如说不能解压到C:\Program Files
作者解压到了这里,
在这里插入图片描述

将spark的bin路径添加到path中

在这里插入图片描述

cmd输入spark-shell,成功安装啦,有个报错是因为还没安装Hadoop,

在这里插入图片描述

4、安装hadoop

由于spark版本为spark-2.3.3-bin-hadoop2.7,我们选择下2.8.5版本的Hadoop
在这里插入图片描述

解压
在这里插入图片描述

添加环境变量,新建一个HADOOP_HOME(必须要添加HADOOP_HOME不然会报错)

image.png

在path添加(必须要添加path不然会报错)

image.png
到此运行spark-shell还会有没安装的时候那个报错,接下来需要替代Hadoop里的bin文件来解决这个错。

5、下载winutils

下载地址
笔者用的是hadoop2.8.5版本的,下载的winutils上hadoop2.8.3版本的bin,实测也是可行的。
在这里插入图片描述
接下来将bin替换原来Hadoop中的bin

6、运行spark-shell成功啦
在这里插入图片描述

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!