编译Spark源码,hadoop.version=2.6.0-cdh5.16.2

不问归期 提交于 2020-01-22 01:38:11

1>到官网上下载Spark源代码

2>进入到该目录下

3>修改该目录下的pom.xml,新增如下代码

    <repository>
      <id>cloudera</id>
      <name>cloudera Repository</name>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
    </repository>

 

4>编译代码

./dev/make-distribution.sh --name 2.6.0-cdh5.16.2 --tgz -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.16.2 -Phive -Phive-thriftserver -Pmesos -Pyarn -Pkubernetes   

5>等待一段时间,第一次编译速度较慢,会在网上下载所需资源

6>解压即可 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!