Hadoop windows

从零开始的 Win7 64Bit 编译Hadoop3

瘦欲@ 提交于 2019-11-29 05:16:09
前言 最近在接触Hadoop方面的知识。去官网逛了一圈发现最新版本已经是 3.0.0-alpha1 了。刚好在搭建Hadoop的环境,就决定使用最新版本的Hadoop试试水。因为自己使用的机器是windows的,逛了一圈没有3.0的编译版本(windows下需要hadoop.dll,winutils.exe),就决定自己来试着编译。历时一天半,终于编译成功(实际编译时间,除去依赖包的下载大概20分钟左右),过程可谓是艰辛。于是写下这篇文章,巩固一下,并将编译过程中遇到的一些问题及解决办法分享给需要的人。 准备工作 首先到官网下载hadoop3.0的源码包 点我下载 下载完后解压到自定义目录 打开其中的BUILDING.txt 里面有windows下编译的指导,如下所示: 上图所示的大部分环境都是直接下载,然后配置到环境变量即可。但是有几步非常容易出错。 1.如果需要安装Windows SDK 7.1的话,需要折腾折腾(只怪自己电脑上环境太杂),我下载了很多个版本都不能安装(win7 64bit),最后是在stackoverflow上找到了一个哥们提供的下载地址,才能够正常的安装( 点我下载 )。在安装windowsSDK 7.1 之前 请卸载所有MicroSoft Visual c++ 2010及其版本以上的所有库。卸载.NET Framework4.0 以上的版本。 2