Win10 安装配置Hadoop-2.6.5单机环境
1.下载安装jdk1.8+,下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载对应系统版本的,并配置好环境变量。
2.下载Hadoop-2.6.5,下载地址为http://mirror.bit.edu.cn/apache/hadoop/common/,选择以下选择Hadoop-2.6.5,下载hadoop-2.6.5.tar.gz
解压至本地D:\soft\hadoop\hadoop-2.6.5
3.配置环境变量
4.修改hadoop的四个主要配置文件
进入D:\soft\hadoop\hadoop-2.6.5\etc\hadoop
修改core-site.xml
修改hdfs-site.xml
修改mapred-site.xml
修改yarn-site.xml
配置jdk路径,打开hadoop-env.cmd,修改jdk安装路径,如果环境变量配置有%JAVA_HOME%,则不需要修改
5.格式化HDFS文件系统
进入bin,执行hdfs namenode -format命令会出现以上错误,意思是在hadoop/bin目录下缺少了winutils.exe和hadoop.dll,winutils.exe是在Windows系统上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类,另外在使用eclipse调试hadoop程序是,也需要winutils.exe,需要配置上面的环境变量。
下载winutils,注意需要与hadoop的版本相对应。
hadoop2.6版本可以在这里下载https://github.com/amihalik/hadoop-common-2.6.0-bin
下载之后进行解压至D:\soft\hadoop\hadoop-common-2.6.0,将D:\soft\hadoop\hadoop-common-2.6.0\bin目录下的winutils.exe和hadoop.dll复制到D:\soft\hadoop\hadoop-2.6.5\bin下,并配置环境变量
再次执行hdfs namenode -format命令,执行成功。
进入D:\soft\hadoop\hadoop-2.6.5\sbin,执行start-all.cmd,会弹出4个窗口,分表代表namenode,datanode,yarn,nodemanager四个进程,也可以使用jps命令查看是否开启这4个进程
说明全部启动成功,网页访问http://localhost:50070,即可看到hdfs文件系统
来源:CSDN
作者:Yun---Sani
链接:https://blog.csdn.net/weixin_38705082/article/details/93736303