Win10 安装配置Hadoop-2.6.5单机环境

心不动则不痛 提交于 2019-12-08 23:26:56

Win10 安装配置Hadoop-2.6.5单机环境

1.下载安装jdk1.8+,下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载对应系统版本的,并配置好环境变量。
2.下载Hadoop-2.6.5,下载地址为http://mirror.bit.edu.cn/apache/hadoop/common/,选择以下
在这里插入图片描述选择Hadoop-2.6.5,下载hadoop-2.6.5.tar.gz
在这里插入图片描述
解压至本地D:\soft\hadoop\hadoop-2.6.5
3.配置环境变量
在这里插入图片描述在这里插入图片描述
4.修改hadoop的四个主要配置文件
进入D:\soft\hadoop\hadoop-2.6.5\etc\hadoop
修改core-site.xml
在这里插入图片描述
修改hdfs-site.xml
在这里插入图片描述
修改mapred-site.xml
在这里插入图片描述
修改yarn-site.xml
在这里插入图片描述
配置jdk路径,打开hadoop-env.cmd,修改jdk安装路径,如果环境变量配置有%JAVA_HOME%,则不需要修改
在这里插入图片描述
5.格式化HDFS文件系统
进入bin,执行hdfs namenode -format命令
在这里插入图片描述会出现以上错误,意思是在hadoop/bin目录下缺少了winutils.exe和hadoop.dll,winutils.exe是在Windows系统上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类,另外在使用eclipse调试hadoop程序是,也需要winutils.exe,需要配置上面的环境变量。
下载winutils,注意需要与hadoop的版本相对应。
hadoop2.6版本可以在这里下载https://github.com/amihalik/hadoop-common-2.6.0-bin
下载之后进行解压至D:\soft\hadoop\hadoop-common-2.6.0,将D:\soft\hadoop\hadoop-common-2.6.0\bin目录下的winutils.exe和hadoop.dll复制到D:\soft\hadoop\hadoop-2.6.5\bin下,并配置环境变量
在这里插入图片描述
再次执行hdfs namenode -format命令,执行成功。
在这里插入图片描述
进入D:\soft\hadoop\hadoop-2.6.5\sbin,执行start-all.cmd,会弹出4个窗口,分表代表namenode,datanode,yarn,nodemanager四个进程,也可以使用jps命令查看是否开启这4个进程
在这里插入图片描述
说明全部启动成功,网页访问http://localhost:50070,即可看到hdfs文件系统

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!