- 下载最新的Hadoop包。这里假设Java已经安装成功了,各种环境变量也都设置好了。
- 把文件解压。最好找一个长度短点的路径,不然有时路径里的空格也会引起问题。解压好了就算是安装了。
- 设置环境变量。新手一定不能因为好多的路径就跳过去这一步,这个是必不可少的。
首先设置名为HADOOP_HOME的System variables (新建点击New)。把我的路径名改成你的,记住一定要是到bin的路径。
下来设置Path。还是在System variables里 ,双击Path点进去就是下面的样子。
我高亮出我的路径,你也可以用HADOOP_HOME代替bin前面的路径。使用New添加一个新的给HADOOP就好了。 - 下面就是配置Hadoop了,总共最多有6个点需要修改。
第一个是在Hadoop的根目录下创建文件夹data,然后在其下创建两个子文件夹datanode和namenode。
第二个是确认../etc/hadoop/core-site.xml文件中有如下代码:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
第三个是确认../etc/hadoop/mapred-site.xml文件中有如下代码:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
第四个是确认../etc/hadoop/hdfs-site.xml文件中有如下代码(记得用你自己的namenode和datanode的地址代替下面的地址。):
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>C:\hadoop-2.7.6.tar\hadoop-2.7.6\hadoop-2.7.6\data\namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>C:\hadoop-2.7.6.tar\hadoop-2.7.6\hadoop-2.7.6\data\datanode</value> </property> </configuration>
第五个是确认../etc/hadoop/yarn-site.xml文件中有如下代码:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
第六个是确认../etc/hadoop/hadoop-env.cmd文件中有如下修改(上面是原始的文件,下面是修改过的。总共三个地方要修改。你要不知道自己的username就先别修改,运行一下下面的测试,返回的报错里会显示的。):
马上就大功告成啦!现在我们配置一下文件格式。通过cmd进入文件夹C:\hadoop-2.7.6.tar\hadoop-2.7.6\hadoop-2.7.6\bin。然后运行
hdfs namenode -format
然后进入sbin文件输入:start-all.cmd。之后会有是四个窗口跳出来,分别是:
- Hadoop Namenode
- Hadoop datanode
- YARN Resourc Manager
- YARN Node Manager
还可以访问http://localhost:8088 和 http://localhost:50070。完成~
文章来源: Windows 10 安装和配置Hadoop