Windows 10 安装和配置Hadoop

匿名 (未验证) 提交于 2019-12-03 00:22:01
  1. 下载最新的Hadoop包。这里假设Java已经安装成功了,各种环境变量也都设置好了。
  2. 把文件解压。最好找一个长度短点的路径,不然有时路径里的空格也会引起问题。解压好了就算是安装了。
  3. 设置环境变量。新手一定不能因为好多的路径就跳过去这一步,这个是必不可少的。
    首先设置名为HADOOP_HOME的System variables (新建点击New)。把我的路径名改成你的,记住一定要是到bin的路径。

    下来设置Path。还是在System variables里 ,双击Path点进去就是下面的样子。

    我高亮出我的路径,你也可以用HADOOP_HOME代替bin前面的路径。使用New添加一个新的给HADOOP就好了。
  4. 下面就是配置Hadoop了,总共最多有6个点需要修改。
    第一个是在Hadoop的根目录下创建文件夹data,然后在其下创建两个子文件夹datanode和namenode。

    第二个是确认../etc/hadoop/core-site.xml文件中有如下代码:
<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost:9000</value>    </property> </configuration>

第三个是确认../etc/hadoop/mapred-site.xml文件中有如下代码:

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property> </configuration>

第四个是确认../etc/hadoop/hdfs-site.xml文件中有如下代码(记得用你自己的namenode和datanode的地址代替下面的地址。):

<configuration>  <property>         <name>dfs.replication</name>         <value>1</value>     </property>     <property>         <name>dfs.namenode.name.dir</name>         <value>C:\hadoop-2.7.6.tar\hadoop-2.7.6\hadoop-2.7.6\data\namenode</value>     </property>     <property>         <name>dfs.datanode.data.dir</name>         <value>C:\hadoop-2.7.6.tar\hadoop-2.7.6\hadoop-2.7.6\data\datanode</value>     </property> </configuration>

第五个是确认../etc/hadoop/yarn-site.xml文件中有如下代码:

<configuration>     <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>     </property>     <property>        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>        <value>org.apache.hadoop.mapred.ShuffleHandler</value>     </property> </configuration>

第六个是确认../etc/hadoop/hadoop-env.cmd文件中有如下修改(上面是原始的文件,下面是修改过的。总共三个地方要修改。你要不知道自己的username就先别修改,运行一下下面的测试,返回的报错里会显示的。):



马上就大功告成啦!现在我们配置一下文件格式。通过cmd进入文件夹C:\hadoop-2.7.6.tar\hadoop-2.7.6\hadoop-2.7.6\bin。然后运行

hdfs namenode -format

然后进入sbin文件输入:start-all.cmd。之后会有是四个窗口跳出来,分别是:

  • Hadoop Namenode
  • Hadoop datanode
  • YARN Resourc Manager
  • YARN Node Manager

还可以访问http://localhost:8088http://localhost:50070。完成~

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!