Hadoop-3.0.0版本Windows安装
一 、安装Hadoop
从http://archive.apache.org/dist/hadoop/core/下载Hadoop-3.0.0,下载二进制压缩包文件:hadoop-3.0.0.tar.gz ,也可以在我的云盘里下载:链接:Hadoop-3.0.0 提取码:f5kq PS:在这里为了解压成功,所以最好将解压软件用管理员身份运行进行解压。
从https://github.com/steveloughran/winutils下载针对Windows环境的Hadoop修正程序winutils(Hadoop-3.0.0对应路径https://github.com/steveloughran /winutils /tree /master/hadoop-3.0.0 )。如果不会用Git工具下载,可以直接下载打包文件https://github.com/steveloughran/winutils/archive/master.zip,然后解压。也可以在我的云盘里提取:链接:winutils-master 提取码:lty8
确保自己的计算机上已经正确安装了JDK 1.8以上的Java开发和运行环境。(可以通过在命令行方式下运行java –version命令进行验证)
将hadoop-3.0.0.tar.gz解压至C:\Hadoop子目录(可以根据自己喜好更改Hadoop安装目录) PS:解压后为了不出现问题,请大家把解压的文件名改为 hadoop,不要出现-3.0.0
新增环境变量HADOOP_HOME(作为系统变量),并将其值设为“C:\Hadoop”。(设置方法:进入“控制面板\系统和安全\系统”,然后点击“高级系统设置”,然后点击“环境变量(N)..”按钮)
观察JAVA_HOME变量设置是否正确。(本人计算机上的JAVA_HOME被设置为C:\Program Files\Java\jdk1.8.0_192)
将“C:\Hadoop\bin”和“C:\Hadoop\sbin”路径添加到Path环境变量。
将如下内容粘贴到C:\Hadoop\etc\hadoop\core-site.xml文件:
注意是将两个configuration之间的内容粘贴到原文件的两个configuration之间
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
9.将如下内容粘贴到C:\Hadoop\etc\hadoop\mapred-site.xml文件:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
10.在C:\Hadoop路径下创建“data”子目录;
在C:\Hadoop\data路径下创建“namenode”子目录;
在C:\Hadoop\data路径下创建“datanode”子目录。
11.将如下内容粘贴到C:\Hadoop\etc\hadoop\hdfs-site.xml文件:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///C:/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///C:/hadoop/data/datanode</value>
</property>
</configuration>
12.将如下内容粘贴到C:\Hadoop\etc\hadoop\yarn-site.xml文件:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
13.编辑文件C:\Hadoop\etc\hadoop\hadoop-env.cmd,将语句:
“set JAVA_HOME=%JAVA_HOME%”
修改为“set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_192”。
(PS:此处有坑。如果将hadoop-env.cmd中的JAVA_HOME设置为“C:\Program Files\Java\jdk1.8.0_192”,将会出错,因为路径中不能含有空格。所以你最好把你的文件路径都设置成英文的,还不能有空格。同时建议你的以后环境变量配置都遵循这一原则)
14.C:\Hadoop\bin目录下的内容删除。
15.将第2步下载的“winutils-master.zip”解压,然后将解压文件中“..\winutils-master\hadoop-3.0.0\bin”目录下的内容拷贝到“C:\Hadoop\bin”目录。
二/检验Hadoop是否按照成功
经过前面15步,Hadoop安装结束。
运行如下命令测试Hadoop是否可以正常运行:
运行命令“hdfs namenode –format”,先对HDFS分布式文件系统进行格式化。 如果成功就会产生这样的内容: 在这一行 *号下面要检查是不是出现了问题,如果出现了问题一定要复制粘贴问题进行查询。 2.进入“C:\Hadoop\sbin”目录运行命令“start-dfs”。如果一切正常,将会启动一个“hdfs namenode”进程和一个“hdfs datanode”进程,构成了只有1个主节点和1个从节点的“HDFS分布式文件系统集群”。可以通过“http://localhost:9870”监控HDFS系统。(用jps命令可以查看所有jvm相关的进程)HDFS分布式文件系正常启动之后,可以用“hadoop fs”或“hdfs dfs”命令在分布式文件系统中实现“浏览目录”、“创建子目录”、“删除子目录”、“创建文件”、“拷贝文件”、“移动子目录或文件”、“查看文件内容”、“删除文件”、“上传本地文件”等操作。
hadoop fs –ls /
显示根目录下的所有文件和目录
hadoop fs –mkdir /test
创建子目录/test,创建多级目录 加上 –p
hadoop fs -rm /test1.txt
删除文件
hadoop fs -rm -r /test
删除子目录(要加-r参数)
hadoop fs -put C:\tmp\test.txt \test
将本地文件上传到HDFS分布式文件系统
hadoop fs -cat \test\test.txt
查看文件内容
hadoop fs -cp URI [URI …] <dest>
cp 复制系统内文件
hadoop fs -get[-ignorecrc] [-crc] <src> <localdst>
下载文件到本地
hadoop fs -mv URI [URI …] <dest>
将文件从源路径移动到目标路径
hadoop fs -du URI [URI …]
显示文件大小
3.http://localhost:9870工具中在“utilities”菜单下有一个“Browse the File System”工具,可以浏览、操作HDFS分布式文件系统。
4.进入“C:\Hadoop\sbin”目录运行命令“stop-dfs”,关闭HDFS分布式文件系统。
版权声明:本文为CSDN博主「美 味」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/mr_yuntuo/article/details/90728174
来源:CSDN
作者:潭市_涟水河畔
链接:https://blog.csdn.net/long102/article/details/103596301