hadoop(三)伪分布模式hdfs文件处理|5

伪分布模式hdfs

1.启动hsfs

2. 编辑vi hadoop-env.sh

image.png

3.配置nameNode和生产文件第地址

[shaozhiqi@hadoop101 hadoop]$ vi core-site.xml

指定HDFS中NameNode的地址

<configuration>   <property>   <name>fs.defaultFS</name>   <value>hdfs://hadoop101:9000</value>   </property>    <!--指定hadoop运行时产生的临时文件存储的目录-->   <property>   <name>hadoop.tmp.dir</name>   <value>/opt/module/hadoop-3.1.2/data/tmp</value>   </property> </configuration>

4.指定HDFS的副本数

[shaozhiqi@hadoop101 hadoop]$ vi hdfs-site.xml

<property>  <name>dfs.replication</name>  <value>1</value> </property>

只有一个节点的话相同数据只存放一份，配置三没用，照样存储一份

启动hdfs

1. 格式化nameNode

image.png

可以看到data文件夹已被创建

image.png

查看version可以看到我们的namenode id和集群id已生成

namespaceID=942797111 clusterID=CID-b853720f-e038-4541-a038-bb78bb01452a

image.png

2. 启动

查看hadoop有哪些命令

image.png

hadoop-daemon.sh  //是hadoop单节点守护进程的命令

3. 启动namenodeh

hadoop-daemon.sh start namenode

image.png

查看是否启动成功
Jsp是jdk提供的java的查看哪些java进程（linux是ps -ef）

image.png

如图启动成功
查看namenode web页面
192.168.1.101:9870（3.x+版本），旧版本的端口是50070
如果无法访问查看防火墙是否开启，若是开启就将它关闭：

[shaozhiqi@hadoop101 hadoop-3.1.2]$ systemctl stop firewalld.service

image.png

4. 启动datenode

[shaozhiqi@hadoop101 hadoop-3.1.2]$ hadoop-daemon.sh start datanode

image.png

</div>
查看web端

image.png

查看data目录返现多了一个data,之前只有name

image.png

可以看到namenode和datanode时同一个集群
<font color="red">注意：</font>
我们重新个数话namenode时得删除date目录还有logs,否则集群起不来

image.png

并列的logs

LogsĿ¼

通过刚刚的一系列操作我们生成了data和logs
查看logs目录发现有datanode和namenode的日志

image.png

执行wordcount

在hdfs文件系统上创建输入文件input

[shaozhiqi@hadoop101 hadoop-3.1.2]$ hdfs dfs -mkdir -p /user/shaohadoop/input

这个目录会创建在我们hdfs文件系统上，不是centos的本地路径。

image.png

将之前我们的wc.input 上传到我们的hdfs的input下

[shaozhiqi@hadoop101 hadoop-3.1.2]$ hdfs dfs -put wcinput/wc.input /user/shaohadoop/input

image.png

执行我们的wordcont

[shaozhiqi@hadoop101 hadoop-3.1.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount /user/shaohadoop/input user/shaohadoop/output

输入路径我们可以用hdfs自定义，但是输出路径自动加了usershaozhiqi,还不太懂

image.png

点击part-r 00000,下载后可以看到运行成功

image.png

来源：博客园

作者：趁着年轻可劲浪

链接：https://www.cnblogs.com/luotuoke/p/11534597.html

标签

HDFS

Hadoop

hdfs命令