hdfs命令

环境信息 虚拟机：Centos 7 、 Hive版本：1.2.1 异常信息 Cannot create directory /tmp/hive. Name node is in safe mode. 异常处理 正常根据提示，使用 hdfs dfsadmin -safemode leave 即可 但是我遇到了特殊情况，我使用命令hdfs dfsadmin -safemode leave,不生效，幸亏看到一篇文章说可能虚拟机磁盘满了，df -h 看了一眼，果然满了。 记得以前也遇到过类似的事。命令失效，也是磁盘占满了。 磁盘满了，要么清理磁盘，要么虚拟机磁盘扩容。我选择的是后者。 来源： https://www.cnblogs.com/junzifeng/p/11924784.html

　　MapReduce： 能够将某个处理任务分割成任务单元 ， 然后并行运行在集群中的各节点上 ， 并且最后能搜集各节点上的结果做二次处理 ， 直至得到最终结果的并行处理框架 ； 　　　　MapReduce 既是一种编程模型，也是一种与之关联的、用于处理和产生大数据集的实现。用户要特化一个 map 程序去处理 key/value 对，并产生中间 key/value 对的集合，以及一个 reduce 程序去合并有着相同 key 的所有中间 key/value 对。 　　　　计算过程就是输入一组 key/value 对，再生成输出一组 key/value 对。 MapReduce 库的使用者用两个函数来表示这个过程： map 和 reduce 。 　　　　map 由使用者编写，使用一个输入 key/value 对，生成一组中间 key/value 对。 MapReduce 库将有着相同中间 key I 的中间 value 都组合在一起，再传给 reduce 函数。 　　　　reduce 也由使用者编写，它接受一个中间 key I 和一组与 I 对应的 value 。它将这些 value 合并为一个可能更小的 value 集合。通常每个 reduce 调用只产生 0 或 1 个输出 value 。中间 value 是通过一个迭代器提供给 reduce 函数的

1、在/opt下创建ha文件夹 sudo mkdir ha 2、更改ha文件夹所有者 sudo chown atguigu:atguigu ha 3、将之前配置安装的hadoop文件夹拷贝到刚创建的ha文件夹下 cp -r module/hadoop-2.7.2/ ha/ 4、然后进入到刚拷贝过去的ha文件夹下的hadoop文件夹，将之前集群运行产生的data和logs文件夹删除 rm -rf data/ logs/ 5、进入etc/haoop/ 文件夹下 /opt/ha/hadoop-2.7.2/etc/hadoop 6、修改core-site.xml <configuration> <!-- 把两个NameNode）的地址组装成一个集群mycluster --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/ha/hadoop-2.7.2/data/tmp</value> </property> </configuration> 7、配置hdfs-site.xml <configuration> <!--

在Hive命令行执行查询时，出现错误 Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-787476470-192.168.152.10-1573351961380:blk_1073742171_1347 file=/user/hive/warehouse/db_hive.db/emp/emp.txt (state=,code=0) 根据信息得知是无法找到数据块，登陆webUI监控界面，master:50070，发现只有一个DataNode slave2, slave1没有启动。 cd到slave1的sbin/目录下，手动启动DataNode,刷新监控界面，slave1的datanode已经启动了，Hive查询也不再报错。 [root@slave1 sbin]# ./hadoop-daemon.sh start datanode 在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 fsck命令必须由HDFS超级用户来执行，普通用户无权限。 查看文件中损坏的块（-list-corruptfileblocks） [root@master sbin]$ hdfs fsck /

当我们安装完毕hadoop2的时候，我们看到为啥没有jobtracker，这是因为hadoop2中已经没有jobtracer了，而是产生了yarn，yarn是什么那，可以看 yarn详解 ，我们为什么已经安装了，但是却不知道已经成功了，原因是因为我们缺乏hadoop2的认识，下面介绍了hadoop1.X与hadoop2.X的一些常用概念。 问题导读： 1.hadoop1.0的组成是什么？ 2.hadoop2.0为和变化如此大？ 3.什么是YARN？ 4.什么是HDFS Federation？ （1）Hadoop 1.0 Hadoop 1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Apache Hadoop 0.20.x、1.x、0.21.X、0.22.x和CDH3。 （2）Hadoop 2.0 Hadoop 2.0即第二代Hadoop，为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop 1.0中的单NameNode制约HDFS的扩展性问题，提出了HDFS Federation

1. 在 HDFS 文件系统的根目录下创建递归目录 “1daoyun/file”，将附件中的 BigDataSkills.txt 文件，上传到 1daoyun/file 目录中，使用相关命令查看文件系统中 1daoyun/file 目录的文件列表信息。 hadoop fs -mkdir -p /1daoyun/file hadoop fs -put BigDataSkills.txt /1daoyun/file hadoop fs -ls /1daoyun/file 2.在 HDFS 文件系统的根目录下创建递归目录 “1daoyun/file”，将附件中的 BigDataSkills.txt 文件，上传到 1daoyun/file 目录中，并使用 HDFS 文件系统检查工具检查文件是否受损。 hadoop fsck /1daoyun/file/BigDataSkills.txt 3.在 HDFS 文件系统的根目录下创建递归目录 “1daoyun/file”，将附件中的 BigDataSkills.txt 文件，上传到 1daoyun/file 目录中，上传 过程指定 BigDataSkills.txt 文件在 HDFS 文件系统中的复制因子为 2，并使用 fsck 工具检查存储块的副本数。 hadoop fs -D dfs.replication=2 -put

准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.1.100 子网掩码：255.255.255.0 -> 点击确定 在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok 1.1修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式： 第一种：通过Linux图形界面进行修改（强烈推荐） 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是 scheme://authority/path 。对HDFS文件系统，scheme是 hdfs ，对本地文件系统，scheme是 file 。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如 /parent/child 可以表示成 hdfs://namenode:namenodeport/parent/child ，或者更简单的 /parent/child （假设你配置文件中的默认值是 namenode:namenodeport ）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到 stderr ，其他信息输出到 stdout 。 linux客户端操作hadoop的hdfs分布式文件系统（file system） 执行hadoop fs指令可以看到其下有很多可以执行的命令： 1：cat 使用方法：hadoop fs -cat URI [URI …] 将路径指定文件的内容输出到 stdout 。 示例： hadoop fs -cat hdfs:/

Hadoop 环境设置 Hadoop由GNU / Linux平台及其版本支持。因此，我们必须安装一个Linux操作系统来设置Hadoop环境。如果您有除Linux以外的操作系统，您可以在其中安装Virtualbox软件，并在Virtualbox内部安装Linux。 安装前设置 在将Hadoop安装到Linux环境之前，我们需要使用ssh（Secure Shell）来设置Linux。按照以下步骤设置Linux环境。 创建用户 在开始时，建议为Hadoop创建一个单独的用户，以便将Hadoop文件系统与Unix文件系统隔离。按照以下步骤创建用户： 使用命令“su”打开根。 使用命令“useradd username”从root帐户创建用户。 现在您可以使用命令“su username”打开现有的用户帐户。 打开Linux终端并键入以下命令以创建用户。 $ su password: # useradd hadoop # passwd hadoop New passwd: Retype new passwd SSH设置和密钥生成 需要SSH设置在集群上执行不同的操作，如启动，停止，分布式守护程序shell操作。要对Hadoop的不同用户进行身份验证，需要为Hadoop用户提供公钥/私钥对，并与不同的用户共享。 以下命令用于使用SSH生成键值对。将公共密钥表单id_rsa

Hadoop 文件命令 * 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /user/cl/temp * * 上传文件 * 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下 * $ hadoop dfs -put /home/cl/local.txt /user/cl/temp * hadoop fs -copyFromLocal a.txt /k/ * * 下载文件 * 下载hdfs中/user/cl/temp目录下的hdfs.txt文件到本机/home/cl/中 * $ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl * * 查看文件 * $ hadoop dfs –cat /home/cl/hdfs.txt * * Job操作 * 提交MapReduce Job, Hadoop所有的MapReduce Job都是一个jar包 * $ hadoop jar <local-jar-file>