hdfs命令

1.测试MySQL连接 bin/sqoop list-databases --connect jdbc: mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' 2.检验SQL语句 bin/sqoop eval --connect jdbc: mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' --query "SELECT * FROM TB_REGION WHERE REGION_ID = '00A1719A489D4F49906A8CA9661CCBE8'" 3.导入hdfs 3.1 导入 bin/sqoop import --connect jdbc: mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' --table TB_REGION --target-dir /sqoop/mysql/trade_dev/tb_region -m 5 --columns "code,name,category,farthercode,visible,regionlevel,region_id"

总结一些 Hadoop 常用的 shell 命令： 命令 说明 hdfs fs -help 查看命令帮助 hdfs fs -ls / 查看 hdfs 根目录下的文件列表 hdfs fs -put localsrc dst hdfs fs -f -put localsrc dst 上传本地文件到 hdfs，若文件已存在则报错； 若文件存在，则覆盖上传 hdfs fs -get src localdst 从 hdfs 下载文件到本地 hdfs fs -cat file 查看某个文件内容 hdfs fs -cp srcfile dstfile 复制某个文件到另一个目录下 hdfs fs -df -h / 查看磁盘使用情况 hdfs fs -du -s -h hdfs://jing-hadoop:9000/* 统计根目录下的所有文件大小； 这里必须使用 hdfs 完整目录，否则统计不到 hdfs fs -mkdir -p /aa/bb 递归创建文件夹； 若不加 -p，不能递归创建 hdfs fs -rm filename hdfs fs -rm -r /aa/bb hdfs fs -rm -r /aa 删除指定文件； 删除 bb 整个目录，aa 目录还在； 删除整个 aa 目录及其子文件夹 需要注意的是，在 Hadoop 中已上传的文件内容不能被修改，但可以在原文件后面追加内容。 来源：

相信很多用户都用过关系型数据库，我们可以在关系型数据库里面创建表（create table），这里要讨论的表和关系型数据库中的表在概念上很类似。我们可以用下面的语句在Hive里面创建一个表： hive> create table wyp(id int, > name string, > age int, > tele string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE; OK Time taken: 0.759 seconds 复制代码 这样我们就在Hive里面创建了一张普通的表，现在我们给这个表导入数据： hive> load data local inpath '/home/wyp/data/wyp.txt' into table wyp; Copying data from file:/home/wyp/data/wyp.txt Copying file: file:/home/hdfs/wyp.txt Loading data to table default.wyp Table default.wyp stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 67, raw_data_size

1.创建内部表与外部表的区别是什么？ 2.external关键字的作用是什么？ 3.外部表与内部表的区别是什么？ 4.删除表的时候，内部表与外部表有什么区别？ 5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的？ 6.磁盘，hdfs,hive表他们之间的过程是什么样子的？ 　　相信很多用户都用过关系型数据库，我们可以在关系型数据库里面创建表（create table），这里要讨论的表和关系型数据库中的表在概念上很类似。我们可以用下面的语句在Hive里面创建一个表： hive> create table wyp(id int, > name string, > age int, > tele string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE; OK Time taken: 0.759 seconds 复制代码 这样我们就在Hive里面创建了一张普通的表，现在我们给这个表导入数据： hive> load data local inpath '/home/wyp/data/wyp.txt' into table wyp; Copying data from file:/home

前言 　　上一篇详细介绍了HDFS集群，还有操作HDFS集群的一些命令，常用的命令： hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat xxx hdfs dfs -put local cluster hdfs dfs -get cluster local hdfs dfs -cp /xxx/xxx /xxx/xxx hdfs dfs -chmod -R 777 /xxx hdfs dfs -chown -R zyh:zyh /xxx 　　注意：这里要说明一下-cp，我们可以从本地文件拷贝到集群，集群拷贝到本地，集群拷贝到集群。 一、Hadoop客户端配置 　　其实在前面配置的每一个集群节点都可以做一个Hadoop客户端。但是我们一般都不会拿用来做集群的服务器来做客户端，需要单独的配置一个客户端。 1）安装JDK 2）安装Hadoop 3）客户端配置子core-site.xml 　　 4）客户端配置之mapred-site.xml 　　 5）客户端配置之yarn-site.xml 　　 以上就搭建了一个Hadoop的客户端 二、Java访问HDFS集群 2.1、HDFS的Java访问接口　 　　1）org.apache.hadoop.fs.FileSystem 　　　　是一个通用的文件系统API

首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。 Hadoop主要包含三个模块： HDFS模块：HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。 YARN模块：YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop中MapReduce里NameNode负载太大和其他问题而创建的一个框架。YARN是个通用框架，不止可以运行MapReduce，还可以运行Spark、Storm等其他计算框架。 MapReduce模块：MapReduce是一个计算框架，它给出了一种数据处理的方式，即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理，对实时性要求很高的应用不适用。多相关信息可以参考博客： 初识HDFS（10分钟了解HDFS、NameNode和DataNode） 。

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 HDFS是配合Hadoop使用的分布式文件系统，分为 namenode: nn1.hadoop nn2.hadoop datanode: s1.hadoop s2.hadoop s3.hadoop (看不明白这5台虚拟机的请看前面 01前期准备 ) 解压配置文件 [hadoop@nn1 hadoop_base_op]$ ./ssh_all.sh mv /usr/local/hadoop/etc/hadoop /usr/local/hadoop/etc/hadoop_back [hadoop@nn1 hadoop_base_op]$ ./scp_all.sh ../up/hadoop.tar.gz /tmp/ [hadoop@nn1 hadoop_base_op]$ #批量将自定义配置 压缩包解压到/usr/local/hadoop/etc/ #批量检查配置是否正确解压 [hadoop@nn1 hadoop_base_op]$ ./ssh_all.sh head /usr/local/hadoop/etc/hadoop/hadoop-env.sh [hadoop

环境描述 根据需求，部署hadoop-3.0.0基础功能架构，以三节点为安装环境，操作系统CentOS 7 x64； openstack创建三台虚拟机，开始部署； IP地址 主机名 10.10.204.31 master 10.10.204.32 node1 10.10.204.33 node2 功能节点规划 master node1 node2 NameNode DataNode DataNode DataNode HQuorumPeer NodeManager NodeManager ResourceManager SecondaryNameNode HMaster 三节点执行初始化操作； 1.更新系统环境； yum clean all && yum makecache fast && yum update -y && yum install -y wget vim net-tools git ftp zip unzip 2.根据规划修改主机名； hostnamectl set-hostname master hostnamectl set-hostname node1 hostnamectl set-hostname node2 3.添加hosts解析； vim /etc/hosts 10.10.204.31 master 10.10.204.32 node1 10.10

下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站，找到我们要安装的版本，点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼容，不要安装了不匹配的版本，而导致某些组件需要重装 输入命令进行安装操作 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz tar -zxvf hadoop-2.7.7.tar.gz mv hadoop-2.7.7 /usr/local/hadoop/ 修改服务器系统环境变量 所有服务器都需要按要求修改配置 vi /etc/profile 在尾部添加下面配置 export HADOOP_HOME=/usr/local/hadoop/ export PATH=$PATH:$HADOOP_HOME/bin 保存退出后，运行命令，让配置马上生效 source /etc/profile 创建Hadoop需要的文件夹 # 所有服务器都需要执行创建hadoop的tmp文件夹 mkdir -p /data/hadoop/ #

1、列出所有命令 hdfs dfs -help 2、查看某个一个命令的详细 hdfs dfs -help -put 3、ls 查看HDFS系统中文件和目录，例如查看根目录 hdfs dfs -ls / 列出所有目录和文件 hdfs dfs -ls -R / 4、put 将本地文件上传道HDFS系统中 hdfs dfs -put test.txt /input/ 5、moveFromLocal 命令将本地文件移动到HDFS系统中，可以移动多个文件，与put命令类似，不同的是移动后删除本地文件 hdfs dfs -moveFromLocal test.txt /iput/ 6、get 命令将HDFS系统中的文件下载到本地，下载时本地不能有同名文件，否则会提示文件已存在（确保本地存在写入权限） hdfs dfs -get /input/test.txt test1.txt 下载整个目录 hdfs dfs -get /input/ ./ 7、rm 删除HDFS系统的文件或者文件夹 删除指定文件 hdfs dfs -rm /input/test.txt 递归删除input目录以及改目录下全部内容 hdfs dfs -rm -r /input 8、mkdir 在HDFS系统中创建文件夹 hdfs dfs -mkdir /input/ 创建多级目录(自动创建父级不存在的目录) hdfs dfs