离线sqoop

sqoop hadoop hive flume

01- Sqoop–软件介绍

sqoop专门用来做RDBMS数据和Hadoop数据相互迁移的一个工具。
Apache Sqoop 是在 Hadoop 生态体系和 RDBMS 体系之间传送数据的一种工具。来自于 Apache 软件基金会提供。sqoop.apache.org
Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

Import：数据导入。RDBMS----->Hadoop
Export：数据导出。Hadoop---->RDBMS

02- Sqoop–安装部署

查看服务器内存
- free -h
查看磁盘大小
- df -h
- 1.3G 200M
清理缓存
- echo 1 >/proc/sys/vm/drop_caches

安装 sqoop 的前提是已经具备 java 和 hadoop 的环境。
最新稳定版： 1.4.6
配置文件修改：
cd $SQOOP_HOME/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
export HADOOP_COMMON_HOME= /export/servers/hadoop-2.7.5
export HADOOP_MAPRED_HOME= /export/servers/hadoop-2.7.5
export HIVE_HOME= /export/servers/hive
//加入 mysql 的 jdbc 驱动包
cp /hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME/lib/
验证启动
bin/sqoop list-databases \
--connect jdbc:mysql://localhost:3306/ \
--username root --password hadoop
本命令会列出所有 mysql 的数据库。
到这里，整个 Sqoop 安装工作完成。shell

是一个单节点
不需要启动程序为一个守护进程。只需要使用时用sqoop脚本操作。

03- Sqoop–导入import–全量数据导入hdfs

下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /aa \
--table emp --m 1
其中--target-dir可以用来指定导出数据存放至HDFS的目录；

可以看出它会在HDFS上默认用逗号,分隔emp表的数据和字段。可以通过

–fields-terminated-by '\t’来指定分隔符。
首先得把hdfs启动，还得启动yarn集群
sqoop任务使用的MapReduce运行的
–m 1 指定mapper的个数为1 _success part-m-00000
sqoop默认导入hdfs，默认分隔符是“，”
\ 不能和前边的命令紧挨着，需要有空格
–target-dir 不能提前创建，因为MapReduce首先就会检查输出目录是否存在，如果存在，就会报错。

04- Sqoop–导入import–全量数据导入hdfs–并行度设置&注意事项

如果表的数据比较大可以并行启动多个maptask执行导入操作，如果表没有主键，请指定根据哪个字段进行切分

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--target-dir /sqoopresult214 \
--fields-terminated-by '\t' \
--split-by id \
--table emp --m 2

05- Sqoop–导入import–全量数据导入hive

方式一：先复制表结构到hive中再导入数据

将关系型数据的表结构复制到hive中

bin/sqoop create-hive-table \
--connect jdbc:mysql://node03:3306/userdb \
--table emp_add \
--username root \
--password 123456 \
--hive-table test.emp_add_sp
其中：
 --table emp_add为mysql中的数据库sqoopdb中的表。   
 --hive-table emp_add_sp 为hive中新建的表名称。

从关系数据库导入文件到hive中


bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table emp_add \
--hive-table test.emp_add_sp \
--hive-import \
--m 1

第一种方式可以改表名

方式二：直接复制表结构和数据到hive中

bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--table emp_conn \
--hive-import \
--m 1 \
--hive-database test;

第二种hive的表名和mysql的表名保持一致。

06- Sqoop–导入import–表子集数据导入

–where可以指定从关系数据库导入数据时的查询条件。它执行在数据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--where "city ='sec-bad'" \
--target-dir /wherequery \
--table emp_add --m 1

–query使用query sql语句来进行查找不能加参数–table ;

并且必须要添加where条件;

并且where条件后面必须带一个$CONDITIONS 这个字符串;

并且这个sql语句必须用单引号，不能用双引号;

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--target-dir /wherequery12 \
--query 'select id,name,deg from emp WHERE  id>1203 and $CONDITIONS' \
--split-by id \
--fields-terminated-by '\t' \
--m 2

–query 比较重要，一般使用这种方式封装成定时任务，增量导入。根据createtime做T+1增量导入（今天凌晨1点，导入昨天全量的数据，以此类推。）

07- Sqoop–导入import–增量导入–append模式

执行如下的指令，实现增量的导入:

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root  --password 123456 \
--table emp --m 1 \
--target-dir /appendresult \
--incremental append \
--check-column id \
--last-value  1201

增量导入的时候，会在生成一个文件。

08- Sqoop–导入import–增量导入–lastmodified模式（附加数据）

Ø 使用incremental的方式进行增量的导入:

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table customertest \
--target-dir /lastmodifiedresult \
--check-column last_mod \
--incremental lastmodified \
--last-value "2019-09-24 00:53:13.0" \
--m 1 \
--append

lastmodified模式去处理增量时，会将大于等于last-value值的数据当做增量插入。
根据时间类型的字段进行增量导入。新增，修改这些数据都会增量导入到hdfs。

09- Sqoop–导入import–增量导入–lastmodified模式（mergekey合并数据）

lastmodified 有一个缺点，记录更新，会产生多个该记录在不同文件。

执行如下指令，把id字段作为merge-key part - m -00000

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table customertest \
--target-dir /lastmodifiedresult \
--check-column last_mod \
--incremental lastmodified \
--last-value "2019-09-24 00:57:21" \
--m 1 \
--merge-key id

最终的文件只有一个，相当于当前mysql中最新数据的一个导出。

10- Sqoop–导出export–默认模式导出

从hdfs上将结构化文件导出到mysql

bin/sqoop export \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table emp \
--export-dir /aa \

前提：提前创建好相应类型字段的mysql表

11- Sqoop–导出export–默认模式导出–配置参数

–input-fields-terminated-by ‘\t’
–columns
–export-dir
–input-null-string --input-null-non-string

--input-null-string ‘\N’ --input-null-non-string ‘\N’

12- Sqoop–导出export–更新模式导出–updateonly

先将hdfs的数据全量导出到mysql，再根据新文件导出。用updateonly观察结果。
– update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。
– updatemod，指定updateonly（默认模式），仅仅更新已存在的数据记录，不会插入新纪录。

bin/sqoop export \
--connect jdbc:mysql://node03:3306/userdb \
--username root --password 123456 \
--table updateonly \
--export-dir /updateonly_2/ \
--update-key id \
--update-mode updateonly

updateonly: 现在已经把hdfs上的数据全量导出到mysql中了，当hdfs有数据变更或者是新增数据，使用updateonly模式，只会将mysql中已存在的数据进行更新，hdfs中新增的数据不会进行insert。

13- Sqoop–导出export–更新模式导出–allowinsert

– update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。

– updatemod，指定allowinsert，更新已存在的数据记录，同时插入新纪录。实质上是一个insert & update的操作。

bin/sqoop export \
--connect jdbc:mysql://node03:3306/userdb \
--username root --password 123456 \
--table allowinsert \
--export-dir /allowinsert_2/ \
--update-key id \
--update-mode allowinsert

hive表的导出和hdfs数据的导出是一样的，只需要把当前hive表的路径给bin/sqoop export 就行。

14- Sqoop–job作业的使用–创建、查看、执行、删除

创建

bin/sqoop job --create itcastjob -- import --connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--target-dir /sqoopresult333 \
--table emp --m 1

注意import前要有空格

查看
```
bin/sqoop job --list
```
执行
```
bin/sqoop job --exec itcastjob
```
删除
```
bin/sqoop job --delete itcastjob
```
帮助
```
bin/sqoop job --help
```
sqoop job本质上就是对以上导入导出命令的封装。

15- Sqoop–job作业的使用–免密执行

sqoop在创建job时，使用–password-file参数，可以避免输入mysql密码，如果使用–password将出现警告，并且每次都要手动输入密码才能执行job，sqoop规定密码文件必须存放在HDFS上，并且权限必须是400。

并且检查sqoop的sqoop-site.xml是否存在如下配置：

<property>

    <name>sqoop.metastore.client.record.password</name>

    <value>true</value>

    <description>If true, allow saved passwords in the metastore.

    </description>

</property>

来源：https://blog.csdn.net/qq_44769208/article/details/101357947

标签

sqoop

Hive

HDFS

mysql