(六)HBase与Sqoop整合

文章目录

HBase与Sqoop整合

需求一：将mysql表当中的数据导入到HBase当中来
需求二：将HBase当中的数据导出到mysql当中来

HBase与Sqoop整合

sqoop是一个数据导入导出的工具，可以将关系型数据库当中的数据导入到大数据平台来，也可以将大数据平台当中的数据导入到关系型数据库当中去，我们也可以通过sqoop导入数据到hbase或者从hbase当中导出数据。

需求一：将mysql表当中的数据导入到HBase当中来

1.创建数据库表

CREATE DATABASE  IF NOT EXISTS library;
USE library;
CREATE TABLE book(
id INT(4) PRIMARY KEY NOT NULL AUTO_INCREMENT, 
NAME VARCHAR(255) NOT NULL, 
price VARCHAR(255) NOT NULL);

2.插入数据

INSERT INTO book(NAME, price) VALUES('Lie Sporting', '30');  
INSERT INTO book (NAME, price) VALUES('Pride & Prejudice', '70');  
INSERT INTO book (NAME, price) VALUES('Fall of Giants', '50');

3.将mysql表当中的数据导入HBase表当中去

bin/sqoop import \
--connect jdbc:mysql://node03:3306/library \
--username root \
--password 123456 \
--table book \
--columns "id,name,price" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_book" \
--num-mappers 1  \
--split-by id

需求二：将HBase当中的数据导出到mysql当中来

Sqoop不支持我们直接将HBase当中的数据导出，所以我们可以通过以下的转换进行导出:

Hbase→hive外部表→hive内部表→通过sqoop→mysql

1.创建hive外部表

CREATE EXTERNAL TABLE hbase2mysql (id int,name string,price int)
   STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
   WITH SERDEPROPERTIES (
    "hbase.columns.mapping" =
     ":key,info:name, info:price"
   )
   TBLPROPERTIES( "hbase.table.name" = "hbase_book",
    "hbase.mapred.output.outputtable" = "hbase2mysql");

2.创建hive内部表并将外部表数据插入到内部表当中来

CREATE TABLE hbase2mysqlin(id int,name string,price int);

insert overwrite table hbase2mysqlin select * from hbase2mysql;

3.清空mysql表数据

TRUNCATE TABLE book;

4.执行sqoop导出hive内部表数据到mysql

bin/sqoop export \
--connect jdbc:mysql://node03:3306/library \
--username root \
--password 123456  \
--table book \
--export-dir /user/hive/warehouse/hive_function.db/hbase2mysqlin \
--input-fields-terminated-by '\001' \
--input-null-string '\\N' \
--input-null-non-string '\\N'

来源：https://blog.csdn.net/Yanxu_Jin/article/details/100929167

标签

sqoop

hbase

数据整合