HBase的预分区

妖精的绣舞 提交于 2020-02-01 02:21:34

一、为何要预分区?

* 增加数据读写效率

* 负载均衡,防止数据倾斜

* 方便集群容灾调度region

* 优化Map数量

二、如何预分区?

每一个region维护着startRow与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护。

三、如何设定预分区?

1、手动指定预分区

hbase(main):001:0> create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']

完成后如图:

 

2、使用16进制算法生成预分区

hbase(main):003:0> create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

完成后如图:

 

3、分区规则创建于文件中

创建splits.txt文件内容如下:

cd /export/servers/

vim splits.txt

aaaa
bbbb
cccc
dddd

然后执行:

hbase(main):004:0> create 'staff3','partition2',SPLITS_FILE => '/export/servers/splits.txt'

成功后如图:

 

4、使用JavaAPI创建预分区

Java代码如下:

//通过javaAPI进行HBase的表的创建以及预分区操作

    @Test

    public void hbaseSplit() throws IOException {

        //获取连接

        Configuration configuration = HBaseConfiguration.create();

        configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181");

        Connection connection = ConnectionFactory.createConnection(configuration);

        Admin admin = connection.getAdmin();

        //自定义算法,产生一系列Hash散列值存储在二维数组中

        byte[][] splitKeys = {{1,2,3,4,5},{'a','b','c','d','e'}};





        //通过HTableDescriptor来实现我们表的参数设置,包括表名,列族等等

        HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("stuff4"));

        //添加列族

        hTableDescriptor.addFamily(new HColumnDescriptor("f1"));

        //添加列族

        hTableDescriptor.addFamily(new HColumnDescriptor("f2"));

        admin.createTable(hTableDescriptor,splitKeys);

        admin.close();



    }

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!