HDP3.1中Hbas的MemStore Flush

*爱你&永不变心* 提交于 2020-03-11 17:34:42

一:Hbase Memstore Flush

Hbase中,Region时集群节点上最小的数据存储单元,用户数据表由一个或多个Region组成。
在Region中,每个ColumnFamily(列簇)的数据组成一个Store。每个Store由一个或多个StoreFile实例,StoreFile是对存储数据文件(HFile)的轻量级封装。
一个Store还有一个MemStore。每一个HRegionServer的所有东西会共享一个HLog。

1:MemStore级别:hbase.hregion.memstore.flush.size默认128MB,当Region中任意一个MemStore的大小达到了上限,触发memstore flush。

2:Region级别:hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size,默认是4 * 128MB=512MB。当Region中所有MemStore的大小总和达到了上限,触发memstore flush。

3:RegionServer级别:当一个RegionServer中所有Memstore大小总和达到上限,hfile.block.cache.size(默认值0.4) * hbase_regionserver_heapsize(默认值2GB)=819.2MB。触发memstore flush,flush按照memstore由大到小,直到总体memstore使用量低于阈值。

4:RegionServer中Hlog数量达到上限(hbase.regionserver.maxlogs):系统会选取最早的一个Hlog对应的一个或多个Region进行flush。根据hbase.regionserver.global.memstore.size来决定:Math.max(32,(regionserverHeapSizememstoreSizeRatio2/logRollSize))。

5:Hbase定期刷新Memstore:默认值是3600000,即1个小时。如果设定为0,则意味着关闭自动刷写。确保Memstore不会长时间没有持久化,为了避免Memstore在同一时间都进行flush导致问题,定期的flush操作会有20000左右的随机延迟。

6:手动执行flush:
API:
flush(TableName tableName):对单表进行刷写。
flushRegion(byte[] regionName):对单个Region进行刷写。
HBase Shell:
flush ‘tablename’
flush ‘regionname’

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!