HBase调优
1、通用优化 1、NameNode的元数据备份使用SSD 2 、定时备份NameNode上的元数据,每小时或者每天备份,如果数据极其重要,可以5~ 10 分钟备份一次。备份可以通过定时任务复制元数据目录即可。 3、为NameNode指定多个元数据目录,使用 dfs .name.dir 或者 dfs.namenode.name.dir 指定。一个指定本地磁盘,一个指定网络磁盘。这样可以提供元数据的冗余和健壮性,以免发生故障。 4、设置dfs.namenode.name.dir.restore为true,允许尝试恢复之前失败的dfs.namenode.name.dir目录,在创建checkpoint时做此尝试,如果设置了多个磁盘,建议允许。 5、NameNode节点必须配置为RAID1(镜像盘)结构。 6、补充:什么是 Raid0、Raid0+1、Raid1、Raid5 Standalone 最普遍的单磁盘储存方式。 Cluster 集群储存是通过将数据分布到集群中各节点的存储方式,提供单一的使用接口与界面,使用户可以方便地对所有数据进行统一使用与管理。 Hot swap 用户可以再不关闭系统,不切断电源的情况下取出和更换硬盘,提高系统的恢复能力、拓展性和灵活性。 Raid0 Raid0是所有raid中存储性能最强的阵列形式。其工作原理就是在多个磁盘上分散存取连续的数据,这样