hbase

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> hbase(main):005:0> list hbase(main):005:0> help "create" hbase(main):008:1' create 'user_info', {NAME=>'base_info',VERSIONS=>3},{NAME=>'extra_info'} => Hbase::Table - user_info hbase(main):003:0> put 'user_info','001','base_info:name','fengjie'; hbase(main):004:0* list 0 row(s) in 0.2730 seconds hbase(main):005:0> put 'user_info','001','base_info:age',28 0 row(s) in 0.0180 seconds hbase(main):006:0> put 'user_info','001','base_info:addr','newyork' 0 row(s) in 0.0160 seconds base(main):007:0> put 'user_info','001','extra_info:addr','female' 0 row(s) in 0.0270

Hbase Solr 同步二级索引后，进行int字段排序时报错 报错如下 { "responseHeader":{ "zkConnected":true, "status":400, "QTime":75, "params":{ "q":"*:*", "sort":"hbase_indexer_fn_read_num desc", "_":"1576474856934"}}, "error":{ "metadata":[ "error-class","org.apache.solr.common.SolrException", "root-error-class","org.apache.solr.common.SolrException"], "msg":"can not sort on multivalued field: hbase_indexer_fn_read_num", "code":400}} 提示不能是multivalued属性 多值在solr中显示如下，带中括号 false 情况下应为下图，不带中括号 修改 schema.xml 文件， multivalued = "false" <field name="hbase_indexer_fn_read_num" type="string" indexed="true" multiValued="false"

本篇博客,小菌为大家带来的是关于HBase的入门介绍! 文章目录 1.HBase 基本介绍 简介 HBase的发展历程 2、HBase与Hadoop的关系 <1>HDFS <2>HBase 3.RDBMS与HBase的对比 <1>RDBM(关系型数据库) 结构： 功能： <2>HBase 结构： 功能: 4、HBase特征简要 <1>海量存储 <2>列式存储 <3>极易扩展 <4>高并发 <5>稀疏 5、HBase的基础架构 <1>HMaster <2>RegionServer 组件: <1>Write-Ahead logs <2>StoreFile（HFile） <3>Store <4>MemStore <5>Region 1.HBase 基本介绍 简介 hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。 主要用来存储结构化和半结构化的松散数据。 Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务） Hbase中支持的数据类型：byte[] 与hadoop一样，Hbase目标主要依靠横向扩展

必须先吐槽一下 Cloudera 6.x 和 Hbase 2.0 太坑了！ 不久前生产上的一套Hbase集群出现著名的RIT（Regions in Transition）问题。 查看hbase web ui 于是通过hbck命令查看一下集群状态，果然好多inconsistency ... ERROR: Region { meta => XXX,XXX:,1573019231000.ff2aecaf28917792395c341d01e0b8cc., hdfs => hdfs://nameservice1/hbase/data/default/XXX/ff2aecaf28917792395c341d01e0b8cc, deployed => , replicaId => 0 } not deployed on any region server. ... ERROR: Found inconsistency in table XXX ... 9 inconsistencies detected. Status: INCONSISTENT 看到错误提示问题明显了，这个Region在hdfs中有数据文件但没有依赖任何Region Server，原因可能region被原来的Region Server unassigned了，但是还没有被assigned到一个新的Region Server上

一、Hbase 基本介绍 简介 hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。 主要用来存储结构化和半结构化的松散数据。 Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务） Hbase中支持的数据类型：byte[] 与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 HBase中的表一般有这样的特点： 大：一个表可以有上十亿行，上百万列 面向列:面向列(族)的存储和权限控制，列(族)独立检索。 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。 HBase的发展历程 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org 2006年Google发表BigTable白皮书 2006年开始开发HBase 2008 HBase成为了 Hadoop的子项目

转载至 http://hbasefly.com/2016/12/21/hbase-getorscan/ 请多多支持原作者！！ HBase原理－数据读取流程解析 和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件；其二是因为HBase中更新操作以及删除操作实现都很简单，更新操作并没有更新原有数据，而是使用时间戳属性实现了多版本。删除操作也并没有真正删除原有数据，只是插入了一条打上”deleted”标签的数据，而真正的数据删除发生在系统异步执行Major_Compact的时候。很显然，这种实现套路大大简化了数据更新、删除流程，但是对于数据读取来说却意味着套上了层层枷锁，读取过程需要根据版本进行过滤，同时对已经标记删除的数据也要进行过滤 Client-Server交互逻辑 运维开发了很长一段时间HBase，经常有业务同学咨询为什么客户端配置文件中没有配置RegionServer的地址信息，这里针对这种疑问简单的做下解释，客户端与HBase系统的交互阶段主要有如下几个步骤： 客户端首先会根据配置文件中zookeeper地址连接zookeeper，并读取/<hbase-rootdir>/meta-region-server节点信息

Hbase的集群环境搭建 注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行 第一步：下载对应的HBase的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz 第二步：压缩包上传并解压 将我们的压缩包上传到node01服务器的/export/softwares路径下并解压 cd /export/softwares/ tar -zxvf hbase-1.2.0-cdh5.14.0-bin.tar.gz -C …/servers/ 第三步：修改配置文件 第一台机器进行修改配置文件 cd /export/servers/hbase-1.2.0-cdh5.14.0/conf 修改第一个配置文件hbase-env.sh 注释掉HBase使用内部zk vim hbase-env.sh export JAVA_HOME=/export/servers/jdk1.8.0_141 export HBASE_MANAGES_ZK=false

HBase常用shell操作 hive,hbase命令行无法回格 在secureCRT中，点击"选项"->“回话选项”->“终端”->“仿真” 右边的终端选择linux，在hbase shell中如输入出错，Ctrl+回格键即可删除 进入HBase客户端命令操作界面 $ bin/hbase shell [ root@hadoop01 bin ] # hbase shell 2019 - 12 - 11 09 : 14 : 22 , 321 INFO [ main ] Configuration . deprecation : hadoop . native . lib is deprecated . Instead , use io . native . lib . available SLF4J : Class path contains multiple SLF4J bindings . SLF4J : Found binding in [ jar : file : / export / servers / hbase - 1.2 .0 - cdh5 . 14.0 / lib / slf4j - log4j12 - 1.7 .5 . jar ! / org / slf4j / impl / StaticLoggerBinder . class ] SLF4J : Found

本篇博客,小菌为大家带来的是关于HBase的集群环境搭建。 在开始之前,有一个 注意事项 :HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行。 第一步: 下载对应的HBase 的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz 第二步：压缩包上传并解压 将我们的压缩包上传到node01服务器的/export/softwares路径下并解压 cd /export/softwares/ tar -zxvf hbase-1.2.0-cdh5.14.0-bin.tar.gz -C .. /servers/ 第三步：修改配置文件 第一台机器进行修改配置文件 cd /export/servers/hbase-1.2.0-cdh5.14.0/conf 修改第一个配置文件hbase-env.sh vim hbase-env.shll export JAVA_HOME = /export/servers/jdk1.8.0_141 export HBASE_MANAGES

HBase的基本介绍 Hbase 是建立在hdfs之上的一个数据库，不支持join等SQL复杂操作.支持的数据类型：byte[]，依靠横向扩展 一个表可以有上十亿行，上百万列。 面向列(族)的存储和权限控制 对于为空(null)的列，并不占用存储空间，是一个稀疏表。 稀疏的理解 HBASE的适用场景 海量数据、精确查询、快速返回 海量数据：指的是数据量的背景 精确查询：业务场景 快速返回：是业务对时效性的要求 Hbase和Hadoop之间的关系 HDFS 海量数据存储，适合一次性扫描大量数据。 适合一次写入多次读取 不适合频繁更新的数据 HBASE 不适合一次性扫描大量数据。适用一次扫描少量数据。 适合多次写入多次读取 hbase 支持数据更新 支持删除数据 Hbase与RDBMS的关系 RDBMS 支持SQL查询 支持事务 支持Join HBASE 不支持SQL查询 不支持事务 不 支持Join Hbase特征简要说明 1、 海量存储 Hbase适合存储PB级别的海量数据，在几十到百毫秒内返回数据。 2、列式存储 这里的列式存储其实说的是列族存储 列族理论上可以很多，但实际上建议不要超过6个 3、 极易扩展 处理能力（RegionServer）的扩展，一个是基于存储的 扩展（HDFS） hbase在最初设计的时候就考虑了扩展性。 4、高并发 这里说的高并发，主要是在并发的情况下