hbase

注意事项 HBase配置必须使用主机名，不支持直接配置IP地址。我尝试过，如果不使用主机名直接用IP，会导致HBase连接zk超时。 > 设置主机名 hostnamectl set-hostname HM107 > 修改hosts添加主机名和IP的映射关系 vim /etc/hosts 192.168.1.100 hm107 注意：如果是集群其他节点和使用的Client也要添加该host映射关系。 >选择版本 我选择：HBase1.0.3 & Hadoop 2.5.2。 安装HBase需要考虑和Hadoop版本的兼容性。 HBase与Hadoop版本的兼容情况，可参考： 《HBase各版本对Hadoop版本的支持情况》：http://blog.csdn.net/sunny05296/article/details/54089194 Hadoop对JDK的版本要求，参考：http://blog.csdn.net/sunny05296/article/details/54346500 >下载HBase安装包 HBase官方下载镜像：http://www.apache.org/dyn/closer.cgi/hbase/ 我下载HBase-1.0.3：http://mirrors.cnnic.cn/apache/hbase/hbase-1.0.3/hbase-1.0.3-bin.tar

1.tar -xvf hbase-2.1.1-bin.tar.gz 解压Hbase 2.进入conf文件夹修改hbase-env.sh 2.1:export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64,改为当前机器JDK路径 2.2:export HBASE_MANAGES_ZK=true,true使用Hbase自动ZK,false自己配置ZK 3.修改hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>file:///home/testuser/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/testuser/zookeeper</value> </property> <property> <name>hbase.master.info.port</name> 　　<value>60010</value> </property> <!--使用zk需要这个--> <property> <name>hbase.cluster.distributed<

jia下载地址: http://mirrors.shuosc.org/apache/hbase/1.4.0/ 解压 tar -zxvf hbase-1.4.0-bin.tar.gz 修改环境变量 [root@10 hbase-1.4.0]# vi /etc/profile [root@10 hbase-1.4.0]# source /etc/profile 添加内容: export HBASE_HOME=/home/sri_udap/app/hbase-1.4.0 export PATH=$PATH:$HBASE_HOME/bin 1. 修改hbase-env.sh文件,添加或修改内容: export JAVA_HOME=/usr/java/jdk1.8.0_121 export HBASE_CLASSPATH=/home/sri_udap/app/hbase-1.4.0/conf export HBASE_MANAGES_ZK=true 2.修改hbase-site.xml,添加内容如下: <configuration> #添加如下内容 <property> <name>hbase.rootdir</name> #设置hbase数据库存放数据的目录 <value>hdfs://master:9000/hbase</value> </property> <property>

安装 HBase 下载安装 下载解压 Hbase 安装包并移到 /usr/share/hbase 解压命令：tar -zxvf + 安装包 配置 在 hhbase-env.sh 中指定 JDK的安装位置 ex port JAVA_HOME=… 在hbase-site.xml中添加配置项 <property> <name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>master,slave1,slave2</value> //只能为三个 </property> 在 regionservers中修改为根节点和子节点的数目 master slave1 slave2 配置环境变量 #HBase export HBASE_HOME=/usr/share/hbase export PATH=$PATH:$HBASE_HOME/bin （注意）使用 source 进行刷新配置信息 将 Hbase分发到各个节点 scp… 启动

hbase 是 nosql的一种。nosql的话，不需要sql作为查询语言，也不需要固定的表模式（table schema），也不怎么有sql的join操作，一般都能水平扩展，放宽ACID属性（因为CAP定理）。Hbase是C+P类型的，强一致性（仅支持单行事务）。最常见的应用场景还是采集的网页数据的存储，日志信息的存储，不需要完全结构化的应用。hbase 是 OLTP应用为主。 hive不一样，针对OLAP应用，底层不是hbase（支持么？），而是hdfs。存储靠hdfs，所以所谓的hive表，就是纯逻辑表，只是表的定义，即表的元数据。hive告诉机器，如何将数据文件解析，然后结构化为一张数据库表，并提供sql查询。hive一般用于查询分析统计，而不是其他的CUD操作，他去做增量实时同步相当困难。 hive是基于MR处理数据，MR是基于行的处理，hbase是基于列的处理，适合大数据的随机访问。hbase的表是稀疏的存储，用户可以给行定义各种不同的列，而hive是稠密的，定义了多少列，那么每一行都有存储固定列数的数据。hive因为是MR，所以数据处理不能低延迟，而hbase支持实时查询。hive不提供 row-level的更新，他适合的是 append-only的数据批处理，比如日志。而hbase，支持row-level的更新。hql是完整的sql实现，分析历史数据绝佳

hive：适合用来进行分析统计； hbase:用来进行实时查询。 hive的应用答题相当于mysql: 切换到当前数据库：hive:use database; 创建数据库命令：hive:create database financials; 删除数据库时，不允许删除的数据库中有数据，若有数据则会报错。这是可以用加有CASCADE关键字的命令删除； hive:drop database databasename cascade; 或者：drop database if exists databasename cascade; 查看当前数据库中的表：hive:show tables in databasename; 或者:hive:show tables like 'h*'; 查看所有的数据库。 hive> show databases ; hive> describe databases DbName; --查看数据库信息 truncate table table_a ; 清空一个表的数据(hive 0.11.0 支持) ̶ 通过Alter关键字修改DB相关信息 hive> ALTER DATABASE financials SET DBPROPERTIES ('edited-by' = 'Joe Dba'); 首先Hive有内部表，和External Table外部表两种表的概念

1、读请求过程： meta表是hbase系统自带的一个表。里面存储了hbase用户表的元信息。 元信息为meta表内记录一行数据是用户表一个region的start key 到endkey的范围。 meta表存储在regionserver里。 具体存储在哪个regionserver里？zookeeper知道。 过程: 1.客户端到zookeeper询问meta表在哪 2.客户端到meta所在的节点（regionserver）读取meta表的数据 3.客户端找到region 获取region和regionserver的对应关系，直接到regionserver读取region数据 查看meta表信息 hbase(main):011:0> scan ‘hbase:meta’ 2、写请求过程： 1.Client先访问zookeeper，找到Meta表，并获取Meta表元数据。确定当前将要写入的数据所对应的HRegion和 HRegionServer服务器。 2.Client向该HRegionServer服务器发起写入数据请求。 3.Client先把数据写入到HLog，以防止数据丢失，然后将数据写入到Memstore。 4.Memstore达到阈值，会把Memstore中的数据flush到Storefile中 5.当Storefile越来越多，达到一定数量时，会触发Compact合并操作

Hbase 列式存储以流的方式在列中存储所有的数据 。对于任何记录，索引都可以快速地获取列上的数据；列式存储支持行检索，但这需要从每个列获取匹配的列值，并重新组成行。HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google BigTable的开源实现，模仿并提供了基于Google文件系统的BigTable数据库的所有功能。HBase可以直接使用本地文件系统或者Hadoop作为数据存储方式，不过为了提高数据可靠性和系统的健壮性，发挥HBase处理大数据量等功能，需要使用Hadoop作为文件系统。HBase仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务，主要用来存储非结构化和半结构化的松散数据。 Hbase中表的特点：大，稀疏，面向列 Hadoop生态系统中的各层系统 HBase位于结构化存储层； HDFS为HBase提供了高可靠性的底层存储支持； MapReduce为HBase提供了高性能的计算能力； Zookeeper为HBase提供了稳定服务和失败恢复机制； Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单；