hbase

居然是这篇文章被推荐了, 其实这是一个系列的文章, 前面还有两篇 HBase 源码的准备工作: (1). 《 HBase 源码-下载,编译 》 (2). 《 HBase 源码-Start Server 》 根据前前文《 HBase 源码-Start Server 》 启好 Server 后, run 了几个 TestCase, 还是很迷茫, 不知该从何下手去啃这一大堆代码, 就想着先把 shell 启起来, 尝试建几个表, 并往里面插入一些数据. 1. 启动 shell 与启动 server 类似, 这里也需要 Run --> Run Configurations... , 添加 一个 Java Application, 设置 Project 为 hbase-shell , Main class 为 org.jruby.Main , Arguments 为 hirb.rb 全路径 , 由于 hirb.rb 为 ruby 程序, 所以还应在 VM arguments 中指定 ruby 库所在路径(HBase 0.97 版本位于 hbase-shell/src/main/ruby) , 如下两图 . 2. 测试 shell 配置完成后, 点击 run, 即可启动 shell, 然后 如下图 进行 建表, 插数据, 读数据. ( 注意需要先启动 server ) 3. HBase

文档转自： http://blog.panaihua.com/archives/92 一、概述 我的机器使用hadoop-2.7.2，hbase-1.1.3版本，系统为ubuntu14。 hadoop安装：上一篇文章 二、HBase的安装 下载地址： http://mirrors.noc.im/apache/hbase/stable/ 1.修改hbase-env.sh配置文件,使用hbase自带的zookeeper export JAVA_HOME=/home/ubuntu/jdk1.7.0_10/ export HBASE_CLASSPATH=/home/ubuntu/hbase-1.1.3/conf export HBASE_MANAGES_ZK=true 2.修改hbase-site.xml配置文件 <property> <name>hbase.rootdir</name> <!-- 这里是hadoop的hdfs的地址 --> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/softwares/hbase-1.1.3/data/zkData</value> <

一：hbase 表的设计管理 二：hbase hive 集成 三：sqoop 与hbase 的集成 四：hbase 与hue 集成 五：hbase 表的修复 一：hbase 表的设计管理 1.1 hbase 的shell 命令 1.1.1 创建一个命名空间 在新版本的hbase 中 表是存储在命名空间当中，默认的命名空间是default 创建一个命名空间： create_namespace 'ns2' 查看有多少个命名空间： list_namespace 在命名空间中建立表： create 'ns2:student','info' 查询命名空间中的表： list_namespace_tables 'ns2' 1.1.2 一张表创建多个列簇 create 'ns1:t1', {NAME => 'f1'}, {NAME => 'f2'}, {NAME => 'f3'} 相当于： create 'ns1:t1', 'f1', 'f2', 'f3' 描述一张表： describe 't1' 1.2.3 创建rowkey 的范围region 区域： 默认情况下hbase 创建表时，会默认划分region 区域 结合实际环境来看，无论是测试环境还是生产环节，我们创建好的hbase 需要大量的的导入数据 file/data --> hfile -> bulk load into hbase

优化思路 1.构建良好的索引 2.查询时只查需要的字段 3.java使用habse原生方式链接hbase spring集成的hbase链接和查询方式 @Configuration public class HbaseConfig { @Bean public HbaseTemplate hbaseTemplate(@Value("${hbase.zookeeper.quorum}") String quorum, @Value("${hbase.zookeeper.port}") String port, @Value("${hbase.zookeeper.znode.parent}") String znodeParent) { HbaseTemplate hbaseTemplate = new HbaseTemplate(); org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", quorum); conf.set("hbase.zookeeper.port", port); conf.set("zookeeper.znode.parent", znodeParent); hbaseTemplate

开发工具：Eclipse， 三步 1.新建一个项目 2.把hbase安装下的lib的文件都拷贝进来 3.把lib目录下jar文件都引入 4.lib下的client-facing-thirdparty 目录下的jar也都引入 看图 package com.yue; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase. ; import org.apache.hadoop.hbase.client. ; import java.io.IOException; public class Test { public static Configuration configuration; // 管理Hbase的配置信息 public static Connection connection; // 管理Hbase连接 public static Admin admin; // 管理Hbase数据库的信息 public static void main(String[] args) throws IOException { // TODO Auto-generated method stub System.out.println("sheet"); init(); String colF[] =

hbase的机群搭建过程 集群结构，主节点(hmaster)是hadoop，从节点(region server)是hadoop1和hadoop2 1、解压缩、重命名、设置环境变量 export HBASE_HOME=/home/hadoop/app/hbase export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$JAVA_HOME/bin:$PATH 2、修改配置目录$HBASE_HOME/conf下的配置文件 修改： hbase-env.sh export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=false 修改： hbase-site.xml <property> <name>hbase.rootdir</name> <value>hdfs://hadoop:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop,hadoop1,hadoop2<

1.测试MySQL连接 bin/sqoop list-databases --connect jdbc: mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' 2.检验SQL语句 bin/sqoop eval --connect jdbc: mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' --query "SELECT * FROM TB_REGION WHERE REGION_ID = '00A1719A489D4F49906A8CA9661CCBE8'" 3.导入hdfs 3.1 导入 bin/sqoop import --connect jdbc: mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' --table TB_REGION --target-dir /sqoop/mysql/trade_dev/tb_region -m 5 --columns "code,name,category,farthercode,visible,regionlevel,region_id"

开发工具：Eclipse， 三步 1.新建一个项目 2.把hbase安装下的lib的文件都拷贝进来 3.把lib目录下jar文件都引入 4.lib下的client-facing-thirdparty 目录下的jar也都引入 看图 package com.yue; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import java.io.IOException; public class Test { public static Configuration configuration; // 管理Hbase的配置信息 public static Connection connection; // 管理Hbase连接 public static Admin admin; // 管理Hbase数据库的信息 public static void main(String[] args) throws IOException { // TODO Auto-generated method stub System.out.println("shit"); init(); String colF[] ={

HBase的集群搭建-hbase-cluster(在原来的hadoop0上的hbase伪分布基础上进行搭建) 准备环境：三个节点hadoop环境，并且安装成功zookeeper。 1. HBase的集群搭建 1.1 集群结构，主节点(hmaster)是hadoop0，从节点(region server)是hadoop1和hadoop2 1.2 修改hadoop0上的hbase的几个文件： (1)修改hbase-env.sh的最后一行export HBASE_MANAGES_ZK=false (2)修改hbase-size.xml的参数hbase.zookeeper.quorum为hadoop0,hadoop1,hadoop2 (3)修改regionservers文件(存放的是region server的hostname)，内容修改为hadoop1 hadoop2 1.3 复制hadoop0中的hbase文件夹到hadoop1和hadoop2中 scp -r hbase hadoop1:/opt/hbase scp -r hbase hadoop2:/opt/hbase 复制hadoop0中的/etc/profile到hadoop1和hadoop2，同时在hadoop1和hadoop2上执行source /etc/profile 1.4 首先启动的是hadoop