hbase

sqoop安装 sqoop镜像： http://mirror.bit.edu.cn/apache/sqoop/ https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/ http://archive.apache.org/dist/ #更多历史版本 本教程： hadoop2.7.5 hdfs导入导出均成功 hbase2.1.8 不能导出到mysql，能导入到hbase hive2.3.6 导入导出均成功 1.解压、添加环境变量 把sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到linux的/opt/目录下，并解压。 [root@master opt]# tar -zxvf ./ sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz #解压文件到当前/opt目录 [root@master opt]# mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop #将文件夹名改为sqoop 添加环境变量： [root@master opt]# vi ~/.bash_profile 添加如下代码： export SQOOP_HOME=/opt/sqoop export PATH=$SQOOP_HOME/bin:$PATH source ~/.bash_profile #立即生效

下载stable版本 http://www.apache.org/dyn/closer.cgi/hbase/ 我下载的时候hbase-2.2.3-bin.tar.gz tar -zvxf hbase-2.2.3-bin.tar.gz cd hbase-2.2.3 决定将 HBase 写入到哪里目录 vi conf/hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>/Users/ge/mysoft/hbase-2.2.3/data</value> </property> </configuration> 设置JAVA_HOME export JAVA_HOME=$(/usr/libexec/java_home) export PATH=$JAVA_HOME/bin:$PATH export CLASS_PATH=$JAVA_HOME/lib 这么命令行输入，只能起效一次 cd ~ vi .bash_profile 加在底部 export JAVA_HOME=$(/usr/libexec/java_home) export PATH=$JAVA_HOME/bin:$PATH export CLASS_PATH=$JAVA_HOME/lib localhost:~ $ source

文章目录 一、进入HBase命令行 二、HBase表的操作 三、创建create 四、查看表列表list 五、查看表的详细信息desc 六、修改表的定义alter 1、添加一个列簇 2、删除一个列簇 3、添加列簇hehe同时删除列簇myInfo 4、清空表truncate 5、删除表drop 七、HBase表中数据的操作 八、增put 九、查get + scan 十、 删delete 一、进入HBase命令行 在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hbase shell 客户端 [ root@zj1 conf ] # hbase shell 2019 - 12 - 19 12 : 55 : 49 , 053 INFO [ main ] Configuration . deprecation : hadoop . native . lib is deprecated . Instead , use io . native . lib . available 2019 - 12 - 19 12 : 55 : 52 , 523 WARN [ main ] util . NativeCodeLoader : Unable to load native - hadoop library for your platform . . . using

CDH版本组件端口汇总 组件 端口号 端口用途 HDFS 50020 DataNode 协议端口 HDFS 50010 DataNode 收发器端口 HDFS 50075 DataNode HTTP Web UI 端口 HDFS 50475 安全 DataNode Web UI 端口 HDFS 14000 REST端口 HDFS 14001 管理端口 HDFS 8485 JournalNode RPC 端口 HDFS 8480 JournalNode HTTP 端口 HDFS 8481 安全JournalNode Web UI端口(TLS/SSL) HDFS 2049 NFS Gateway 服务器端口 HDFS 4242 NFS Gateway MountD端口 HDFS 8020 NameNode 端口 HDFS 8022 NameNode服务RPC端口 HDFS 50070 NameNode Web UI端口 HDFS 50470 安全NameNode Web UI端口(TLS/SSL) HDFS 50090 SecondaryNameNode Web UI端口 HDFS 50495 安全 SecondaryNameNode Web UI端口(TLS/SSL) HDFS 111 端口映射(或Rpcbind)端口 yarn 10020 MapReduce JobHistory

架构扼要 想读懂此文，读者必须先要明确以下几点，以作为阅读后续内容的基础知识储备： Mapreduce是一种模式。 Hadoop是一种框架。 Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。 所以，你现在，知道了什么是mapreduce，什么是hadoop，以及这两者之间最简单的联系，而本文的主旨即是，一句话概括：在hadoop的框架上采取mapreduce的模式处理海量数据。下面，咱们可以依次深入学习和了解mapreduce和hadoop这两个东西了。 Mapreduce模式 前面说了，mapreduce是一种模式，一种什么模式呢?一种云计算的核心计算模式，一种分布式运算技术，也是简化的分布式编程模式，它主要用于解决问题的程序开发模型，也是开发人员拆解问题的方法。 Ok，光说不上图，没用。如下图所示，mapreduce模式的主要思想是将自动分割要执行的问题（例如程序）拆解成map（映射）和reduce（化简）的方式，流程图如下图1所示： 在数据被分割后通过Map 函数的程序将数据映射成不同的区块，分配给计算机机群处理达到分布式运算的效果，在通过Reduce 函数的程序将结果汇整，从而输出开发者需要的结果。 MapReduce 借鉴了函数式程序设计语言的设计思想，其软件实现是指定一个Map 函数，把键值对(key/value)映射成新的键值对(key

Flume 是一个分布式、可靠、和高可用的 海量日志聚合的系统 ，支持在系统中定制各类数据发送方，用于收集数据； 同时，Flume提供 对数据进行简单处理，并 写到各种数据接受方（可定制）的能力。 Flume 是一个专门设计用来从大量的源，推送数据到Hadoop生态系统中各种各样存储系统中去的，例如HDFS和HBase。 Guide : http://flume.apache.org/FlumeUserGuide.html 体系架构 Flume的数据流由 事件(Event) 贯穿始终。 事件 是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当 Source捕获事件 后会进行特定的格式化，然后Source会把事件推入(单个或多个) Channel 中。你可以把Channel看作是一个缓冲区，它将保存事件直到 Sink处理 完该事件。Sink负责持久化日志或者把事件推向另一个Source。 Flume以 Flume Agent 为 最小的独立运行单位 。一个Agent就是一个JVM。 单agent由Source、Sink和Channel三大组件构成。 一个Flume Agent可以连接一个或者多个其他的Flume Agent；一个Flume Agent也可以从一个或者多个Flume Agent接收数据。 注意

Hbase介绍 HBase 是基于 Apache Hadoop 的面向列的 NoSQL 数据库，是 Google 的 BigTable 的开源实现。 HBase 是一个针对半结构化数据的开源的、多版本的、可伸缩的、高可靠的、高性能的、分布式的和面向列的动态模式数据库。 HBase 和传统关系数据库不同，它采用了 BigTable 的数据模型增强的稀疏排序映射表（Key/Value），其中， 键由行关键字、列关键字和时间戳构成 。 HBase 提供了对大规模数据的随机、实时读写访问。 HBase 的目标是存储并处理大型的数据，也就是仅用普通的硬件配置，就能够处理上千亿的行和几百万的列所组成的超大型数据库。 Hadoop 是一个高容错、高延时的分布式文件系统和高并发的批处理系统，不适用于提供实时计算， 而 HBase 是可以提供 实时计算(占用大量的内存) 的分布式数据库，数据被保存在 HDFS (分布式文件系统）上，由 HDFS 保证其高容错性。 HBase 上的 数据是以二进制流的形式存储在 HDFS 上的数据块中的 ，但是，HBase 上的存储数据对于 HDFS 是透明的。 HBase 可以直接使用本地文件系统，也可以使用 Hadoop 的 HDFS。 HBase 中保存的 数据可以使用 MapReduce 来处理，它将数据存储和并行计算有机地结合在一起。 HBase 是

HBase可以用shell进行一些常规的HBase增删改查以及数据库管理操作，下面将介绍几种常见的HBase shell命令操作： 1.启动。 打开终端，直接输入hbase shell。 注意：需要配置HBase的环境变量，否则必须进入/usr/local/hbase1.1.2/bin目录执行。 hbase shell 2.查看表。 使用list命令可以查看所有表，如果要查看某个表是否存在，那么可以使用exists命令。 list list 'abc.*' list 'ns:abc.*' exists 'ns1:t1' 3.新建表。 使用create命令，可以在新建表的时候设置列簇、每个列簇的版本或其他参数。 命令格式 ： create ‘表名称’, ‘列族名称1’,‘列族名称2’,‘列名称N’ # 创建一张名为Student的表,包含基本信息（baseInfo）、学校信息（schoolInfo）两个列族 create 'Student','baseInfo','schoolInfo' 4.描述表，即查看表的数据结构。 使用describe命令。 命令格式 ：desc ‘表名’ describe 'Student' 5.修改表。 使用alter命令，在执行期间，HBase表是不可用的。 命令格式 ： alter ‘表名’, ‘列族名’ alter 'Student', {NAME

HBase的配置有三种模式：单机模式、伪分布式模式、完全分布式模式。其中伪分布式模式和完全分布式模式需要有zookeeper和Hadoop集群的支持。这里介绍的是完全分布式模式，因此在安装配置HBase的时候，应该提前安装好JDK、Hadoop、zookeeper集群。 实现步骤： 1.确保JDK、Hadoop、zookeeper集群安装成功。 参考之前的文章： https://blog.csdn.net/u013168084/article/details/88799357 2.配置HBase相关配置。 （1）下载一个HBase的稳定版本 （链接： https://pan.baidu.com/s/1b_U0PlRmVOb8DnE6O4POpw 提取码：hmpc ），或者从HBase官网下载一个稳定版本（http://hbase.apache.org/）。将下载的压缩包解压到合适的位置，本文的位置为/usr/local/hbase： tar -zxvf hbase-1.1.2.tar.gz -C /usr/local/hbase （2）配置环境变量。 编辑/etc/profile文件，在末尾加上HBase配置： export HBASE_HOME=/usr/local/hbase/ export PATH=$PATH:$HBASE_HOME/bin （3）进入HBase配置目录

近三年，大数据这个词出现的频次非常高，不仅纳入各大互联网巨头公司的战略规划中，同时也在国家的政府报告中多次提及，大数据已无疑成为当今时代的新宠。大数据给大多数人的感觉是，专业性强，门槛高，完全属于“高大上”的技术。好奇的人或许会通过网络了解一些概念，而有一些人则看到了大数据带来的机遇，投入大数据学习的洪流当中，投身大数据行业为自己带来利益。经历“坎坷”的学习大数据历程后，在求学之路上有哪些具体 容易掉入的“坑”？ 让我们一一盘点下。 ​ 1 在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：740041381，即可免费领取套系统的大数据学习教程 我们一起经历的那些坑 大多的初学者在入门初期，基本是在网上各种社区“大海捞针”的到处 知乎、百度： “大数据学习路径是怎么样的？” “学生党，会java，只有一台电脑！！如何学习大数据开发？” “ 语言是学R还是Python？” “我没时间有没钱，自学能学的会吗？” “现在大数据开发挺火的，谁知道大数据开发学习机构哪家靠谱？” “零基础学习大数据，想成为大数据开发工程师，请问该如何入门，有没有推荐网络教程，书籍或者大牛博客？” 自学过程中走过很多弯路，比如环境搭建，总会遇到各种奇葩问题，找不到答案；比如网上扑来各种资料不知道怎么分辨质量，也不知道如何科学利用，很痛苦又很困惑，毫无一点成就感，走了许多冤枉路，踩坑无数…… 第一