Hadoop

简介 数据存储模型及关系型数据库的区别 一般都是牺牲一致性， 最终达到最终一致性 HBase 概念 区别 基础架构 HBASE 原理和操作 写流程 预写入会写入HLog 里面， 通过HLog 来保证数据不丢失 读流程 模块协作 shell 命令 学会用 help , 可以获取使用说明 比如： help 'status' # HBase shell中的帮助命令非常强大，使用help获得全部命令的列表，使用help ‘command_name’获得某一个命令的详细信息 help 'status' # 查询服务器状态 status # 查看所有表 list # 创建一个表 create 'FileTable','fileInfo','saveInfo' # 获得表的描述 describe 'FileTable' # 添加一个列族 alter 'FileTable', 'cf' # 删除一个列族 alter 'FileTable', {NAME => 'cf', METHOD => 'delete'} # 插入数据 put 'FileTable', 'rowkey1','fileInfo:name','file1.txt' put 'FileTable', 'rowkey1','fileInfo:type','txt' put 'FileTable', 'rowkey1',

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 学习 HBase 最难的地方在于要让你的脑子真正理解它是什么。 HBase：Google BigTable 的开源实现 我们经常会把关系型数据库（RDBMS，比如 MySQL）和 HBase 搞混，因为在这两个系统中都包含 table 和 base（HBase，Database）。 这篇文章的目标是从概念上来说清楚 HBase 这个分布式的数据存储系统。读完后，你应该可以很清楚的知道什么情况下 HBase 更好，什么情况下传统的关系型数据库更好。 关于一些术语 幸运的是，Google 的 BigTable论文清楚的解释了 BigTable 到底是什么。下面是论文中数据模型章节的第一句话： BigTable 是一个稀疏的、分布式的、可持久化的多维有序 map。 在这个节骨眼上，我想给读者一个机会，让他们在读到最后一行字时，能够收集到他们脑壳里的活动信息（这可能是个笑话，但我没懂^v^）。 论文中，继续解释如下： map 通过 rowKey，columnKey 和时间戳进行索引，map 中的每个值都是一个连续的字节数组。 注：rowKey 是记录的主键，唯一标识一行记录 在 Hadoop 的官方文档中，也对 HBase 的架构做了说明： HBase 使用了与 BigTable

　　1. 配置JAVA_HOME环境和Hadoop环境： 　　 　　2. 配置bin 　　3. 进入Hadoop中/etc/hadoop下 　　　　配置hdfs-site.xml增加： 　　 <property> <!-- 单节点，所以配置成1 --> <name>dfs.replication</name> <value> 1 </value> </property> <!-- 指定Hadoop辅助名称节点主机配置,即：2NN配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>localhost: 50090 </value> </property> <!-- 配置前台访问页面 --> <property> <name>dfs.namenode.http.address</name> <value>slave1: 50070 </value> </property> 　　配置core-site.xml文件： 　　 <property> <name>fs.defaultFS</name> <value>hdfs: // node1:9820</value> </property> <property> <name>hadoop.tmp. dir </name> <value>/I:

HDFS 文件操作命令 注，其实常用命令不用网上搜，和linux下的命令很类似，触类旁通，直接在linux 上 hadoop fs 看一下就行了，不需要刻意去记 我把 linux 上的 help 列举下，方便直接看吧，hdfs dfs 与 hadoop fs 效果一样 常用的就是 hdfs dfs -copyFromLocal /local/data /hdfs/data：将本地文件上传到 hdfs 上（原路径只能是一个文件） hdfs dfs -put /tmp/ /hdfs/ ：和 copyFromLocal 区别是，put 原路径可以是文件夹等 hadoop fs -ls / ：查看根目录文件 hadoop fs -ls /tmp/data：查看/tmp/data目录 hadoop fs -cat /tmp/a.txt ：查看 a.txt，与 -text 一样 hadoop fs -mkdir dir：创建目录dir hadoop fs -rmr dir：删除目录dir 查看文件列表 hdfs dfs –ls 删除文件 hdfs dfs -rmdir random_forest_labelpoint_2017 来源： oschina 链接： https://my.oschina.net/u/4408404/blog/4334656

TiDB简介 TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。 PS:OLTP与OLAP 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。 OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 则强调数据分析，强调SQL执行市场，强调磁盘I/O

在阿里云服务器上面搭建集群 1.修改主机名 在里面输入：second02 然后再修改密码： 然后再输入reboot命令，重启服务器，接着再用新的密码登录即可 2.安装JDK： 将要安装的JDK拖拽到 这个页面上即可 在Linux系统下的opt目录中查看软件包是否导入成功 [root@second02 opt]$ cd software/ [root@second02 software]$ ls hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz 解压JDK到/opt/module目录下 [root@second02 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ 配置JDK环境变量 （1）先获取JDK路径 [root@second02 jdk1.8.0_144]$ pwd /opt/module/jdk1.8.0_144 （2）打开/etc/profile文件 [root@second02 software]$ sudo vi /etc/profile 在profile文件末尾添加JDK路径 #JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH= P A T H : PATH: P A

警报一直是整个监控系统中的重要组成部分，Prometheus监控系统中，采集与警报是分离的。 警报规则在 Prometheus 定义 ，警报规则触发以后，才会将信息转发到给独立的组件Alertmanager ，经过 Alertmanager r对警报的信息处理后，最终通过接收器发送给指定用户，另外在 Alertmanager 中没有通知组的概念，只能自己对软件重新Coding， 或者使用第三方插件来实现。 注意，这个通知组不是Alertmanager中的group概念，下面会详细讲 Group ，不要混淆哦。 前面已经介绍过一些关于 Alertmanager 知识点，本章开始针通过安装 Alertmanager 组件，对配置文件做详细说明，同时介绍 Prometheus 的警报规则的定义，最后使用Email、Wechat（Robot）、Dingtalk（webhook）来接受警报通知。 一、Alertmanager工作机制 在Prometheus生态架构里，警报是由独立的俩部分组成，可以通过上图很清晰的了解到 Prometheus 的警报工作机制。其中 Prometheus 与 Alertmanager 是分离的俩个组件。我们使用Prometheus Server端通过静态或者动态配置 去拉取 pull 部署在k8s或云主机上的各种类别的监控指标数据，然后基于我们前面讲到的

一、下载匹配hadoop-3.x.y 版本的hive 3.1.2 下载地址 ： http://mirror.bit.edu.cn/apache/hive/ 二、上传至安装目录 /home/apache-hive-3.1.2-bin.tar.gz 解压：tar -zxvf apache-hive-3.1.2-bin.tar.gz 后重命名目录：/home/hive-3.1.2 三、编辑 /etc/profile 文件 ...... if [ -n "${BASH_VERSION-}" ] ; then if [ -f /etc/bashrc ] ; then # Bash login shells run only /etc/profile # Bash non-login shells run only /etc/bashrc # Check for double sourcing is done in /etc/bashrc. . /etc/bashrc fi fi export JAVA_HOME =/usr/java/jdk1.8.0_131 export JRE_HOME = ${JAVA_HOME}/jre export HADOOP_HOME =/home/hadoop-3.3.0 export HIVE_HOME=/home/hive-3.1.2 export