nosql

hbase 是 nosql的一种。nosql的话，不需要sql作为查询语言，也不需要固定的表模式（table schema），也不怎么有sql的join操作，一般都能水平扩展，放宽ACID属性（因为CAP定理）。Hbase是C+P类型的，强一致性（仅支持单行事务）。最常见的应用场景还是采集的网页数据的存储，日志信息的存储，不需要完全结构化的应用。hbase 是 OLTP应用为主。 hive不一样，针对OLAP应用，底层不是hbase（支持么？），而是hdfs。存储靠hdfs，所以所谓的hive表，就是纯逻辑表，只是表的定义，即表的元数据。hive告诉机器，如何将数据文件解析，然后结构化为一张数据库表，并提供sql查询。hive一般用于查询分析统计，而不是其他的CUD操作，他去做增量实时同步相当困难。 hive是基于MR处理数据，MR是基于行的处理，hbase是基于列的处理，适合大数据的随机访问。hbase的表是稀疏的存储，用户可以给行定义各种不同的列，而hive是稠密的，定义了多少列，那么每一行都有存储固定列数的数据。hive因为是MR，所以数据处理不能低延迟，而hbase支持实时查询。hive不提供 row-level的更新，他适合的是 append-only的数据批处理，比如日志。而hbase，支持row-level的更新。hql是完整的sql实现，分析历史数据绝佳

什么是Redis集群 简介 Redis是一个快速高效的NoSQL型数据库，由于其基于内存存储、单线程、多路IO复用的特性，其QPS可以达到惊人的100000+（官方数据），但是即使有这么高的速度，在中国这么大的网民基数环境下，也存在着性能瓶颈。 首先抛开服务器故障不谈，Redis集群首先可以使Redis性能得到线性提高，这是毋庸置疑的，其次Redis集群除了解决了效率问题，还可以解决服务器宕机造成的数据丢失问题，当某个Redis节点宕机，剩下的节点会继续工作，并不会影响整体集群的使用，从而实现 高可用 。 Redis单机模式有什么问题 单机故障 在单机模式下的Redis，我们的应用中所有需要缓存的数据都依赖一台Redis服务器，应用的流量小可能看不出什么问题，但是随着应用越来越大，流量越来越大，如果出现服务器宕机或者断电的状况，那么我们的应用整个一个缓存层在一段时间内（重启）都将不复存在。 先不谈基于Redis的分布式Session可能造成的问题，如果恰好遇上流量高峰，这些流量直接打在数据库上，我们知道数据库的IO效率远不及Redis，这将大大提高应用负载，容易出现数据库服务器的宕机，从而造成应用的宕机。 由此看来，单机版Redis如果出现故障，将有可能引起一系列的连锁反应，造成不可逆的损失。 容量瓶颈 我们知道Redis是基于内存存储的一个NoSQL数据库

Hbase 列式存储以流的方式在列中存储所有的数据 。对于任何记录，索引都可以快速地获取列上的数据；列式存储支持行检索，但这需要从每个列获取匹配的列值，并重新组成行。HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google BigTable的开源实现，模仿并提供了基于Google文件系统的BigTable数据库的所有功能。HBase可以直接使用本地文件系统或者Hadoop作为数据存储方式，不过为了提高数据可靠性和系统的健壮性，发挥HBase处理大数据量等功能，需要使用Hadoop作为文件系统。HBase仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务，主要用来存储非结构化和半结构化的松散数据。 Hbase中表的特点：大，稀疏，面向列 Hadoop生态系统中的各层系统 HBase位于结构化存储层； HDFS为HBase提供了高可靠性的底层存储支持； MapReduce为HBase提供了高性能的计算能力； Zookeeper为HBase提供了稳定服务和失败恢复机制； Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单；