redis分布式

CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。 而由于当前的网络硬件肯定会出现延迟丢包等问题，所以 分区容忍性是我们必须需要实现的。 所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。 ======================================================================================================================= C:强一致性 A：高可用性 P：分布式容忍性 CA 传统Oracle数据库 AP 大多数网站架构的选择 CP Redis、Mongodb 注意：分布式架构的时候必须做出取舍。 一致性和可用性之间取一个平衡。多余大多数web应用，其实并不需要强一致性。 因此牺牲C换取P，这是目前分布式数据库产品的方向 ======================================================================================================================= 一致性与可用性的决择 对于web2.0网站来说，关系数据库的很多主要特性却往往无用武之地 数据库事务一致性需求 　　很多web实时系统并不要求严格的数据库事务，对读一致性的要求很低，

NoSQL入门和概述目录导航： NoSQL入门概述 3V+3高 当下的NoSQL经典应用 NoSQL数据模型简介 NoSQL数据库的四大分类 在分布式数据库中CAP原理CAP+BASE NoSQL 入门概述 互联网时代背景下的大机遇，为什么用NoSQL 单机MySQL的美好年代 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站不多。 上述架构下，我们来看看数据存储的瓶颈是什么？ 数据量的总大小，一个机器放不下时 数据的索引（B+ Tree）一个机器的内存放不下时 访问量（读写混合）一个实例不能承受 如过满足了上述1 or 3个，需要进化... Memcached（缓存）+ MySQL + 垂直拆分 后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使 用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力，但是当访问量继续增大的时候，多台web机器通过文件缓存不能 共享，大量的小文件缓存也带了了比较高的IO压力。在这个时候，Memcached就自然的成为一个非常时尚的技术产品。 Memcached作为一个独立的分布式的缓存服务器

　　 NoSql数据模型简介 　　聚合模型：KV键值，BSON 　　列族： 　　图形，这里的图形不是指真正的图形，而是关系图 　　 NoSql数据库的四大分类 　　KV键值：BerkeleyDB,Redis,tair,memcache 　　文档型数据库：couchDB,mongoDB 　　列存储数据库：Cassandra,HBase,分布式文件系统 　　图关系数据库：Neo4J,InfoGrid 　　对比： 　　 分布式数据库的CAP+BASE 　　传统的ACID：A(atom icity):原子性 C(Consistency):一致性 I(Isolation):独立性 D(Durability):持久性 　　CAP：C(Consistency)：强一致性；A(Availability)：可用性；P(Patition Tolerance)：分区容错性 　　 CAP3进2： 　　CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。 　　而由于当前的网络硬件肯定会出现延迟丢包等问题，所以 　　分区容忍性是我们必须需要实现的。 　　所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。 ======================================================================================

NoSQL特点： 　　在大数据存取上具备关系型数据库无法比拟的性能优势： 　　1.易扩展 　　　　NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。 　　2.大数据量，高性能 　　　　NoSQL 数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。 　　3.灵活的数据模型 　　　　NoSQL 无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。这点在大数据量的Web2.0时代尤其明显。 　　4.高可用 　　　　NoSQL 在不太影响性能的情况，就可以方便的实现高可用的架构。 　　综上所述，NoSQL的非关系特性使其成为了后Web2.0时代的宠儿，助力大型Web2.0网站的再次起飞。是一项全新的数据库革命性运动。 1.什么是Redis？ 　　Redis是用C语言开发的一个开源的高性能 键值对 （key-value）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止 Redis支持的键值数据类型如下： 　　1.字符串类型 　　2.散列类型 　　3.列表类型 　　4.集合类型 　　5.有序集合类型 2

1.Redis简介 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动 分区（Cluster）提供高可用性（high availability）。Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 Redis支持数据的备份，即master-slave模式的数据备份。 2

airflow 安装配置 airflow 相关软件安装 python 3.6.5 安装 安装依赖程序 ； [root@node01 ~]# yum -y install zlib zlib-devel bzip2 bzip2-devel ncurses ncurses-devel readline readline-devel openssl openssl-devel openssl-static xz lzma xz-devel sqlite sqlite-devel gdbm gdbm-devel tk tk-devel gcc 下载python ； 可以前往 https://www.python.org/ftp/python/查看Python各个版本，这里，我们选择安装Python-3.6.5.tgz版本。通过如下命令下载Python源码压缩包 ： [root@node01 ~]# wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz 解压Python源码压缩包 ； [root@node01 ~]# tar -zxvf Python-3.6.5.tgz [root@node01 ~]# cd Python-3.6.5 安装python ； [root@node01 Python-3.6.5]# .

软件简介 软件说明 Redis是一款开源的，ANSI C语言编写的，高级键值(key-value)缓存和支持永久存储NoSQL数据库产品。 Redis采用内存(In-Memory)数据集(DataSet) 。 支持多种数据类型。 运行于大多数POSIX系统，如Linux、*BSD、OS X等。 软件特性 1)透明性：分布式系统对用户来说是透明的，一个分布式系统在用户面前的表现就像一个传统的单处理机分时系统，可让用户不必了解内部结构就可以使用。 2)扩展性：分布式系统的最大特点就是可扩展性，他可以根据需求的增加而扩展，可以通过横向扩展使集群的整体性能得到线性提升，也可以通过纵向扩展单台服务器的性能使服务器集群的性能得到提升。 3)可靠性：分布式系统不允许单点失效的问题存在，它的基本思想是：如果一台服务器坏了，其他服务器接替它的工作，具有持续服务的特性。 4)高性能：高性能是人们设计分布式系统的一个初衷，如果建立了一个透明，灵活，可靠的分布式系统，但他运行起来像蜗牛一样慢，那这个系统就是失败的。 软件获取及帮助 官方网站：https://redis.io/ 下载网站：http://download.redis.io/releases/ 帮助网站：http://redisdoc.com/ 软件功能 1)高速读写 2)数据类型丰富 3)支持持久化 4)多种内存分配及回收策略 5)支持事物

Redis持久化的意义 　　在于故障恢复 　　比如你部署了一个redis，作为cache缓存，当然也可以保存一些较为重要的数据 　　如果没有持久化的话，redis遇到灾难性故障的时候(断电、宕机)，就会丢失所有的数据 　　如果通过持久化将数据搞一份儿在磁盘上去，然后定期比如说同步和备份到一些云存储服务上去，那么就可以保证数据不丢失全部，还是可以恢复一部分数据回来的 通常Redis 将数据存储在内存中或虚拟内存中，它是通过以下两种方式实现对数据的持久化（如果我们想要redis仅仅作为纯内存的缓存来用，那么可以禁止RDB和AOF所有的持久化机制） 1、RDB 快照方式：（默认持久化方式） 　　这种方式就是将内存中数据以快照的方式写入到二进制文件中，默认的文件名为 dump.rdb。客户端也可以使用 save 或者 bgsave 命令通知 redis做一次快照持久化。save 操作是在 主线程中保存快照的，由于 redis 是用一个主线程来处理所有客户端的请求，这种方式会阻塞所有客户端请求。所以不推荐使用。另一点需要注意的是，每次快照持久化都是将内存数 据完整写入到磁盘一次，并不是增量的只同步增量数据。如果数据量大的话，写操作会比较多，必然会引起大量的磁盘 IO 操作，可能会严重影响性能。 　　 注意：由于快照方式是在一定间隔时间做一次的，所以如果 redis 意外当机的话，就会

通过优锐课的java架构学习分享中，讨论了让我们使用Redisson Java框架讨论六种不同类型的基于Redis的分布式队列。 在Redis中使用队列 Redis是一个功能强大的工具，支持从字符串和列表到映射和流的许多不同类型的数据结构。 开发人员将Redis用于多种目的，包括用于数据库，缓存和消息代理。 像任何消息代理一样，Redis需要以正确的顺序发送消息。 可以根据消息的年龄或某些其他预定义的优先级等级发送消息。 为了存储这些未决消息，Redis开发人员需要队列数据结构。 Redisson是使用Redis和Java进行分布式编程的框架，它提供了许多分布式数据结构（包括队列）的实现。 Redisson通过提供Java API使Redis开发更加容易。 Redisson不需要开发人员学习Redis命令，而是包括所有众所周知的Java接口，例如Queue和BlockingQueue。 Redisson还处理Redis中繁琐的幕后工作，例如连接管理，故障转移处理和数据序列化。 基于Redis的分布式Java队列 Redisson提供了Java中基本队列数据结构的多个基于Redis的实现，每种实现都有不同的功能。 这使你可以选择最适合你目的的队列类型。 下面，我们将使用Redisson Java框架讨论六种不同类型的基于Redis的分布式队列。 队列

概述 在我们的日常项目开发过程中缓存是无处不在的，因为它可以极大的提高系统的访问速度，关于缓存的框架也种类繁多，今天主要介绍的是使用现在非常流行的NoSQL数据库（Redis）来实现我们的缓存需求。 Redis 简介 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件，Redis 的优势包括它的速度、支持丰富的数据类型、操作原子性，以及它的通用性。 案例整合 本案例是在之前一篇 SpringBoot + Mybatis + RESTful的基础上来集成Redis的，所以大家如有什么不明白的地方可以前往 https://my.oschina.net/feinik/blog/879266 ，由于篇幅原因这里不一一贴出所有的代码，具体完整案例代码可以看这里： https://github.com/AIFEINIK/SpringBoot-Learn/tree/master/spring-boot-redis2 ，关于Redis如何安装可自行google。 1、在Maven pom.xml文件中加入Redis包 1 2 3 4 5 6 <!--redis--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter