数据库一致性

本文始发于个人公众号： TechFlow 说到数据库，以前我老师有一句很经典的话。你可以不会写SQL，但是一定不能不知道 ACID 。 在工业领域，SQL可以说是应用最广泛的技术。从后端到算法，从数据到DBA，再到产品，甚至连一些运营也会基本的SQL。所以如果你现在还不太会的话，我建议你用一个下午的时间找个网站好好学一下。 原本我是想直接写些Hbase相关的内容，但是我发现要想讲清楚Hbase，必须要讲noSQL数据库。如果将noSQL，则又离不开最传统的关系型数据库。所以我们一步一步来，先从基础的关系型数据库讲起。或许我这么说并不准确，因为数据库并不基础，相反它十分复杂。从索引到各种优化和设计原理，再到内部的各种算法和数据结构，涉及到的内容非常多。我们先把浩如烟海的知识放一放，先从最核心的数据库四大原则开始说起。 数据库事务ACID四大原则， A代表Atomicity，即原子性。C表示Consistency，即一致性。I表示Isolation，即隔离性。D表示Durability，即持久性 。 这四个原则了解过数据库的应该都如雷贯耳。可是真正面试的时候被问起来，能一个不落说得上来，并且讲得清楚原委的就不多了。我觉得主要是因为我们的翻译过于文雅，不像英文那么直观，所以很难顾名思义。另一个原因是我们在学习的时候理解不够深入，只知道原因，不知道原因的究竟。所谓知其然，不知其所以然。

欢迎关注专栏： Java架构技术进阶 。里面有大量batj面试题集锦，还有各种技术分享，如有好文章也欢迎投稿哦。 什么是分布式系统 分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是 利用更多的机器，处理更多的数据 。 首先需要明确的是，只有当单个节点的处理能力无法满足日益增长的计算、存储任务的时候，且硬件的提升（加内存、加磁盘、使用更好的CPU）高昂到得不偿失的时候，应用程序也不能进一步优化的时候，我们才需要考虑分布式系统。因为，分布式系统要解决的问题本身就是和单机系统一样的，而由于分布式系统多节点、通过网络通信的拓扑结构，会引入很多单机系统没有的问题，为了解决这些问题又会引入更多的机制、协议，带来更多的问题。。。 在很多文章中，主要讲分布式系统分为分布式计算（computation）与分布式存储（storage）。计算与存储是相辅相成的，计算需要数据，要么来自实时数据（流数据），要么来自存储的数据；而计算的结果也是需要存储的。在操作系统中，对计算与存储有非常详尽的讨论，分布式系统只不过将这些理论推广到多个节点罢了。 那么分布式系统怎么将任务分发到这些计算机节点呢，很简单的思想，分而治之，即分片（ partition） 。对于计算

说到数据库，以前我老师有一句很经典的话。你可以不会写SQL，但是一定不能不知道 ACID 。 在工业领域，SQL可以说是应用最广泛的技术。从后端到算法，从数据到DBA，再到产品，甚至连一些运营也会基本的SQL。所以如果你现在还不太会的话，我建议你用一个下午的时间找个网站好好学一下。 原本我是想直接写些Hbase相关的内容，但是我发现要想讲清楚Hbase，必须要讲noSQL数据库。如果将noSQL，则又离不开最传统的关系型数据库。所以我们一步一步来，先从基础的关系型数据库讲起。或许我这么说并不准确，因为数据库并不基础，相反它十分复杂。从索引到各种优化和设计原理，再到内部的各种算法和数据结构，涉及到的内容非常多。我们先把浩如烟海的知识放一放，先从最核心的数据库四大原则开始说起。 数据库事务ACID四大原则， A代表Atomicity，即原子性。C表示Consistency，即一致性。I表示Isolation，即隔离性。D表示Durability，即持久性 。 这四个原则了解过数据库的应该都如雷贯耳。可是真正面试的时候被问起来，能一个不落说得上来，并且讲得清楚原委的就不多了。我觉得主要是因为我们的翻译过于文雅，不像英文那么直观，所以很难顾名思义。另一个原因是我们在学习的时候理解不够深入，只知道原因，不知道原因的究竟。所谓知其然，不知其所以然。 原子性 让我们先从其中最简单的原子性开始。

本文始发于个人公众号： TechFlow 说到数据库，以前我老师有一句很经典的话。你可以不会写SQL，但是一定不能不知道 ACID 。 在工业领域，SQL可以说是应用最广泛的技术。从后端到算法，从数据到DBA，再到产品，甚至连一些运营也会基本的SQL。所以如果你现在还不太会的话，我建议你用一个下午的时间找个网站好好学一下。 原本我是想直接写些Hbase相关的内容，但是我发现要想讲清楚Hbase，必须要讲noSQL数据库。如果将noSQL，则又离不开最传统的关系型数据库。所以我们一步一步来，先从基础的关系型数据库讲起。或许我这么说并不准确，因为数据库并不基础，相反它十分复杂。从索引到各种优化和设计原理，再到内部的各种算法和数据结构，涉及到的内容非常多。我们先把浩如烟海的知识放一放，先从最核心的数据库四大原则开始说起。 数据库事务ACID四大原则， A代表Atomicity，即原子性。C表示Consistency，即一致性。I表示Isolation，即隔离性。D表示Durability，即持久性 。 这四个原则了解过数据库的应该都如雷贯耳。可是真正面试的时候被问起来，能一个不落说得上来，并且讲得清楚原委的就不多了。我觉得主要是因为我们的翻译过于文雅，不像英文那么直观，所以很难顾名思义。另一个原因是我们在学习的时候理解不够深入，只知道原因，不知道原因的究竟。所谓知其然，不知其所以然。

MySQL基础之事务编程学习笔记 在学习《MySQL技术内幕：SQL编程》一书，并做了笔记。本博客内容是自己学了《MySQL技术内幕：SQL编程》事务编程一章之后，根据自己的理解做的笔记，内容和书本并不一致，不过书本实验都经过自己验证，基于MySQL5.7版本。做笔记的目的是方便自己复习，同时分享出来或许对其他人或许有点帮助 1、事务概述 事务是数据库区别于文件系统的重要特性之一，提到事务肯定会想到事务的4个特性ACID，要保证业务的正常使用，必须保证ACID，ACID表示原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability)，一个运行良好的事务系统也是要求具备这些特征 原子性(atomicity)：一个事务必须被视为一个不可分割的最小工作单位，整个事务中的所有操作要么全部提交成功，要么全部失败回滚，不能只执行一部分操作 一致性(consistency)：一致性要求数据库总是从一个一致性的状态转换为另外一个一致性的状态，比如银行转账的例子，一个用户转账账号里减了200元，另外一个收账账号必须增加，一个失败数据必须全部回退状态，要保证事务一致性 隔离性(isolation)：一般来说，一个事务所做的修改在提交之前对其它事务来说都是不可见的 持久性(durability)：事务一旦提交

很多学员都在反馈，说zk很难学，学的不是很明白，在这里，我继续带着大家详解一遍Zookeeper 首先zk是什么呢首先肯定是一个个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用 中经常遇到的一些数据管理问题，如：统一命名服务、集群管理、分布式应用配置项的管理 等。 第二：Zookeeper是一个数据库 第三：Zookeeper是一个拥有一件系统特点的数据库 第四：Zookeeper是一个解决了数据一致性问题的分布式数据库 第五：Zookeeper是一个具有发布和订阅功能的分布式数据库 (watch) 这样说同学们应该都是认同的吧，没有异议的吧 那么这个一致性又是什么呢 一致性分为强一致性，弱一致性， 最终一致性 有些同学不是很懂哈，那就接着看下面的内容 强制要求步骤2读取的时候，一定要读取的是2，不能读取到的是1，那么要求数据库之间同步异常迅速或者在步骤2上加锁以等待数据同步完成，那么这种叫强一致性； 允许步骤2读取的时候，可以读取的是1，那么这种叫弱一致性，其实就是不需要要一致； 允许步骤2读取的时候，可以先读到 1，过一段时间再读到2，那么这种叫最终一致性，就是可以等待一段时间才一致； 一个集群需要对外部提供强一致性，所以只要集群内部某一台服务器的数据发生了改变，那么就需要等待集群内其他服务器的数据同步完成后才能正常的对外提供服务。

1.什么是NoSQL Nosql的全称是Not Only Sql 这个概念早起就有人提出，而我们常用的都是关系型数据库。就像我们常用mysql,sqlserver一样，这些数据库一般用来存储重要信息，应对普通的业务是没有问题的。但是，随着互联网的高速发展，传统的关系型数据库在应付超大规模，超大流量以及高并发的时候力不从心。而就在这个时候，Nosql得到的告诉的发展。 2.为什么要使用NoSQL 单机 MySQL 的美好时代 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。 在那个时候，更多的都是静态网页，动态交互类型的网站不多 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yHjk2K6A-1577542875039)(D:\youruike\MongoDB\assets\1575617897290.png)] 上述架构下，我们来看看数据存储的瓶颈是什么？ DAL : Data Access Layer（数据访问层 – Hibernate，MyBatis） 数据量的总大小一个机器放不下时 数据的索引（B+ Tree）一个机器的内存放不下时 访问量(读写混合)一个实例不能承受 如果满足了上述1 or 3个时，只能对数据库的整体架构进行重构。 Memcached(缓存)+MySQL+垂直拆分 后来，随着访问量的上升

现在Redis越来越火，为了适应技术的发展，开始学习一下Redis，在学习Redis之前先学习一下Nosql。 第一部分：入门概述 1.1 互联网时代背景下大机遇，为什么用nosql 1.1.1 单机Mysql的美好年代（好几年前） 当时的业务很相对简单，就是JSP--->Action---->Service---->DAO----->数据库，数据库也就是一个实例而已，无论是Mysql还是Oracle。把这五层缩减为三层的话便是：应用层------>DAO层------>Mysql实例。 以前一个网站的访问量一般不大，用单个数据库可以轻松应付。但是随着时代的发展，上述数据存储遇到了存储的瓶颈： 1) 数据量的总大小，一个机器放不下时(以Mysql为例，单表存储大概三百多万的数据的时候DBA就该进行预警并优化分割了) 2) 数据的索引(B+Tree)，一个机器的内存放不下时(众所周知，为表建立索引也是需要消耗内存的，当我们所建立的索引内存盛不下时) 3) 访问量（读写混合）一个实例不能承受 1.1.2 Memcached(缓存)+MySQL+垂直拆分 后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引

1.NoSQL是什么？ 　　NoSQL 是 Not Only SQL 的缩写，意即"不仅仅是SQL"的意思，泛指非关系型的数据库。强调Key-Value Stores和文档数据库的优点，而不是单纯的反对RDBMS。 　　NoSQL产品是传统关系型数据库的功能阉割版本，通过减少用不到或很少用的功能，来大幅度提高产品性能 2.NoSQL是怎么产生的？ 　　随着web2.0技术的发展，其促使了物联网和移动互联网迅猛发展。传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的 SNS 类型的web2.0纯 动态网 站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。 　　NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。 3.NoSQL的特点: 模式自由：NoSQL数据库不像传统的关系型数据库需要定义数据库，数据表等结构才可以存取数据，其在增删数据时不需要做数据的完整性检查。数据表中的每一条记录都可能有不同的属性和格式。 逆范式化：为了减少数据冗余，增强数据一致性，在关系型数据库设计时，要遵循 范式 要求，数据表至少要满足第三范式。这样多个表之间建立各种关联关系就不容易数据库的横向扩展；并且这些连接操作也会降低数据库的查询效率。而NoSQL数据库去除约束，放宽事务保障

CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。 而由于当前的网络硬件肯定会出现延迟丢包等问题，所以 分区容忍性是我们必须需要实现的。 所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。 ======================================================================================================================= C:强一致性 A：高可用性 P：分布式容忍性 CA 传统Oracle数据库 AP 大多数网站架构的选择 CP Redis、Mongodb 注意：分布式架构的时候必须做出取舍。 一致性和可用性之间取一个平衡。多余大多数web应用，其实并不需要强一致性。 因此牺牲C换取P，这是目前分布式数据库产品的方向 ======================================================================================================================= 一致性与可用性的决择 对于web2.0网站来说，关系数据库的很多主要特性却往往无用武之地 数据库事务一致性需求 　　很多web实时系统并不要求严格的数据库事务，对读一致性的要求很低，