事务管理

事务概念：事务指逻辑上的一组操作，组成这组操作的各个单元，要不全部成功，要不全部不成功； 开始事务：start transaction 提交事务：commit 回滚事务：rollback 事务的四大特性 原子性：是指事务是一个不可分割的工作单位，事务中的操作要么全部成功，要么全部失败 一致性：事务必须使数据库从一个一致性状态变换到另外一个一致性状态 隔离性：多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作数据所干扰，多个并发事务之间要相互隔离 持久性：一个事务一旦被提交，它对数据库中数据的改变就是永久性的，接下来即使数据库发生故障也不应该对其有任何影响 隔离性可能会引起的问题 脏读：脏读指一个事务读取了另外一个事务未提交的数据 不可重复读：不可重复读指在一个事务内读取表中的某一行数据，多次读取结果不同；所操作的数据被别的事务操作，通过给操作数据加行锁即可； 虚读（幻读）：是指在一个事务内读取到了别的事务插入的数据，导致前后读取不一致；操作的数据被别的事务所插入，仅通过行锁并不能解决； 四种隔离级别 针对上述所说的隔离性问题，mysql数据库共定义了4种隔离级别 查询隔离级别：select @@tx_isolation; 设置隔离级别：set transaction isolation level 隔离级别名; Read uncommitted(读未提交)

mysql 的逻辑架构分为三层： 最上层的服务大多数基于网络的客户端、服务器的工具或者服务都有类似的架构，比如连接处理，授权认证、安全等 第二层架构：mysql的核心服务功能都在这一层，包括查询解析，分析，优化，缓存以及所有的内置函数，所有跨存储引擎的功能都在这一层实现：存储过程，触发器、视图 第三层：包含存储引擎。负责数据的存储和提取，innoDB是个例外，它会解析外键定义，因为mysql服务器本身没有实现该功能 连接管理与安全性： 当客户端连接到mysql服务器是，服务器需要对其进行认证，认证基于用户名，原始主机信息和密码，一旦客户端连接成功，服务器 会继续验证该客户端是否具有执行某个特定查询的权限 优化与执行： mysql会解析查询，并创建内部数据结构（解析树），然后对其进行各种优化，包括重写查询，决定表的读取顺序，以及选择合适的索引，用户可以通过特殊的关键字提示优化器，影响他的决策过程，也可以请求优化器解释优化过程的各个因素，使yoghurt可以知道服务器是如何进行优化决策的，并提供一个参考基准，便于用户重构查询和修改相关配置，优化查询效率 存储引擎对于优化查询时有影响的 对于select语句，在解析查询之前，服务器会先检查缓存，如果能找到对应的查询，服务器就不会再执行查询解析，优化和执行的整个过程，而是直接返回查询结果 并发控制： 只要有多个查询需要在同一时刻修改数据

事务管理（ACID） 谈到事务一般都是以下四点 原子性（Atomicity） 原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 一致性（Consistency） 事务前后数据的完整性必须保持一致。 隔离性（Isolation） 事务的隔离性是多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作数据所干扰，多个并发事务之间要相互隔离。 持久性（Durability） 持久性是指一个事务一旦被提交，它对数据库中数据的改变就是永久性的，接下来即使数据库发生故障也不应该对其有任何影响 来源： https://www.cnblogs.com/betterquan/p/11658184.html

一、事务和锁 锁 mysql: select * from book where id=1 for update;数据库中行级锁的用法 begin; start transaction; select * from t1 where id=1 for update; commit rollback; django orm models.Book.objects.select_for_update().filter(id=1) 事务 Django是做事务处理 django1.8版本之前是有很多种添加事务的方式的，中间件的形式（全局的）、函数装饰器的形式，上下文管理器的形式等，但是很多方法都在1.8版之后给更新了，下面我们只说最新的： 1 全局开启 　　在Web应用中，常用的事务处理方式是将每个请求都包裹在一个事务中。这个功能使用起来非常简单，你只需要将它的配置项ATOMIC_REQUESTS设置为True。 　　它是这样工作的：当有请求过来时，Django会在调用视图方法前开启一个事务。如果请求被正确处理并正确返回了结果，Django就会提交该事务。否则，Django会回滚该事务。 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'mxshop', 'HOST': '127.0.0.1'

一 锁 行级锁 select_for_update(nowait=False, skip_locked=False) #注意必须用在事务里面，至于如何开启事务，看下面的事务一节。 返回一个锁住行直到事务结束的查询集，如果数据库支持，它将生成一个 SELECT ... FOR UPDATE 语句。 举个例子： entries = Entry.objects.select_for_update().filter(author=request.user) #加互斥锁，由于mysql在查询时自动加的是共享锁，所以我们可以手动加上互斥锁。create、update、delete操作时，mysql自动加行级互斥锁 所有匹配的行将被锁定，直到事务结束。这意味着可以通过锁防止数据被其它事务修改。 一般情况下如果其他事务锁定了相关行，那么本查询将被阻塞，直到锁被释放。 如果这不想要使查询阻塞的话，使用select_for_update(nowait=True)。 如果其它事务持有冲突的锁，互斥锁, 那么查询将引发 DatabaseError 异常。你也可以使用select_for_update(skip_locked=True)忽略锁定的行。 nowait和　　skip_locked是互斥的，同时设置会导致ValueError。 目前，postgresql

本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成，文章首先将从数据融合角度，谈一下 DataPipeline 对批流一体架构的看法，以及如何设计和使用一个基础框架。其次，数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致，即使同步再快，支持的功能再丰富，都没有意义。 另外，DataPipeline 目前使用的基础框架为 Kafka Connect。为实现一致性的语义保证，我们做了一些额外工作，希望对大家有一定的参考意义。 最后，会提一些我们在应用 Kafka Connect 框架时，遇到的一些现实的工程问题，以及应对方法。尽管大家的场景、环境和数据量级不同，但也有可能会遇到这些问题。希望对大家的工作有所帮助。 一、批流一体架构 批和流是数据融合的两种应用形态 下图来自 Flink 官网。传统的数据融合通常基于批模式。在批的模式下，我们会通过一些周期性运行的 ETL JOB，将数据从关系型数据库、文件存储向下游的目标数据库进行同步，中间可能有各种类型的转换。 另一种是 Data Pipeline 模式。与批模式相比相比， 其最核心的区别是将批量变为实时：输入的数据不再是周期性的去获取，而是源源不断的来自于数据库的日志、消息队列的消息。进而通过一个实时计算引擎，进行各种聚合运算，产生输出结果，并且写入下游。 现代的一些处理框架

软件开发流程： 一，可行性分析，可行性分析报告/项目开发计划书 二，需求分析，需求规格说明书 1：OOAD（用例图，时序图，活动图） 2：界面原型;帮助理解需求，业务层设计时推到事务脚本 三，设计，概要设计说明书/详细设计说明书 1：抽取业务实体（领域对象），类图，E-R图（概念设计阶段） 2：分层架构，确定各层的技术实现方案（具体到使用的框架，数据库服务器，应用服务器等）。业务层设计：事务脚本模式，事务：用户发送一次请求就是一次事务。脚本：一个方法或一个函数，事务脚本：把一次请求封装为一个方法或一个函数。事务脚本模式：一个事务开始于一个脚本的打开，终止于一个脚本的关闭。业务层涉及的对象有三个类型，事务脚本类，数据访问对象，数据传输对象，三者之间的关系是事务脚本类组合，数据访问对象，这二者都依赖了数据传输对象。 3：正向工程和逆向工程 4：数据库物理设计（ER图装换成表格间的关系图，建库和建表，使用工具插入测试数据） 四：编码 五：测试，测试报告和缺陷报告 1：单元测试，对软件中的最小可测试单元进行检查和验证， 2：集成测试，集成测试也叫组装测试或联合测试。在单元的测试基础上，将所有的模块按照设计要求组装成为子系统进行测试。 3：系统测试，将已确认的软件，网络等元素结合在一起，进行信息系统的各种组装测试和确认测试，系统测试是针对整个产品系统进行系统测试

1.什么是MongoDB MongoDB是一个文档数据库，提供好的性能，领先的非关系型数据库。采用BSON存储文档数据。BSON（）是一种类json的一种二进制形式的存储格式，简称Binary JSON.相对于json多了date类型和二进制数组。 2.MongoDB的优势有哪些 面向文档的存储：以 JSON 格式的文档保存数据。 任何属性都可以建立索引。 复制以及高可扩展性。 自动分片。 丰富的查询功能。 快速的即时更新。 3 什么是数据库 　　数据库可以看成是一个电子化的文件柜,用户可以对文件中的数据运行新增、检索、更新、删除等操作。数据库是一个所有集合的容器，在文件系统中每一个数据库都有一个相关的物理文件。 4.什么是集合(表) 集合就是一组 MongoDB 文档。它相当于关系型数据库（RDBMS）中的表这种概念。集合位于单独的一个数据库中。一个集合内的多个文档可以有多个不同的字段。一般来说，集合中的文档都有着相同或相关的目的。 5 什么是文档(记录) 　　文档由一组key value组成。文档是动态模式,这意味着同一集合里的文档不需要有相同的字段和结构。在关系型数据库中table中的每一条记录相当于MongoDB中的一个文 6 MongoDB和关系型数据库术语对比图 7.什么是非关系型数据库 　　非关系型数据库的显著特点是不使用SQL作为查询语言

事务简介： 事务管理是企业级应用程序开发中必不可少的技术，用来确保数据的完整性和一致性 事务就是一系列的动作，它们被当作一个单独的工作单元。这些动作要么全部完成，要么全部不起作用 事务的四个关键属性 (ACID) ① 原子性(atomicity):事务室一个原子操作，有一系列动作组成。事务的原子性确保动作要么全部完成，要么完全不起作用 ② 一致性(consistency):一旦所有事务动作完成，事务就被提交。数据和资源就处于一种满足业务规则的一致性状态中 ③ 隔离性(isolation):可能有许多事务会同时处理相同的数据，因此每个事物都应该与其他事务隔离开来，防止数据损坏 ④ 持久性(durability):一旦事务完成，无论发生什么系统错误，它的结果都不应该受到影响。通常情况下，事务的结果被写到持久化存储器中 Spring中的事务管理 作为企业级应用程序框架， Spring在不同的事务管理API之上定义了一个抽象层。而应用程序开发人员不必了解底层的事务管理API，就可以使用Spring的事务管理机制。 Spring既支持编程式事务管理，也支持声明式的事务管理 编程式事务管理：将事务管理代码嵌入到业务方法中来控制事务的提交和回滚，在编程式事务中，必须在每个业务操作中包含额外的事务管理代码 声明式事务管理：大多数情况下比编程式事务管理更好用。它将事务管理代码从业务方法中分离出来

上午题 一、计算机组成原理与结构体系 数据的表示 进制转换 R进制转十进制 : 按权展开法 例如二进制 10100 = $1\times2^4+1\times2^2$ = 20 例如七进制 604 = $6\times7^2 + 4\times7^0$ = 298 十进制转R进制 : 短除法 例如20转二进制 2|20 余 0 2|10 余 0 2|5 余1 2|2 余0 2|1 余1 ​ 0 余数从下往上就是10100 二进制转八进制与十六进制 转八进制,从右到左三位一段 例如 10 001 110 = 2 1 6 转十六进制,从右到左四位一段 例如1000 1110 = 8 E 原码反码补码移码 正数 1 负数 1 正1加负1 (1-1) 原码 0000 0001 1000 0001 1000 0010 反码 0000 0001 1111 1110 1111 1111 补码 0000 0001 1111 1111 0000 0000 移码 1000 0001 0111 1111 1000 0000 原码: 1B(字节byte) = 8bit 如果用一个字节表示1,会先转成二进制,再在右边补7个0,其中最右边的0是符号位,0代表正数,1代表负数 即1= 0 000 0001 -1= 1 000 0001 当1+(-1)时,原码1000 0010,值是-2,值是不对的