事务管理

一、environments配置信息： environments的作用是用来配置数据库信息，可以配置多个，其有两个可配的子元素，分别是：事务管理器transactionManager和数据源dataSource，先看一下我配置的例子： 1 <!-- 环境模式：development开发模式 work工作模式 --> 2 <environments default="development"> 3 <!--环境变量 --> 4 <environment id="development"> 5 <!--事务管理器 --> 6 <transactionManager type="JDBC" /> 7 <!--数据源 --> 8 <dataSource type="POOLED"> 9 <property name="driver" value="${db.driver}" /> 10 <property name="url" value="${db.url}" /> 11 <property name="username" value="${db.username}" /> 12 <property name="password" value="${db.pwd}" /> 13 </dataSource> 14 </environment> 15 </environments>

一、Mybatis事务 1、事务管理方式 Mybatis中的事务管理方式有两种： 1、JDBC的事务管理机制，即使用JDBC事务管理机制进行事务管理 2、MANAGED的事务管理机制，Mybatis没有实现对事务的管理，而是通过容器来实现对事务的管理 其中，Mybatis提供了事务的接口：Transaction，其代码如下： public interface Transaction { /** * Retrieve inner database connection * @return DataBase connection * @throws SQLException */ //获得数据库连接 Connection getConnection() throws SQLException; /** * Commit inner database connection. * @throws SQLException */ //提交 void commit() throws SQLException; /** * Rollback inner database connection. * @throws SQLException */ //回滚 void rollback() throws SQLException; /** * Close inner database

事务的概念： 　　事务指逻辑上的一组操作，组成这组操作的各个单元，要不全部成功，要不全部不成功。 数据库开启事务的命令为： 　　start transaction 开启事务。 　　rollback 回滚事务。 　　commit 提交事务。 数据库中默认的事务开启状态： 　　MySQL中事务默认自动提交的，每当执行一条SQL，就会提交一个事务 （一条SQL 就是一个事务）；Oracle 中事务默认不自动提交，需要在执行SQL 语句后 通过commint 手动提交事务。 数据库中存在一个设置自动提交的变量 ，通过 show variables like '%commit%'; 　　得到结果：autocommint = on，说明自动提交被开启。 　　关闭自动提交： set autocommit = off 或 set autocommit = 0 　　如果设置autocommit = off，则之后每条SQL 都会处于一个事务中，相当于每条SQL执行前 都执行 start transaction，必须执行commit才会对数据库执行修改。（ Oracle中 autocommit 默认值为 off。） 在jdbc中使用事务： 　　Connection.setAutoCommit(false); 　　Connection.rollback(); 　　Connection.commit();

ACID:Atomic、Consistent、Isolated、Durable 存储程序提供了一个绝佳的机制来定义、封装和管理事务。 1，MySQL的事务支持 MySQL的事务支持不是绑定在MySQL服务器本身，而是与存储引擎相关： MyISAM：不支持事务，用于只读程序提高性能 InnoDB：支持ACID事务、行级锁、并发 Berkeley DB：支持事务 隔离级别： 隔离级别决定了一个session中的事务可能对另一个session的影响、并发session对数据库的操作、一个session中所见数据的一致性 ANSI标准定义了4个隔离级别，MySQL的InnoDB都支持： READ UNCOMMITTED：最低级别的隔离，通常又称为dirty read，它允许一个事务读取还没commit的数据，这样可能会提高性能，但是dirty read可能不是我们想要的 READ COMMITTED：在一个事务中只允许已经commit的记录可见，如果session中select还在查询中，另一session此时insert一条记录，则新添加的数据不可见 REPEATABLE READ：在一个事务开始后，其他session对数据库的修改在本事务中不可见，直到本事务commit或rollback。在一个事务中重复select的结果一样，除非本事务中update数据库。 SERIALIZABLE

前言 读这篇文章之前可以先了解一下 MySQL中InnoDB数据结构 一、InnoDB引擎对隔离级别的支持 事务隔离级别 脏读 不可重复读 幻读 读未提交（read-uncommitted） 可能 可能 可能 不可重复读（read-committed） 不可能 可能 可能 可重复读（repeatable-read） 不可能 不可能 InnoDB不可能 串行化（serializable） 不可能 不可能 不可能 隔离级别到底如何实现？ 二、锁的介绍 1、表锁、行锁 通过锁来管理不同事务对共享资源的并发访问 表锁与行锁的区别： 锁定粒度：表锁 > 行锁 加锁效率：表锁 > 行锁 冲突概率：表锁 > 行锁 并发性能：表锁 < 行锁 InnoDB存储引擎只支持行锁，表锁是通过锁住所有行实现 2、InnoDB锁类型 共享锁（行锁，又称S锁）：Shared Locks 又称为读锁，简称S锁，顾名思义，共享锁就是多个事务对于同一数据可以共享一把锁， 都能访问到数据，但是只能读不能修改。 select * from teachers WHERE id = 1 LOCK IN SHARE MODE ; commit / rollback 排它锁（行锁，又称X锁）：Exclusive Locks 又称为写锁，简称X锁，排他锁不能与其他锁并存，如一个事务获取了一个数据行的排他 锁

一、 mysql 安装与介绍 （一） 概念介绍 数据库 : 存储数据的仓库。对数据进行存储，并且提供增、删、改、查的数据操作。 数据库建模：使用数据库来表达业务和业务的关系，数据建模成功与否决定了项目 的成败。 业务逻辑：实体业务之间的关系，比如 : 养殖场，猪和饲养员的关系。 事务： 事务：是作为一个单元的一组有序的数据库操作，如果组当中所有操作都成功，则事务执行成功，如果有一个操作执行失败，则事务执行失败，回滚操作。 事务的特性： 原子性：事务包含的所有操作全部成功，要么全部失败回滚；成功必须完全应 用到数据库，失败则不能不能对数据库产生影响。 一致性：事务执行前和执行后必须处于一致状态。 隔离性：当多用户并发访问数据库时候，数据库为每一个用户开启一个事务， 这个事务不被其他事务操作干扰，多个并发事务直接互相隔离。 持久性：一旦事务被提交了，那么数据库当中的数据改变是永久性的，即便数 据库系统发生故障，也不会丢失事务操作。 事务的回滚： 事务是用户定义的一组数据库操作。这些操作要么全做，要么全不做，回滚会自动是将该事务完成的操作撤销。 数据库提供的四种隔离等级： 如果我们不考虑隔离性，会导致 脏读 在一个事务处理的过程当中读取另一个没有提交的事务当中的数据，然后使用了数据。 A 向 B 转账 100 元， A 通知 B 查看账户， B 发现已经到账，转账操作过程当中

作者：陈肃 整理：周奇，Apache Flink 社区志愿者 本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成，文章首先将从数据融合角度，谈一下 DataPipeline 对批流一体架构的看法，以及如何设计和使用一个基础框架。其次，数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致，即使同步再快，支持的功能再丰富，都没有意义。 另外，DataPipeline 目前使用的基础框架为 Kafka Connect。为实现一致性的语义保证，我们做了一些额外工作，希望对大家有一定的参考意义。 最后，会提一些我们在应用 Kafka Connect 框架时，遇到的一些现实的工程问题，以及应对方法。尽管大家的场景、环境和数据量级不同，但也有可能会遇到这些问题。希望对大家的工作有所帮助。 一、批流一体架构 批和流是数据融合的两种应用形态 下图来自 Flink 官网。传统的数据融合通常基于批模式。在批的模式下，我们会通过一些周期性运行的 ETL JOB，将数据从关系型数据库、文件存储向下游的目标数据库进行同步，中间可能有各种类型的转换。 另一种是 Data Pipeline 模式。与批模式相比相比， 其最核心的区别是将批量变为实时：输入的数据不再是周期性的去获取，而是源源不断的来自于数据库的日志、消息队列的消息。进而通过一个实时计算引擎

ZooKeeper是一个高可用的分布式数据管理与协调框架 ZAB算法的实现，很好的保证了分布式系统数据一致性 数据发布/订阅 数据发布/订阅系统，即所谓 配置中心 发布者发布数据到ZooKeeper的一系列节点上，供订阅者订阅，达到动态更新数据的目的 实现数据的集中式管理和动态更新 发布/订阅系统一般有 推（Push） 和 拉（Pull） 两种模式 推（Push）： 服务端主动将数据推送给客户端 拉（Pull）： 客户端主动去服务端拉取最新数据，一般客户端采取定时轮询的策略 ZooKeeper才去的是 推拉结合的策略 客户端向服务端注册需要关注的节点，服务端数据发生变化的时候向客户端 推送watcher事件通知 ， 客户端再主动去服务端拉取数据 负载均衡 常见的计算机网络技术，对多台计算机、CPU、磁盘驱动器等分配负载； 达到优化资源使用、最小化响应时间、最大化吞吐率、避免过载的目的 分为软负载和硬负载；ZooKeeper属于软件负载 比较典型的是DNS 服务： DNS是（Domain Name System）域名系统的缩写 可以看做是一个超大规模的分布式映射表（域名-->IP），方便人们通过域名访问互联网站点 实际开发中通常采用本地host 绑定来实现域名解析 基于ZooKeeper实现的动态域名解析方案（DDNS ：Dynamic DNS）： 域名解析由每个应用自己解决；

一、 使用文件进行数据存储 1.context.openFileOutput()方法 写入文件内容 在上下文context中 openFileOutput方法可以用于把数据输出到文件中 示例代码： public static void fileStorage(Context context){ try { FileOutputStream fos = context.openFileOutput("filedata.txt", context.MODE_PRIVATE); fos.write("文件存储".getBytes()); fos.flush(); fos.close(); } catch (Exception e) { e.printStackTrace(); } } openFileOutput()方法 的第一个参数用于指定文件名称，不能包含路径分隔符“/”，如果文件不存在，会自动创建，创建的文件保存在/data/data/包名/files目录下 如：/data/data/cn.itcast/files/itcast.txt openFIleOutput()方法的第二个参数用于指定操作模式，有四种模式，分别为： Context.MODE_PRIVATE = 0 Context.MODE_APPEND = 32768 Context.MODE_WORLD_READABLE

一、概述 （1）版本历程 0.x 起步节点 1.x 支持复制集和分片 2.x 更加丰富的数据库功能 3.x 合并了一家专门做数据库引擎的Wired Tiger公司，更加完善的周边生态环境 4.x 支持 分布式事务 MongoDB的正式版本都是 偶数版本 ，x.x.x，主要版本（x.x）大约每年升级一次，小版本主要是修复问题，通常1-2个月发布一次。 MongoDB支持原生高可用：Application通过Driver连接到Primary节点，一个Primary节点连接多个Secondary节点。 MongoDB支持 水平扩展，分片集群 ：Driver连接多个Mongos，Mongos连接多个Shard，每个Shard都是一个Primary和多个Secondary。 二、复制集 主要用于 实现服务的高可用 （1）特征 MongoDB的复制集主要具备如下特征： 快速复制 ：数据写入时将数据迅速复制到另一个节点。 故障转移 ：在接受写入的节点发生故障的时候自动选择另一个新的节点代替。 其他作用：数据分发、读写分离、异地容灾。 （2）MongoDB的数据复制原理 一个修改 操作会被记录到oplog ，有一个 线程监听oplog ，如果有变动就会将这个变动应用到其他的数据库上。 从节点在主节点上打开一个 tailable游标 ，不断获取新加入的oplog，并在从库上 回放 。 （3