事务管理

Kafka架构图 kafka名词解释 在一套kafka架构中有多个Producer，多个Broker,多个Consumer，每个Producer可以对应多个Topic，每个Consumer只能对应一个ConsumerGroup。 整个Kafka架构对应一个ZK集群，通过ZK管理集群配置，选举Leader，以及在consumer group发生变化时进行rebalance。 名称 解释 Broker 消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群 Topic 主题，Kafka根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topic Producer 消息生产者，向Broker发送消息的客户端 Consumer 消息消费者，从Broker读取消息的客户端 ConsumerGroup 每个Consumer属于一个特定的Consumer Group，一条消息可以发送到多个不同的Consumer Group，但是一个Consumer Group中只能有一个Consumer能够消费该消息 Partition 物理上的概念，一个topic可以分为多个partition

什么是事务？ 我们在开发企业应用时，对于业务人员的一个操作实际是对数据读写的多步操作的结合。由于数据操作在顺序执行的过程中，任何一步操作都有可能发生异常，异常会导致后续操作无法完成，此时由于业务逻辑并未正确的完成，之前成功操作数据的并不可靠，需要在这种情况下进行回退。 事务的作用就是为了保证用户的每一个操作都是可靠的，事务中的每一步操作都必须成功执行，只要有发生异常就回退到事务开始未进行操作的状态。 事务管理是Spring框架中最为常用的功能之一，我们在使用Spring Boot开发应用时，大部分情况下也都需要使用事务。 快速入门 在Spring Boot中，当我们使用了spring-boot-starter-jdbc或spring-boot-starter-data-jpa依赖的时候，框 架会自动默认分别注入DataSourceTransactionManager或JpaTransactionManager。所以我们不需要任何额外 配置就可以用@Transactional注解进行事务的使用。 在该样例工程中（若对该数据访问方式不了解，可先阅读该文章），我们引入了spring-data-jpa，并创建了User实体以及对User的数据访 问对象UserRepository，在ApplicationTest类中实现了使用UserRepository进行数据读写的单元测试用例，如下：

二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。 这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍。 理论目标 在HBase中实现二级索引与索引Join需要考虑三个目标： 1，高性能的范围检索。 2，数据的低冗余（存储所占的数据量）。 3，数据的一致性。 性能与数据冗余，一致性是相互制约的关系。 如果你实现了高性能地范围检索，必然需要靠冗余索引数据来提升性能，而数据冗余会导致更新数据时难以实现一致性，特别是分布式场景下。 如果你不要求高效地范围检索，那么可以不考虑产生冗余数据，一致性问题也可以间接避免，毕竟share nothing是公认的最简单有效的解决方案。 理论结合实际，下文会以实例的方式来阐述各个方案是如何选择偏重点。 这些方案是经过笔者资料查阅和同事的不断交流后得出的结论，如有错误，欢迎指正： 1，按索引建表 每一个索引建立一个表，然后依靠表的row key来实现范围检索。row key在HBase中是以B+ tree结构化有序存储的，所以scan起来会比较效率。 单表以row key存储索引

Spring事务管理有3个API，均为接口。 （1）PlatformTransactionManager 平台事务管理器 常用的实现类： DataSourceTransactionManager：这个实现类是spring自带的，底层使用JDBC管理事务 HibernateTransactionManage：这个实现类由Hibernate提供，需要Hibernate的支持，底层使用Hibernate管理事务 mybatis有2种方式管理事务：使用JDBC的事务管理、使用WEB容器（JBOSS,WebLogic等）的事务管理，都是使用别人的事务管理，mybatis本身并没有提供事务管理。 （2）TransactionDefinition 事务定义 用于定义事务的相关信息，比如隔离级别、超时信息、传播行为、是否只读。 （3）TransactionStatus 事务状态 用于记录在事务管理过程中事务的状态。 3个接口的关系： 事务管理器根据事务定义设置的规则来管理事务，在事务管理过程中，将事务的各种状态记录到事务状态对象中。 来源： https://www.cnblogs.com/chy18883701161/p/12238130.html

Spring提供了2种事务管理 编程式的 声明式的（重点）：包括xml方式、注解方式（推荐） 基于转账的demo dao层 新建包com.chy.dao，包下新建接口AccountDao、实现类AccountDaoImpl： public interface AccountDao { //查询用户账户上的余额 public double queryMoney(int id); //减少用户账户上的余额 public void reduceMoney(int id, double amount); //增加用户账户上的余额 public void addMoney(int id, double amount); } @Repository public class AccountDaoImpl extends JdbcDaoSupport implements AccountDao { @Override public double queryMoney(int id) { String sql = "select money from account_tb where id=?"; JdbcTemplate jdbcTemplate = super.getJdbcTemplate(); double money = jdbcTemplate.queryForObject(sql,

mysql 的事务管理 一、事务的基础介绍 概念： 事务Transactions：一组原子性的SQL语句，或一个独立工作单元 事务日志：记录事务信息，实现undo,redo等故障恢复功能 事务的ACID特性 A：atomicity原子性；整个事务中的所有操作要么全部成功执行，要么全部 失败后回滚 C：consistency一致性；数据库总是从一个一致性状态转换为另一个一致性 状态 I：Isolation隔离性；一个事务所做出的操作在提交之前，是不能为其它事务 所见；隔离有多种隔离级别，实现并发 D：durability持久性；一旦事务提交，其所做的修改会永久保存于数据库中 二、事务的管理 启动事务： BEGIN BEGIN WORK START TRANSACTION 结束事务： COMMIT：提交 ROLLBACK: 回滚 注意：只有事务型存储引擎中的DML语句方能支持此类操作 自动提交：set autocommit={1|0} 默认为1，为0时设为非自动提交 建议：显式请求和提交事务，而不要使用“自动提交”功能 事务支持保存点：savepoint 类似快照的作用，但是事务一提交就失效了 设置事务保存点 SAVEPOINT identifier MariaDB [ hellodb ] > savepoint b5 ; Query OK , 0 rows affected ( 0

一、事务的基本特征 1. 概念：如果一个包含多个步骤的业务操作，被事务管理，这些操作要么同时成功，要么同时失败。 事务执行是一个整体，所有的SQL语句都必须执行成功。如果其中有一条SQL语句出现异常，则所有的SQL语句都要回滚，整个业务执行失败。 2. 操作： (1) 开启事务：start transaction (2) 回滚：rollback (3) 提交：commit 3.MySQL数据库中事务默认自动提交 事务提交的两种方式： 第一种方式：自动提交 MySQL就是自动提交的。 一条DML语句会自动提交一次事务。 第二种方式：手动提交 Oracle数据库默认是手动提交事务的。 需要先开启事务，在提交。 4.修改事务的默认提交方式： 查看事务的默认提交方式： SQL语句：select @@autocommit; 结果：1代表自动提交；0代表手动提交 修改事务默认提交方式SQL语句为：set @@autocommit = 0; 这时写了DML语句，不写commit是不会生效的。 二、事务的四大特征（ACID） 原子性（Atomicity）：事务是一个不可分割的最小单元，要么全部成功提交，要么全部失败回滚。失败回滚的事务，将不能对事物有任何影响。 一致性（Consistency）：一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态

业务技术架构 架构实现 总的来说我的通用架构还是以三层架构为基础进行演变的，在经典的三层架构中，最上层的是controller，中间是service，下层是dao。 在微服务的架构中，最上层是网关层，controller只是网关的一种，中间是业务层，service只是业务层的入口，最下层是基础层，dao只是基础层中的数据存储组件。 一.网关层 网关层本质上是对不同的网络协议的请求进行处理，比如HTTP协议，TCP协议，当然，也可以对其他协议进行处理。具体见下图： 1.HTTP请求 一般来自PC端和APP端的请求都是基于HTTP协议的，对于处理HTTP请求的方案，业内已经非常成熟了。首先，tomcat容器本身已经把HTTP请求处理的复杂性封装掉了， 其次，spring mvc对请求处理提供了RESTful风格的编码方式，大大降低了开发的复杂度。我们要做的就是对controller按照业务领域划分，比如按照订单、会员去划分大的领域，里面的各种方法就是这个领域内的操作。 这里的controller就是统一网关处理层，对于每个controller的方法只做三件事，第一，将请求参数解析出来并组装成内部参数，第二调用下层服务执行业务逻辑，第三组装返回结果， 对于异常情况，需要记录异常堆栈日志并转换错误码，堆栈信息不要暴露到调用方。 2.TCP请求 对于处理TCP请求的方案，业内也已经很成熟了

代码 package com.yangyun.tx; import com.mchange.v2.c3p0.ComboPooledDataSource; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.ComponentScan; import org.springframework.context.annotation.Configuration; import org.springframework.context.annotation.EnableMBeanExport; import org.springframework.jdbc.core.JdbcTemplate; import org.springframework.jdbc.datasource.DataSourceTransactionManager; import org.springframework.transaction.PlatformTransactionManager; import org.springframework.transaction.annotation.EnableTransactionManagement; import javax

Fescar原理 1、概述 fescar刚推出不久，没几天。看了github的Issues，有人问：可以直接商用吗？ 作者的回复： image 我们也看一下fescard的历史： 阿里是国内最早一批进行应用分布式（微服务化）改造的企业，所以很早就遇到微服务架构下的分布式事务问题。 2014 年，阿里中间件团队发布 TXC（Taobao Transaction Constructor），为集团内应用提供分布式事务服务。 2016 年，TXC 经过产品化改造，以 GTS（Global Transaction Service） 的身份登陆阿里云，成为当时业界唯一一款云上分布式事务产品，在阿云里的公有云、专有云解决方案中，开始服务于众多外部客户。 2019 年起，基于 TXC 和 GTS 的技术积累，阿里中间件团队发起了开源项目 Fescar（Fast & EaSy Commit And Rollback, FESCAR），和社区一起建设这个分布式事务解决方案。 TXC/GTS/Fescar 一脉相承，为解决微服务架构下的分布式事务问题交出了一份与众不同的答卷。 阿里出品的中间件有一种精神是值得赞扬的，就是出品的任何中间件都是业务中已经使用多年的产品。都是经过锤炼的产品，开源的话，去除和内部业务耦合的代码，开源出来。至少有一点，底层的代码是经历过双11这种高并发请求量打磨过的代码