分布式开发

1 Redis 事务 1.1 Redis 事务介绍 l Redis 的事务是通过 MULTI ， EXEC ， DISCARD 和 WATCH 这四个命令来完成的。 l Redis 的单个命令都是 原子性 的，所以这里确保事务性的对象是 命令集合 。 l Redis 将命令集合序列化并确保处于同一事务的 命令集合连续且不被打断 的执行 l Redis 不支持回滚操作 1.2 相关命令 l MULTI 用于标记事务块的开始 。 Redis 会将后续的命令逐个放入队列中，然后使用 EXEC 命令 原子化地执行这个命令序列。 语法： multi l EXEC 在一个事务中执行所有先前放入队列的命令 ，然后恢复正常的连接状态 语法： exec l DISCARD 清除所有先前在一个事务中放入队列的命令 ，然后恢复正常的连接状态。 语法： discard l WATCH 当某个 事务需要按条件执行 时，就要使用这个命令将给定的 键设置为受监控 的状态。 语法： watch key [key…] 注意事项： 使用该命令可以实现 redis 的 乐观锁 。 l UNWATCH 清除所有先前为一个事务监控的键。 语法： unwatch 1.3 事务失败处理 l Redis 语法错误（可以理解为 编译期错误 ） l Redis 类型错误（可以理解为 运行期错误 ） l Redis 不支持事务回滚

attemper 基于 quartz 实现分布式任务调度（定时、API）；引入 camunda 作为任务执行框架，支持工作流式任务编排、并发批量调度和参数传递。 Github Gitee 简介 分布式、多租户的支持流程编排的任务调度应用 支持工作流式的任务编排 基于 Spring Boot 框架开发，对微服务友好 支持 Mysql / Oracle / Sql Server / PostgreSQL 支持 Eureka 作为注册中心，可自行扩展与 Spring Cloud 集成的其他注册服务的中间件 支持父子、并发、分支判断等任务 支持(父子)任务传参、参数替换 支持延迟任务(预约操作) 支持金融与证券等行业的交易日 支持国际化(中英)与时区 功能 - 调度 - 基于数据库锁 ( quartz 原生 ) 实现分布式任务调度 - 使用 disruptor 来加速任务分发和执行 - 支持延迟调度 ( 由业务系统运行时调用 API ) - 可手工触发任务 - 可重试 ( 支持从指定的错误节点开始 ) - 可终止任务执行 - 扩展季度和半年作为 quartz 的周期单位 ( 比如可以每季度 ( 半年 ) 第一个交易日执行 ) - 任务 - 启用/禁用 - 任务复制/导入/导出 - 任务流式编排（串行/并发/父子任务） - 支持 Http/Shell/Python/Groovy 等 -

1、准备工作 1.1 给虚拟机取个 hostname。 而且配置 hosts。如果要和win做联合开发的话，和win的hosts文件，做一样的域名映射。 # 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 # ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.241.128 master 1.2 做免密配置 [root@master opt]# ssh-keygen -t rsa [root@master opt]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master [root@master opt]# ssh root@master 1.3 安装 dk vim /etc/profile export JAVA_HOME=/usr/local/java/jdk1.8.0_221 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export PATH=$JAVA_HOME/bin:$PATH 2、hadoop 配置文件 hadoop-env.sh

在分布式集群系统的开发中，线程锁往往并不能支持全部场景的使用，必须引入新的技术方案分布式锁。 　　线程锁:大家都不陌生，主要用来给方法、代码块加锁。当某个方法或者代码块使用锁时，那么在同一时刻至多仅有有一个线程在执行该段代码。当有多个线程访问同一对象的加锁方法/代码块时，同一时间只有一个线程在执行，其余线程必须要等待当前线程执行完之后才能执行该代码段。但是，其余线程是可以访问该对象中的非加锁代码块的。 　　进程锁:也是为了控制同一操作系统中多个进程访问一个共享资源，只是因为程序的独立性，各个进程是无法控制其他进程对资源的访问的，但是可以使用本地系统的信号量控制（操作系统基本知识）。 　　分布式锁:当多个进程不在同一个系统之中时，使用分布式锁控制多个进程对资源的访问。 分布式锁到底是什么，怎么实现？ 　　intsmaze说简单点，实现分布式锁必须要依靠第三方存储介质来存储锁的元数据等信息。比如分布式集群要操作某一行数据时，这个数据的流水号是唯一的，那么我们就把这个流水号作为一把锁的id，当某进程要操作该数据时，先去第三方存储介质中看该锁id是否存在，如果不存在，则将该锁id写入，然后执对该数据的操作；当其他进程要访问这个数据时，会先到第三方存储介质中查看有没有这个数据的锁id,有的话就认为这行数据目前已经有其他进程在使用了，就会不断地轮询第三方存储介质看其他进程是否释放掉该锁

搜索引擎选择： Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介 * Elasticsearch是一个 实时 的 分布式 搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于 全文搜索 ， 结构化搜索 以及 分析 ，当然你也可以将这三者进行组合。 Elasticsearch是一个 建立在全文搜索引擎 Apache Lucene™ 基础上 的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。 但是Lucene只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene。需要很多的学习了解，才能明白它是如何运行的，Lucene确实非常复杂。 Elasticsearch使用Lucene作为内部引擎，但是在使用它做全文搜索时，只需要使用统一开发好的API即可，而不需要了解其背后复杂的Lucene的运行原理。 当然Elasticsearch并不仅仅是Lucene这么简单，它不但包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 这么多的功能被集成到一台服务器上，你可以轻松地通过客户端或者任何你喜欢的程序语言与ES的RESTful API进行交流

架构设计 软件架构是指在一定的设计原则基础上，从不同角度对组成系统的各部分进行搭配和安排，形成系统的多个结构而组成架构，它包括该系统的各个组件，组件的外部可见属性及组件之间的相互关系。组件的外部可见属性是指其他组件对该组件所做的假设。 一、架构设计过程 业界软件架构设计的方法论很多，各有各自的应用场景和特点，下文结合ADMEMS（Architecture Design Method has been Extended to Method System）架构设计方法论说明软件架构的过程： 预架构阶段 目标：全面理解需求；需求结构化，摒弃“需求列表”，建立二维需求观（ADMEMS矩阵）。 方法：使用ADMEMS矩阵方法，捋清需求间关系和发现衍生需求。 具体步骤： 1、与人：与项目经理、需求分析师等内部需求人员了解需求；与客户了解需求（不建议架构师做需求分析师角色）。 2、与物：了解《需求规格说明书》等需求文档。" 3、对需求有什么问题，反馈给售前或销售，可能会参与拜访客户或电话会议。 4、销售或售前有时会要求提供一个大致的工作量，以便他们初步评估项目可行性。 概念架构 目标：高层组件及其关系 方法： 1、初步设计，基于关键功能，借助鲁棒图进行以发现职责为目的的初步设计（不是必须）。 2、高层分割，将复杂系统切分为多个二级系统或多个子系统。 3、考虑非功能需求，采用ADMEMS推荐的目标

本文是作者根据官方文档以及自己平时的使用情况，对 Dubbo 所做的一个总结。如果不懂 Dubbo 的使用的话，可以参考我的这篇文章[《超详细，新手都能看懂 ！使用SpringBoot+Dubbo 搭建一个简单的分布式服务》](https://mp.weixin.qq.com/s?__biz=MzU4NDQ4MzU5OA==&mid=2247484706&idx=1&sn=d413fc17023482f67ca17cb6756b9ff8&chksm=fd985343caefda555969568fdf4734536e0a1745f9de337d434a7dbd04e893bd2d75f3641aab&token=1902169190&lang=zh_CN#rd) Dubbo 官网：http://dubbo.apache.org/zh-cn/index.html Dubbo 中文文档： http://dubbo.apache.org/zh-cn/index.html <!-- MarkdownTOC --> - [一 重要的概念](#一-重要的概念) - [1.1 什么是 Dubbo?](#11-什么是-dubbo) - [1.2 什么是 RPC?RPC原理是什么?](#12-什么是-rpcrpc原理是什么) - [1.3 为什么要用 Dubbo?](#13-为什么要用-dubbo)

阿里巴巴的Java开源项目 前言 阿里巴巴的超神Java开源项目有不少，今天我们来总结一点吧！ GO GO GO ! 分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件，方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。 依托 Spring Cloud Alibaba，您只需要添加一些注解和少量配置，就可以将 Spring Cloud 应用接入阿里分布式应用解决方案，通过阿里中间件来迅速搭建分布式应用系统。 地址： https://github.com/spring-cloud-incubator/spring-cloud-alibaba JDBC 连接池、监控组件 Druid Druid是一个 JDBC 组件。 监控数据库访问性能。 提供了一个高效、功能强大、可扩展性好的数据库连接池。 数据库密码加密。 SQL执行日志。 地址： https://github.com/alibaba/druid Java 的 JSON 处理器 fastjson fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。 主要特点：快速FAST

众所周知，Dubbo是阿里巴巴开源的基于 Java 的高性能 RPC 分布式服务框架。 从这段话中，我们提取 关键字：分布式、RPC 一、为什么需要使用分布式系统 1、单机系统 项目工程比较简单，可能全部代码就在一个工程中， 或者按照模块来划分工程结构。 将项目放入tomcat就可以直接运行。用户流量增多，那么就多部署几台tomcat服务器，外层做负载均衡，实现分流。如果一台服务器挂了，系统还可以正常使用，相对实现“高可用”。 弊端： 实现项目结构比较单一的项目，如何项目开发团队上10人，系统代码具有100万行代码，几十人共同维护一个项目，涉及冲突会让人崩溃。并且项目新模块A需要上线，需要测试全部模块才可以保证系统正常，很容易造成新模块影响原有功能。每次发布需要全部代码重新发布，费事又费力。 2、分布式系统 分布式系统：庞大系统分而治之。 在我的理解中，分布式系统就是一个不断拆分的过程。把一个大整系统分划为多个小的子系统。众多的子系统合在一起便过程整个系统。 一个大的系统拆分为很多小的系统，甚至很多小的服务，然后几个人组成一个小组就专门维护其中一个小系统，或者每个人维护一个小服务。 简单来说，就是分而治之，这样每个人可以专注维护自己的代码。 不同的小系统自己开发、测试和上线，都不会跟别人耦合在一起，可以自己独立进行，非常的方便，大大简化了大规模系统的开发成本。 当然使用分布式

之前网上看到很多写分布式事务的文章，不过大多都是将分布式事务各种技术方案简单介绍一下。很多朋友看了还是不知道分布式事务到底怎么回事，在项目里到底如何使用。 所以这篇文章，就用大白话+手工绘图，并结合一个电商系统的案例实践，来给大家讲清楚到底什么是 TCC 分布式事务 一、业务场景介绍 咱们先来看看业务场景，假设你现在有一个电商系统，里面有一个支付订单的场景。 那对一个订单支付之后，我们需要做下面的步骤： 更改订单的状态为“已支付” 扣减商品库存 给会员增加积分 创建销售出库单通知仓库发货 这是一系列比较真实的步骤，无论大家有没有做过电商系统，应该都能理解。 二、进一步思考 好，业务场景有了，现在我们要更进一步，实现一个 TCC 分布式事务的效果。 什么意思呢？也就是说，[1] 订单服务-修改订单状态，[2] 库存服务-扣减库存，[3] 积分服务-增加积分，[4] 仓储服务-创建销售出库单。 上述这几个步骤，要么一起成功，要么一起失败，必须是一个整体性的事务。 举个例子，现在订单的状态都修改为“已支付”了，结果库存服务扣减库存失败。那个商品的库存原来是 100 件，现在卖掉了 2 件，本来应该是 98 件了。 结果呢？由于库存服务操作数据库异常，导致库存数量还是 100。这不是在坑人么，当然不能允许这种情况发生了！ 但是如果你不用 TCC 分布式事务方案的话，就用个 Spring