分布式架构

一、 Dubbo 介绍 1.1 dubbo 出现的背景 大规模服务化之前，应用可能只是通过 RMI或Hessian等工具，简单的暴露和引用远程服务，通过配置服务的URL地址进行调用，通过F5等硬件进行负载均衡。 (1) 当服务越来越多时，服务URL配置管理变得非常困难，F5硬件负载均衡器的单点压力也越来越大。 此时需要一个服务注册中心，动态的注册和发现服务，使服务的位置透明。 并通过在消费方获取服务提供方地址列表，实现软负载均衡和 Failover，降低对F5硬件负载均衡器的依赖，也能减少部分成本。 (2) 当进一步发展，服务间依赖关系变得错踪复杂，甚至分不清哪个应用要在哪个应用之前启动，架构师都不能完整的描述应用的架构关系。 这时，需要自动画出应用间的依赖关系图，以帮助架构师理清理关系。 (3) 接着，服务的调用量越来越大，服务的容量问题就暴露出来，这个服务需要多少机器支撑？什么时候该加机器？ 为了解决这些问题，第一步，要将服务现在每天的调用量，响应时间，都统计出来，作为容量规划的参考指标。 其次，要可以动态调整权重，在线上，将某台机器的权重一直加大，并在加大的过程中记录响应时间的变化，直到响应时间到达阀值，记录此时的访问量，再以此访问量乘以机器数反推总容量。 1.2 dubbo 的详细介绍 1. Dubbo 是什么？ Dubbo(注：HSF提供的是分布式服务开发框架

最近在用spring cloud分布式微服务云架构做一个全球多租户分布式部署的方案，我在这里只是简单的记录，当前的架构图只能是一个大概的方案，具体实施的方案和细节，IT老铁们可以自己去揣摩，因为业务链不同，细节也就不一样，不说那么多了，直接上图： Spring Cloud大型企业分布式微服务云构建的B2B2C 有spring cloud b2b2c电子商务需求的朋友可以加企鹅求求：一零三八七七四六二六 来源： https://www.cnblogs.com/mingli1245/p/11778131.html

---恢复内容开始--- https://study.163.com/course/courseMain.htm?courseId=1209408816&_trace_c_p_k2_=be708555d46e4f39828eda1e25189113 Spark：基于内存的计算框架 spark生态系统 spark基本架构： RDD： Resilient Distributed Dataset（弹性分布式数据集） 数据可大可小 弹性分配分区 分布式在内存中 DAG：Directed Acyclic Graph（有向无环图） Executor 进程（process）和线程（thread）的区别 Process means any program is in execution process 里有好几个thread（状态：running，ready，blocked） Cluster Manager可以是yarn 来源： https://www.cnblogs.com/cschen588/p/11775627.html

基本概念 本地事务 事务由资源管理器（如DBMS）本地管理 优点：严格的ACID 缺点：不具备分布事务处理能力 全局事务（DTP模型） TX协议：应用或应用服务器与事务管理器的接口 XA协议：全局事务管理器与资源管理器的接口 优点：严格的ACID 缺点：效率非常低 两阶段提交 优点 准备后，仍可提交或回滚 准备时，一致性检查必须OK 准备后，事务结果仍然只在事务内可见 准备后，事务结果已经持久化 缺点： 潜在故障点多带来的脆弱性 准备后，提交前的故障引发一系列隔离与恢复难题 http://book.51cto.com/art/201309/410608.htm 跨域的全局事务（DTP模型） 缺点 更高的协议成本 脆弱，故障点多 故障影响大，恢复困难 复杂，更多架构与平台约束 java企业平台中的分布式事务实现 JTA 面向应用、应用服务器与资源管理器的高层事务接口 JTS JTA事务管理器的实现标准，向上支持JTA，向下通过CORBA OTS实现跨事务域的互操作性 EJB 优点 简单一致的编程模型 跨域分布处理的ACID保证 局限 DTP模型本身的局限 缺少充分公开的大规模、高可用、密集事务应用的成功案例 JMS与分布式事务： http://techv5.com/topic/1371/ 其它资源 ws-transaction标准 jbossTransaction系统 Paxos算法

理论指导： 参考1 apollo-configservice：提供配置获取接口，提供配置更新推送接口，接口服务对象为Apollo客户端 apollo-adminservice：提供配置管理接口，提供配置修改、发布等接口，接口服务对象为Portal，以及Eureka apollo-portal：提供Web界面供用户管理配置 apollo-client：Apollo提供的客户端程序，为应用提供配置获取、实时更新等功能 参考2 架构剖析 1 架构清晰剖析2 开始部署： https://github.com/ctripcorp/apollo 分布式部署指南 基于docker部署apollo分布式配置中心服务 部署节点,所需的tar包应用包，在apollo的github上下载 test1，192.168.0.133 ，dev test2，192.168.0.134 ，fat 部署步骤 创建ApolloPortalDB数据库 在test-01部署 docker run --restart always -d --name ApolloPortalDB --network yapi_net --ip 172.30.0.21 -v /opt/ApolloPortalDB/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD='aaaaaa' -p 3307:3306

前言 本文简单描述SolrCloud的特性，基本结构和入门，基于Solr4.5版本。 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库。Solr是以Lucene为基础实现的文本检索应用服务。 SolrCloud是Solr4.0版本开发出的具有开创意义的基于Solr和Zookeeper的分布式搜索方案，或者可以说，SolrCloud是Solr的一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式，这些方式部署的Solr不具有SolrCloud的特色功能。 特色 SolrCloud有几个特色功能： 集中式的配置信息 使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zookeeper，多机器共用。这些ZK中的配置不会再拿到本地缓存，Solr直接读取ZK中的配置信息。配置文件的变动，所有机器都可以感知到。 另外，Solr的一些任务也是通过ZK作为媒介发布的。目的是为了容错。接收到任务，但在执行任务时崩溃的机器，在重启后，或者集群选出候选者时，可以再次执行这个未完成的任务。 自动容错 SolrCloud对索引分片，并对每个分片创建多个Replication。每个Replication都可以对外提供服务。一个Replication挂掉不会影响索引服务。 更强大的是

主要定位于互联网企业架构，已内置企业信息化系统的基础功能和高效的代码生成工具，包括：系统权限组件、数据权限组件、数据字典组件、核心工具 组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。 平台简介 是一个 分布式框架 ，提供项目模块化、服务化、热插拔的思想，高度封装安全性的Java EE快速开发平台。本身集成Dubbo服务管控、 Zookeeper注册中心 、Redis分布式缓存技术、 FastDFS分布式 文件系统、ActiveMQ异步消息中间件、 Nginx负载均衡 等分布式技术，使用Maven做项目管理，项目模块化，提高项目的易开发性、扩展性，以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流引擎等。前端集成Bootstrap4 metronic框架，UI响应式、扁平化布局，适应所有PC、Pad、Anroid、ios 移动设备等。 主要定位于互联网企业架构，已内置企业信息化系统的基础功能和高效的代码生成工具，包括：系统权限组件、数据权限组件、数据字典组件、核心工具 组件、视图操作组件、工作流组件、代码生成等。采用分层设计、双重验证、提交数据安全编码

Ceph分布式存储（一） 一、概述 Ceph是可靠的、可扩展的、统一的、分布式的存储系统。可以同时提供对象存储RADOSGW（Reliable、Autonomic、Distributed、Object Storage Gateway）、块存储RBD（Rados Block Device）、文件系统存储Ceph FS（Ceph Filesystem）3种功能。 2、Ceph应用场景 Ceph可以提供对象存储、块设备存储和文件系统服务，其对象存储可以对接网盘（owncloud）应用业务等；其块设备存储可以对接（IaaS），当前主流的IaaS运平台软件，如：OpenStack、CloudStack、Zstack、Eucalyptus等以及kvm等。 3、ceph功能组件 4、Ceph核心组件 OSD（Object Storage Device）： 主要功能包括存储数据、处理数据的复制、恢复、回补、平衡数据分布，并将一些相关数据提供给ceph monitor。例如ceph OSD心跳等。一个ceph存储集群，至少需要两个Ceph OSD来实现active+clean健康状态和有效的保存数据的双副本（默认情况下是双副本，可以调整）。注意：每一个disk、分区都可以成为一个OSD。 Monitor： Ceph的监控器，主要功能是维护整个集群健康状态，提供一致性的决策。 MDS（Metadata

开发工具 1.Eclipse IDE：采用Maven项目管理，模块化。 2.代码生成：通过界面方式简单配置，自动生成相应代码，目前包括三种生成方式（增删改查）：单表、一对多、树结构。生成后的代码如果不需要注意美观程度，生成后即可用。 技术选型（只列了一部分技术） 1、后端 服务框架：Dubbo、zookeeper、Rest服务 缓存：Redis、ehcache 消息中间件：ActiveMQ 负载均衡：Nginx 分布式文件：FastDFS 框架简介--主要定位于互联网企业架构，已内置企业信息化系统的基础功能和高效的代码生成工具，包括：系统权限组件、数据权限组件、数据字典组件、核心工具 组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。平台简介 是一个分布式的框架，提供项目模块化、服务化、热插拔的思想，高度封装安全性的Java EE快速开发平台。 本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术 使用Maven做项目管理，项目模块化，提高项目的易开发性、扩展性 以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache

开发工具 1.Eclipse IDE：采用Maven项目管理，模块化。 2.代码生成：通过界面方式简单配置，自动生成相应代码，目前包括三种生成方式（增删改查）：单表、一对多、树结构。生成后的代码如果不需要注意美观程度，生成后即可用。 技术选型（只列了一部分技术） 1、后端 服务框架：Dubbo、zookeeper、Rest服务 缓存：Redis、ehcache 消息中间件：ActiveMQ 负载均衡：Nginx 分布式文件：FastDFS 框架简介--主要定位于互联网企业架构，已内置企业信息化系统的基础功能和高效的代码生成工具，包括：系统权限组件、数据权限组件、数据字典组件、核心工具 组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。平台简介 是一个分布式的框架，提供项目模块化、服务化、热插拔的思想，高度封装安全性的Java EE快速开发平台。 本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术 使用Maven做项目管理，项目模块化，提高项目的易开发性、扩展性 以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache