分布式架构

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 简单的说，微服务是架构设计方式，分布式是系统部署方式，两者概念不同 微服务是啥？ 这里不引用书本上的复杂概论了，简单来说微服务就是很小的服务，小到一个服务只对应一个单一的功能，只做一件事。这个服务可以单独部署运行，服务之间可以通过RPC来相互交互，每个微服务都是由独立的小团队开发，测试，部署，上线，负责它的整个生命周期。 微服务架构又是啥？ 在做架构设计的时候，先做逻辑架构，再做物理架构，当你拿到需求后，估算过最大用户量和并发量后，计算单个应用服务器能否满足需求，如果用户量只有几百人的小应用，单体应用就能搞定，即所有应用部署在一个应用服务器里，如果是很大用户量，且某些功能会被频繁访问，或者某些功能计算量很大，建议将应用拆解为多个子系统，各自负责各自功能，这就是微服务架构。 那么分布式又是啥？ 分布式服务顾名思义服务是分散部署在不同的机器上的，一个服务可能负责几个功能，是一种面向SOA架构的，服务之间也是通过rpc来交互或者是webservice来交互的。逻辑架构设计完后就该做物理架构设计，系统应用部署在超过一台服务器或虚拟机上，且各分开部署的部分彼此通过各种通讯协议交互信息，就可算作分布式部署，生产环境下的微服务肯定是分布式部署的，分布式部署的应用不一定是微服务架构的，比如集群部署

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 本文转载自《金融电子化》 作者： 吉林省农村信用社联合社信息科技中心 总经理 孙刚、总经理助理 程永义 随着移动互联网的迅猛发展，分布式架构在互联网IT技术领域广泛应用并积累了大量实践经验。在互联网金融快速发展和利率市场化的大环境下，建设能够支持海量客户、具有弹性扩展能力、高效灵活的分布式架构应用系统已成为国内金融行业迫切的需要。 分布式数据库应用大势所趋 我社普惠金融平台建设，旨在“充分运用金融科技手段，优化信贷流程和客户评价模型，降低企业融资成本，纾解民营企业、小微企业融资难融资贵问题，增强金融服务实体经济能力”。 普惠金融服务是典型的互联网应用，其与传统信贷系统不同，具有互联网场景接入能力，如果沿用集中式的技术架构，在应对海量客户的互联网应用场景和总拥有成本等方面存在以下的潜在问题： 集中式架构普遍缺乏弹性伸缩的能力。随着交易量和数据量的增长，系统整体吞吐量会遇到硬件或技术的瓶颈。尤其在支持面向互联网客户相关业务时，不能有效处理瞬时爆发的高并发交易，制约了客户获取以及大规模业务营销。 集中式架构采用单体应用设计。软件开发和运行管理的最小单元是应用，管理力度较粗，容易“牵一发而动全身”，应用的开发过程不易践行轻量化敏捷开发理念，系统在运行过程中容易出现单点故障，难以有效进行故障隔离。

参考: 龙果学院 http://www.roncoo.com/share.html?hamc=hLPG8QsaaWVOl2Z76wpJHp3JBbZZF%2Bywm5vEfPp9LbLkAjAnB%2BnHpF8rHqMAsZ9U%2Ff1CcK%2Fi%2BOWuJ8pVcwcq6A%3D%3D 一、场景需求 二、Keepalived 简要介绍 Keepalived 是一种高性能的服务器高可用或热备解决方案，Keepalived 可以用来防止服务器单点故障的发生，通过配合 Nginx 可以实现 web 前端服务的高可用。 Keepalived 以 VRRP 协议为实现基础，用 VRRP 协议来实现高可用性(HA)。VRRP(VirtualRouter Redundancy Protocol)协议是用于实现路由器冗余的协议，VRRP 协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器 IP(一个或多个)，而在路由器组内部，如果实际拥有这个对外 IP 的路由器如果工作正常的话就是 MASTER，或者是通过 算法 选举产生，MASTER 实现针对虚拟路由器 IP 的各种网络功能， 如 ARP 请求，ICMP，以及数据的转发等；其他设备不拥有该虚拟 IP，状态是 BACKUP，除了接收 MASTER 的VRRP 状态通告信息外，不执行对外的网络功能。当主机失效时，BACKUP

本人免费整理了Java高级资料，涵盖了Java、Redis、MongoDB、MySQL、Zookeeper、Spring Cloud、Dubbo高并发分布式等教程，一共30G，需要自己领取。 传送门： https://mp.weixin.qq.com/s/osB-BOl6W-ZLTSttTkqMPQ 开源展示了人类共同协作，成果分享的魅力。没有任何一家网络公司可以不使用开源技术，仅靠自身技术发展起来。“取之于开源，用之于开源，才能促进开源的良性发展”，阿里巴巴各个团队将踩过的坑和总结的经验融入到开源项目中，供业界所有人使用，帮助他人解决问题的同时，也促进了行业发展。 1.分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件，方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。 依托 Spring Cloud Alibaba，您只需要添加一些注解和少量配置，就可以将 Spring Cloud 应用接入阿里分布式应用解决方案，通过阿里中间件来迅速搭建分布式应用系统。 地址：https://github.com/spring-cloud-incubator/spring-cloud-alibaba 2.

大规模分布式存储系统原理解析与架构实战-读书笔记1-概述 Google、Amazon、Alibaba等互联网公司的成功催生了 云计算 和 大数据 这两个热门领域。而无论是云计算，大数据还是其他互联网应用，其后台基础设施的建设主要目标都是构建 低成本、高性能、可扩展、易用 的分布式系统。 分布式存储的概念 大规模分布式存储系统的概念： “分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供服务” 分布式存储系统的主要挑战： 数据，状态信息的持久化。要求在自动迁移，自动容错，并发读写的过程中保持一致性。 分布式存储的两个主要技术： 分布式系统 和 数据库 几个问题： 1 数据分布：如何将数据分布到多个服务器而且要数据分布均匀？如果进行跨服务器操作？ 2 一致性：如何将数据的多个副本复制到不同服务器？且在异常情况下也能保持数据一致？ 3 容错：如何检测到服务器故障？如何自动将出现错误的服务器的数据迁移到其他服务器？ 4 负载均衡：新增服务器和集群正常运行中如何实现自动负载均衡？数据迁移过程中如何保证不影响已有服务？ 5 事务与并发控制：如何实现分布式事务？如何实现多版本并发控制？ 6 易用性：如何设计对外接口使系统容易使用？如何设计监控系统并将系统内部状态暴露给运维人员？ 7 如何根据数据的特点设计合理的压缩/解压缩算法

Spring Cloud Alibaba是什么 先来看一下 官方 是怎么定义Spring Cloud Alibaba的： Spring Cloud Alibaba 致力于提供微服务开发的一站式解决方案。此项目包含开发分布式应用微服务的必需组件，方便开发者通过Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。 依托 Spring Cloud Alibaba，您只需要添加一些注解和少量配置，就可以将 Spring Cloud 应用接入阿里微服务解决方案，通过阿里中间件来迅速搭建分布式应用系统。 从官方的文档可以看出Spring Cloud Alibaba是一个微服务一站式解决方案，提供了对Spring Cloud的标准实现，即包含了多个治理微服务的组件。 我们之前使用Spring Cloud的时候其实是在使用Spring Cloud Netflix的解决方案，使用到了Netflix中大家都非常熟悉的组件：Eureka、Zuul、Hystrix、Ribbon等，下面是Spring Cloud Netflix的官方介绍： Spring Cloud Netflix provides Netflix OSS integrations for Spring Boot apps through autoconfiguration and binding to the

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1、认识服务的规模 注册用户，独立用户 请求数 繁忙时流量 服务器台数 貌似应该有很多其他的指标，以前都听说过，但是从来没有认真分析过，已经上线的系统也没有对此进行过统计和分析！ 2、大规模服务中的问题有以下几点： 可扩展性、负载均衡的必要性 一般来说，当一台服务器无法承担负载时，都会采用横向扩展（scale out）或者纵向扩展（scale up）。横向扩展就是通过服务器的数量来分担负载，纵向扩展是通过提高硬件的性能来处理负载。而我们知道，硬件的性能和价格不是成比例的，所以通常采用横向扩展技术！采用横向扩展也会带来问题，如请求如何分配——负载均衡，数据如何同步，网络通信延迟等。 保证冗余性 服务器多了后，故障率也会上升。要么构建稳定的系统，要么构建发生故障时能自动切换以继续运行的系统！ 低成本运维的重要性 采用自动化工具。 开发人数和开发方法的变化 如何标准化开发？ 考虑下应用程序实现方案？ 统一编程语言？ 统一库函数和框架？ 统一代码规范？ 使用版本管理工具管理源代码？ 需要有人负责全局的推行。 团队如何管理 应对大规模数据量 数据的流向：磁盘->内存->缓存->CPU。各层的速度差异巨大。 减小数据大小？ 分散到多台服务器上？ 把数据读取次数降到最低？ 3、系统增长战略——最小化开端、预见变化的管理和设计

前言 fescar发布已有时日，分布式事务一直是业界备受关注的领域，fescar发布一个月左右便受到了近5000个star足以说明其热度。当然，在fescar出来之前，已经有比较成熟的分布式事务的解决方案开源了，比较典型的方案如LCN（https://github.com/codingapi/tx-lcn）的2pc型无侵入事务，目前lcn已发展到5.0，已支持和fescar事务模型类似的TCX型事务。还有如TCC型事务实现hmily（https://github.com/yu199195/hmily）、tcc-transaction(https://github.com/changmingxie/tcc-transaction)等。在微服务架构流行的当下、阿里这种开源大户背景下，fescar的发布无疑又掀起了研究分布式事务的热潮。fescar脱胎于阿里云商业分布式事务服务GTS，在线上环境提供这种公共服务其模式肯定经受了非常严苛的考验。其分布式事务模型TXC又仿于传统事务模型XA方案，主要区别在于资源管理器的定位一个在应用层一个在数据库层。博主觉得fescar的txc模型实现非常有研究的价值，所以今天我们来好好翻一翻fescar项目的代码。本文篇幅较长，浏览并理解本文大概耗时30~60分钟左右。 项目地址 fescar：https://github.com/alibaba

第1章 微服务入门 本章中将概要介绍微服务与传统应用之间的差异与实现优势，以便于帮助同学们更加清晰微服务在项目开发中的定位。 1-1 课程导学 试看 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南） 1-3 传统应用带来的问题 1-4 微服务概述 第2章 演示环境构建 本章中将通过一系列的基本演示，让同学们可以对Dubbo有一个快速直观的认识。当前项目中构建了目前Dubbo的两种主流兼容框架Spring和Springboot，并且都进行了Dubbo集成，以便于适应多种需求下的应对使用。 2-1 基础环境构建介绍 2-2 Spring基础环境构建 2-3 Spring的直连提供者 2-4 SpringBoot基础环境构建 2-5 SpringBoot直连提供者演示 2-6 注册中心概述 2-7 Zookeeper-windows安装 2-8 Spring集成注册中心 2-9 Springboot集成注册中心 2-10 基于Apache Dubbo结合Springboot构建开发环境 2-11 常见问题集锦 2-12 阶段任务 第3章 业务基础环境构建 经过上一章节的演示，让大家了解到Dubbo与Spring、Springboot集成和基本使用，本章中会将Dubbo与Guns进行集成，构建一个业务系统的基本环境，同时针对API网关进行了一个简单的描述和引入

容器 容器与虚拟机对比图(左边为容器、右边为虚拟机)   容器技术是虚拟化技术的一种，以Docker为例，Docker利用Linux的LXC(LinuX Containers)技术、CGroup(Controll Group)技术和AUFS(Advance UnionFileSystem)技术等，通过对进程和资源加以限制，进行调控，隔离出来一套供程序运行的环境。 我们把这一环境称为“容器”，把构建该“容器”的“只读模板”，称之为“镜像”。   容器是独立的、隔离的，不同容器间不能直接通信，容器与宿主机也是隔离开来的，容器不能直接感知到宿主机的存在，同时宿主机也无法直接窥探容器内部。   虽然容器与宿主机在环境上，逻辑上是隔离的，但容器与宿主机共享内核，容器直接依赖于宿主机Linux系统的内核，这与虚拟机不同，后者是在宿主机的操作系统上，虚拟化一套硬件环境，然后在此环境上运行需要的操作系统。容器技术常用来在宿主机上隔离出环境来部署应用（用容器化技术部署的应用称为 ***“容器化应用”*** ），而虚拟机常用来运行一个与宿主机不同的操作系统，从而运行特定的软件。   容器非常轻量级，无论是启动速度，资源占用情况，灵活性等均优于虚拟机。容器的特性给开发生产提供了非常大的便利： * DevOps理念，开发者可以使用同一个镜像，在开发环境、测试环境和生产环境构建相同的容器