分布式部署

推荐！国外程序员整理的系统管理员资源大全 2015-1-19 12:24 发布者: admin 微博分享 受其他程序员汇编 php 资源，kahun 在 Github 发起系统管理员相关的开源资源整理。 内容分类包括：备份/克隆软件、云计算/云存储、协作软件、配置管理、日志管理、监控、项目管理…… 当然也有系统管理员相关书籍。 备份 备份软件 Amanda -客户端-服务器模型备份工具 Bacula - 另一个客户端-服务器模型备份工具 Backupninja -轻量级，可扩展的元数据备份系统 Backuppc -客户端-服务器模型备份工具和文件共享方案。 Burp -网络备份和还原程序 Duplicity -使用rsync算法加密的带宽-效率备份 Lsyncd -监控一个本地目录树的变化,然后产生一个进程去同步变化。默认使用rsync。 Rsnapshot -文件系统快照工具 SafeKeep -使用rdiff-backup，集中的，基于pull的备份 TarSnap - 具有一个开源客户端的安全备份服务 UrBackup -另一个客户端-服务器备份系统 DREBS - AWS EBS支持策略的备份脚本 克隆 克隆软件 Clonezilla -分区和磁盘镜像/克隆程序 Fog - 另一个计算机克隆解决方案 Redo Backup -简单的备份，恢复和还原 云计算 AppScale

之前写过一篇: 自己动手实现分布式任务调度框架 本来是用来闲来分享一下自己的思维方式，时至今日发现居然有些人正在使用了，本着对代码负责任的态度，对代码部分已知bug进行了修改，并增加了若干功能，如立即启动，实时停止等功能，新增加的功能会在这一篇做详细的说明。 　　提到分布式任务调度，市面上本身已经有一些框架工具可以使用，但是个人觉得功能做的都太丰富，架构都过于复杂，所以才有了我重复造轮子。个人喜欢把复杂的问题简单化，利用有限的资源实现竟可能多的功能。因为有几个朋友问部署方式，这里再次强调下：我的这个服务可以直接打成jar放在自己本地仓库，然后依赖进去，或者直接copy代码过去，当成自己项目的一部分就可以了。也就是说跟随你们自己的项目启动，所以我这里也没有写界面。下面先谈谈怎么基于上次的代码实现任务立即启动吧! 　　调度和自己服务整合后部署图抽象成如下: 　　 　　用户在前端点击立即请求按钮，通过各种负载均衡软件或者设备，到达某台机器的某个带有本调度框架的服务，然后进行具体的执行，也就是说这个立即启动就是一个最常见最简单的请求，没有过多复杂的问题（比如多节点会不会重复执行这些）。最简单的办法，当用户请求过来直接用一个线程或者线程池执行用户点的那个任务的逻辑代码就行了，当然我这里没有那么粗暴，现有的调度代码资源如下: package com.rdpaas.task.scheduler;

1、关于分布式锁的了解？ 原理：控制分布式系统有序的去对共享资源进行操作，通过互斥来保持一致性。 具备的条件： ①分布式环境下，一个方法在同一时间只能被一个机器的一个线程执行 ②高可用的获取锁和释放锁 ③高性能的获取锁和释放锁 ④具备可重入特性 ⑤具备锁失效机制，防止死锁 分布式锁的三种实现： A. 基于数据库实现分布式锁； B. 基于缓存（Redis等）实现分布式锁； C. 基于Zookeeper实现分布式锁 A.基于数据库的实现： 在数据库中创建一个表，表中包含方法名等字段，并在方法名字段上创建唯一索引，想要执行某个方法，就是用这个方法名向表中插入数据，成功插入则获取锁，执行完成后删除对应的行数据释放锁 B.基于缓存（Redis等）实现分布式锁： 推荐： Redis有很高的性能； Redis命令对此支持较好，实现起来比较方便 实现： （1）获取锁的时候，使用setnx加锁，并使用expire 命令为锁添加一个超时时间，超过该时间则自动释放锁，锁的value值为一个随机生成的UUID,通过此在释放锁的时候进行判断。 （2）获取锁的时候设置一个获取的超时时间，若超过这个时间就放弃获取锁。 （3）释放锁的时候，通过UUID判断是不是该锁，若是该锁，就执行delete进行锁释放。 C.基于Zookeeper的实现方式 原因： Zookeeper是一个为分布式应用提供一致性服务的开源组件

终极手撕之架构大全：分布式+开源框架+微服务+性能优化，够不够？ 一只Tom猫4小时前 我要分享 之前有零零散散整理过一些专题给大家参考学习，这次一次性来个终极手撕之架构大全，包含开源框架、分布式、微服务、性能优化等四个大专题共17个小专题，全部一锅端，送给大家一起学习~ 注意：需要全部完整版架构大全答案的可以 【“点击我”免费领取】 《终极手撕之架构大全：分布式+开源框架+微服务+性能优化，够不够？》 01 开源框架（Spring +SpringMVC+Mybatis） 开源框架答案解析如下： 1.1 手撕开源框架之Spring 什么是 Spring 框架？Spring 框架有哪些主要模块？ 使用 Spring 框架能带来哪些好处？ 什么是控制反转(IOC) 请解释下 Spring 框架中的 IoC BeanFactory 和 和 ApplicationContext 有什么区别？ Spring 有几种配置方式？ 如何用基于 XML 配置的方式配置 Spring 如何用基于 Java 配置的方式配置 Spring 怎样用注解的方式配置 Spring 请解释 Spring Bean 的生命周期？ Spring Bean 的作用域之间有什么区别？ Spring 框架中的单例 Beans 是线程安全的么？ 请举例说明如何在 Spring 中注入一个 Java Collection

1.分布式 　　 　　将一个大的系统划分为多个业务模块，业务模块分别部署到不同的机器上，各个业务模块之间通过 接口 进行数据交互。区别分布式的方式是根据不同机器不同业务。 　　上面：service A、B、C、D 分别是业务组件，通过API Geteway进行业务访问。 　　注：分布式需要做好事务管理。 　　2.分布式是否属于微服务？ 　　答案是肯定的。微服务的意思也就是将模块拆分成一个独立的服务单元通过接口来实现数据的交互。 　　3.微服务架构 　　微服务的设计是为了不因为某个模块的升级和BUG影响现有的系统业务。微服务与分布式的细微差别是，微服务的应用不一定是分散在多个服务器上，他也可以是同一个服务器。 　 　　分布式和微服的架构很相似，只是部署的方式不一样而已。 　　分布式服务架构与微服务架构概念的区别与联系是怎样的 　　分布式：分散压力。 　　微服务：分散能力。 　　当下理解 　　分布式： 　　不同模块部署在不同服务器上; 　　作用：分布式解决网站高并发带来问题; 　　集群：相同的服务; 　　多台服务器部署相同应用构成一个集群; 　　作用：通过负载均衡设备共同对外提供服务; 　　SOA［组装服务/ESB企业服务总线］; 　　业务系统分解为多个组件，让每个组件都独立提供离散，自治，可复用的服务能力; 　　通过服务的组合和编排来实现上层的业务流程; 　　作用：简化维护

6-1HDFS课程概述 HDFS Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。 HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。 课程概述 一、操作HDFS 1、Web Console：端口50070 2、命令行 3、Java API 二、HDFS输出数据原理 1、数据上传的原理（过程） 2、数据下载的原理（过程） 三、HDFS的高级特性 1

#0 系列目录# 大型分布式网站架构 大型分布式网站架构技术总结 本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。 #1 大型网站的特点# 用户多，分布广泛 大流量，高并发 海量数据，服务高可用 安全环境恶劣，易受网络攻击 功能多，变更快，频繁发布 从小到大，渐进发展 以用户为中心 免费服务，付费体验 #2 大型网站架构目标# 高性能：提供快速的访问体验。 高可用：网站服务一直可以正常访问。 可伸缩：通过硬件增加/减少，提高/降低处理能力。 安全性：提供网站安全访问和数据加密，安全存储等策略。 扩展性：方便的通过新增/移除方式，增加/减少新的功能/模块。 敏捷性：随需应变，快速响应； #3 大型网站架构模式# 分层：一般可分为，应用层，服务层，数据层，管理层，分析层； 分割：一般按照业务/模块/功能特点进行划分，比如应用层分为首页，用户中心。 分布式：将应用分开部署（比如多台物理机），通过远程调用协同工作。 集群：一个应用/模块/功能部署多份（如：多台物理机），通过负载均衡共同提供对外访问。 缓存：将数据放在距离应用或用户最近的位置，加快访问速度。 异步：将同步的操作异步化。客户端发出请求，不等待服务端响应

一般来说，构建分布式系统的目的一是增加系统容量，二是提高系统的可用性。转换成技术方面，也就是宛成以下两件事。 大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上 关键业务保护。提高后台服务的可用性，把故障隔离起来阻止多米诺骨牌效应（雪崩效应）。如果流量过大，需要到业务降级。 说白了就是干两件事，一是提高整体架构的吞吐量，服务更多的并发和流量，二是提高系统的稳定性，让系统的可用性更高。 提高架构的性能 提高架构的稳定性 分布式系统的关键技术 引入分布式系统，会引入一堆技术问题，需要从以下几个方面解决 服务治理。服务拆分、服务调用、服务发现，服务依赖，服务的关键度定义……服务治理的最大意义是需要把服务间的依赖关系、服务调用链，以及关键的服务给梳理出来，并对这些服务进行性能和可用性方面的管理。 架构软件管理。服务之间有依赖，而且有兼容性问题，所以，整体服务所形成的架构需要有架构版本管理、整体架构的生命周期管理，以及对服务的编排、聚合、事务处理等服务调度功能。 DevOps。分布式系统可以更为快速地更新服务，但是对于服务的测试和部署都会是挑战。所以，还需要 DevOps 的全流程，其中包括环境构建、持续集成、持续部署等。 自动化运维。有了 DevOps 后，我们就可以对服务进行自动伸缩、故障迁移、配置管理、状态管理等一系列的自动化运维技术了。 资源调度管理

原文链接: https://www.cnblogs.com/tommyli/p/3766189.html ZooKeeper 典型应用场景一览 数据发布与订阅（配置中心） 发布与订阅模型，即所谓的配置中心，顾名思义就是发布者将数据发布到ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。 应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样：应用在启动的时候会主动来获取一次配置，同时，在节点上注册一个Watcher，这样一来，以后每次配置有更新的时候，都会实时通知到订阅的客户端，从来达到获取最新配置信息的目的。 分布式搜索服务中，索引的元信息和服务器集群机器的节点状态存放在ZK的一些指定节点，供各个客户端订阅使用。 分布式日志收集系统。这个系统的核心工作是收集分布在不同机器的日志。收集器通常是按照应用来分配收集任务单元，因此需要在ZK上创建一个以应用名作为path的节点P，并将这个应用的所有机器ip，以子节点的形式注册到节点P上，这样一来就能够实现机器变动的时候，能够实时通知到收集器调整任务分配。 系统中有些信息需要动态获取，并且还会存在人工手动去修改这个信息的发问。通常是暴露出接口，例如JMX接口，来获取一些运行时的信息。引入ZK之后，就不用自己实现一套方案了

前言 今天老顾带着大家了解一下 session会话在微服务架构中采用的技术方案 ，以及 企业应用中需要注意的问题。 session作用 我们知道在web应用中， web服务器和浏览器之间是用http协议进行通信的 ，而 http协议是无状态 的，也就是 每个请求都是独立 的。如：用户看一条A新闻，不管是谁看到的都是一模一样的新闻。也就是 跟用户是谁没有任何关系 。 但业务自身的发展，需要把 不同的内容展示给不同的用户 ，即 信息和用户状态关联 起来。如：历史阅读列表---列出用户之前看的新闻。这个需求就是跟用户相关， 每个用户看到的历史阅读列表都是不一样的。 Session的产生 就是为了解决这个问题，把 服务器和客户端之间进行状态保持 的解决方案。 session原理 浏览器在第一次访问web服务器， 服务器端会响应一个sessionId，并且把这个sessionId传输给浏览器，并以cookie保存sessionId到浏览器本地 。 以后的访问会 把这个cookie的sessionId以请求头的方式传给服务器 ，这样服务器就可以拿着 这个sessionId进行查找，服务器中有没有此sessionId对应的用户 ，这样就能标识出哪个用户，如果有用户相关的业务，就是 利用这个sessionId返回用户相关的业务 。 本质就是 浏览器客户端本地保存了sessionId ，