分布式部署

分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。优点如下： 分布式存储的六大优点 1. 高性能 一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度;一旦这些区域不再是热点，那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能，按照一定的策略，先将数据写入高速存储，再在适当的时间进行同步落盘。 2. 支持分级存储 由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下，分层存储的优势可以发挥到最佳。解决了目前缓存分层存储最大的问题是当性能池读不命中后，从冷池提取数据的粒度太大，导致延迟高，从而给造成整体的性能的抖动的问题。 3. 多副本的一致性 与传统的存储架构使用RAID模式来保证数据的可靠性不同，分布式存储采用了多副本备份机制。在存储数据之前，分布式存储对数据进行了分片，分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性，分布式存储通常采用的是一个副本写入，多个副本读取的强一致性技术，使用镜像、条带

名词解释 服务的状态 : 举例来说，服务的状态信息，通常是指在服务端保存的“用户的登陆信息”，“用户的角色信息”，“请求的状态信息”等。不用的用户及角色拥有不同的权限，从而面对同样的请求返回不同的结果。 无状态服务 ：就是同样的服务多次部署形成一个服务组，一个请求落到服务组的任意一个服务上，都会返回同样的结果。所谓无状态服务有两层含义，第一层就是真的没有状态信息，第二层就是服务组的状态不是存储在单个服务上，而是以服务组为单位集中保存。 无状态服务的意义 实现服务的负载均衡，一个好汉三个帮，一个服务承载不下的流量多个服务来承载。无状态服务是实现微服务的基础。 你真的了解session与cookies么？ 第一层楼 what is session&cookies 什么是 Cookie HTTP Cookie（也叫 Web Cookie或浏览器 Cookie）是服务器发送到用户浏览器并保存在本地的一小块数据，它会在浏览器下次向同一服务器再发起请求时被携带并发送到服务器上。通常，它用于告知服务端两个请求是否来自同一浏览器，如保持用户的登录状态。Cookie 使基于无状态的 HTTP 协议记录稳定的状态信息成为了可能。 Cookie 主要用于以下三个方面： 会话状态管理（如用户登录状态、购物车、游戏分数或其它需要记录的信息） 个性化设置（如用户自定义设置、主题等） 浏览器行为跟踪

以前带我的人说过，最好的学习就是看官方文档，个人也有4个T的学习视频，但是会发现讲的都是入门，有的也比较浅。 官方文档比较官方，也比较权威，打开xxl-job的官网，写的贼详细，有些人喜欢收博客，不喜欢看官网，因此就直接复制过来了， 过段时间会参考文档，自己来一遍。 一、简介 1.1 概述 XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 1.2 社区交流 社区交流 1.3 特性 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手； 2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效； 3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA； 4、执行器HA（分布式）：任务分布式执行，任务”执行器”支持集群部署，可保证任务执行HA； 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址； 6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务； 7、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等； 8

分片（水平拆分） 2.取模分片（mod-long） cd /data/mycat/conf cp schema.xml schema.xml.rang-long vi schema.xml <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> <table name="t4" dataNode="sh1,sh2" rule="mod-long" /> </schema> <dataNode name="sh1" dataHost="oldguo1" database= "taobao" /> <dataNode name="sh2" dataHost="oldguo2" database= "taobao" /> <dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1">

1 概述 本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点 NN=NameNode（名称节点） SND=SecondaryNameNode（NameNode的辅助节点） DN=DataNode（数据节点） 2 前期准备 （1）准备五台服务器 如：master1、master2、slave1、slave2、slave3 （2）关闭所有服务器的防火墙 $ systemctl stop firewalld$ systemctldisablefirewalld （3）分别修改各服务器的/etc/hosts文件，内容如下： 192.168.56.132 master1 192.168.56.133 master2 192.168.56.134 slave1 192.168.56.135 slave2 192.168.56.136 slave3 注：对应修改个服务器的/etc/hostname文件，分别为 master1、master2、slave1、slave2、slave3 （4）分别在各台服务器创建一个普通用户与组 $ groupadd hadoop#增加新用户组$ useradd

参考地址： https://www.cnblogs.com/ultranms/p/9585191.html 在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. 这大概描述了Zookeeper主要可以干哪些事情：配置管理，名字服务，提供分布式同步以及集群管理。那这些服务又到底是什么呢？我们为什么需要这样的服务？我们又为什么要使用Zookeeper来实现呢，使用Zookeeper有什么优势？接下来我会挨个介绍这些到底是什么，以及有哪些开源系统中使用了。 配置管理 在我们的应用中除了代码外，还有一些就是各种配置。比如数据库连接等。一般我们都是使用配置文件的方式，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更

用户可以体验分布式NAS集群EonStor CS出色而稳定的性能，以及所具备的配置灵活性。本文针对一些客户的需求信息，提出设计解决方案所考虑的几个要点，以便满足客户的需求。 容量 在选择数据保护级别时，容量是最重要的因素之一。 客户一般会预先提供原始容量或可用容量的要求。 在Infortrend分布式文件系统中，我们采用纠删码/副本技术跨节点保护数据。对于看重容量的应用，建议用户通过纠删码来保护数据，因为纠删码在容量使用率上效果更好。 而特别强调数据关键性的应用程序，副本会更满足这类的需求。 EonStor CS还保留Infortrend RAID技术保护单个节点的数据，并且保持出色的性能以进行纵向扩展。 EonStor CS有3种RAID级别可供选择: 性能模式–在所有RAID模式中性能最高。 用户使用硬盘做RAID5。 平衡模式–用户使用硬盘做RAID5。但留下一颗或多颗盘做热备，这样提供更好的数据保护，并且也具备良好的容量使用情况。 保护模式–用户使用硬盘做RAID 6。在所有RAID模式中对数据的保护最高 用户可以最低部署1个节点的EonStorCS集群，获得最基本的保护级别（专用分布式文件系统），用户还可以将集群扩展到144个节点，进行横向扩展。CS纵向扩展时，有两种扩展柜规格可供使用：3U16盘位和4U60盘位。 一个节点最多可以连接3个3U 16盘的扩展柜

一、什么是分布式架构 　　分布式系统（distributed system） 是建立在网络之上的软件系统。 　　内聚性：是指每一个数据库分布节点高度自治，有本地的数据库管理系统。 　　透明性：是指每一个数据库分布节点对用户的应用来说都是透明的，看不出是本地还是远程。 　　 　　在分布式数据系统中，用户感觉不数据是分布的，即用户不须知道关系是否分割，有无副本，数据存在于那个站点以及事物在哪个站点上执行。 　　简单来说：在一个分布式系统中，一组独立的计算机展现给用户的是一个统一的整体，就好像是一个系统似的。 　　 分布式系统作为一个整体对用户提供服务，而整个系统的内部的协作对用户来说是透明的，用户就像是指使用一个mysql 一样。 如：分布式mysql中间件 mycat ,来处理大并发大数据量的构架。 二、分布式架构的应用 　　1、分布式文件系统 　　　　例如：出名的有 Hadoop 的 HDFS, 还有 google的 GFS , 淘宝的 TFS 等 　　2、分布式缓存系统 　　　　例如：memcache , hbase, mongdb 等 　　3、分布式数据库 　　　　例如：mysql, mariadb, postgreSql 等 　　4、分布式webService 　　5、分布式计算 　　 举例 　　　　以分布式mysql 数据库中间件mycat 为例　　　　 　　　　MySQL

1 概述 本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点 NN=NameNode（名称节点） SND=SecondaryNameNode（NameNode的辅助节点） DN=DataNode（数据节点） 2 前期准备 （1）准备五台服务器 如：master1、master2、slave1、slave2、slave3 （2）关闭所有服务器的防火墙 $ systemctl stop firewalld$ systemctldisablefirewalld （3）分别修改各服务器的/etc/hosts文件，内容如下： 192.168.56.132 master1 192.168.56.133 master2 192.168.56.134 slave1 192.168.56.135 slave2 192.168.56.136 slave3 注：对应修改个服务器的/etc/hostname文件，分别为 master1、master2、slave1、slave2、slave3 （4）分别在各台服务器创建一个普通用户与组 $ groupadd hadoop#增加新用户组$ useradd

简单介绍 当要将配置中心部署到生产环境中时，与服务注册中心一样，我们也希望它是一个高可用的应用。Spring Cloud Config实现服务端的高可用非常简单，主要有以下两种方式。 传统模式 ：不需要为这些服务端做任何额外的配置，只需要遵守一个配置规则，将所有的Config Server都指向同一个Git仓库，这样所有的配置内容就通过统一的共享文件系统来维护。而客户端在指定Config Server位置时，只需要配置Config Server上层的负载均衡设备地址即可， 就如下图所示的结构。 服务模式 ：除了上面这种传统的实现模式之外，我们也可以将Config Server作为一个普通的微服务应用，纳入Eureka的服务治理体系中。这样我们的微服务应用就可以通过配置中心的服务名来获取配置信息，这种方式比起传统的实现模式来说更加有利于维护，因为对于服务端的负载均衡配置和客户端的配置中心指定都通过服务治理机制一并解决了，既实现了高可用，也实现了自维护。由于这部分的实现需要客户端的配合，具体示例读者可详细阅读 “客户端详解 ”一节中的 “服务化配置中心” 小节。 原理描述   通过上图我们能看到配置服务其实是从本地的Git仓库中获取的信息，Git本地库通过pull命令同步远程库中的内容。当配置中心客户端重新启动的时候会显示的执行pull命令来拉取最新的配置信息