节点服务器

MongoDB 分片及副本集配置说明 目录 MongoDB 分片及副本集配置说明 ... 1 第一部分 副本集 ... 2 第一步 副本集部署 ... 3 第二步 副本集初始化 ( 在哪个端口下初始化都行 ) . 4 第三步 启动仲裁服务器 ... 4 第二部分 分片 ... 5 第一步 开启 config 服务器 ... 5 第二步 开启 mongos 服务器 ... 5 第三步 启动 mongod 服务器 ... 5 第四步 分片配置 ... 6 第三部分 附录 ... 7 一、分片介绍 ... 7 二、试验配置说明 ... 8 第一步 开启 config 服务器 ... 8 第二步 开启 mongos 服务器 ... 8 第三步 启动 mongod 服务器 ... 9 第四步 服务配置 ... 9 第五步 查看效果 ... 10 第一部分 分片 图例说明：本例用三台机器作为示例,他们的ip分别为192.168.2.196、192.168.2.197、192.168.2.198, 每台服务器上分别存放着config服务器(端口为：20001)、 mongos服务器(端口为：20000)、mongod服务器(端口为：30001)、副本集服务器(端口：30002)。 在MongoDB里面存在另一种集群，就是分片技术，跟sql server的表分区类似

1. 大数据是什么? 　　1.1 大数据就是4V的特征 　　　　Volume (大量) , Velocity (高速) , Variety (多样) , Value (价值) , 即数据体量巨大, 数据类型繁多, 价值密度低, 处理速度快. 2. Apache Zookeeper 　　2 .1 Zookeeper概述 　　　　Zookeeper是一个 分布式协调服务 的开源框架. 主要用来解决分布式集群中应用系统的 一致性 问题. 　　　　Zookeeper本质上是一个 分布式的小文件存储系统 . 提供基于类似于文件系统的目录树方式的数据存储, 并且可以对树种的节点进行有效管理. 从而用来维护和监控你存储的数据的状态变化. 通过监控这些数据状态的变化, 从而可以达到基于数据的集群管理. 　　2 .2 Zookeeper特性 　　　　 全局数据一致 : 集群中每个服务器保存一份相同的数据副本, Client无论连接到哪个服务器, 展示的数据都是一致的, 这是最重要的特性. 　　　　 可靠性 : 如果消息被其中一台服务器接受, 那么将被所有的服务器接受. 　　　　 顺序性 : 包括全局有序和偏序两种: 全局有序是指如果一台服务器上消息a在消息b前发布, 则在所有Server上消息a都将在消息b前被发布. 偏序是指如果一个消息b在消息a后被同一个发送者发布, 消息a必将排在消息b前面.

命令行选项 以下选项全部在命令行中指定。 -advertise - 通告地址用于更改我们通告给集群中其他节点的地址。 默认情况下， -bind 地址是通告的。 但是，在某些情况下，可能存在无法绑定的可路由地址。 这个标志使闲聊不同的地址来支持这一点。 如果此地址不可路由，则节点将处于持续振荡状态，因为其他节点会将非可路由性视为故障。 在Consul 1.0和更高版本中，这可以设置为 go-sockaddr 模板。 -advertise-wan - 广告WAN地址用于更改我们向通过WAN加入的服务器节点发布的地址。 这也可以在与 translate_wan_addrs 配置选项 结合使用时在客户端代理上设置 。 默认情况下， -advertise 地址是通告的。 但是，在某些情况下，所有数据中心的所有成员都不能位于同一个物理或虚拟网络上，尤其是混合云和专用数据中心的混合设置。 该标志使服务器节点能够通过WAN的公共网络闲聊，同时使用专用VLAN来相互闲聊以及彼此的客户端代理，并且如果远程数据中心是远程数据中心，则允许客户端代理在从远程数据中心访问时访问此地址配置 translate_wan_addrs 。 在Consul 1.0和更高版本中，这可以设置为 go-sockaddr 模板 -bootstrap - 该标志用于控制服务器是否处于“引导”模式。 每个 数据中心 最多 只能运行

Centos7.5基于MySQL5.7的 InnoDB Cluster 多节点高可用集群环境部署记录 转自 https://www.cnblogs.com/kevingrace/p/10466530.html 一. MySQL InnoDB Cluster 介绍 MySQL的高可用架构无论是社区还是官方，一直在技术上进行探索，这么多年提出了多种解决方案，比如MMM, MHA, NDB Cluster, Galera Cluster, InnoDB Cluster, 腾讯的PhxSQL, MySQL Fabric., aliSQL。MySQL官方在2017年4月推出了一套完整的、高可用的Mysql解决方案 - MySQL InnoDB Cluster, 即一组MySQL服务器可以配置为一个MySQL集群。在默认的单主节点模式下，集群服务器具有一个读写主节点和多个只读辅节点。辅助服务器是主服务器的副本。客户端应用程序通过MySQL Router连接到主服务程序。如果主服务连接失败，则次要的节点自动提升为主节点，MySQL Router请求到新的主节点。InnoDB Cluster不提供NDB Cluster支持。 -> 分布式MySQL之InnoDB和NDB 分布式MySQL主要有InnoDB和NDB模式, NDB是基于集群的引擎-数据被自动切分并复制到数个机器上（数据节点），

群集的含义 Cluster，集群，群集 由多台主机构成，但对外只表现为一个整体 在互联网应用中，随着站点对硬件性能，相应速度，服务稳定性，数据可靠性等要求越来越高，单台服务器力不从心 解决方法： 使用价格昂贵的小型机，大型机 使用普通服务器构建服务群集 企业群集分类 根据群集所针对的目标差异，可分为三种类型 负载均衡群集 高可用群集 高性能运算群集 负载均衡群集  以提高应用系统的响应能力，尽可能处理更多的访问请求，减少延迟为目标，获得高并发，高负载LB）的整体性能  LB的负载分配依赖于主节点的分流算法 高可用群集  以提高应用系统的可靠性，尽可能的减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果  HA的工作方式包括双工和主从两种模式 高性能运算群集  以提高应用系统的CPU运算速度，扩展资源和分析能力为目标，获得相当于大型，超级计算机的高性能运算（HPC）能力  高性能运算群集的高性能依赖于“分布式运算”，“并行计算”，通过专用硬件和软件将多个服务器的CPU，内存等资源整合在一起，实现只有大型，超级计算机才具备的计算能力 负载均衡群集工作模式分析 负载均衡群集是目前企业用的最多的群集类型 群集的负载调度技术有三种工作模式： 地址转换 IP隧道 直接路由 NAT模式 地址转换：  简称NAT模式，类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关

关于tensorflow的分布式训练和部署， 官方有个英文的文档介绍，但是写的比较简单， 给的例子也比较简单，刚接触分布式深度学习的可能不太容易理解。在网上看到一些资料，总感觉说的不够通俗易懂，不如自己写一个通俗易懂给大家分享一下。 如果大家有看不懂的，欢迎留言，我再改文章，改到大学一年级的学生可以看懂的程度。 1. 单机多GPU训练 先简单介绍下单机的多GPU训练，然后再介绍分布式的多机多GPU训练。 单机的多GPU训练， tensorflow的官方已经给了一个cifar的例子，已经有比较详细的代码和文档介绍， 这里大致说下多GPU的过程，以便方便引入到多机多GPU的介绍。 单机多GPU的训练过程： a) 假设你的机器上有3个GPU; b) 在单机单GPU的训练中，数据是一个batch一个batch的训练。 在单机多GPU中，数据一次处理3个batch(假设是3个GPU训练）， 每个GPU处理一个batch的数据计算。 c） 变量，或者说参数，保存在CPU上 d） 刚开始的时候数据由CPU分发给3个GPU， 在GPU上完成了计算，得到每个batch要更新的梯度。 e） 然后在CPU上收集完了3个GPU上的要更新的梯度， 计算一下平均梯度，然后更新参数。 f） 然后继续循环这个过程。 通过这个过程，处理的速度取决于最慢的那个GPU的速度。如果3个GPU的处理速度差不多的话，

redis 简介 Redis 是用 C 语言开发的一个开源的高性能键值对（key-value）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止 Redis 支持的键值数据类型如下： 字符串类型 散列类型 列表类型 集合类型 有序集合类型 Redis 的应用场景 缓存（数据查询、短连接、新闻内容、商品内容等等） 分布式集群架构中的 session 分离 聊天室的在线好友列表 任务队列（秒杀、抢购、12306 等等） 应用排行榜 网站访问统计 数据过期处理（可以精确到毫秒） Redis HA 方案 HA(High Available，高可用性群集)机集群系统简称，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执 行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。 Redis 一般以主/从方式部署（这里讨论的应用从实例主要用于备份，主实例提供读写）该方式要实现 HA 主要有如下几种方案： 主从及哨兵架构 redis cluster集群 Redis一致性哈希算法 将用户和redis节点的hash值对应到一个32位的环形数据结构上，环形结构首尾封闭

Watcher 在ZooKeeper中，接口类Watcher用于表示一个标准的事件处理器，其定义了事件通知相关的逻辑，包含KeeperState和EventType两个枚举类，分别代表了通知状态和事件类型，同时定义了事件的回调方法：process（WatchedEvent event）。 7.1什么是Watcher接口 同一个事件类型在不同的通知状态中代表的含义有所不同，表7-3列举了常见的通知状态和事件类型。 表7-3 Watcher通知状态与事件类型一览 KeeperState EventType 触发条件 说明 None （-1） 客户端与服务端成功建立连接 SyncConnected （0） NodeCreated （1） Watcher监听的对应数据节点被创建 NodeDeleted （2） Watcher监听的对应数据节点被删除 此时客户端和服务器处于连接状态 NodeDataChanged （3） Watcher监听的对应数据节点的数据内容发生变更 NodeChildChanged （4） Wather监听的对应数据节点的子节点列表发生变更 Disconnected （0） None （-1） 客户端与ZooKeeper服务器断开连接 此时客户端和服务器处于断开连接状态 Expired （-112） Node （-1） 会话超时 此时客户端会话失效

在 ZooKeeper中，接口类Watcher用于表示一个标准的事件处理器，其定义了事件通知相关的逻辑，包含KeeperState和EventType两个枚举类，分别代表了通知状态和事件类型，同时定义了事件的回调方法：process（WatchedEvent event）。 一,什么 是 Watcher 接口 同一个事件类型在不同的通知状态中代表的含义有所不同，表 7-3列举了常见的通知状态和事件类型。 表 7-3 Watcher通知状态与事件类型一览 KeeperState EventType 触发条件 说明 None （-1） 客户端与服务端成功建立连接 SyncConnected （0） NodeCreated （1） Watcher监听的对应数据节点被创建 NodeDeleted （2） Watcher监听的对应数据节点被删除 此时客户端和服务器处于连接状态 NodeDataChanged （3） Watcher监听的对应数据节点的数据内容发生变更 NodeChildChanged （4） Wather监听的对应数据节点的子节点列表发生变更 Disconnected （0） None （-1） 客户端与ZooKeeper服务器断开连接 此时客户端和服务器处于断开连接状态 Expired （-112） Node （-1） 会话超时 此时客户端会话失效

原文地址： TLS etcd支持用于客户端到服务器以及对等方（服务器到服务器/集群）通信的自动TLS以及通过客户端证书的身份验证. 要启动并运行，首先要获得一个成员的CA证书和签名密钥对。 建议为集群中的每个成员创建并签名一个新的密钥对。 为了方便起见， cfssl 工具提供了一个简单的接口来生成证书，我们在 此处 提供了使用该工具的示例。 或者，尝试使用本指南 生成自签名密钥对 。 基本设置 etcd通过命令行参数或环境变量采用了几种与证书相关的配置选项： 客户端到服务器的通信： --cert-file=<path> :用于SSL/TLS 与 etcd的连接的证书。设置此选项后，advertise-client-urls可以使用HTTPS模式。 --key-file=<path> :证书的密钥。 必须未加密。 --client-cert-auth :设置此选项后，etcd将检查所有传入的HTTPS请求以查找由受信任CA签名的客户端证书，不提供有效客户端证书的请求将失败。 如果启用了身份验证，则证书将为“公用名”字段指定的用户名提供凭据。 --trusted-ca-file=<path> :受信任的证书颁发机构。 --auto-tls :使用自动生成的自签名证书进行与客户端的TLS连接。 对等节点(服务器到服务器/集群)间的通信： 对等节点选项的工作方式与客户端到服务器的选项相同：