节点服务器

from: https://www.cnblogs.com/wuyudong/p/mapreduce-principle.html 简单解释 MapReduce 算法 一个有趣的例子 你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？ MapReduce方法则是： 给在座的所有玩家中分配这摞牌 让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你 你把所有玩家告诉你的数字加起来，得到最后的结论 拆分 MapReduce合并了两种经典函数： 映射（Mapping） 对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping。 化简（Reducing ） 遍历集合中的元素来返回一个综合的结果。即，输出表单里一列数字的和这个任务属于reducing。 重新审视上面的例子 重新审视我们原来那个分散纸牌的例子，我们有MapReduce数据分析的基本方法。友情提示：这不是个严谨的例子。在这个例子里，人代表计算机，因为他们同时工作，所以他们是个 集群 。在大多数实际应用中，我们假设数据已经在每台计算机上了 – 也就是说把牌分发出去并不是MapReduce的一步。（事实上，在计算机集群中如何存储文件是Hadoop的真正核心。） 通过把牌分给多个玩家并且让他们各自数数，你就在 并行

Kafka 基本概述 什么是 Kafka Kafka 是一个分布式流式平台，它有三个关键能力 订阅发布记录流，它类似于企业中的 消息队列 或 企业消息传递系统 以容错的方式存储记录流 实时记录流 Kafka 的应用 作为消息系统 作为存储系统 作为流处理器 Kafka 可以建立流数据管道，可靠性的在系统或应用之间获取数据。 建立流式应用传输和响应数据。 Kafka 作为消息系统 Kafka 作为消息系统，它有三个基本组件 Producer : 发布消息的客户端 Broker：一个从生产者接受并存储消息的客户端 Consumer : 消费者从 Broker 中读取消息 在大型系统中，会需要和很多子系统做交互，也需要消息传递，在诸如此类系统中，你会找到源系统（消息发送方）和 目的系统（消息接收方）。为了在这样的消息系统中传输数据，你需要有合适的数据管道 这种数据的交互看起来就很混乱，如果我们使用消息传递系统，那么系统就会变得更加简单和整洁 Kafka 运行在一个或多个数据中心的服务器上作为集群运行 Kafka 集群存储消息记录的目录被称为 topics 每一条消息记录包含三个要素： 键（key）、值（value）、时间戳（Timestamp） 核心 API Kafka 有四个核心API，它们分别是 Producer API，它允许应用程序向一个或多个 topics 上发送消息记录

概念 关系型数据库/sql： mysql，oracle 非关系型数据库/nosql： redis（存在内存中），mongodb（存在硬盘上） 1.redis是以key-value形式存储 2.redis支持持久化 redis用途 1.做缓存 2.存储session 3.游戏排行榜 4.对速度要求比较高的数据存储 5.做消息队列 redis 五大数据类型 1. 字符串 格式：set [key] [value] string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。 string类型是Redis最基本的数据类型，一个键最大能存储512MB。 2. 列表 redis列表是简单的字符串列表，按照插入顺序排序，你可以添加一个元素列表的头部（左边）或者尾部（右边） 格式：lpush [name] [value] # 在key对应list的尾部添加字符串元素 格式：rpush [name] [value] # 在key对应list的头部添加字符串元素 格式：lrem [name] [index] # key对应list中删除count个和value相同的元素 格式：llen [name] # 返回对应list长度 3. 哈希（字典） 格式: hmset [name] [key1] [value1] [key2] [value2]

题外话：从字面上来看，ZooKeeper表示动物园管理员，而Hadoop生态系统中，许多项目的Logo都采用了动物，比如Hadoop采用了大象的形象，所以可以ZooKeeper就是对这些动物进行一些管理工作的。 对于单机环境进程内的协调方法，我们一般通过线程锁来协调对共享数据的访问以保证状态的一致性。 但是分布式环境如何进行协调呢？于是，Google创造了Chubby，而ZooKeeper则是对于Chubby的一个开源实现。 ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源 协调服务 ，它提供了一项基本服务： 分布式锁服务 。由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法： 配置维护、组服务、分布式消息队列、分布式通知/协调 等。它被设计为易于编程，使用文件系统目录树作为数据模型。 ZooKeeper集群模式典型架构 Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步，剩下的是follower，提供读服务，leader失效后会在follower中重新选举新的leader。 保证 顺序一致性：按照客户端发送请求的顺序更新数据。 原子性：更新要么成功，要么失败，不会出现部分更新。 单一性 ：无论客户端连接哪个server

redis 主从复制 原理： 1. 从服务器向主服务器发送 SYNC 命令。 2. 接到 SYNC 命令的主服务器会调用 BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。 3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。 4. 主服务器将缓冲区储存的所有写命令发送给从服务器执行。 详细的过程： 主从常见架构： 一个主服务器可以有多个从服务器。 从服务器也可以有自己的从服务器。 复制功能不会阻塞主服务器。 主从数据一致性保证： min-slaves-to-write 1 min-slaves-max-lag 这个特性的运作原理： 从服务器以每秒一次的频率 PING 主服务器一次， 并报告复制流的处理情况。 主服务器会记录各个从服务器最后一次向它发送 PING 的时间。 用户可以通过配置， 指定网络延迟的最大值 min-slaves-max-lag ， 以及执行写操作所需的至少从服务器数量 min-slaves-to-write 。 如果至少有 min-slaves-to-write 个从服务器， 并且这些服务器的延迟值都少于 min-slaves-max-lag 秒， 那么主服务器就会执行客户端请求的写操作。 你可以将这个特性看作 CAP 理论中的 C 的条件放宽版本：

1.缓存概述 ​ 缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。 1.1.缓存的原理 将数据写入/读取速度更快的存储（设备）； 将数据缓存到离应用最近的位置； 将数据缓存到离用户最近的位置; 1.2.缓存分类 在分布式系统中，缓存的应用非常广泛，从部署角度有以下几个方面的缓存应用： - CDN缓存； - 反向代理缓存； - 分布式Cache； - 本地应用缓存； 1.3.缓存媒介 常用中间件：Varnish，Ngnix，Squid，Memcache，Redis，Ehcache等； 缓存的内容：文件，数据，对象； 缓存的介质：CPU，内存（本地，分布式），磁盘（本地，分布式） 1.4.缓存设计 缓存设计需要解决以下几个问题： 1>缓存什么？哪些数据需要缓存：1.热点数据；2.静态资源。 2>缓存的位置？CDN，反向代理，分布式缓存服务器，本机（内存，硬盘） 3>如何缓存的问题？ - 过期策略 - 固定时间：比如指定缓存的时间是30分钟； - 相对时间：比如最近10分钟内没有访问的数据； - 同步机制 - 实时写入；（推） - 异步刷新；（推拉） 2.CDN缓存 ​ CDN主要解决将数据缓存到离用户最近的位置，一般缓存静态资源文件（页面，脚本，图片，视频，文件等）。国内网络异常复杂，跨运营商的网络访问会很慢

负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy，商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。 一、负载均衡LVS基本介绍 LB集群的架构和原理很简单，就是当用户的请求过来时，会直接分发到Director Server上，然后它把用户的请求根据设置好的调度算法，智能均衡地分发到后端真正服务器(real server)上。为了避免不同机器上用户请求得到的数据不一样，需要用到了共享存储，这样保证所有用户请求的数据是一样的。 LVS是 Linux Virtual Server 的简称，也就是Linux虚拟服务器。这是一个由章文嵩博士发起的一个开源项目，它的官方网是 http://www.linuxvirtualserver.org 现在 LVS 已经是 Linux 内核标准的一部分。使用 LVS 可以达到的技术目标是：通过 LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群，它具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS架构从逻辑上可分为调度层、Server集群层和共享存储。 二、LVS的基本工作原理 1.

MySQL Shell是MySQL的高级命令行客户端和代码编辑器。 除SQL外，MySQL Shell还为JavaScript和Python提供脚本功能。 有关使用MySQL Shell的信息，请参见 第19章， MySQL Shell用户指南 。 当MySQL壳通过X协议连接到MySQL的服务器时，X DevAPI可用于处理关系数据和文档数据，请参见 第20章， 将MySQL的用作文档存储 。 MySQL的壳包含AdminAPI，使您可以使用InnoDB的集群，请参阅 第22章 InnoDB的集群 。 mysqlsh 支持以下命令行选项。 表4.14 mysqlsh选项 格式 描述 介绍 --auth-方法 使用的身份验证方法 - 经典 在版本8.0.3中弃用。 创建一个ClassicSession - 簇 连接到InnoDB的集群 8.0.4 - 数据库 要使用的模式（--schema的别名） --dba 在与服务器连接时启用X协议 --dbpassword 连接到服务器时使用的密码 --dbuser 连接到服务器时使用的MySQL的用户名 - 执行 执行命令并退出 - 文件 要在批处理模式下处理的文件 - 力 即使发生错误，仍可继续SQL和批处理模式 - 帮帮我 显示帮助信息并退出 - 主办 连接到给定主机上的MySQL的服务器 - 互动 在批处理模式下模拟交互模式 -

　Zookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper，本文不谈如何使用zookeeper，而是zookeeper到底有哪些实际的运用，哪些类型的应用能发挥zookeeper的优势，最后谈谈zookeeper对分布式网站架构能产生怎样的作用。 　　Zookeeper是针对大型分布式系统的高可靠的协调系统。由这个定义我们知道zookeeper是个协调系统，作用的对象是分布式系统。为什么分布式系统需要一个协调系统了？理由如下： 　　开发分布式系统是件很困难的事情，其中的困难主要体现在分布式系统的“部分失败”。“部分失败”是指信息在网络的两个节点之间传送时候，如果网络出了故障，发送者无法知道接收者是否收到了这个信息，而且这种故障的原因很复杂，接收者可能在出现网络错误之前已经收到了信息，也可能没有收到，又或接收者的进程死掉了。发送者能够获得真实情况的唯一办法就是重新连接到接收者，询问接收者错误的原因，这就是分布式系统开发里的“部分失败”问题。 　　Zookeeper就是解决分布式系统“部分失败”的框架。Zookeeper不是让分布式系统避免“部分失败”问题，而是让分布式系统当碰到部分失败时候，可以正确的处理此类的问题，让分布式系统能正常的运行。 　

群集应用概述 群集的含义 1.Cluster,集群、群集 2.由多台主机构成，但对外只表现为一个整体 在互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心 解决方法 1.使用价格昂贵的小型机、大型机 2.使用普通服务器构建服务群集 企业群集分类 根据群集所针对的目标差异，可分为三种类型： 1.负载均衡群集（轮询，最小连接的加权重） 2.高可用群集（访问的速度，可靠性） 3.高性能运算群集（并发处理任务） 负载均衡群集(Load Balance Cluster) 1.以提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、负载(LB) 的整体性能 2.LB的负载分配依赖于主节点的分流算法 高可用群集(High Availability Cluster) 1.以提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA) 的容错效果 2.HA的工作方式包括双工和主从两种模式 高性能运算群集(High Performance Computer Cluster) 1.以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算(HPC)能力 2.高性能运算群集的高性能依赖于"分布式运算”、“并行计算” ，通过专用硬件和软件将多个服务器的CPU