分布式部署

在弄清楚这个问题之前，我们先了解一下什么是分布式的CAP定理。 根据百度百科的定义，CAP定理又称CAP原则，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），最多只能同时三个特性中的两个，三者不可兼得。 一、CAP的定义 Consistency (一致性)： “all nodes see the same data at the same time”,即更新操作成功并返回客户端后，所有节点在同一时间的数据完全一致，这就是分布式的一致性。一致性的问题在并发系统中不可避免，对于客户端来说，一致性指的是并发访问时更新过的数据如何获取的问题。从服务端来看，则是更新如何复制分布到整个系统，以保证数据最终一致。 Availability (可用性): 可用性指“Reads and writes always succeed”，即服务一直可用，而且是正常响应时间。好的可用性主要是指系统能够很好的为用户服务，不出现用户操作失败或者访问超时等用户体验不好的情况。 Partition Tolerance (分区容错性): 即分布式系统在遇到某节点或网络分区故障的时候，仍然能够对外提供满足一致性和可用性的服务。 分区容错性要求能够使应用虽然是一个分布式系统，而看上去却好像是在一个可以运转正常的整体

环境信息 操作系统：macOS Mojave 10.14.6 JDK：1.8.0_211 (安装位置：/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home) hadoop：3.2.1 开通ssh 在"系统偏好设置"->"共享"，设置如下： 免密码登录 执行以下命令创建秘钥： ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 一路next，最终会在~/.ssh目录生成id_rsa和id_rsa.pub文件 执行以下命令，将自己的秘钥放在ssh授权目录，这样ssh登录自身就不需要输入密码了： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ssh登录试试，这次不需要密码了： Last login: Sun Oct 13 21:44:17 on ttys000 (base) zhaoqindeMBP:~ zhaoqin$ ssh localhost Last login: Sun Oct 13 21:48:57 2019 (base) zhaoqindeMBP:~ zhaoqin$ 下载hadoop 下载hadoop，地址是： http://hadoop.apache.org/releases.html 将下载文件hadoop-3.2

MongoDB4.0搭建分布式集群 2018年09月15日 11:11:42 Calon Mo 阅读数 3973 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/kevinmcy/article/details/82712074 搭建之前先了解一下MongoDB分片群集主要有如下三个组件： Shard：分片服务器，用于存储实际的数据块，实际生产环境中一个shard server 角色可以由几台服务器组成一个Peplica Set 承担，防止主机单点故障。 Config Server：配置服务器，存储了整个分片群集的配置信息，其中包括chunk信息。 Routers：前端路由，客户端由此接入，且让整个群集看上去像单一数据库，前端应用可以透明使用。 系统环境 Centos7.5、MongoDB4.0.2、关闭防火墙。 IP 路由服务端口 配置服务端口 分片1端口 分片2端口 分片3端口 10.211.55.3 27017 27018 27001 27002 27003 10.211.55.4 27017 27018 27001 27002 27003 10.211.55.5 27017 27018 27001 27002 27003 三台机器的配置服务(27018

什么是分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连 分布式文件系统的设计基于客户机/服务器模式 常用的分布式文件系统： Lustre 、 Hadoop 、 FastDFS 、 Ceph 、 GlusterFS 什么是Ceph Ceph是一个分布式文件系统 具有高扩展、高可用、高性能的特点 Ceph可以提供对象存储、块存储、文件系统存储 Ceph可以提供EB级别的存储空间（EB->PB->TB->GB） 软件定义存储(Software Defined Storage)作为存储行业的一大发展趋势，已经越来越受到市场的认可 Ceph组件 OSDs:存储设备 Monitors:集群监控组件 RBD：对象存储网关 MDSs:存放文件系统的元数据（对象存储和块存储不需要该组件） Client:ceph客户端 准备四台虚拟机，其三台作为存储集群节点，一台安装为客户端，实现如下功能： 创建1台客户端虚拟机 创建3台存储集群虚拟机 配置主机名、IP地址、YUM源 修改所有主机的主机名 配置无密码SSH连接 配置NTP时间同步 创建虚拟机磁盘 拓扑结构如图。 一：安装前准备 （1）物理机为所有节点配置yum源服务器。 [root@room9pc01 ~]# yum -y

(一) GlusterFS相关概念: GlusterFS是一个开源的分布式文件 系统，同时也是Scale-Out存储解决方案Gluster的核心，在存储数据方面有强大的横向扩展能力。GlusterFS主要由存储服务器、 客户端及NFS/Samba存储网关(可选组件)组成。GlusterFS架构中最大的设计特点是没有元数据服务器组件，也就是说没有主/从服务器之分，每一个节点都可以是主服务器。 Gluster相关考文档如下(我下面的配置是基于本地yum配置的,若需要搭建最新版本,直接按照下面的文档链接进行配置) : Gluster官网,基于centos7/Redhat安装Gluster官方文档 GlusterF S相关术语: 3）GlusterFS的卷类型： 在以上几种卷类型中,有些可能无法理解透彻，但是没关系,在生产环境中，大多数公司考虑到磁盘的利用率,会使用RAID5，或者RAID 10,关于RAID 5卷的配置可以参考: GlusterFS Dispersed Volume(纠错卷)总结。 4）下面介绍GlusterFS一些卷类型的特点（不包括RAID5）： 1、分布式卷（类似Windows中的跨区卷）： 分布式卷是GlusterFS的默认卷，在创建卷时，默认选项是创建分布式卷。在该模式下，并没有对文件进行分块处理，文件直接存储在某个server节点上。 2、条带卷

Glusterfs 分布式存储安装部署 Glusterfs 分布式存储部署 是存储当中可以选择的一种 现在很多虚拟化 云计算都在用软件存储 例如 ceph Glusterfs 等等 今天我们部署一下Glusterfs环境 GlusterFs安装 环境信息： Glusterfs-01 10.20.0.200 Glusterfs-02 10.20.0.201 Glusterfs-03 10.20.0.202 硬盘各一块 8G 测试 /dev/sdb 服务器版本信息 # cat /etc/redhat-release CentOS release 6.6 (Final) # uname -r 2.6.32-504.el6.x86_64 软件下载地址 http://download.gluster.org/pub/gluster/glusterfs/3.4/3.4.6/CentOS/epel-6.6/x86_64 依赖包安装 直接用Yum安装 每台都需要安装 # yum -y install libibverbs librdmacm xfsprogs nfs-utils rpcbind libaio liblvm2app lvm2-devel 软件安装 安装服务器端软件包 glusterfs-3.4.6-1.el6.x86_64.rpm glusterfs-api-3.4.6-1.el6

分布式文件系统理论基础 分布式文件系统出现 计算机通过文件系统管理，存储数据，而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，已经不能满足目前的需求。 分布式文件系统可以有效解决数据的存储和管理难题，将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上，或者是从哪个节点中获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。 典型代表NFS NFS（Network File System）即网络文件系统，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。NFS的优点如下： （1）节约使用的磁盘空间 客户端经常使用的数据可以集中存放在一台机器上，并使用NFS发布，那么网络内部所有计算机可以通过网络访问，不必单独存储。 （2）节约硬件资源 NFS还可以共享软驱，CDROM和ZIP等的存储设备，减少整个网络上的可移动设备的数量。 （3）用户主目录设定 对于特殊用户，如管理员等，为了管理的需要，可能会经常登陆到网络中所有的计算机

决定share一下我的cassandra学习成果，写一些博客，跟大家共同分享一下，准备写10篇文章，内容分别涉及 分布式存储概述及CAP, 数据模型, 分区器， 副本机制， 存储机制， 数据读写删， 最终一致性， gossip, cassandra的实际应用， 学习总结。 先写第一篇，先说咋理解分布式。 这术语解释起来拗口，举个例子就比较好理解了。 比如说参与cloudtask这个项目的人，有好几拨，有王薇 team，有徐超 team， 有韶涵 team， 有田萌 team, 有红艳 team. 为啥分成几拨人来做呢？ 为啥不是james大侠（CTO）一力承担？ 因为james智慧再高超，本领再强大，也没有办法一个人处理所有事情。 计算机里有两个词，一个叫纵向扩展，一个叫横向扩展，james加班加点看代码，这个是纵向扩展，这个扩展是有限的，扩展到24个小时，就到头了。 因为此，较为可行的办法是横向扩展，就是如前所说的，分成几拨人来做，这就是分布式了。 分布式的优点是大大的，最明显的就是可以同时处理很多事情，可以同时响应很多请求。 分布式万岁！ 且慢！ 啥东西也不是光有优点，分布式的缺点也是大大的。 这缺点，其实很容易想到，刚才的例子中，工作分了几拨人来做，每人都是James吗？ ＮＯ。每人都会有自己的认知，每人的认知都不同，分成５波人来做，５波人就有５个认知，所以要怎么办呢？ 沟通

1.ZooKeeper是一个开放源码的分布式协调服务，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。 Zookeeper保证了如下分布式一致性特性： 顺序一致性 原子性 单一视图 可靠性 实时性（最终一致性） 客户端的读请求可以被集群中的任意一台机器处理， 如果读请求在节点上注册了监听器，这个监听器也是由所连接的zookeeper机器来处理 。对于写请求，这些请求会同时发给其他zookeeper机器并且达成一致后，请求才会返回成功。因此，随着zookeeper的集群机器增多，读请求的吞吐会提高但是写请求的吞吐会下降。 有序性是zookeeper中非常重要的一个特性，所有的更新都是全局有序的，每个更新都有一个唯一的时间戳，这个时间戳称为zxid（Zookeeper Transaction Id）。而读请求只会相对于更新有序，也就是读请求的返回结果中会带有这个zookeeper最新的zxid。 Zookeeper提供了文件系统和通知机制。Zookeeper提供一个多层级的节点命名空间（节点称为znode）。与文件系统不同的是

原文 https://mp.weixin.qq.com/s/6yg_bt5mYKWdXS0CidY6Rg 从用户角度看，存储就是一块盘或者一个目录，用户不关心盘或者目录如何实现，用户要求非常“简单”，就是稳定，性能好。为了能够提供稳定可靠的存储产品，各个厂家推出了各种各样的存储技术和概念。为了能够让大家有一个整体认识，本文先介绍存储中的这些概念。 从存储介质角度，存储介质分为机械硬盘和固态硬盘（SSD）。机械硬盘泛指采用磁头寻址的磁盘设备，包括SATA硬盘和SAS硬盘。由于采用磁头寻址，机械硬盘性能一般，随机IOPS一般在200左右，顺序带宽在150MB/s左右。固态硬盘是指采用Flash/DRAM芯片+控制器组成的设备，根据协议的不同，又分为SATA SSD，SAS SSD，PCIe SSD和NVMe SSD。 从产品定义角度，存储分为本地存储（DAS），网络存储（NAS），存储局域网（SAN）和软件定义存储（SDS）四大类。 DAS就是本地盘，直接插到服务器上 NAS是指提供NFS协议的NAS设备，通常采用磁盘阵列+协议网关的方式 SAN跟NAS类似，提供SCSI/iSCSI协议，后端是磁盘阵列 SDS是一种泛指，包括分布式NAS（并行文件系统），ServerSAN等 从应用场景角度，存储分为文件存储（Posix/MPI），块存储（iSCSI/Qemu）和对象存储（S3