GlusterFS

1.Glusterfs简介 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。 说起glusterfs可能比较陌生，可能大家更多的听说和使用的是NFS，GFS，HDFS之类的，这之中的NFS应该是使用最为广泛的，简单易于管理，但是NFS以及后边会说到MooseFS都会存在单点故障，为了解决这个问题一般情况下都会结合DRBD进行块儿复制。但是glusterfs就完全不用考虑这个问题了，因为它是一个完全的无中心的系统。 2.Glusterfs特点 扩展性和高性能 GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解决方案。Scale-Out架构允许通过简单地增加资源来提高存储容量和性能，磁盘、计算和I/O资源都可以独立增加，支持10GbE和InfiniBand等高速网络互联。Gluster弹性哈希（ElasticHash）解除了GlusterFS对元数据服务器的需求，消除了单点故障和性能瓶颈，真正实现了并行化数据访问。 高可用性 GlusterFS可以对文件进行自动复制，如镜像或多次复制，从而确保数据总是可以访问

rpm包安装 官方站点： http://download.gluster.org/pub/gluster/glusterfs/ yum install centos-release-gluster ====================================== # mkfs.xfs -i size=512 /dev/sdb1 # mkdir -p /bricks/brick1 # vi /etc/fstab /dev/sdb1 /bricks/brick1 xfs defaults 1 2 # mount -a && mount ======================================== yum install xfsprogs yum --enablerepo=centos-gluster*-test install glusterfs-server service glusterd start gluster peer probe gv02 gluster peer status mkdir /data/repository gluster volume create gv0 replica 2 gv01:/data/repository gv02:/data/repository gluster volume start gv0

第一章 GlusterFS应用环境 GlusterFS主要应用于大文件的存储场景，如果是小文件比较多的情况建议用fastd。 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。 1.扩展性和高性能 GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解决方案。通过弹性哈希解决了对元 数据黑咖啡 的需求，消除了单点故障和性能瓶颈，真正实现了并行化数据访问。 2.高可用 GlusterFS可以对文件进行自动复制，如镜像或多次复制，从而确保数据总是可以访问，甚至在 硬件故障的情况下也能正常访问。自我修复功能能够把数据恢复到正确的状态，而且修复是以增 量的方式在后台执行，几乎不会产生性能负载。 3.统一命名空间 全局统一命令空间将磁盘和内存资源聚集成一个单一的虚拟存储池，对上层用户屏蔽了底层的物 理硬件。存储资源可以没有数量限制，成千虚拟机均通过单一挂载点进行数据共享。虚拟机I/O 可在命名空间内的所有服务器上自动进行负载均衡

Glusterfs 分布式存储安装部署 Glusterfs 分布式存储部署 是存储当中可以选择的一种 现在很多虚拟化 云计算都在用软件存储 例如 ceph Glusterfs 等等 今天我们部署一下Glusterfs环境 GlusterFs安装 环境信息： Glusterfs-01 10.20.0.200 Glusterfs-02 10.20.0.201 Glusterfs-03 10.20.0.202 硬盘各一块 8G 测试 /dev/sdb 服务器版本信息 # cat /etc/redhat-release CentOS release 6.6 (Final) # uname -r 2.6.32-504.el6.x86_64 软件下载地址 http://download.gluster.org/pub/gluster/glusterfs/3.4/3.4.6/CentOS/epel-6.6/x86_64 依赖包安装 直接用Yum安装 每台都需要安装 # yum -y install libibverbs librdmacm xfsprogs nfs-utils rpcbind libaio liblvm2app lvm2-devel 软件安装 安装服务器端软件包 glusterfs-3.4.6-1.el6.x86_64.rpm glusterfs-api-3.4.6-1.el6

0 术语简介 GlusterFS是一个开源的分布式文件系统。更多特性介绍附录的参考文档。 Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如'SERVER:EXPORT' Client: 挂载了GFS卷的设备 Extended Attributes:xattr是一个文件系统的特性，其支持用户或程序关联文件/目录和元数据。 FUSE:Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。 Geo-Replication GFID:GFS卷中的每个文件或目录都有一个唯一的128位的数据相关联，其用于模拟inode Namespace:每个Gluster卷都导出单个ns作为POSIX的挂载点 Node:一个拥有若干brick的设备 RDMA:远程直接内存访问，支持不通过双方的OS进行直接内存访问。 RRDNS:round robin DNS是一种通过DNS轮转返回不同的设备以进行负载均衡的方法 Self-heal:用于后台运行检测复本卷中文件和目录的不一致性并解决这些不一致。 Split-brain:脑裂 Translator: Volfile:glusterfs进程的配置文件，通常位于/var

分布式文件系统出现 计算机通过文件系统管理，存储数据，而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，已经不能满足目前的需求。 分布式文件系统可以有效解决数据的存储和管理难题， 将固定于某个地点的某个文件系统 ， 扩展到任意多个地点/多个文件系统 （可以接合openVPN实现跨机房存储），众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。 人们在使用分布式文件系统时 ， 无需关心数据是存储在哪个节点上 ，或者是从哪个节点从获取的，只需要 像使用本地文件系统一样管理和存储文件系统中的数据 ,(可以解决容量问题) 典型代表NFS NFS（Network File System）即网络文件系统，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。NFS的优点如下： （1）节约使用的磁盘空间 客户端经常使用的数据可以集中存放在一台机器上，并使用NFS发布，那么网络内部所有计算机可以通过网络访问，不必单独存储。 （2）节约硬件资源 NFS还可以共享软驱，CDROM和ZIP等的存储设备，减少整个网络上的可移动设备的数量。 （3）用户主目录设定 对于特殊用户，如管理员等

G lusterFS 介绍 GlusterFS是一个开源的分布式文件系统，同时也是Scale -Out 存储解决方案Gluster的核心，在存储方面具有横向扩展能力，通过扩展不同的节点可以支持数PB级别的存储容量。 Gluster FS 借助TCP/IP或lnfiniBand RDMA 网络将分散的存储资源汇聚在一起，统一提供存储服务，并使用单一全局命名空间来管理数据。 Gluster FS 基于可堆叠的用户空间以及无元的设计，可为各种不同的数据负载提供优异的性能。 GlusterFS服务群集的组成： 主要由存储服务器( Brick Server) 、客户端( NFS / Samba 存储网关 ) 。Gluster FS 架构中最大的特点是没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息，目录结构等。这样的设计在浏览目录时效率非常高，但是也存在风险和缺陷，如单点故障，一旦元数据服务器出现故障，即使节点具备再高的沉余性，整个存储系统也将崩溃，而Gluster FS 分布式文件系统是基于无元服务器的设计，数据横向扩展能力强，具备较高的可靠性以及存储效率。 GlusterFS的设计结构： GlusterFS的特点： 扩展性和高性能： GlusterFS利用双重特点来提高容量存储解决方案。

分布式文件系统理论基础 分布式文件系统出现 计算机通过文件系统管理，存储数据，而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，已经不能满足目前的需求。 分布式文件系统可以有效解决数据的存储和管理难题，将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上，或者是从哪个节点中获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。 典型代表NFS NFS（Network File System）即网络文件系统，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。NFS的优点如下： （1）节约使用的磁盘空间 客户端经常使用的数据可以集中存放在一台机器上，并使用NFS发布，那么网络内部所有计算机可以通过网络访问，不必单独存储。 （2）节约硬件资源 NFS还可以共享软驱，CDROM和ZIP等的存储设备，减少整个网络上的可移动设备的数量。 （3）用户主目录设定 对于特殊用户，如管理员等，为了管理的需要，可能会经常登陆到网络中所有的计算机

Glusterfs分布式文件系统安装调试 Edit by esxu 2015.07.08 概述 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。 安装部署 Glusterfs安装部署相对来说较简单，几步操作即可完成。 yum源配置 wget http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo 可直接使用官方的yum源即可，如果是内网可将源同步到本地，目前支持的版本一到centos7.1 创建并挂载本地磁盘 fdisk /dev/sdb and create a single partition 格式化 mkfs.xfs -i size=512 /dev/sdb1 作为brick进行挂载 mkdir -p /export/sdb1 && mount /dev/sdb1 /export/sdb1 && mkdir -p /export

公司有几台就服务器，正好有个项目对磁盘的容量以及性能有一定的要求，故而寻求分布式文件系统方面的知识，最终采用了glusterfs。以下对部署以及测试过程潦做记录。 glusterfs分布式文件系统采用C/S模式，其中客户端作为对外提供服务的点，并且负责分配管理数据在后端多台server间的存储。 实验采用6台服务器做整个分布式架构，其中4台存储端实现类似RAID 10模式的存储池，两台客户端通过挂载至存储池，两台客户端之间通过keepalived做双机热备。 要求：glusterfs禁止在系统分区上创建glusterfs卷，所以需要server端每台机器都要有一个独立于跟分区之外的分区加入glusterfs，并且此独立分区要求大小一致（否则，到后期会遇到问题，导致无法继续支持高可用特性）。 Server端 采用yum方式安装，首先配置glusterfs官方的yum源，执行下面命令 vi /etc/yum.repos.d/glusterfs-epel.repo 添加以下内容 [glusterfs-epel] name= GlusterFS is a clustered file-system capable of scaling toseveral petabytes. baseurl= http: / /download.gluster.org/pub /gluster