GlusterFS

（一）GlusterFS相关概念： GlusterFS是一个开源的分布式文件系统，五分赛车系统出租q-1152880099同时也是Scale-Out存储解决方案Gluster的核心，在存储数据方面有强大的横向扩展能力。GlusterFS主要由存储服务器、客户端及NFS/Samba存储网关（可选组件）组成。GlusterFS架构中最大的设计特点是没有元数据服务器组件，也就是说没有主/从服务器之分，每一个节点都可以是主服务器。 1）Gluster相关参考文档如下（我下面的配置是基于本地yum配置的，若需要搭建最新版本，可直接按照下面的文档链接进行配置）： Gluster官网 ，基于centos7/Redhat安装Gluster官方文档 2） GlusterFS相关术语： Brick（存储块）：指可信主机池中由主机提供的用于物理存储的专用分区。 Volume（逻辑卷）：一个逻辑卷是一组Brick的集合。卷是数据存储的逻辑设备。 FUSE：是一个内核模块，允许用户自己创建文件系统，无须修改内核代码。 Glusterd（后台管理进程）：在存储群集中的每个节点上都要运行。 VFS：内核空间对用户空间提供的访问磁盘的接口。 3）GlusterFS的卷类型： 分布式卷：相当于Windows中的跨区卷，只是扩大了磁盘空间，不具有容错能力； 条带卷：相当于Windows中的带区卷，属于RAID 0级别

一、环境说明 主机名 IP地址 角色 磁盘 gluster-node1 192.168.56.11 Server、Client /dev/sdb、/dev/sdc、/dev/sdd gluster-node2 192.168.56.12 Server、Client /dev/sdb、/dev/sdc、/dev/sdd gluster-node3 192.168.56.13 Server、Client /dev/sdb、/dev/sdc、/dev/sdd 二、GlusterFS安装 （1）修改主机名 [root@localhost ~]# hostnamectl set-hostname gluster-node1 [root@localhost ~]# bash [root@localhost ~]# hostnamectl set-hostname gluster-node2 [root@localhost ~]# bash [root@localhost ~]# hostnamectl set-hostname gluster-node3 [root@localhost ~]# bash （2）添加host解析，实现集群主机之间相互解析 [root@gluster-node1 ~]# cat /etc/hosts 127.0.0.1 localhost localhost

GlusterFS概述 GlusterFS（Gluster File System）是一个开源的分布式文件系统，主要由Z RESEARCH公司负责开发、是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，在存储方面具有强大的横向扩展能力，通过扩展不同的节点可以支持数PB存储容量和处理数干台客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间及无元的设计，可为各种不同的数据负载提供优异的性能。 GlusterFS主要由存储服务器（Block Server）、客户端及NFS/Samba存储网关（可选，根据需要选择使用）组成，GlusteFS架构中最大的设计特点是没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。 GlusterFS主要特征如下： 扩展性和高性能 高可用性 全局统一命名空间 弹性哈希算法 弹性卷算法 基于标准协议 GlusterFS的卷类型： GlusterFS支持七种卷，分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷，这七种卷可以满足不同应用对高性能、高可用的需求。 1.分布式卷 分布式卷是GlusterFS的默认卷，在创建卷时，默认选项是创建分布式卷

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 在Kubernetes中使用GlusterFS( https://www.gluster.org/ )有endpoint（外置存储）和heketi（k8s内置GlusterFS服务）两种方式。这里主要介绍使用endpoint将GlusterFS存储设置到JupyterHub for K8s中使用。为了简化起见，使用缺省的JupyterHub helm进行安装。按照《 快速设置JupyterHub for K8s 》安装后，会在Jupyterhub的安装命名空间下出现一个hub-db-dir的pvc，我将使用GlusterFS的volume来提供这个pvc。 1、创建GlusterFS的volume的endpoint 保存下面内容到文件0a-glusterfs-gvzr00-endpoint-jupyter.yaml： apiVersion: v1 kind: Endpoints metadata: name: glusterfs-gvzr00 namespace: jupyter subsets: - addresses: - ip: 10.1.1.193 - ip: 10.1.1.205 - ip: 10.1.1.112 ports: - port: 10000 protocol: TCP

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Red Hat Enterprise Linux 8中，引入新的存储管理系统Stratis。其功能总结如下： copy-on-write 磁盘空间的精简置备Thin Provision 支持RAID 0、RAID 1、RAID 10 支持全盘加密如LUKS 支持资源池，每池可创建 16,777,216（ 2^24）个文件系统或文件夹 LZ4压缩 文件的消除重复功能 子卷 快照 数据损坏的自愈功能 热扩容、热减容 为提升性能而进行存储分区：数据区和缓存区（与VMWare VMFS 6相同，与Glusterfs的热区、冷区类似） Stratis存储管理建立在Linux Mapper/ LVM及XFS的基础上，提供了便捷的管理功能，从某种程度上看，似乎就是一个本地版的Glusterfs。要使用Stratis，必须要安装Stratisd、stratis-cli两个软件包。创建过程如下： 第1步：安装软件 # yum install stratisd stratis-cli # systemctl enable --now stratisd 第2步：创建资源池 # stratis pool create mypool /dev/vdb 在第二块虚拟磁盘/dev/vdb上创建了一个名叫mypool的资源池。 第3步

1.安装环境 Linux ： Ubuntuserver 12.04.1 LTS 64bit 2 台 分布式文件系统：Gluster 测试环境：一台作文件服务器端（192.168.56.133），一台作客户端（192.168.56.131） 安装 glusterfs 服务器端 2.1 上传 glusterfs-3.4.1.tar.gz 文件到 /usr 下（ U 盘挂载形式上传）， gluster 需要 fuse 库来支持，但是 ubuntu sever12.04 默认已经安装了 fuse ，因此无需再安装。 2.2 到 /usr 文件夹下解压，命令为： tar -xzvf glusterfs-3.4.1.tar.gz , 2.3 编译安装，进入 glusterfs-3.4.1 文件夹下命令为： cd glusterfs-3.4.1 ( 进入目录，下述命令需要在该目录下执行 ) ，编译安装，命令为：./configure --prefix=/usr ( 设定安装目录 ) ，运行此命令会报一系列找不到依赖软件环境的错误下面介绍。 2.4 安装依赖环境。在运行编译安装命令时 系统会依次提示需要安装gcc 环境、安装 flex bison 环境、 OpenSSL crypto 环境、 make 软件，可以按如下命令依次安装，安装 gcc:sudo apt-get install gcc

GlusterFS概述 GlusterFS简介 •开源的分布式文件系统 •由存储服务器，客户端以及NFS/Samba存储网关组成 •无元数据服务器 RDMA:负责数据传输 GlusterFS的特点 •扩展性和高性能 •高可用性 •全局统一的命名空间 •弹性卷管理 •基于标准协议 GlusterFS术语 •Brick ： 存储节点 •Volume ： 卷 •FUSE ： 内核模块，用户端的交互模块 •VFS ： 虚拟端口 •Glusterd ： 服务 模块化堆栈架构 •模块化、堆栈式的架构 •通过对模块的组合，实现负责的功能 GlusterFS工作模式 •Application：客户端或应用程序通过GlusterFSync的挂载点访问数据 •VFS：linux系统内核通过VFS API收到请求并处理 •FUSE ： VFS 将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端 •GlusterFS Client ; 通过网络将数据传递至远端的GlusterFS Server，并且写入到服务器存储设备上 GlusterFS工作原理 GlusterFS工作流程 弹性HASH算法 •通过HASH算法得到一个32位的整数 •划分为N个连续的子空间，每个空间对应一个Brick •弹性HASH算法的优点 •

GlusterFS概述 GlusterFS简介 开源的分布式文件系统 由存储服务器，客户端以及NFS/Samba存储网关组成 无元数据服务器 GlusterFS的特点 扩展性和高性能 高可用性 全局统一的命名空间 弹性卷管理 基于标准协议 GlusterFS术语 Brick ： 存储节点 Volume ： 卷 FUSE ： 内核模块，用户端的交互模块 VFS ： 虚拟端口 Glusterd ： 服务 模块化堆栈架构 模块化、堆栈式的架构 通过对模块的组合，实现负责的功能 GlusterFS工作模式 GlusterFS工作流程 Application：客户端或应用程序通过GlusterFSync的挂载点访问数据 VFS：linux系统内核通过VFS API收到请求并处理 FUSE ： VFS 将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端 GlusterFS Client ; 通过网络将数据传递至远端的GlusterFS Server，并且写入到服务器存储设备上 弹性HASH算法 通过HASH算法得到一个32位的整数 划分为N个连续的子空间，每个空间对应一个Brick 弹性HASH算法的优点 保证数据平均分布在每一个Brink中 解决了对元数据服务器的依懒，进而解决了单点故障以及访问瓶颈

博文目录 一、GlusterFS概述 1、GlusterFS的特点 2、GlusterFS术语 3、模块化堆栈式架构 二、GlusterFS的工作原理 1、GlusterFS的工作流程 2、弹性HASH算法 三、GlusterFS的卷类型 1、分布式卷 2、条带卷 3、复制卷 4、分布式条带卷 5、分布式复制卷 一、GlusterFS概述 GlusterFS是一个开源的分布式文件系统，同时也是Scale-Out存储解决方案Gluster的核心，在存储数据方面有强大的横向扩展能力，通过扩展不同的节点可以支持PB级别的存储容量。GlusterFS借助TCP/IP或InfiniBand RDMA网络将分散的存储资源汇聚在一起，同一提供存储服务，并使用单一全局命令空间来管理数据。GlusterFS基于可堆叠的用户空间以及无元的设计，可为各种不同的数据负载提供优异的性能。 GlusterFS主要由存储服务器、客户端及NFS/Samba存储网关（可选，根据需要选择使用）组成。GlusterFS架构中最大的设计特点就是没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等，这样的设计在浏览目录时效率非常高，但是也存在一些缺陷，如单点故障，一旦元数据服务器出现故障，即使节点具备再高的冗余性