GlusterFS

I am currently working on a website where, roughly 40 million documents and images should be served to it's users. I need suggestions on which method is the most suitable for storing content with subject to these requirements. System should be highly available, scale-able and durable. Files have to be stored permanently and users should be able to modify them. Due to client restrictions, 3rd party object storage providers such as Amazon S3 and CDNs are not suitable. File size of content can vary from 1 MB to 30 MB. (However about 90% of the files would be less than 2 MB) Content retrieval

更好的阅读体验建议点击下方原文链接。 原文地址：http://maoqide.live/post/cloud/glusterfs-kubernetes/ 在 kubernetes 中使用 glusterfs 作为 pv。 environment centos7 3.10.0-957.27.2.el7.x86_64 机器（virtualbox 虚拟机） centos10 - 172.27.32.165 - kubernetes master节点/glusterfs节点 centos12l - 172.27.32.182 - glusterfs节点/kubernetes node节点 centos11 - 172.27.32.164 - glusterfs节点/kubernetes node节点 virtualbox 添加硬盘 关闭虚拟机 设置-存储-控制器SATA-新建磁盘-固定大小 启动虚拟机 开机后执行 fdisk -l ，其中 /dev/sdb 为新创建出的磁盘。 [root@centos12l ~]$ fdisk -l Disk /dev/sda: 54.5 GB, 54495248384 bytes, 106436032 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical)

GlusterFS中，修改了节点名称，导致找不到了，想删除掉重新加入。 没想到，gluster peer detach server02方法失败，竟然用了各种方法都删除不掉，提示节点无效（废话！有效的我还要删除么？！）无法删除。 网上一搜（要用谷哥，其它的搜来无用），很多人都遇到这个问题，GlusterFS社区有好多邮件都提到这个问题，但是目前还没有解决。 肿么办捏？只能动用暴力了。 gluster peer status rm -f /var/lib/glusterd/peers/* gluster peer status ⚠️ 有点高能！！！慎用、慎用！！！ 这也给提了个醒，虽然使用网络存储灵活性大增，但也是一定要规划好，并不是说想改就改的，尤其是已经有大量的数据的情况下。 毕竟，迁移数百TB的数据可不是闹着玩的一件事情...... 本文地址： GlusterFS强制删除节点 当然，如果你了解Gluster的运作机制，也可以不这么暴力。进去修改以下目录下的文件就可以了： sudo list -l /var/lib/glusterd/peers supermap@podc02:/var/lib/glusterd/peers$ ls -l 总用量 8 -rw------- 1 root root 71 11月 19 08:24 2240203a-cc23-4961-981e

GlusterFS For Ubuntu BASE安装 deb://ppa.launchpad.net/gluster/glusterfs-3.5/ubuntu precise main deb-src http://ppa.launchpad.net/gluster/glusterfs-3.5/ubuntu precise main Server# apt-get install glusterfs-server Client# apt-get install glusterfs-client 有多种对Gluster配置的方式,此处介绍三种. 在一台服务器上建立Distributed Volume 假设服务器为:192.168.113.173(Server) 假设客户端为:192.168.113.179(Client) 服务端配置 Server# service glusterfs-server start 创建volume Server# gluster volume create volume-name 192.168.113.173:/home/single1 启动volume Server# gluster volume start single-volume 查看当前所有volume状态 Server# gluster volume info 若要使用Cache,则使用

在已经部署好的gluster集群里创建相应的卷,可参考https://my.oschina.net/u/857184/blog/1506552 mkdir -p /data/brickl/image mkdir -p /data/brickl/instance mkdir -p /data/brickl/volume 以下操作在任意一个节点执行即可: gluster volume create images replica 2 gluster-server1:/data/brickl/image gluster-server2:/data/brickl/image gluster volume create instances replica 2 gluster-server1:/data/brickl/instance gluster-server2:/data/brickl/instance gluster volume create volumes replica 2 gluster-server1:/data/brickl/volume gluster-server2:/data/brickl/volume gluster volume start images gluster volume start instances gluster volume start

最近打算了解一下GulsterFS文件系统，实验环境如下安排： 服务端由四台DELL 1950服务器构成 客户端由一台DELL 1950服务器构成，在GlusterFS文件系统中服务端也可以充当客户端的。 以下所有软件都在五台服务器上安装： apt-get install flex bison 安装一些会用到的库，由于GlusterFS需要使用Fuse，所以还得安装Fuse： wget http://nchc.dl.sourceforge.net/project/fuse/fuse-2.X/2.9.1/fuse-2.9.1.tar.gz tar zxvf fuse-2.9.1.tar.gz cd fuse-2.9.1 ./configure make make install 安装GlusterFS： wget http://download.gluster.com/pub/gluster/glusterfs/3.2/3.2.5/glusterfs-3.2.5.tar.gz tar zxvf glusterfs-3.2.5.tar.gz cd lusterfs-3.2.5 ./configure --prefix=/etc/glusterfs make make install export PATH="$PATH:/etc/glusterfs/sbin" 安装结果如下：

Glusterfs分布式存储软件可以创建集群文件设备，但有时我们需要将文件设备转换为block设备。如下示例为Glusterfs + tcmu，将文件设备转换为block设备。 环境说明： 主机名 IP 设备 存储节点 oel7db01 192.168.56.201 在gluster上创建一个3副本的volume,然后在其中的一个存储节点上挂载这个volume，然后在这个gluster文件系统上创建5个文件，这5个文件后期用来模拟成block设备 oel7db02 192.168.56.202 oel7db03 192.168.56.203 计算节点 oel7db04 192.168.56.204 每个计算节点上最终会看到5个block设备，每个block设备来自于3个链路（因为有3个存储节点） oel7db05 192.168.56.205 存储节点安装软件： yum install -y glusterfs-server yum install -y tcmu-runner yum install -y tcmu-runner-handler-glfs 安装完成后，存储节点可以看到如下的初始状态： [root@oel7db01 network-scripts]# targetcli targetcli shell version 2.1.fb46 Copyright 2011

GlusterFS是一个开源的分布式存储系统，本指南介绍基于Kubernetes的建立分布式存储的方法和步骤，包括分布式一致性、Kubernetes存储系统架构、高性能文件系统以及GlusterFS的安装、部署、修复等相关内容。 GlusterFS 1.x与2.x系列差别较大，使用中需注意不能混合使用。 GlusterFS原来由Redhat维护，现在随着IBM收购Redhat已经转为IBM所有。 分布式一致性 DHT与分布式一致性 图解 Paxos 一致性协议 区块链技术原理和发展趋势 基于Kubernetes的区块链系统 Kubernetes集群多Master容错配置实战技巧 etcd分布式数据库 Kubernetes的etcd数据查看和迁移 Kubernetes的etcd多节点扩容实战技巧 Kubernetes探秘—etcd状态数据及其备份 Kubernetes探秘-etcd节点和实例扩容 Kubernetes中使用CronJob定时备份etcd集群数据 etcd集群备份和数据恢复 Kubernetes容器存储 基于Kubernetes的容器存储系统 Kubernetes存储之Persistent Volumes简介 Kubernetes volumes简介 文件系统基础存储 ZFS ZFS最佳实践指南 Ubuntu上使用ZFS（Zettabyte File System）

QQ: 1226032602 E-mail: 1226032602@qq.com glusterfs https://www.gluster.org/ https://docs.gluster.org/en/latest/Install-Guide/Setup_virt/ glusterfs概述 1. 什么是Gluster Gluster是一个横向扩展的分布式文件系统，可将来自多个服务器的磁盘存储资源整合到一个全局名称空间中，可以根据存储消耗需求快速调配额外的存储。它将自动故障转移作为主要功能 当您修复发生故障的服务器并使其恢复联机状态时，除了等待外，您无需执行任何操作即可恢复数据。与此同时，您的数据的最新副本继续从仍在运行的节点获取。 Gluster数据可以从几乎任何地方访问，可以使用传统的NFS，Windows客户端的SMB / CIFS或我们自己的本地GlusterFS（客户机上需要一些附加软件包） 2. 企业应用场景 媒体数据：文档、图片、音频、视频 共享存储：云储存、虚拟化存储、HPC（高性能计算） 大数据：日志文件、RFID（射频识别）数据 3. 优点 缩放到几PB 处理数千个客户 POSIX兼容 可以使用任何支持扩展属性的ondisk文件系统 使用NFS和SMB等行业标准协议访问 提供复制，配额，地理复制，快照和bitrot检测 允许优化不同的工作量 开源 4. 缺点

Kubernetes 1.16.0 已经正式发布，快速升级（含国内镜像快速下载链接）包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。参考《 Ubuntu上软件锁定版本不更新 》安装特定DockerCE版本。 Kubernetes 1.16.0 发布-新版本四大主题， https://www.oschina.net/news/109996/kubernetes-1-16-0-released ChangeLog, https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.15.md Kubernetes 1.15 发布，可扩展性与持续性改进, https://www.oschina.net/news/107618/kubernetes-1-15-released kubeadm升级kubernetes到1.15.0版本, https://www.codercto.com/a/88502.html Kubernetes v1.15.0 环境搭建 - CentOS, https://www.jianshu.com/p/832bcd89bc07 1、升级kubeadm/kubectl/kubelet版本 sudo apt install kubeadm=1