GlusterFS

GlusterFS简介： 互联网四大开源分布式文件系统分别是：MooseFS、CEPH、Lustre、GusterFS. GluterFS最早由Gluster公司开发，其目的是开发一个能为客户提供全局命名空间、分布式前端及高达数百PB级别扩展性的分布式文件系统。 相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器 的设计，让整个服务没有单点故障的隐患。 常见的分布式文件系统简介： 1、MooseFS 　　MooseFS主要由管理服务器（master）、元日志服务器（Metalogger）、数据存储服务器（chunkserver）构成。 管理服务器：主要作用是管理数据存储服务器，文件读写控制、空间管理及节点间的数据拷贝等。 元日志服务器：备份管理服务器的变化日志，以便管理服务器出问题时能恢复工作。 数据存储服务器：听从管理服务器调度，提供存储空间，接收或传输客户数据等。 MooseFS的读过程如图所示： 总结：MooseFS结构简单，适合初学者理解分布式文件系统的工作过程，但MooseFS具有单点故障隐患，一旦master无法工作，整个分布式文件系统 都将停止工作，因此需要实现master服务器的高可用（比如heartbeat+drbd实现） 2、Lustre 　　Lustre 是一个比较典型的高性能面向对象的文件系统

分布式文件系统: 分布式文件系统 (Distributed File System) 是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机 / 服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以 " 发表 " 一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地 驱动器 一样。（服务器间的数据访问从一对多变为多对多） （1）原始的文件管理系统图： 一、MooseFS(MFS)文件系统 MFS 文件系统结构 : （1）包含 4 种角色 : 管理服务器 managing server (master) 元数据日志服务器 Metalogger server （ Metalogger ） 数据存储服务器 data servers (chunkservers) 客户机挂载使用 client computers （2） 4 种角色作用 : 管理服务器 : 负责各个数据存储服务器的管理 , 文件读写调度 , 文件空间回收以及恢复 . 多节点拷贝 元数据日志服务器 : 负责备份 master 服务器的变化日志文件，文件类型为 changelog_ml.*.mfs ，以便于在 master server 出问题的时候接替其进行工作

Kubernetes 1.14.1 已经正式发布，快速升级（含国内镜像快速下载链接）包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。参考《 Ubuntu上软件锁定版本不更新 》安装特定DockerCE版本。 1、升级kubeadm/kubectl/kubelet版本 sudo apt install kubeadm=1.14.1-00 kubectl=1.14.1-00 kubelet=1.14.1-00 查看该版本的容器镜像版本： kubeadm config images list 输出如下： ~# kubeadm config images list k8s.gcr.io/kube-apiserver:v1.14.1 k8s.gcr.io/kube-controller-manager:v1.14.1 k8s.gcr.io/kube-scheduler:v1.14.1 k8s.gcr.io/kube-proxy:v1.14.1 k8s.gcr.io/pause:3.1 k8s.gcr.io/etcd:3.3.10 k8s.gcr.io/coredns:1.3.1 2、拉取容器镜像 原始的kubernetes镜像文件在gcr上，不能直接下载。我给镜像到了阿里云的杭州机房的容器仓库里，拉取还是比较快的。 echo "

GlusterFS运行一段时间后， 出现 Peer Rejected 错误，经过摸索进行了恢复。 现象： sudo gluster peer status Number of Peers: 2 Hostname: 192.168.199.249 Uuid: 2cfd2767-6454-4538-ab57-1abe91a570ff State: Peer in Cluster (Connected) Hostname: 192.168.199.173 Uuid: 35f0af2e-6fe2-4eb4-9ecb-d9e147460cf1 State: Peer Rejected (Connected) 显示peer节点虽然连接但是无法访问。 诊断： 一般是网络连通但是ID不同引起，如该节点重新安装了glusterfs导致uuid不同，其它节点就拒绝访问。 问题: Peer Rejected 是 peer 运行中可能出现的一种状态。 当运行 'gluster peer status' 出现该状态， 该节点的 volume configuration将会不再同步更新 ，因为该结点已经被排除到集群之外。 步骤: 在rejected peer上： 停止 glusterd sudo systemctl stop glusterd 在目录/var/lib/glusterd, 删除所有文件，除了

1. Glusterfs简介 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。 2. Glusterfs特点 2.1 扩展性和高性能 GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解决方案。Scale-Out架构允许通过简单地增加资源来提高存储容量和性能，磁盘、计算和I/O资源都可以独立增加，支持10GbE和InfiniBand等高速网络互联。Gluster弹性哈希（Elastic Hash）解除了GlusterFS对元数据服务器的需求，消除了单点故障和性能瓶颈，真正实现了并行化数据访问。 高可用性GlusterFS可以对件进行自动复制，如镜像或多次复制，从而确保数据总是可以访问，甚至是在硬件故障的情况下也能正常访问。自我修复功能能够把数据恢复到正确的状态，而且修复是以增量的方式在后台执行，几乎不会产生性能负载。GlusterFS没有设计自己的私有数据文件格式，而是采用操作系统中主流标准的磁盘文件系统（如EXT3、ZFS

相关内容： Kubernetes部署（一）：架构及功能说明 Kubernetes部署（二）：系统环境初始化 Kubernetes部署（三）：CA证书制作 Kubernetes部署（四）：ETCD集群部署 Kubernetes部署（五）：Haproxy、Keppalived部署 Kubernetes部署（六）：Master节点部署 Kubernetes部署（七）：Node节点部署 Kubernetes部署（八）：Flannel网络部署 Kubernetes部署（九）：CoreDNS、Dashboard、Ingress部署 Kubernetes部署（十）：储存之glusterfs和heketi部署 Kubernetes部署（十一）：管理之Helm和Rancher部署 Kubernetes部署（十二）：helm部署harbor企业级镜像仓库 概观 本指南支持在Kubernetes集群中集成，部署和管理GlusterFS容器化存储节点。这使Kubernetes管理员能够为其用户提供可靠的共享存储。 包括设置指南、其中包含一个示例服务器pod，它使用动态配置的GlusterFS卷进行存储。对于那些希望测试或了解有关此主题的更多信息的人，请按照主要自述文件中的快速入门说明 了解gluster-kubernetes

采用Ubuntu+ZFS+GlusterFS的存储集群，其中一个节点再次出现故障，gluster volume status显示为N/A状态。 检查网络，发现原来的IP地址 10.1.1.193发生了改变（估计被DHCP重新分派地址了），导致该结点找不到。 参考 Ubuntu 18.04设置静态IP ，将IP地址改为静态。gluster peer status显示节点连接正常。 如果有多个网卡，建议： Ubuntu 18.04 设置多网卡多端口聚合 重新启动，异常缓慢，将硬盘全部移除后启动和运行正常，初步判断为磁盘问题引起的故障。 因为该节点（主板SATA接口只有6个）使用了 两个USB3.0转SATA3.0的转接器 ，怀疑其有问题。 故将使用转接器的两块硬盘拔下，启动速度有所加快。 然后，按照如下方法： GlusterFS的一次节点重置和恢复 ZFS存储池zpool丢失恢复及Gluster卷自愈 重新创建zpool，删除该节点的brick，重新add-brick，gluster系统开始启动自愈过程。 等待自愈过程完成，然后继续测试。 来源： oschina 链接： https://my.oschina.net/u/2306127/blog/3004867

主要应用在集群系统中，具有很好的可扩展性。软件的结构设计良好，易于扩展和配置，通过各个模块的灵活搭配以得到针对性的解决方案。可解决以下问题：网络存储，联合存储(融合多个节点上的存储空间)，冗余备份，大文件的负载均衡(分块)。由于缺乏一些关键特性，可靠性也未经过长时间考验，还不适合应用于需要提供 24 小时不间断服务的产品环境。目前适合应用于大数据量的离线应用。 　　由于它良好的软件设计，以及由专门的公司负责开发，进展非常迅速，几个月或者一年后将会有很大的改进，非常值得期待。GlusterFS通过Infiniband RDMA 或者Tcp/Ip 方式将许多廉价的x86 主机，通过网络互联成一个并行的网络文件系统 Gluster File System 是自由软件，主要由 Z RESEARCH 公司负责开发，十几名开发者，最近非常活跃。文档也比较齐全，不难上手。主要应用在集群系统中，具有很好的可扩展性。软件的结构设计良好，易于扩展和配置，通过各个模块的灵活搭配以得到针对性的解决方案。可解决以下问题：网络存储，联合存储(融合多个节点上的存储空间)，冗余备份，大文件的负载均衡(分块)。由于缺乏一些关键特性，可靠性也未经过长时间考验，还不适合应用于需要提供 24 小时不间断服务的产品环境。目前适合应用于大数据量的离线应用。 由于它良好的软件设计，以及由专门的公司负责开发，进展非常迅速

一 总述 1 存储卷概念 POD 自身具有生命周期，因此其内部运行的容器及相关数据无法完成持久化，docker支持配置容器使用存储卷将数据持久存储于自身文件系统之外的存储系统，其可以是节点文件系统或网络文件系统。相应的Kubernetes 提供的存储卷属于POD资源级别，共享与POD内的所有容器，可用于在勇气的文件系统之外存储应用程序的相关数据，甚至还可独立于POD生命周期之外实现数据持久化 存储卷： 定义在POD资源之上，可被其内部的所有容器挂载的共享目录，它关联至某外部的存储设备之上的存储空间，从而独立于容器自身的文件系统，而数据是否具有持久能力则取决于存储卷自身能否支持持久化 2 存储卷类型 1 节点级别的存储卷 empty: 其生命周期和POD资源相同 hostPath：其虽然可实现持久化存储，但若POD被调度至其他节点，则该节点的存储资源需要被迁移到指定节点，否则将无法持久化 2 网络级别存储卷 NFS ceph GlusterFS ... 其可实现数据的持久化存储 3 特殊存储卷 secret： 用于向POD传递某些敏感信息，如密码、私钥、证书等。 configmap：用于向POD中注入非敏感数据，如配置文件，其可实现容器配置文件集中化定义和管理 3 存储卷使用方式 1 直接在POD中进行指定和配置 POD中定义的存储有两部分组成： 1 pods.spec