GlusterFS

configMap 主要是做到数据配置文件中心的作用。 Secret 可以存储一些敏感的数据，例如密码、密钥、Docker仓库的认证信息等等 ⒈Volume说明 　　容器磁盘上文件的生命周期是短暂的，这就使得在容器中运行重要应用时会出现一些问题。首先，当容器崩溃时， kubelet会重启它，但是容器中的文件将丢失--容器以干净的状态(镜像最初的状态)重新启动。其次，在Pod 中同时运行多个容器时，这些容器之间通常需要共享文件。Kubernetes 中的 Volume抽象就很好的解决了这些问题。 　　*docker奔溃会保留数据 　　*k8s不会 ⒉Volume背景 　　Kubernetes中的卷有明确的寿命-—与封装它的Pod相同。所以，卷的生命比 Pod 中的所有容器都长，当这个容器重启时数据仍然得以保存。当然，当 Pod不再存在时，卷也将不复存在。也许更重要的是，Kubernetes支持多种类型的卷，Pod 可以同时使用任意数量的卷。 ⒊卷的类型 　　Kubernetes 支持以下类型的卷: awsElasticBlockStore azureDisk azureFile cephfs csi downwardAPI emptyDir fc flocker gcePersistentDisk gitRepo glusterfs hostPath iscsi local nfs

[toc] 前言 K8S引入了一组叫作Persistent Volume Claim(PVC)和Persistent Volume（PV）的API对象，大大降低了用户声明和使用持久化Volume的门槛。 在Pod的Volumes中，只要声明类型是persistentVolumeClaim，指定PVC的名字，当创建这个PVC对象，k8s就自动为它绑定一个符合条件的Volume，这个Volume，从PV来 PVC和PV的设计，类似“接口”和“实现”的思想，开发者只知道使用“接口”PVC，运维人员负责给“接口”绑定具体的实现PV，说白了PVC就是一种特殊的Volume PVC和PV的实现原理 PVC：描述 Pod想要使用的持久化属性，比如存储大小、读写权限等 PV：描述一个具体的Volume属性，比如Volume的类型、挂载目录、远程存储服务器地址等 StorageClass：充当PV的模板，自动为PVC创建PV 一、关于PV创建的流程 大多数情况，持久化Volume的实现，依赖于远程存储服务，如远程文件存储（NFS、GlusterFS）、远程块存储（公有云提供的远程磁盘）等。 K8s需要使用这些存储服务，来为容器准备一个持久化的宿主机目录，以供以后挂载使用，创建这个目录分为两阶段： 1.创建一个远程块存储，相当于创建了一个磁盘，称为Attach 由Volume

固态盘（SSD）的速度比机械硬盘快很多（400MB/s～1.7GB/s），但是价格昂贵，所以往往容量比较小。通过GlusterFS可以把多节点SSD黏合为 一块大的网络SSD ，可以在局域网上任意节点上连接使用，从而更方便使用，大幅度提高SSD的使用效率，提升系统速度、降低总体成本。 建议使用多口的万兆网络，否则网络会成为GlusterFS传输的瓶颈。 带宽计算参考：一般带宽使用bps计算，标称带宽*80%/8为以Byte计算的带宽。 如10Gbps网络，实际传输速度大概为1GB/s。 Intel 760P写入速度大概1.4GB/s，Samsung 960P写入速度大约1.7GB/s。 同一个盘同时读写，速度至少减半。 这里使用的系统为Ubuntu18.04.1 LTS版本，下面是对实验过程的一些记录。 1、安装支持软件 安装软件： #安装ZFS系统 sudo apt install zfsutils-linux #安装GlusterFS系统 sudo apt install glusterfs-server 在所有节点上安装上面的软件，也可以通过ansible来批量完成。 在 每个节点 创建好zfs的存储池zpool，如：sudo zpool create zpool /dev/sda /dev/sdb /dev/sdc，更多的设置模式参见： ZFS的配置参见

【推荐】2020年最新Java电子书集合.pdf(吐血整理) >>> 前言 “微服务”架构在这几年被广泛传播，变得非常火热，以至于关于微服务架构相关的开源框架和工具都变得越来越活跃，比如: Netlix OSS、Dubbo、Apache Thrift等。Spring Cloud也因为Spring社区在企业应用领域的广泛知名度和强大影响力，受到了广大架构师与开发者的高度关注。 内容简介 分布式架构与微服务平台是当今IT界的关键技术，也是资深软件工程师和系统架构师必须掌握的核心技术。本书以从传统分布式架构迁移到基于容器技术的微服务架构为主线，全面、透彻地介绍了与分布式架构及微服务相关的知识和技术。本书-开始并没有提及分布式的枯燥理论，而是讲述了一段精彩的IT发展史，其中重点讲述了大型机、UNIX 小机器的没落与X86平台的崛起，从而巧妙地引出CPU、内存、网络、存储的分布式演进过程，这恰恰是分布式软件系统赖以运行的“物质基础”。然后简明扼要地介绍了进行系统架构所必需的网络基础，并详细介绍了分布式系统中的经典理论、设计套路及RPC通信，对内存、SOA架构、分布式存储、分布式计算等进行了深度解析，最后详细介绍了全文检索与消息队列中间件，以及微服务架构所涉及的重点内容。本书是Leader-us多年架构经验的倾情分享，主要面向关注分布式架构及微服务，以及有志于成为实力派架构师的IT人士。

在glusterfs中，gluster与glusterd通信请求对卷的操作、集群的操作、状态的查看等；glusterd与glusterfsd通信完成对卷的操作，集群的操作，状态的查看；glusterfs与glusterfsd通信完成文件的存储。 所有这些通信都是通过内部的RPC模块来完成的。 有关RPC的相关概念、协议等这里不展开描述，有兴趣的可以看看这两篇文章（ 1 , 2 ）。 ========================================= 从代码的组织来看，RPC的服务端逻辑上可分为四层，server-app、rpc-server、rpc-transport、protocol，每一层都提供相应的接口供上一层调用，同时，上一层会提供回调函数供下一层来调用；同样，RPC的客户端逻辑上也可分为四层，cli-app、rpc-cli、rpc-transport、protocol。目前，protocol提供了tcp(socket)和rdma两种方式，且都以动态库的方式提供，rpc-transport会根据配置加载不同的动态库。我们以gluster与glusterd的通信并选用tcp的方式为例来看看RPC相关流程。 1. 服务端的初始化 关键流程如图所示： 需要注意的是：rpc_transport_load时会根据协议的类型加载(使用dlopen)不同的动态库

2018年3月29日 11:02:33 关于docker分享之分布式存储 glusterfs 经典语录： 实际实验搭建： 前提 是要保证 一个 /data目录不和根分区在同一个磁盘！ 1、centos7安装glusterfs 参考链接： https://wiki.centos.org/SpecialInterestGroup/Storage/gluster-Quickstart #To Use the RPMs from Storage SIG, you need to install the centos-release-gluster RPM as it will provide the required YUM repository files. This RPM is available from CentOS Extras. yum install centos-release-gluster -y yum --enablerepo=centos-gluster*-test install glusterfs-server -y systemctl enable glusterd systemctl start glusterd systemctl status glusterd 2、组建集群（配置信任存储池）： #从glusterfs官网跳转过来的 [root

Glusterfs分布式存储软件可以创建集群文件设备，但有时我们需要将文件设备转换为block设备。如下示例为Glusterfs + tcmu，将文件设备转换为block设备。 环境说明： 主机名 IP 设备 存储节点 oel7db01 192.168.56.201 在gluster上创建一个3副本的volume,然后在其中的一个存储节点上挂载这个volume，然后在这个gluster文件系统上创建5个文件，这5个文件后期用来模拟成block设备 oel7db02 192.168.56.202 oel7db03 192.168.56.203 计算节点 oel7db04 192.168.56.204 每个计算节点上最终会看到5个block设备，每个block设备来自于3个链路（因为有3个存储节点） oel7db05 192.168.56.205 存储节点安装软件： yum install -y glusterfs-server yum install -y tcmu-runner yum install -y tcmu-runner-handler-glfs 安装完成后，存储节点可以看到如下的初始状态： [root@oel7db01 network-scripts]# targetcli targetcli shell version 2.1.fb46 Copyright 2011

作者：焦振清 时间：2018-10-15 注释：本次创建的卷名称为nfs，glusterfs的版本为4.1.5版本 服务器列表： 10.237.44.178 10.237.44.144 10.237.44.47 硬件要求： 建议所有机器做Raid5，而非直连盘 减少单块硬盘故障的维护成本 减少集群的维护成本，因为gluster会为每个挂载点启动一个服务进程 减少成本，如果是Raid1，加上至少2副本，则使用率仅为25% 单盘启动一个进程，会偶发单机个别进程停掉的问题 所有的机器不要放在一个交换机下 服务安装，所有节点均执行下述命令 yum -y install centos-release-gluster41 安装/etc/yum.repos.d/CentOS-Gluster-41.repo yum -y install glusterfs-server-4.1.5-1.el7 修改/etc/glusterfs/glusterd.vol进行选择性设置 option listen-port 24007 option base-port 49000 option max-port 49000 systemctl enable glusterd systemctl start glusterd systemctl status glusterd /usr/lib/systemd