GlusterFS

Kubernetes 1.14.2 已经正式发布，快速升级（含国内镜像快速下载链接）包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。参考《 Ubuntu上软件锁定版本不更新 》安装特定DockerCE版本。 1、升级kubeadm/kubectl/kubelet版本 sudo apt install kubeadm=1.14.2-00 kubectl=1.14.2-00 kubelet=1.14.2-00 kubernetes for china 查看该版本的容器镜像版本： kubeadm config images list 输出如下： ~# kubeadm config images list k8s.gcr.io/kube-apiserver:v1.14.2 k8s.gcr.io/kube-controller-manager:v1.14.2 k8s.gcr.io/kube-scheduler:v1.14.2 k8s.gcr.io/kube-proxy:v1.14.2 k8s.gcr.io/pause:3.1 k8s.gcr.io/etcd:3.3.10 k8s.gcr.io/coredns:1.3.1 2、拉取容器镜像 原始的kubernetes镜像文件在gcr上，不能直接下载

Kubernetes 1.15.0 已经正式发布，快速升级（含国内镜像快速下载链接）包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。参考《 Ubuntu上软件锁定版本不更新 》安装特定DockerCE版本。 ChangeLog, https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.15.md Kubernetes 1.15 发布，可扩展性与持续性改进, https://www.oschina.net/news/107618/kubernetes-1-15-released kubeadm升级kubernetes到1.15.0版本, https://www.codercto.com/a/88502.html Kubernetes v1.15.0 环境搭建 - CentOS, https://www.jianshu.com/p/832bcd89bc07 1、升级kubeadm/kubectl/kubelet版本 sudo apt install kubeadm=1.15.0-00 kubectl=1.15.0-00 kubelet=1.15.0-00 kubernetes for china 查看该版本的容器镜像版本： kubeadm

服务端安装 初始化基础环境 假设2个节点做2个副本，修改hosts文件。追加 /etc/hosts ： 192.168.18.15 storage-5 192.168.18.16 storage-6 格式化2台服务端的磁盘， 多个存储节点都要执行 ： apt-get -y install glusterfs-server # yum -y install glusterfs-server mkfs.xfs -i size=512 /dev/sdb mkdir -pv /mnt/gfs mount /dev/sdb /mnt/gfs # 记得更新 /etc/fstab mkdir -pv /mnt/gfs/public-share # 假设要新建一个 public-share 共享点 组建GlusterFS集群 glusterfsd --version gluster peer probe storage-6 # 任1节点执行增加新节点 创建存储卷 gluster volume create public-share replica 2 storage-5:/mnt/gfs/public-share storage-6:/mnt/gfs/public-share glusterfsd --version gluster volume info gluster volume

防火墙>lvs > ftp 2 > glueterfs 2 lvs 使用DR模式负载ftp的tcp端口 ftp挂载GlusterFS的双机复制存储 环境主机2台lvs，2台ftp+GlusterFS lvs相关配置 具体配置参考我博客 - 《生产LVS负载均衡与keepalive的高可用实践》 https://attacker.club/detail/122.html lvs主机上使用命令行模式操作参考 ipvsadm -C # 清理策略 ipvsadm -A -t 10.0.1.15:21 -s rr -p ipvsadm -a -t 10.0.1.15:21 -r 10.0.1.16:21 -g ipvsadm -a -t 10.0.1.15:21 -r 10.0.1.17:21 -g 后端主机回环口加vip vip=10.0.1.15 #把vip绑定在lo上，是为了实现rs直接把结果返回给客户端 ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0 #以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys

1. 基本概念 (1) brick： The brick is the storage filesystem that has been assigned to a volume. (2) subvolume： A brick after being processed by at least one translator. (3) volume： The final share after it passes through all the translators. (4) translator： A translator connects to one or more subvolumes, does something with them, and offers a subvolume connection. （理解不够深刻，翻译不够准确，直接上原文，哈哈） 2. 不同的volume distributed volumes: 分布式卷，文件在不同的brick上存储 replicated volumes: 复制卷，文件冗余存储在 所有brick上（复制个数与brick个数相等） striped volumes: 条带卷，同一个文件分块存储在不同的brick上 distributed replicated volumes: 分布式复制卷，volume中的brick组成不同的"区域

Kubernetes可以直接挂载多种文件系统，其中包括GlusterFS（ https://kubernetes.io/docs/concepts/storage/volumes/#glusterfs ）。 这里采用最简单的方法，挂载宿主系统的GlusterFS卷给Kubernetes中的pod使用。 1、安装GlusterFS 关于GlusterFS更多信息，参见： 分布式存储系统GlusterFS最新版本安装 安装 GlusterFS - 快速开始 Setting up GlusterFS Volumes 通过GlusterFS黏合多节点SSD剩余空间 GlusterFS强制删除节点 最简单的方法是使用mount挂载一个GlusterFS的Volume到本地卷，如： # 基于ZFS从文件创建一个虚拟磁盘卷。 # 首先，创建一个空的文件（2GB）。 dd if=/dev/zero of=zpool-gvz.img bs=1M count=2048 # 然后从该文件创建ZFS存储池。 sudo zpool create zpool-gvz zpool-gvz.img # 将虚拟存储池作为Bricks加入GlusterFS的网络存储卷。 sudo gluster volume create gvz 10.1.1.201:/zpool-gvz #

5.持久化存储 5.1pv,pvc k8s中的副本控制器保证了pod的始终存储，却保证不了pod中的数据。只有启动一个新pod的，之前pod中的数据会随着容器的删掉而丢失！ pv和pvc的概念: PersistentVolume（一些简称PV）：由管理员添加的的一个存储的描述，是一个全局资源，包含存储的类型，存储的大小和访问模式等。它的生命周期独立于Pod，例如当使用它的Pod销毁时对PV没有影响。 PersistentVolumeClaim（一些简称PVC）：是Namespace里的资源，描述对PV的一个请求。请求信息包含存储大小，访问模式等。 #1.所有节点安装nfs-utils [root@k8s-master ~]# yum install -y nfs-utils #2.master配置nfs服务端 [root@k8s-master ~]#yum install -y rpcbind [root@k8s-master ~]# vim /etc/exports [root@k8s-master ~]# systemctl restart nfs [root@k8s-master ~]# cat /etc/exports /data 10.0.0.0/24(rw,async,no_root_squash,no_all_squash) [root@k8s-master ~]#

引言 本文通过对卷类型的分析对比，来帮助读者选取生产环境最符合服务的挂载存储，命令可结合《 glusterfs详解及kubernetes 搭建heketi-glusterfs 》进行实验，下面进入正题 几种卷类型 基础卷：布式卷（distribute）、条带卷（stripe）、复制卷（replica）、纠错卷（Dispersed ） 复合卷：分布式条带卷（distribute stripe）、分布式复制卷（distribute replica）、条带复制卷（stripe replica）、分布式条带复制卷（distribute stripe） 一、基础卷 以下创建挂载卷，均可通过以下命令进行查看、启用、停止、删除 #查看已创建挂载卷 gluster volume info #启动挂载卷 gluster volume start gv0 #删除前，先停止挂载卷 gluster volume stop gv0 #删除挂载卷 gluster volume delete gv0 1. 布式卷（distribute voulme） 分布式模式，既DHT，是GlusterFS的默认模式，在创建卷时，默认选项是创建分布式卷。在该模式下，并没有对文件进行分块处理，而是通过hash算法分布到所有brick server上，只是扩大了磁盘空间，类似window中的跨区卷 distribute

本文包含： gluster各存储卷详解、创建及使用 gluster-kubernetes搭建glusterfs存储 前言 传统的运维中，往往需要管理员手动先在存储集群分配空间，然后才能挂载到应用中去。Kubernetes 的最新版中，dynamic provisioning 升级到了 beta ，并支持多种存储服务的动态预配置，从而可以更有效地利用存储环境中的存储容量，达到按需使用存储空间的目的。本文将介绍 dynamic provisioning 这一特性，并以 GlusterFS 为例，说明存储服务与 k8s 的对接。 简介               ⚠️熟悉的小伙伴直接跳过啦 dynamic provisioning：  存储是容器编排中非常重要的一部分。Kubernetes 从 v1.2 开始，提供了 dynamic provisioning 这一强大的特性，可以给集群提供按需分配的存储，并能支持包括 AWS-EBS、GCE-PD、Cinder-Openstack、Ceph、GlusterFS 等多种云存储。非官方支持的存储也可以通过编写 plugin 方式支持。   在没有 dynamic provisioning 时，容器为了使用 Volume，需要预先在存储端分配好，这个过程往往是管理员手动的。在引入 dynamic provisioning 之后

Harbor（ https://goharbor.io ）是一个功能强大的容器镜像管理和服务系统，用于提供专有容器镜像服务。随着云原生架构的广泛使用，原来由VMWare开发的Harbor也加入了云原生基金会（参考《 Harbor最新进展，将由CNCF管理 》，项目地址已经变为 https://github.com/goharbor ），成为云原生的生态系统的重要组成部分。 1、快速安装 Harbor可以支持容器部署和Kubernetes部署。从Harbor 1.6开始，项目提供了Kubernetes的集群化部署方法，可以使用Helm（ https://github.com/goharbor/harbor-helm ）快速进行部署，基于Kubernetes集群管理机制进行动态调度。如下： git clone https://github.com/goharbor/harbor-helm cd harbor-helm git checkout master helm install --namespace harbor --name harbor . 2、部署技巧 但是，对于多节点的Kubernetes集群来说，还需要解决几个问题： 镜像下载。因为Harbor使用的容器镜像多达10个（其中registry会用到多个容器镜像），会被集群分别调度到多个节点上运行