ceph

在docker容器中，安装ceph。 docker run --privileged=true 方式运行容器 使用ceph-fuse在用户态挂载cephfs到ceph集群的Monitor即可。 docker run --privileged=true -it -v /home/ceph/cephfs ubuntu:ceph /usr/bin/ceph-fuse -k /home/ceph/ceph.client.admin.keyring -m 10.32.170.104:6789 /home/ceph/cephfs，即，将ceph客户端容器作为数据卷容器来使用。 来源： oschina 链接： https://my.oschina.net/u/1271640/blog/394041

自己写了一个支持各种docker编排引擎的cephfs插件，包括k8s、cattle、docker data plugin等，希望能帮到有需要的人。 项目地址: https://github.com/YangFanlinux/dockerCephfsVolumePlug 来源： oschina 链接： https://my.oschina.net/u/2900306/blog/741581

1）实时监控网卡流量的通用脚本： [root@ceph-node1 ~]# cat /root/net_monit.sh #!/bin/bash PATH=/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/local/sbin; export PATH function traffic_monitor { OS_NAME=$(sed -n '1p' /etc/issue) eth=$1 if [ ! -d /sys/class/net/$eth ];then echo -e "Network-Interface Not Found" echo -e "You system have network-interface:\n`ls /sys/class/net`" exit 5 fi while [ "1" ] do STATUS="fine" RXpre=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $2}') TXpre=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $10}') sleep 1 RXnext=$(cat /proc/net/dev | grep $eth | tr : " " |

前言: 目前XFS已成为Linux主流的文件系统，所以有必要了解下其数据结构和原理。 XFS文件系统 XFS是一个日志型的文件系统，能在断电以及操作系统崩溃的情况下保证数据的一致性。XFS最早是针对IRIX操作系统开发的，后来移植到linux上，目前CentOS 7已将XFS作为默认的文件系统。使用XFS已成为了潮流，所以很有必要了解下其数据结构和原理。 XFS官方说明文档参考： https://xfs.org/docs/xfsdocs-xml-dev/XFS_Filesystem_Structure//tmp/en-US/html/index.html 接下来将介绍XFS的一些概念，包括分配组、超级块、inode等等，过程中会结合xfs_db（xfs提供的输出文件系统信息的工具）打印一些信息，了解当前XFS的实时数据。 分配组（Allocation Group） XFS将空间分为若干个分配组，每个分配组大小相等（最后一个可能不等）。分配组包含有超级块、inode管理和剩余空间管理等，所以分配组可以认为是一个单独的文件系统。正是分配组这样的设计，使得XFS拥有了并行IO的能力。在单个分区上使用XFS体现不了这种并行IO能力，但是如果文件系统跨越多个物理硬件比如ceph，并行IO将大大提高吞吐量利用率。 上图为分配组的结构图，重点关注前面4个扇区，从上到下分别为超级块、空闲块信息

配置apt源 # wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add - # echo deb https://download.ceph.com/debian-jewel/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list 安装ceph-deploy，一台机器即可 # apt-get install ceph-deploy 安装ceph软件，三台机器都需要安装 # apt-get install ceph 创建集群 # mkdir /opt/ceph # cd /opt/ceph # ceph-deploy new k8s1 k8s2 k8s3 # echo mon_pg_warn_max_per_osd = 1000 >> ceph.conf # echo cluster_network=172.16.13.0/24 >> ceph.conf # echo max open files = 131072 >> ceph.conf # echo osd_scrub_begin_hour=1 >> ceph.conf # echo osd_scrub_end_hour=7 >> ceph.conf

环境：ubuntu-server 16.04，两台arm服务器 分别为node1和node2，node1和node2分别安装monitor和3个osd，在node1上部署MDS，ceph 一、准备工作 systemctl stop ufw #禁用防火墙 systemctl disable ufw #禁止防火墙开机启动 vim /etc/hosts #修改主机名字（每台服务器都要修改）我的node2节点的文件如下： root@node2:/var/lib/ceph/osd# cat /etc/hosts 127.0.0.1 localhost 10.33.0.37 node2 10.33.0.13 node1 # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback ff02::1 ip6-allnodes ff02::2 ip6-allrouters vim /etc/hostname #修改主机名字 二、安装NTP服务并配置NTP服务，确保两个mon节点时间一致。 .......略 三、部署mon 1）在node1节点上，执行如下 1、uuidgen #生成唯一的uuid 2、vim /etc/ceph/ceph.conf #创建ceph

准备工作 所有节点开启ip_forward cat <<EOF > /etc/sysctl.d/ceph.conf net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system 开始部署Operator 部署Rook Operator #无另外说明，全部操作都在master操作 cd $HOME git clone https://github.com/rook/rook.git cd rook cd cluster/examples/kubernetes/ceph kubectl apply -f operator.yaml 查看Operator的状态 # 执行apply之后稍等一会。 # operator会在集群内的每个主机创建两个pod:rook-discover,rook-ceph-agent kubectl -n rook-ceph-system get pod -o wide 来源： oschina 链接： https://my.oschina.net/u/4313887/blog/3710759

概述 Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。 Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。 当然也可以单独作为存储，例如部署一套集群作为对象存储、SAN存储、NAS存储等。 可以作为k8s的存储类，来方便容器持久化存储。 支持格式 对象存储：即radosgw , 兼容S3接口。通过rest api上传、下载文件。 文件系统：posix接口。可以将ceph集群看做一个共享文件系统挂载到本地。 块存储：即rbd。有kernel rbd和librbd两种使用方式。支持快照、克隆。相当于一块硬盘挂到本地，用法和用途和硬盘一样。比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的后端存储 优势 统一存储：虽然ceph底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口 高扩展性：扩容方便、容量大。能够管理上千台服务器、EB级的容量。 高可靠性：支持多份强一致性副本，EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自管理、自动修复。无单点故障，容错性强。 高性能：因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的IOPS和吞吐量越高

友情提示：全文2000多文字，预计阅读时间5分钟 2019年12月16-17日，第九届中国云计算标准与应用大会在京举行，大会基于技术标准、应用落地、未来趋势等方面深度剖析了云计算产业新阶段面临的机遇和挑战。 会上，中国移动云能力中心荣获“2019年云计算标准化突出贡献奖”、“第四届中国云计算优秀开源案例”二等奖，首批通过“分布式块存储标准符合测评”、“边缘云标准符合测评”、“OpenStack标准符合测评”。 这意味着中国移动云能力中心在块存储、边缘云、OpenStack领域标准化水平处于行业前沿，在云计算开源领域更进一竿。 2019年中国移动云能力中心牵头编写1项国标，参与制定3项国标，2项团标。 基于中国移动云能力中心在标准化领域积极探索并对云计算领域做出突出贡献，在本次大会上，中国移动云能力中心被评为2019年云计算标准化工作突出贡献单位。 合力共筑标准，首批通过认证 中国移动云能力中心不仅积极参与编制标准，同时推进标准落地实施，5款产品首批通过权威标准认证。大云边缘计算产品BC-Edge、大云软件定义存储产品BC-SDS、大云弹性计算产品BC-EC 、大云虚拟网络产品BC-VN、 大云裸金属系统产品BC-BMS共5项产品首批通过国家权威标准认证，获得产品资质。 「1」 BC-Edge BC-Edge获得目前国内首个边缘计算标准《信息技术云计算边缘云计算通用技术要求

一、k8s是什么？ Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务，通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。 二、基本概念理解： 1、master：管理整个的调度流程。 1.1API Server：是master与node交互的接口，同时此接口也是面向用户的(用户指令)。 1.1.1kubectl：集群管理命令行工具集，kube指令。 1.1.2RestAPI：接口，配置文件。 1.1.3WebUI：可操作的图形化界面。 1.2Controller-Manager：内部管理控制中心，实现集群故障检测和恢复的自动化工作，负责执行各种控制器。 1.3Scheduler：收集和分析当前集群中所有Node节点的资源(内存、CPU)负载情况，然后依此分发新建的Pod到Kubernetes集群中可用的节点。 1.4ETCD：数据库，存数据以及节点的状态 。 备注：Controller-Manager+Scheduler：相互调度，基于ECTD数据库的数据，生成指令，下发给node，再记录到ETCD。 2、node：worker一般会有多个 。 2.1kubelet：master API Server与Nod的通信桥梁，节点上的pod管家。 2.2kube-proxy