ceph

本文由个人原创出品，51cto博客首发，转载请注明出处。 本文档介绍Ceph存储手动部署过程，此处介绍Ceph无认证方式部署，适用于内部环境部署和使用Ceph。 一.部署环境介绍 1.硬件环境： ceph01: 10.10.10.11 ceph02: 10.10.10.12 ceph03: 10.10.10.13 2.软件环境 操作系统： CentOS7.6 Ceph存储：jewel （10.2.10） 二.基础环境准备 1.安装CentOS7.6操作系统 2.配置操作系统名称、网络、hosts文件、关闭Selinux、关闭防火墙 三.安装Ceph 1.安装Ceph源 # yum install centos-release-ceph-jewel 2.安装Ceph # yum install ceph 四.初始化Ceph第一个MON节点 1.生成ceph集群fsid # uuidgen 2.编辑ceph配置文件，文件位置和内容如下： # vim /etc/ceph/ceph.conf [global] auth cluster required = none auth service required = none auth client required = none fsid = a2efc66d-fd3f-464f-8098-c43d63b6f989 log file =

1、报错一 [root@ct ceph]# ceph -s cluster: id: dfb110f9-e0e0-4544-9f13-9141750ee9f6 health: HEALTH_WARN Degraded data redundancy: 192 pgs undersized services: mon: 3 daemons, quorum ct,c1,c2 mgr: ct(active), standbys: c2, c1 osd: 2 osds: 2 up, 2 in data: pools: 3 pools, 192 pgs objects: 0 objects, 0 B usage: 2.0 GiB used, 2.0 TiB / 2.0 TiB avail pgs: 102 active+undersized 90 stale+active+undersized 查看obs状态，c2没有连接上 [root@ct ceph]# ceph osd status +----+------+-------+-------+--------+---------+--------+---------+-----------+ | id | host | used | avail | wr ops | wr data | rd ops | rd data | state |

最近工作上需要熟悉了解Ceph分布式存储，所以本地搭建一套Ceph来做测试。本文主要内容是使用Docker部署Ceph集群。 1.Ceph Ceph 是一个可靠、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备和文件系统服务。块设备存储是Ceph的强项。 RADOS 是一个完整的分布式对象存储系统，它具有可靠、智能、分布式等特性，Ceph的高可靠、高可拓展、高性能、高自动化都是由这一层来提供的，用户数据的存储最终也都是通过这一层来进行存储的，RADOS可以说就是Ceph的核心组件。 一个Ceph存储集群至少需要一个Ceph Monitor和两个OSD守护进程。 Ceph OSDs 负责存储数据，处理数据的的复制、恢复、回填、再均衡，并通过检查其他OSD守护进程的心跳来向Ceph Monitors提供一些监控信息。 Ceph Monitors 维护者展示集群状态的各种图表 Mgr 管理进程。 2.环境准备 2.1 虚机准备 准备3台 Centos7 虚拟机，各挂载一个2G的虚拟硬盘，用于存储osd数据，例如：/dev/sdb hostname ip 部署 master 10.211.55.4 mon osd mgr node1 10.211.55.5 mon osd node2 10.211.55.6 mon osd 2.2

umount 时 目标忙 解决办法 标签（空格分隔）： ceph ceph运维 osd 在删除osd后 umount 时，始终无法umonut，可以通过fuser查看设备被哪个进程占用，之后杀死进程，就可以顺利 umount 了。 [root@node2 ~]# umount /var/lib/ceph/osd/ceph-1 umount: /var/lib/ceph/osd/ceph-1：目标忙。 (有些情况下通过 lsof(8) 或 fuser(1) 可以 找到有关使用该设备的进程的有用信息) [root@node2 ~]# fuser -mv /var/lib/ceph/osd/ceph-1 用户 进程号 权限 命令 /var/lib/ceph/osd/ceph-1: root kernel mount /var/lib/ceph/osd/ceph-1 ceph 5979 F.... ceph-osd [root@node2 ~]# kill -9 5979 [root@node2 ~]# fuser -mv /var/lib/ceph/osd/ceph-1 用户 进程号 权限 命令 /var/lib/ceph/osd/ceph-1: root kernel mount /var/lib/ceph/osd/ceph-1 [root@node2 ~]# umount /var

一、准备工作 测试环境: vmware workstation15制作centos7虚拟机四台，分别命名为admin、node01、node02、node03.....（可安装一台，其他克隆即可）。 四台机器，一台admin，其他三台为node01，node02和node03。node01、node02和node03均为两块硬盘，一块安装系统，另一块做为osd。 测试环境都为一块网卡一个网络（实际环境分公共网络public network和集群网络cluster network）。 0、最小化安装centos7，配置网络连通性。（实际环境除了osd节点mon节点需要至少两块网卡） # vi /etc/sysconfig/network-scripts/ifcfg-ens* BOOTPROTO=none ONBOOT=yes IPADDR=192.168.129.131 NETMASK=255.255.255.0 GATEWAY=192.168.129.2 DNS1=8.8.8.8 1、关闭防火墙墙 #systemctl stop firewalld #systemctl disable firewalld 2、关闭selinux # setenforce 0 #vi /etc/selinux/config 修改SELINUX=disabled SELINUX=disabled

目录：1）Ceph介绍 2）部署Ceph集群 采用版本【2020最新nautilus (stable)14.2.7】 为什么使用Ceph？ ceph其实早在2004年的时候写的第一行代码，它是到2012年才有的第一个开发版本，到2014年的时候ceph才慢慢有公司在生产上应用了，那时候一般有的版本也不是很稳定，也是进行一些二次的研发，包装成一些自己的东西，不过现在ceph的版本已经很稳定了，已经适合在生产用了，目前用的比较多的，社区影响比较好的是这个luminous版本，这个版本也是比较稳定，也是比较流行，目前也是用的比较多。 另外就是ceph和其他存储有些不一样的地方，它可扩展，有很好的性能，有稳定存储的计算模块，在没用ceph之前用的一般都是一些传统的存储或者就是商业的存储，像商业的成本一般比较高，需要一些设备或者存储到云端，另外就是拿服务器做挂载共享，这种一个是不利于横向扩展，它很难保证数据的稳定性，数据的访问速率，因为用挂载模式的话，它挂载的模式访问是比较差的，所以基于这种原因来采用ceph，目前像腾讯、乐视、新浪、国外的公司雅虎也都是用的ceph，像国内用的比较成功的x-sky这个用的也比较多，所以这个ceph已经很稳定了，目前市面的ceph人员也比较缺少。 GlusterFS和ceph的区别 分布式存储的话无疑就是横向扩展，任何一个节点挂了的话，可以不整体影响一个运行

扩容思路：ceph集群容量不足的时候，新加的OSD组成新的pool，制定新的rule规则，新建的bucket都存放在这些新加入的pool里面，注意扩容仅限于新加的bucket，已有的bucket扩容不适用。 ###1.新建pool ceph osd pool create .rgw.buckets.custom 4096 4096 ceph osd pool create .rgw.buckets.custom.index 512 512 ceph osd pool create .rgw.buckets.custom.extra 64 64 ###2.调整region和zone配置 导出region配置 radosgw-admin region get --name client.radosgw.us-zone1 > region.conf.json 编辑region.conf.json,修改placement_targets部分 #修改前 "placement_targets": [ { "name": "default-placement", "tags": [] } ], "default_placement": "default-placement" #修改后 "placement_targets": [ { "name": "default-placement",

一、部署准备： 准备5台机器（linux系统为centos7.6版本），当然也可以至少3台机器并充当部署节点和客户端，可以与ceph节点共用： 1台部署节点（配一块硬盘，运行ceph-depoly） 3台ceph节点（配两块硬盘，第一块为系统盘并运行mon，第二块作为osd数据盘） 1台客户端（可以使用ceph提供的文件系统，块存储，对象存储） （1）所有ceph集群节点（包括客户端）设置静态域名解析； 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.253.135 controller 192.168.253.194 compute 192.168.253.15 storage 192.168.253.10 dlp （2）所有集群节点（包括客户端）创建cent用户，并设置密码，后执行如下命令： useradd cent && echo "123" | passwd --stdin cent echo -e 'Defaults:cent !requiretty\ncent ALL = (root) NOPASSWD:ALL

###ceph的rbd是可以进行调节大小的，但是调节需要进行一些操作，否则你看不到调节之后的效果，等于没调节，因为rbd就相当一块硬盘，但是文件系统一经初始化，分派的总容量大小、块大小 inode数量就定了，再去调节，势必要对sb分区进行重新才可以。 ###当然调节的方法要看具体的文件系统才能判断使用相应的工具 ext4的 传送门 # rbd create --size 10000 test # rbd map test # mkfs.ext4 -q /dev/rbd1 # mount /dev/rbd1 /mnt # df -h /mnt Filesystem Size Used Avail Use% Mounted on /dev/rbd1 9.5G 22M 9.0G 1% /mnt # blockdev --getsize64 /dev/rbd1 10485760000 # rbd resize --size 20000 test Resizing image: 100% complete...done. # blockdev --getsize64 /dev/rbd1 20971520000 # resize2fs /dev/rbd1 resize2fs 1.42 (29-Nov-2011) Filesystem at /dev/rbd1 is mounted on

容器云在使用分布式存储时，HDFS、CEPH、GFS、GPFS、Swift等分布式存储哪种更好? 公司在进行容器云技术选型，想了解相应的分布式存储如何匹配，HDFS、CEPH、GFS、GPFS、Swift等分布式存储，采用哪种更好，主要场景是容器存储应用日志、配置文件、非结构化数据文件等。 问题来自@yin986 某保险软件架构设计师，下文来自twt社区众多同行实践经验分享。 @Steven99 软件架构设计师： 日志文件随着时间会是个很大的量，所以建议考虑统一的日志中心存储处理，可以用es等，备份到hdfs。 配置文件在量上通常不是个问题，可以考虑配置中心统一管理，无需额外存储。 非结构化数据通常是大量的文件，可以采用传统nas或分布式对象存储，当然资金充裕可以采购好的存储，存储性能很重要，根据业务重要程度选择不同的存储。 @Garyy 某保险系统工程师： 容器存储的持久化，对于有状态数据的容器使用场景来说至关重要。因此，在技术选型的时候，需要明确存储的具体需求。存储按照数据类型来分，可以分为块存储，对象存储，文件存储。我们传统的环境中，使用最多的还是块存储和文件存储。随着IT的更新换代，现在对于对象存储(非结构化数据)的需求日益旺盛，对象存储在对一些Key-Value型数据的存储有着天然的优势，再加上其分布式，副本/纠删码等可以匹配传统存储的特性，日益成为温数据