ceph 部署单机&&集群

文章目录

ceph-deploy部署集群
ceph-deploy 部署单机
ceph-deploy 创建osd
ceph osd创建资源池
ceph创建rbd块设备
ceph创建fs文件系统

本文档主要参考ceph官方命令进行部署，使用的时侯ceph-deploy原生命令方式进行集群各个组件的创建，删除，后续会增加扩容相关的命令。

ceph-deploy部署集群

修改hosts文件，增加想要创建的集群节点名称和对应ip的映射关系

hosts文件可以加快域名解析，同时方便局域网用户来为服务器创建容易记住的名字(node1,node2,node3…)

vim /etc/hosts

增加如下ip到主机名称的映射关系:
```
10.192.55.95 node1
10.192.55.6 node2
10.192.55.100 node3
```
表示三结点的集群，同时需要将该文件拷贝到每个节点上scp /etc/hosts 10.192.55.6:/etc
修改hostname ，即对应hosts文件中的域名，在进行节点通信的时候主机间能够进行映射

在每个ip上执行如右命令hostname node1,同时为了重启后生效应执行echo node1 >/etc/hostname或者直接编辑文件vim /etc/sysconfig/network，在其中增加HOSTNAME=node1来保持重启后生效
进入目录/etc/ceph，如果没有就创建一个。用来存储部署过程中产生的配置文件，各个组件的密钥，以及ceph-deploy日志

其实这个目录并没有太多的限制，可以根据自己情况随意创建，但是我们项目目前默认的是以上文件夹
创建配置文件、cepm-mon的keyring以及ceph-deloy日志文件

ceph-deploy new node1 node2 node3

将以上产生的所有文件拷贝到每个节点，因为接下来创建mon的时候会ssh到每个节点进行keyring验证并部署mon
创建mon(集群的大脑即监控者moniter)，一般在ip较小的节点先进行创建（3节点最多可以创建3个mon），方便mon选举，本例是我在node1节点创建mon

ceph-deploy mon create-initial

此时运行ceph -s可以看到

此时集群其他节点还未更新，所以无法使用ceph -s命令查看ceph集群状态，因为缺少mon,客户端启动的相关密钥，类似于bootstrap.keyring，需要在各个节点进行密钥收集
在其他非创建mon节点/etc/ceph目录下执行

ceph-deploy gatherkeys node1即可在其他节点上ceph -s看到集群状态
创建mgr（集群管理者maneger），为三个节点都创建mgr，只需在一个节点/etc/ceph目录下执行

ceph-deploy mgr create node1 node2 node3

此时运行ceph -s可以看到

ceph-deploy 部署单机

单机部署和集群部署总体流程一样，只是把集群节点的多数目变为但数目即可

修改hosts文件，增加单机ip和节点名称的映射

vim /etc/hosts增加node1 10.192.55.95
修改hostname

hostname node1
进入目录cd /etc/ceph，以下所有的ceph-deploy命令都在该目录中执行
创建配置文件

ceph-deploy new node1
创建mon

ceph-deploy mon create-initial
创建mgr

ceph-deploy mgr create node1

ceph-deploy 创建osd

以下命令适用于单机和集群

为osd创建分区并做xfs文件系统，存储元数据

ceph-deploy osd prepare node1:/dev/sdb

创建多个

ceph-deploy osd preapare node1:/dev/sdb node1:/dev/sdc node1:/dev/sdd
激活osd

ceph-deploy osd activate node1:/dev/sdb1 node1:/dev/sdc1 node1:/dev/sdd1

使用ceph osd tree查看osd情况

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DTBpOqgV-1575878199633)(C:\Users\zhanghuigui\AppData\Roaming\Typora\typora-user-images\1547173828516.png)]$
根据crush规则部署OSD

目前我们的集群如果不做crush规则的更改，则默认为3副本规则
- 创建bucket（这是一种类型，表现形式为树形的，它的级别可以理解为从世界存储中心到具体的磁盘osd的划分，默认类型包括root,data center,room,row,rack,host,osd）,我们一般以设备为单位，所以选择的级别就设置为host
  
  ceph osd crush add-bucket host1 host
  
  这里我们要适配crush的3副本默认规则，所以host个数要设置大于三个
  
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nRfvlHLm-1575878199633)(C:\Users\zhanghuigui\AppData\Roaming\Typora\typora-user-images\1547174207805.png)]
- 将host移动到root下形成树形管理结构，最后crush规则才能在集群中生效
```
ceph osd crush move host1 root=default
ceph osd crush move host2 root=default
ceph osd crush move host3 root=default
```
  $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uzsM1MS9-1575878199633)(C:\Users\zhanghuigui\AppData\Roaming\Typora\typora-user-images\1547174399159.png)]$
- 将osd移动到host下
```
ceph osd crush add osd.0 1.00 host=host1
ceph osd crush add osd.1 1.00 host=host2
ceph osd crush add osd.2 1.00 host=host3
```

ceph osd创建资源池

创建的资源池需要设置PG 以及PGP数目

ceph osd pool create pool_name 128 128

查看创建结果ceph -s

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cqKNRlPI-1575878199635)(C:\Users\zhanghuigui\AppData\Roaming\Typora\typora-user-images\1547175846686.png)]$
查看具体pool的详细信息
ceph osd pool ls detail

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UjepZf9h-1575878199635)(C:\Users\zhanghuigui\AppData\Roaming\Typora\typora-user-images\1547175940338.png)]$

删除资源池

ceph osd pool rm data data --yes-i-really-really-mean-it

ceph创建rbd块设备

创建前提是需要拥有pool资源池

创建rbd块设备

rbd create rbd_test -p data --size 1T在资源池data中创建一个名字叫做rbd_test的1T块设备
查看创建结果

rbd ls -p data
查看具体块设备信息

rbd info rbd_test -p data或者rbd info data/rbd_test
禁用rbd的特性，否则会需要做一些密钥验证无法创建映射

rbd feature disable data/rbd_test object-map fast-diff deep-flatten exclusive-lock
创建rbd映射

rbd map rbd_test -p data
查看映射结果lsblk
解除rbd映射

rbd unmap /dev/rbd0
删除rbd 块

rbd rm rbd_test -p data