ceph-deploy

用途：所有的卸载适合测试环境 多次部署又不想重新安装操作系统 一、 正常卸载 如果是为了测试，搭建好的ceph环境而且是正常工作的，那么卸载之前安装环境。 1.1 查看命令帮助 [root@ceph-mon1 ~]# ceph-deploy -h ```` uninstall: Remove Ceph packages from remote hosts.(仅仅会卸载ceph软件包) purge: Remove Ceph packages from remote hosts and purge allData.(卸载ceph软件包而且还会清除所有数据) Purgedata: Purge (delete, destroy, discard, shred) any Ceph data from /var/lib/ceph(删除所有关于ceph的数据文件位于/var/lib/ceph下) Forgetkeys: Remove authentication keys from the local directory.(将卸载节点的认证密钥从本地目录移除) 示例： 一、安装ceph-deploy软件 dnf install ceph-deploy -y 二、软件环境：三个节点环境 #卸载ceph软件包 ceph-deploy purge controller1 ceph-deploy

虚拟机镜像：centos7 1908 1. 下载ceph nautilus 版本yum源 地址：https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/ 下载这两个文件夹里对应 14.2.5-0.el7 的 rpm noarch/ 14-Jan-2020 23:21 x86_64/ 14-Jan-2020 23:24 1.1 下载aarch64文件夹对应版本的rpm文件：(物理机) ]# mkdir /var/ftp/pub/ceph ]# cd /var/ftp/pub/ceph ceph]# mkdir ceph noarch ceph]# ls ceph noarch 进入/var/ftp/pub/ceph/ceph文件夹，创建x86_64.txt ceph]# vim x86_64.txt 注意：用鼠标全选复制网页： "https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/" 上面所有的文字粘贴到x86_64.txt 如下图： 1.2 编写脚本： ceph]# cat get.sh #!/bin/bash rpm_file=/var/ftp/pub/ceph/ceph/$1.txt rpm_netaddr=https://mirrors.aliyun.com/ceph/rpm

一、Ceph简单介绍 1） OSDs: Ceph的OSD守护进程（OSD）存储数据，处理数据复制，恢复，回填，重新调整，并通过检查其它Ceph OSD守护程序作为一个心跳 向Ceph的监视器报告一些检测信息。Ceph的存储集群需要至少2个OSD守护进程来保持一个 active + clean状态.（Ceph默认制作2个备份，但可以调整它） 2） Monitors:Ceph的监控保持集群状态映射，包括OSD(守护进程)映射,分组(PG)映射，和CRUSH映射。 Ceph 保持一个在Ceph监视器, Ceph OSD 守护进程和 PG的每个状态改变的历史（称之为“epoch”）。 3） MDS: MDS是Ceph的元数据服务器，代表存储元数据的Ceph文件系统（即Ceph的块设备和Ceph的对象存储不使用MDS）。Ceph的元数据服务器使用POSIX文件系统，用户可以执行基本命令如 ls, find,等，并且不需要在Ceph的存储集群上造成巨大的负载。 Ceph把客户端的数据以对象的形式存储到了存储池里。利用CRUSH算法，Ceph可以计算出安置组所包含的对象，并能进一步计算出Ceph OSD集合所存储的安置组。CRUSH算法能够使Ceph存储集群拥有动态改变大小、再平衡和数据恢复的能力。 二、Ceph存储特点 Object：有原生的API，而且也兼容Swift和S3的API

一、Ceph简单介绍 OSDs ： Ceph的OSD守护进程（OSD）存储数据，处理数据复制，恢复，回填，重新调整，并通过检查其它Ceph OSD守护程序作为一个心跳 向Ceph的监视器报告一些检测信息。Ceph的存储集群需要至少2个OSD守护进程来保持一个 active + clean状态.（Ceph默认制作2个备份，但可以调整它） Monitors ： Ceph的监控保持集群状态映射，包括OSD(守护进程)映射,分组(PG)映射，和CRUSH映射。 Ceph 保持一个在Ceph监视器, Ceph OSD 守护进程和 PG的每个状态改变的历史（称之为“epoch”）。 MDS ： MDS是Ceph的元数据服务器，代表存储元数据的Ceph文件系统（即Ceph的块设备和Ceph的对象存储不使用MDS）。Ceph的元数据服务器使用POSIX文件系统，用户可以执行基本命令如 ls, find,等，并且不需要在Ceph的存储集群上造成巨大的负载。 Ceph把客户端的数据以对象的形式存储到了存储池里 。利用CRUSH算法，Ceph可以计算出安置组所包含的对象，并能进一步计算出Ceph OSD集合所存储的安置组。CRUSH算法能够使Ceph存储集群拥有动态改变大小、再平衡和数据恢复的能力。 二、Ceph存储特点 Object ：有原生的API，而且也兼容Swift和S3的API Block

修改主机名和 /etc/hosts 关闭防火墙和 SELINUX 安装和配置 NTP ceph-deploy 节点安装 安装 ceph-deploy sudo yum install ceph -deploy -y 配置 SSH（生成公秘钥实现免密访问） 添加 OSD ceph-deploy disk zap ceph2: /dev/vdb ceph3: /dev/vdb ceph-deploy osd prepare ceph2: /dev/vdb ceph3: /dev/vdb ★ 注意：[prepare 命令只准备 OSD 。在大多数操作系统中，硬盘分区创建后，不用 activate 命令也会自动执行 activate 阶段（通过 Ceph 的 udev 规则）。] 摘自： http: //docs.ceph.org.cn/rados/deployment/ceph-deploy-osd/ 所以下面的 activate 会报错，实际上 OSD 已经激活，这个时候推荐的做法是在 OSD 节点手动去看服务有没有启动。参：[OSD 启动确认(和 monitor 启动确认类似)] ceph-deploy osd activate ceph2: /dev/vdb ceph3: /dev/vdb 推送配置文件 ceph-deploy admin ceph1 ceph2 ceph3

一 基础准备 参考《002.Ceph安装部署》文档部署一个基础集群； 新增节点主机名及IP在deploy节点添加解析： 1 [root@deploy ~]# echo "172.24.8.75 cephclient" >>/etc/hosts 配置国内yum源： 1 [root@cephclient ~]# yum -y update 2 [root@cephclient ~]# rm /etc/yum.repos.d/* -rf 3 [root@cephclient ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 4 [root@cephclient ~]# yum -y install epel-release 5 [root@cephclient ~]# mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup 6 [root@cephclient ~]# mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epel-testing.repo.backup 7 [root@cephclient ~]# wget -O

No.1 引言 在这个特殊的时期里，有比较多的时间折腾技术，在前段时间折腾完Cobbler以及Ansible Tower后，想着要折腾啥？这时候想起来，之前看技术文章知道最新版本的Ceph Nautilus官方集成了Dashboard界面，只是看过截图，感觉是很炫酷，在Ceph经历了多年的使用多种第三方Dashboard工具，如：Calamari、VSM等后，终于迎来了官方Dashboard，最初只是想体验下原生的Dashboard是什么样子的，在开始搭建的过程中，发现Dashboard的模式不是直接启用模块所有的功能就能正常使用，初始安装好只有最基本的Ceph集群以及RBD管理等功能，像文件存储、对象存储、iSCSI网关、NFS网关、监控都是没有集成的，都需要单独集成，Ceph启用Dashboard的资料网上能找到的多数是直接启用Dashboard模块，集成其它模块的中文资料也很少，因此也开启了一路不断踩坑不断验证的模式，历时数十天终于安装集成完毕，现总结下经验，供同行参考，避免大家浪费时间踩坑，故引出此文。 No.2 Ceph Dashboard介绍 Ceph的官方Dashboard正式是从Ceph luminous版本开始，最初是一个简单的只读视图，可查看Ceph集群的各种运行时信息和性能数据，而无需身份验证或任何管理功能。 Ceph

特别说明： 本方法也可以用于单节点部署，只部署一个 Monitor （只是会形成单点故障而已），最低要求是使用两个分区创建 2 个 OSD （因为默认最小副本是 2 ）；如果不需要使用 CephFS ，则可以不部署 MDS 服务；如果不使用对象存储，则可以不部署 RGW 服务。 Ceph 从 11.x (kraken) 版本开始新增 Manager 服务，是可选的，从 12.x (luminous) 版本开始是必选的。 系统环境 3个节点的主机 DNS 名及 IP 配置（主机名和 DNS 名称一样）： $ cat /etc/hosts ... 172.29.101.166 osdev01 172.29.101.167 osdev02 172.29.101.168 osdev03 ... 内核及发行版版本： $ uname -r 3.10.0-862.11.6.el7.x86_64 $ cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) 3个节点使用 sdb 做 OSD 磁盘，使用 dd 命令清除其中可能存在的分区信息（会破坏磁盘数据，谨慎操作）： $ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 222.6G 0 disk ├─sda1 8:1 0

ceph infernalis版本安装过程。 一、使用ceph-deploy方式安装infernalis版本的ceph。 1、宿主机环境。 ubuntu14.04.03-server-amd64 2、添加trusted key。 #wget -q -O- 'https://git.ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add - 该命令用于添加ceph正式发布版的trusted key。 #wget -q -O- 'https://git.ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/autobuild.asc' | sudo apt-key add - 该命令用于添加ceph开发测试版的trusted key。 3、向ubuntu源添加指定版本的ceph源。 #apt-add-repository 'deb http://download.ceph.com/debian-infernalis/ trusty main’ 4、添加经过ceph修改过的Apache/FastCGI源。 #echo deb http://gitbuilder.ceph.com/libapache-mod-fastcgi-deb-$(lsb_release