ceph

https://my.oschina.net/hanhanztj/blog/515410 0.引入 本文介绍如何配置cache pool tiering. cache pool的作用是提供可扩展的cache，用来缓存ceph的热点数据或者直接用来作为高速pool。如何建立一个cache pool:首先利用ssd盘做一个虚拟的bucket tree， 然后创建一个cache pool,设置其crush映射rule和相关配置，最后关联需要用到的pool到cache pool。 1.建立ssd bucket tree 这是新增ssd bucket(vrack)后的osd tree。其中osd.1 osd.0 osd.2使用的是ssd盘。如何创建将简单，无非是调整或新增osd到bucket tree下。 # ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 6.00000 root default -2 6.00000 room test -3 3.00000 rack r1 -7 1.00000 host H09 3 1.00000 osd.3 up 1.00000 1.00000 -9 1.00000 host H07 5 1.00000 osd.5 up 1.00000 1.00000 -10

CentOS7.6 部署ceph环境 测试环境： 节点名称 节点IP 磁盘 节点功能 Node-1 10.10.1.10/24 /dev/sdb 监控节点 Node-2 10.10.1.20/24 /dev/sdb OSD节点 Node-3 10.10.1.30/24 /dev/sdb OSD节点 步骤： 主机信息配置 1.1. 修改三台主机的主机名 [root@Node-1 ~]# hostnamectl set-hostname Node-1 [root@Node-2 ~]# hostnamectl set-hostname Node-2 [root@Node-3 ~]# hostnamectl set-hostname Node-3 1.2. 修改三台主机的hosts文件，增加以下记录： [root@Node-1 ~]# vi /etc/hosts 10.10.1.10 Node-1 10.10.1.20 Node-2 10.10.1.30 Node-3 1.3. 关闭三台主机的防火墙和Selinux [root@Node-1 ~]# systemctl stop firewalld.sevice [root@Node-1 ~]# systemctl disable firewalld.sevice [root@Node-1 ~]# vi /etc/sysconfig

ceph-deploy安装 Yum priorities plugin Loaded plugins: fastestmirror Loaded plugins: fastestmirror, priorities yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm cat << EOM > /etc/yum.repos.d/ceph.repo [ceph-noarch] name=Ceph noarch packages baseurl=https://download.ceph.com/rpm-mimic/el7/noarch enabled=1 gpgcheck=1 type=rpm-md gpgkey=https://download.ceph.com/keys/release.asc EOM yum install ceph-deploy ntp ntpdate ntp-doc -y ssh-keygen #下面得一条条执行 ssh-copy-id ceph1 ssh-copy-id ceph2 ssh-copy-id ceph3 echo "192.168.7.151 ceph1" >> /etc/hosts echo "192.168.7.152

1. ceph 简介 　　Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统()。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。 　　官网：https://ceph.com/ 　　官方文档：http://docs.ceph.com/docs/master/# 2. Ceph特点 高性能 ： 　　1) 摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。 　　2) 考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。 　　3) 能够支持上千个存储节点的规模，支持TB到PB级的数据。 高可用性： 　　1) 副本数可以灵活控制。 　　2) 支持故障域分隔，数据强一致性。 　　3) 多种故障场景自动进行修复自愈。 　　4) 没有单点故障，自动管理。 高可扩展性： 　　1) 去中心化。 　　2) 扩展灵活。 　　3)

一、ceph介绍 操作系统需要内核版本在kernel 3.10+或CentOS7以上版本中部署 通过deploy工具安装简化部署过程，本文中选用的ceph-deploy版本为1.5.39 至少准备6个环境，分别为1个ceph-admin管理节点、3个mon/mgr/mds节点、2个osd节点 二、ceph安装 1. 部署ceph-admin a) 配置主机名，配置hosts文件。 shell> hostnamectl --static set-hostname shyt-ceph-admin shell> cat /etc/hosts 10.52.0.181 shyt-ceph-mon1 10.52.0.182 shyt-ceph-mon2 10.52.0.183 shyt-ceph-mon3 10.52.0.201 shyt-ceph-osd-node1 10.52.0.202 shyt-ceph-osd-node2 b) 生成ssh key文件并复制到各个节点 shell> ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase):

标签（空格分隔）： ceph环境，ceph，cephfs cephfs部署之前准备工作： 1. 一个 clean+active 的cluster cluster部署参考： centos7下搭建ceph luminous（12.2.1）--无网或网络较差 当前集群环境： [root@node1 ~]# ceph -s cluster: id: b8b4aa68-d825-43e9-a60a-781c92fec20e health: HEALTH_OK services: mon: 1 daemons, quorum node1 mgr: node1(active) osd: 6 osds: 6 up, 6 in data: pools: 0 pools, 0 pgs objects: 0 objects, 0 bytes usage: 6338 MB used, 55101 MB / 61440 MB avail pgs: 2. 一个元数据服务器mds 需要说明的是node1是mon+osd+mds节点，node2，node3是osd节点，另外还有一个使用ceph-deploy部署集群的admin节点。下面在node1节点上部署mds： [cephu@admin my-cluster]$ ceph-deploy mds create node1 部署cephfs：

目录 一、准备机器 二、ceph节点安装 三、搭建集群 四、扩展集群（扩容） 一、准备机器 本文描述如何在 CentOS 7 下搭建 Ceph 存储集群（STORAGE CLUSTER）。 一共4台机器，其中1个是管理节点，其他3个是ceph节点： hostname ip role 描述 admin-node 192.168.0.130 ceph-deploy 管理节点 node1 192.168.0.131 mon.node1 ceph节点，监控节点 node2 192.168.0.132 osd.0 ceph节点，OSD节点 node3 192.168.0.133 osd.1 ceph节点，OSD节点 管理节点：admin-node ceph节点：node1, node2, node3 所有节点：admin-node, node1, node2, node3 1. 修改主机名 # vi /etc/hostname 2. 修改hosts文件 # vi /etc/hosts 192.168.0.130 admin-node 192.168.0.131 node1 192.168.0.132 node2 192.168.0.133 node3 3. 确保联通性（管理节点） 用 ping 短主机名（ hostname -s ）的方式确认网络联通性。解决掉可能存在的主机名解析问题。 $

准备阶段 准备yum源 删除默认的源，国外的比较慢 yum clean all rm -rf /etc/yum.repos.d/*.repo 下载阿里云的base源 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 下载阿里云的epel源 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo 修改里面的系统版本为7.3.1611,当前用的centos的版本的的yum源可能已经清空了 sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo sed -i 's/$releasever/7.3.1611/g' /etc/yum.repos.d/CentOS-Base.repo 添加ceph源 vim /etc/yum.repos.d/ceph.repo [ceph] name=ceph baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/

1、替换ceph.conf配置文件 if [ -n "`/usr/bin/grep -w paxos_min /etc/ceph/ceph.conf`" ]; then sed -i '/paxos_min/c\paxos_min = 5000' /etc/ceph/ceph.conf; else sed -i '/auth_client_required/a\paxos_min = 5000' /etc/ceph/ceph.conf; fi 2、删除一个root pool_name=xxxx;for i in `ceph osd crush ls "$pool_name"_host_group`;do ceph osd crush rm `ceph osd crush ls "$i"` $i ; done;for i in `ceph osd crush ls "$pool_name"_host_group`;do ceph osd crush rm $i ;done;ceph osd crush rm "$pool_name"_host_group 3、统计所有慢op 原型 ceph daemon osd.1 dump_historic_slow_ops|egrep -w "initiated_at|duration|time|event"|sed -e 's/"//g' -e

1.Ceph版本选择 （1）Ceph版本来源介绍 Ceph 社区最新版本是 14，而 Ceph 12 是市面用的最广的稳定版本。 第一个 Ceph 版本是 0.1 ，要回溯到 2008 年 1 月。多年来，版本号方案一直没变，直到 2015 年 4 月 0.94.1 （ Hammer 的第一个修正版）发布后，为了避免 0.99 （以及 0.100 或 1.00 ？），制定了新策略。 x.0.z - 开发版（给早期测试者和勇士们） x.1.z - 候选版（用于测试集群、高手们） x.2.z - 稳定、修正版（给用户们） x 将从 9 算起，它代表 Infernalis （ I 是第九个字母），这样第九个发布周期的第一个开发版就是 9.0.0 ；后续的开发版依次是 9.0.1 、 9.0.2 等等。 （2）Luminous新版本特性 Bluestore ceph-osd的新后端存储BlueStore已经稳定，是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而不使用诸如XFS的中间文件系统，来管理每个OSD存储的数据，这提供了更大的性能和功能。 BlueStore支持Ceph存储的所有的完整的数据和元数据校验。 BlueStore内嵌支持使用zlib，snappy或LZ4进行压缩。（Ceph还支持zstd进行RGW压缩，但由于性能原因