crush

ceph迁移有很多种方案。最简单的就是上一台新的，拆一台旧的。但是这样的方法不安全，有可能在数据迁移到一半的时候出现异常而老的数据在迁移回去费时费力而且又可能出现新的问题。所以今天分享一个比较安全的迁移方案。 1 设计方案 1.1 准备硬件 硬件准备包括安装操作系统，防火墙关闭，插入磁盘，分配网络，安装ceph软件。 1.2 迁移规划 迁移前： 主机 IP 组件 ceph-admin 172.18.0.131 mon,osd ceph-node1 172.18.0.132 mon,osd ceph-node2 172.18.0.133 mon,osd 迁移后： 主机 IP 组件 ceph-admin 172.18.0.131 mon ceph-node1 172.18.0.132 mon ceph-node2 172.18.0.133 mon transfer01 172.18.0.135 osd transfer02 172.18.0.34 osd transfer03 172.18.0.51 osd 2 迁移原理 迁移原理基于ceph 的crush 伪随机原理。简单的说就是当副本数增加的时候原来bucket中的数据不迁移，只是拷贝一份副本到新的bucket中。当副本数减少的时候 也是把指定的bucket中的数据删除，其他bucket中的数据不会迁移。 2.1

目录：1）Ceph介绍 2）部署Ceph集群 采用版本【2020最新nautilus (stable)14.2.7】 为什么使用Ceph？ ceph其实早在2004年的时候写的第一行代码，它是到2012年才有的第一个开发版本，到2014年的时候ceph才慢慢有公司在生产上应用了，那时候一般有的版本也不是很稳定，也是进行一些二次的研发，包装成一些自己的东西，不过现在ceph的版本已经很稳定了，已经适合在生产用了，目前用的比较多的，社区影响比较好的是这个luminous版本，这个版本也是比较稳定，也是比较流行，目前也是用的比较多。 另外就是ceph和其他存储有些不一样的地方，它可扩展，有很好的性能，有稳定存储的计算模块，在没用ceph之前用的一般都是一些传统的存储或者就是商业的存储，像商业的成本一般比较高，需要一些设备或者存储到云端，另外就是拿服务器做挂载共享，这种一个是不利于横向扩展，它很难保证数据的稳定性，数据的访问速率，因为用挂载模式的话，它挂载的模式访问是比较差的，所以基于这种原因来采用ceph，目前像腾讯、乐视、新浪、国外的公司雅虎也都是用的ceph，像国内用的比较成功的x-sky这个用的也比较多，所以这个ceph已经很稳定了，目前市面的ceph人员也比较缺少。 GlusterFS和ceph的区别 分布式存储的话无疑就是横向扩展，任何一个节点挂了的话，可以不整体影响一个运行

Coal may have initially been mined from strip mines or open pits. As production improved, it became complicated to mine the remaining coals close to for the surface, and as a result underground methods had been developed.1 underground method was the use of slope mines, whereby the mining followed the slope in the natural coal bed, gathering and extracting the coal as the slope shaft continued to follow the coal bed. Steel s might be laid along with the coal removed by coal carts pulled from the mine.If the use of a slope mine was ineffective, a vertical shaft could be dug from the surface to

一、Ceph 服务管理 1.1 启用和停止守护进程 # 启动当前节点的所有Ceph服务 [root@ceph01 ~]# systemctl start ceph.target # 停止当前节点的所有Ceph服务 [root@ceph01 ~]# systemctl stop ceph\*.service ceph\*.target # 对远端节点进行操作 -H 192.168.5.93 [root@ceph01 ~]# systemctl -H ceph02 start ceph.target 1.2 查看相关服务 systemctl status ceph-osd.target systemctl status ceph-osd@1.service systemctl status ceph-mds.target systemctl status ceph-mon.target systemctl status ceph-radosgw.target 二、集群扩展 从根本上说，Ceph一直致力于成长从几个节点到几百个，它应该在没有停机的情况下即时扩展。 2.1 节点信息及系统初始化（请按第一节进行初始化配置） # ceph-deploy节点设置免密登录[cephadmin@ceph01 ~]$ ssh-copy-id cephadmin@ceph04# 以前为新加节点配置

一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统 。ceph 的统一体现在可以 提供文件系统、块存储和对象存储 ，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会 采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。 官网：https://ceph.com/ 官方文档：http://docs.ceph.com/docs/master/# 二、Ceph特点： 高性能： a. 摒弃了传统的集中式存储元数据寻址的方案， 采用CRUSH算法 ，数据分布均衡， 并行度高。 b.考虑了容灾域的隔离，能够 实现各类负载的副本放置规则 ，例如跨机房、机架 感知等。 c. 能够 支持上千个存储节点的规模 ，支持TB到PB级的数据。 高可用性： a. 副本数可以灵活控制。 b. 支持故障域分隔 ，数 据强一致性。 c. 多种故障场景自动进行 修复自愈 。 d. 没有单点故障 ，自动管理。 高可扩展性： a. 去中心化。 b. 扩展灵活。 c. 随着节点增加而 线性增长。 特性丰富

作者： 吴香伟 发表于 2014/09/05 版权声明：可以任意转载，转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素： 1) 故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险； 2) 负载均衡。数据能够均匀地分布在磁盘容量不等的存储节点，避免部分节点空闲部分节点超载，从而影响系统性能； 3) 控制节点加入离开时引起的数据迁移量。当节点离开时，最优的数据迁移是只有离线节点上的数据被迁移到其它节点，而正常工作的节点的数据不会发生迁移。 对象存储中一致性Hash和Ceph的CRUSH算法是使用地比较多的数据分布算法。在Aamzon的Dyanmo键值存储系统中采用一致性Hash算法，并且对它做了很多优化。OpenStack的Swift对象存储系统也使用了一致性Hash算法。 一致性Hash算法 假设数据为 x ，存储节点数目为 N 。将数据分布到存储节点的最直接做法是，计算数据 x 的Hash值，并将结果同节点数目 N 取余数，余数就是数据x的目的存储节点。即目的存储节点为 Hash(x) % N 。对数据计算Hash值的目的为了可以让数据均匀分布在N个节点中。这种做法的一个严重问题是，当加入新节点或则节点离开时，几乎所有数据都会受到影响，需要重新分布。因此，数据迁移量非常大。

1、替换ceph.conf配置文件 if [ -n "`/usr/bin/grep -w paxos_min /etc/ceph/ceph.conf`" ]; then sed -i '/paxos_min/c\paxos_min = 5000' /etc/ceph/ceph.conf; else sed -i '/auth_client_required/a\paxos_min = 5000' /etc/ceph/ceph.conf; fi 2、删除一个root pool_name=xxxx;for i in `ceph osd crush ls "$pool_name"_host_group`;do ceph osd crush rm `ceph osd crush ls "$i"` $i ; done;for i in `ceph osd crush ls "$pool_name"_host_group`;do ceph osd crush rm $i ;done;ceph osd crush rm "$pool_name"_host_group 3、统计所有慢op 原型 ceph daemon osd.1 dump_historic_slow_ops|egrep -w "initiated_at|duration|time|event"|sed -e 's/"//g' -e

Jaw crushers are a powerful tool for crushing stone or rock. The specifications will differ depending on what type of crusher you are using. One of the primary considerations in the construction of jaw crusher is the metal used for the crushing mechanism. It has to possess a breaking point that is considerably higher than the stone or rock it is attempting to break down. Jaw crusher is mainly constitute feed hopper, points feeder, vortex dynamic crushing cavity , impeller, spindle, base hammer broken machines, gearing, stent, etc. The analysis of jaw crusher technological process is as

启动一个ceph进程 #启动mon进程 service ceph start mon.node1 #启动msd进程 service ceph start mds.node1 #启动osd进程 service ceph start osd.0 #查看机器的监控状态 ceph health #查看ceph的实时运行状态 ceph -w #检查信息状态信息 ceph -s #查看ceph存储空间 ceph df #删除一个节点的所有的ceph数据包 ceph-deploy purge node1 ceph-deploy purgedata node1 创建管理用户 #为ceph创建一个admin用户并为admin用户创建一个密钥，把密钥保存到/etc/ceph目录下： ceph auth get-or-create client.admin mds 'allow' osd 'allow *' mon 'allow *' > /etc/ceph/ceph.client.admin.keyring 或 ceph auth get-or-create client.admin mds 'allow' osd 'allow *' mon 'allow *' -o /etc/ceph/ceph.client.admin.keyring #为osd.0创建一个用户并创建一个key ceph auth

本例子ceph L版本采用的是filestore，而不是bluestore. 一、查看class类型，只有一个hdd，。Luminous 为每个OSD添加了一个新的属性：设备类。默认情况下，OSD将根据Linux内核公开的硬件属性自动将其设备类设置为HDD、SSD或NVMe（如果尚未设置）。这些设备类在ceph osd tree 中列出(实验环境无ssd硬盘，生产环境有ssd可以直接认到并自动创建ssd class，不需要第二步到第四步) , 修改前集群拓扑： [root@ceph1 ceph-install]# ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 0.76163 root default -9 0.25388 rack rack01 -3 0.25388 host ceph1 0 hdd 0.07809 osd.0 up 1.00000 1.00000 1 hdd 0.07809 osd.1 up 1.00000 1.00000 6 hdd 0.09769 osd.6 up 1.00000 1.00000 -10 0.25388 rack rack02 -5 0.25388 host ceph2 2 hdd 0.07809 osd.2 up 1.00000 1.00000 3 hdd