ceph

两大主流开源分布式存储的对比： GlusterFS vs. Ceph 存储世界最近发生了很大变化。十年前，光纤通道SAN管理器是企业存储的绝对标准，但现在的存储必须足够敏捷，才能适应在新的基础架构即服务云环境内运行。 GlusterFS和Ceph是在现代云环境中表现最出色的两个敏捷存储系统。 在讲述GlusterFS和Ceph的相同点和区别之前，我们先谈一谈云环境中敏捷存储的一些关键点。 纵向升级和横向扩展。在云环境中，很容易向服务器添加更多存储空间和扩展可用存储池。Ceph和GlusterFS都符合这一需求，让新的存储设备可以轻松融入现有存储产品环境。 高可用。GlusterFS和Ceph都会使用复制方法将数据同时写入不同存储节点。这种运作模式会增加读写次数，但同时也确保了数据的可用性。以Ceph为例，数据在默认情况会被复制到三个不同的节点，确保数据副本一直可用。 通用的硬件。GlusterFS和Ceph的开发基础都是Linux操作系统(OS)。因此，对于硬件的唯一要求就是：能够正常运行Linux即可。由于几乎任何商品硬件都能运行Linux操作系统，只要选择这些存储技术，这些技术的使用单位就可以大幅节省硬件投入。实际上，有许多公司也正在投资专用于GlusterFS或Ceph的硬件平台，因为专门优化的硬件可以更快速高效地访问存储空间。 去中心化

0.引入 本文介绍如何配置cache pool tiering. cache pool的作用是提供可扩展的cache，用来缓存ceph的热点数据或者直接用来作为高速pool。如何建立一个cache pool:首先利用ssd盘做一个虚拟的bucket tree， 然后创建一个cache pool,设置其crush映射rule和相关配置，最后关联需要用到的pool到cache pool。 1.建立ssd bucket tree 这 是新增ssd bucket(vrack)后的osd tree。其中osd.1 osd.0 osd.2使用的是ssd盘。如何创建将简单，无非是调整或新增osd到bucket tree下。 # ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 6.00000 root default -2 6.00000 room test -3 3.00000 rack r1 -7 1.00000 host H09 3 1.00000 osd.3 up 1.00000 1.00000 -9 1.00000 host H07 5 1.00000 osd.5 up 1.00000 1.00000 -10 1.00000 host H06 6 1.00000 osd.6 up 1.00000

前期准备: 规划：8台机器 IP hostname role 192.168.2.20 mon mon.mon 192.168.2.21 osd1 osd.0,mon.osd1 192.168.2.22 osd2 osd.1,mds.b(standby) 192.168.2.23 osd3 osd.2 192.168.2.24 osd4 osd.3 192.168.2.27 client mds.a,mon.client 192.168.2.28 osd5 osd.4 192.168.2.29 osd6 osd.5 关闭 SELINUX [root @admin ceph]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config [root @admin ceph]# setenforce 0 打开 Ceph 需要的端口 [root @admin ceph]# firewall-cmd --zone=public --add-port=6789/tcp --permanent [root @admin ceph]# firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent [root @admin ceph]# firewall

由于环境从Hammer版升级到Jewel版，之前Hammer版上有MDS服务，但是没有实际用途，升级到Jewel版后，由于不再适用MDS服务了，因此想把MDS整个干掉。并且由于MDS未启动，因此当前ceph集群的状态一直是HEALTH_WARN状态，看着很是不爽。 删除MDS服务步骤如下： 1、停止mds进程。 #/etc/init.d/ceph stop mds 2、将mds服务标识成失效。 #ceph mds fail 0 3、删除cephfs文件系统。 #ceph fs rm cephfs --yes-i-really-mean-it 4、查看ceph集群状态。 #ceph -s 此时看到ceph集群的状态应该是HEALTH_OK的。 来源： oschina 链接： https://my.oschina.net/u/206258/blog/685986

ceph monitor 负责监控整个集群的健康状况，以及维护集群成员关系状态，对等节点的状态，和集群的配置信息。cluster map是多个map的组合，包括monitor map，osd map，pg map，crush map 以及 mds map。 1 monitor map：它包含监视节点端到端的信息，包括ceph集群ID，monitor 节点名称，IP地址和端口等。 ceph mon dump [root@ceph-admin opt]# ceph mon dump dumped monmap epoch 4 epoch 4 fsid 53fe37a5-7ee7-4190-a8ea-a0221648294c last_changed 2017-09-27 10:14:53.474525 created 2017-09-04 15:17:43.852911 0: 172.18.1.231:6789/0 mon.ceph-admin 1: 172.18.1.232:6789/0 mon.ceph-node1 您在 /var/spool/mail/root 中有新邮件 2 OSD map :它保存一些常用的信息，包括集群ID，OSD map 自创建以来最新版本号自己最后修改时间，以及存储池相关的信息，包括存储名称，ID，状态，副本级别和PG。它还保存着OSD信息，比如数量

之前已详细介绍了Ceph分布式存储基础知识，下面简单记录下Centos7使用Ceph-deploy快速部署Ceph环境： 1）基本环境 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 192.168.10.220 ceph-admin（ceph-deploy） mds1、mon1（也可以将monit节点另放一台机器） 192.168.10.239 ceph-node1 osd1 192.168.10.212 ceph-node2 osd2 192.168.10.213 ceph-node3 osd3 ------------------------------------------------- 每个节点修改主机名 # hostnamectl set-hostname ceph-admin #

openstack组件集成ceph OpenStack集成ceph详细过程可以查看ceph官方文档： ceph document OpenStack Queens版本，1台控制节点controller，1台计算节点compute； 1. 创建存储池 Glance：Glance可以把镜像存储在Ceph上； Cinder：Cinder负责管理volume，把volume挂载给instance使用或者直接从volume启动instance。集成Ceph后可以让Cinder在Ceph上创建volume； Nova：在OpenStack Havana版本开始，Nova可以直接把instance的disk存放在Ceph上。 在Ceph集群上总共创建3个存储池，分别给Glance，Cinder和Nova使用; backups: 存放备份文件 2. 配置OpenStack的ceph客户端 2.1. 拷贝ceph.conf 把Ceph的配置文件/etc/ceph/ceph.conf拷贝到2台OpenStack节点上，控制节点和计算节点都需要，因为他们都要跟Ceph通信。 ssh {your-openstack-server} sudo tee /etc/ceph/ceph.conf </etc/ceph/ceph.conf 注意： 运行着 glance-api 、 cinder-volume 、

cephfs分布式系统 CephFS:分布式文件系统 l 什么是 CephFS ： 分布式文件系统 (Distributed File System) 是指文件系统管理的物理存储资源不一定直接连接在本地节点上 , 而是通过计算机网络与节点相连 CephFS 使用 Ceph 集群提供与 POSIX 兼容的文件系统 允许 Linux 直接将 Ceph 存储 mount 到本地 l 元数据服务器 什么是元数据 元数据 (Metadata) ： 任何文件系统中的数据分为数据和元数据。 数据是指普通文件中的实际数据 而元数据指用来描述一个文件的特征的系统数据 比如 : 访问权限、文件拥有者以及文件数据块的分布信息 (inode...) 等 所以 CephFS 必须有 MDSs 节点 ceph对象存储 什么是对象存储 对象存储： 也就是键值存储 , 通其接口指令 , 也就是简单的 GET 、 PUT 、 DEL 和其他扩展 , 向存储服务上传下载数据 对象存储中所有数据都被认为是一个对象 , 所以 , 任何数据都可以存入对象存储服务器 , 如图片、视频、音频等 RGW 全称是 Rados Gateway RGW 是 Ceph 对象存储网关 , 用于向客户端应用呈现存储界面 , 提供 RESTful API 访问接口 ceph实战 ：创建 KVM 虚拟机，虚拟的硬盘使用 ceph 存储 1. 在

ceph概述 基础知识 什么是分布式文件系统 • 分布式文件系统 (Distributed File System) 是指文件系统管理的物理存储资源不一定 直接连接在本地节点上 , 而是通过计算机网络与节点相连 • 分布式文件系统的设计基于客户机 / 服务器模式 常用分布式文件系统 • Lustre • Hadoop • FastDFS • Ceph • GlusterFS 什么是 ceph • ceph 是一个分布式文件系统 • 具有高扩展、高可用、高性能的特点 • ceph 可以提供对象存储、块存储、文件系统存储 • ceph 可以提供 PB 级别的存储空间 (PBàTBàGB) – 1024G*1024G=1048576G • 软件定义存储 (Software Defined Storage) 作为存储行业的一大发展趋势 , 已经越来越 受到市场的认 ceph 组件 OSDs ：存储设备， ceph 对象存储设备，它是唯一的真正存储数据的设备，只由 OSD 存储设备，它是一个进程，一般来说 OSD 关联到集群中的每块物理硬盘，所以集群中由多少块硬盘就有多少个 OSD 进程 Monitors （ MON ）：集群监控组件， ceph 通过一系列的映射表来监控集群状态，一般来说 MON 是奇数个 MDSs ：存放文件系统的元数据服务器 ( 对象存储和块存储不需要该组件 )