rbd


Ceph块设备介绍与安装配置

↘锁芯ラ 提交于 2019-12-19 19:01:57
一:rbd介绍 块是字节序列(例如,一个512字节的数据块)。基于块的存储接口是使用旋转介质(例如硬盘,CD,软盘甚至传统的9-track tape)存储数据的最常用方法。块设备接口的无处不在,使虚拟块设备成为与海量数据存储系统(如Ceph)进行交互的理想候选者。 Ceph块设备经过精简配置,可调整大小,并在Ceph集群中的多个OSD上存储条带化数据,ceph块设备利用了RADOS功能,例如快照,复制和一致性。 Ceph的RADOS块设备(RBD)使用内核模块或librbd库与OSD进行交互。 ‘ Ceph的块设备对内核设备,KVMS例如QEMU,基于云的计算系统,例如OpenStack和CloudStack,提供高性能和无限的可扩展性 。你可以使用同一群集同时操作Ceph RADOS网关,Ceph的文件系统和Ceph块设备。 二:创建与使用块设备 创建池和块 [root@ceph-node1 ~]# ceph osd pool create block 6 pool 'block' created 为客户端创建用户,并将密钥文件scp到客户端 [root@ceph-node1 ~]# ceph auth get-or-create client.rbd mon 'allow r' osd 'allow class-read object_prefix rbd_children,

rbd: sysfs write failed解决办法

▼魔方 西西 提交于 2019-12-19 19:01:02
问题描述 映射块设备时,出现如下错误 [root@ceph-client /]# rbd map --image block/rbd0 --name client.rbd rbd: sysfs write failed In some cases useful info is found in syslog - try "dmesg | tail". 问题原因 出现这种错误的原因是OS kernel不支持块设备镜像的一些特性,所以映射失败,查看该镜像支持了哪些特性 [root@ceph-client ~]# rbd info block/rbd0 --name client.rbd rbd image 'rbd0': size 2 GiB in 512 objects order 22 (4 MiB objects) id: 15fe16b8b4567 block_name_prefix: rbd_data.15fe16b8b4567 format: 2 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten op_features: flags: create_timestamp: Thu Dec 19 10:33:18 2019 可以看到特性feature一栏

Ceph块存储介绍

烈酒焚心 提交于 2019-12-19 03:20:06
1. 块存储是什么 块存储简称RBD(RADOS Block Device),是一种有序的字节序块,也是在Ceph三大存储类型中最为常用的存储方式 ,Ceph的块存储是基于RADOS的,因此它也借助RADOS的快照、复制和一致性等特性提供了快照、克隆和备份等操作。Ceph的块设备是一种精简置备模式,可以拓展块存储的大小且存储的数据以条带化的方式存储到Ceph集群中的多个OSD中。 2. 访问块存储的方式 访问块存储的方式有两种,分别是KRBD的方式和librbd的方式。 2.1 KRBD方式 KRBD是Kernel RADOS Block Device的简称,它是通过Kernel模块中的RBD模块来实现访问后端存储的,在使用前需要先使用modprobe命令将内核中RBD模块进行加载,同时对内核版本也是有要求的,需要内核的版本不低于3.10,因为比这个版本低的内核还没将RBD模块集成到内核中,因此如果是CentOS6.x的一般需要先升下内核版本。 KRBD访问后端存储的方式一般适用于为物理主机提供的块设备,这种方式是基于内核模块驱动的,可以使用Linux自带的页缓存来提高性能。 以下是通过KRBD模块访问Ceph后端块设备的一些命令操作。 modprobe rbd # 加载RBD内核模块 modinfo rbd # 查看rbd模块信息 rbd create image_name -

ceph 部署单机&&集群

霸气de小男生 提交于 2019-12-15 09:14:50
文章目录 ceph-deploy部署集群 ceph-deploy 部署单机 ceph-deploy 创建osd ceph osd创建资源池 ceph创建rbd块设备 ceph创建fs文件系统 本文档主要参考 ceph官方命令 进行部署,使用的时侯ceph-deploy原生命令方式进行集群各个组件的创建,删除,后续会增加扩容相关的命令。 ceph-deploy部署集群 修改hosts文件,增加想要创建的集群节点名称和对应ip的映射关系 hosts文件可以加快域名解析,同时方便局域网用户来为服务器创建容易记住的名字(node1,node2,node3…) vim /etc/hosts 增加如下ip到主机名称的映射关系: 10.192.55.95 node1 10.192.55.6 node2 10.192.55.100 node3 表示三结点的集群,同时需要将该文件拷贝到每个节点上 scp /etc/hosts 10.192.55.6:/etc 修改hostname ,即对应hosts文件中的域名,在进行节点通信的时候主机间能够进行映射 在每个ip上执行如右命令 hostname node1 ,同时为了重启后生效应执行 echo node1 >/etc/hostname 或者直接编辑文件 vim /etc/sysconfig/network ,在其中增加 HOSTNAME=node1

Ceph

99封情书 提交于 2019-12-07 12:34:13
Install ceph Installation depends about which version you want as they're all locked into Fixed releases (argonaut, bobtail etc). So go here for install options for your distro and the version you want: http://ceph.com/docs/master/install/ Video to ceph intro https://www.youtube.com/watch?v=UXcZ2bnnGZg http://www.youtube.com/watch?v=BBOBHMvKfyc&feature=g-high Rebooting node stops everything / Set number of replicas across all nodes This issue is more or less fixed in Cuttlefish+ Make sure that the min replica count is set to nodes-1. ceph osd pool set <poolname> min_size 1 Then the remaing

ceph rbd与openstack的结合

混江龙づ霸主 提交于 2019-12-06 23:15:08
openstack通过libvirt调用qemu来启动具体的虚拟机,qemu通过librbd这个库与librados通信,而librados是ceph集群的统一API库,这样一来openstack就与ceph rbd联系起来了。具体调用流程如下图所示: 需要在ceph端进行的操作如下: 1、为ceph client创建一系列可用的pools。 根据ceph client的需求及其分类,为client创建一系列的pools。创建pools需要根据当前集群中OSDs的数量合理的分配PGs数量以及对象复制的个数。 #ceph osd pool create volumes 128 创建一个名字为volumes的pool且该pool中的PGs数量为128; #ceph osd pool create images 128 #ceph osd pool create vms 128 2、为ceph client创建一系列用户及其使用集群的权限。 ceph client不同的用户对集群有不同的使用要求,因此需要根据client用户的实际需求为其设置访问集群的权限。 #ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx

ceph块存储rbd介绍

北战南征 提交于 2019-12-06 23:14:30
ceph集群搭建起来后,可以在ceph集群上进行块存储、对象存储以及文件系统存储。从架构上来看,在ceph集群的上面是rados协议,该协议为使用ceph集群的用户提供必要的支持(ceph用户通过调用rados协议来使用ceph集群)。对于块存储来说,可以通过内核模块的方式使用ceph集群也可以通过用户态调用librbd库来使用ceph集群。通过内核模块方式可以充分的利用内核的page cache机制,而通过用户态调用librbd也可以使用librbd在用户态提供的cache方式提高性能。下图是ceph rbd的整体框架图。 1、快照相关。 1)创建快照。 #rbd snap create {pool-name}/{image-name}@{snap-name} 一般来说都是基于一个已有的image来创建快照,创建出来的快照是只读的; 2)查看已有的快照。 #rbd snap ls {pool-name}/{image-name} 查看在已有的image上存在的快照情况; 3)快照roolback。 #rbd snap roolback {pool-name}/{image-name}@{snap-name} 将快照里的内容回写到image中去; 4)删除快照。 #rbd snap rm {pool-name}/{image-name}@{snap-name}

centos7 安装配置ceph

旧时模样 提交于 2019-12-06 08:16:39
前期准备: 规划:8台机器 IP hostname role 192.168.2.20 mon mon.mon 192.168.2.21 osd1 osd.0,mon.osd1 192.168.2.22 osd2 osd.1,mds.b(standby) 192.168.2.23 osd3 osd.2 192.168.2.24 osd4 osd.3 192.168.2.27 client mds.a,mon.client 192.168.2.28 osd5 osd.4 192.168.2.29 osd6 osd.5 关闭 SELINUX [root @admin ceph]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config [root @admin ceph]# setenforce 0 打开 Ceph 需要的端口 [root @admin ceph]# firewall-cmd --zone=public --add-port=6789/tcp --permanent [root @admin ceph]# firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent [root @admin ceph]# firewall

OpenStack集成ceph

房东的猫 提交于 2019-12-06 00:32:01
openstack组件集成ceph OpenStack集成ceph详细过程可以查看ceph官方文档: ceph document OpenStack Queens版本,1台控制节点controller,1台计算节点compute; 1. 创建存储池 Glance:Glance可以把镜像存储在Ceph上; Cinder:Cinder负责管理volume,把volume挂载给instance使用或者直接从volume启动instance。集成Ceph后可以让Cinder在Ceph上创建volume; Nova:在OpenStack Havana版本开始,Nova可以直接把instance的disk存放在Ceph上。 在Ceph集群上总共创建3个存储池,分别给Glance,Cinder和Nova使用; backups: 存放备份文件 2. 配置OpenStack的ceph客户端 2.1. 拷贝ceph.conf 把Ceph的配置文件/etc/ceph/ceph.conf拷贝到2台OpenStack节点上,控制节点和计算节点都需要,因为他们都要跟Ceph通信。 ssh {your-openstack-server} sudo tee /etc/ceph/ceph.conf </etc/ceph/ceph.conf 注意: 运行着 glance-api 、 cinder-volume 、

ceph概述

前提是你 提交于 2019-12-05 23:50:35
ceph概述 基础知识 什么是分布式文件系统 • 分布式文件系统 (Distributed File System) 是指文件系统管理的物理存储资源不一定 直接连接在本地节点上 , 而是通过计算机网络与节点相连 • 分布式文件系统的设计基于客户机 / 服务器模式 常用分布式文件系统 • Lustre • Hadoop • FastDFS • Ceph • GlusterFS 什么是 ceph • ceph 是一个分布式文件系统 • 具有高扩展、高可用、高性能的特点 • ceph 可以提供对象存储、块存储、文件系统存储 • ceph 可以提供 PB 级别的存储空间 (PBàTBàGB) – 1024G*1024G=1048576G • 软件定义存储 (Software Defined Storage) 作为存储行业的一大发展趋势 , 已经越来越 受到市场的认 ceph 组件 OSDs :存储设备, ceph 对象存储设备,它是唯一的真正存储数据的设备,只由 OSD 存储设备,它是一个进程,一般来说 OSD 关联到集群中的每块物理硬盘,所以集群中由多少块硬盘就有多少个 OSD 进程 Monitors ( MON ):集群监控组件, ceph 通过一系列的映射表来监控集群状态,一般来说 MON 是奇数个 MDSs :存放文件系统的元数据服务器 ( 对象存储和块存储不需要该组件 )

工具导航Map