ceph

一、块设备 1、ceph jewel版rbd镜像默认是 format 2 在挂载的时候有些特性会不支持。 2、用自己编译的ceph 搭建好环境后，运行一段时间后，执行rbd ls命令或用rbd命令创建块设备，出现段错误的情况，修改系统的PATH环境变量，把自己编译完的命令加入到PATH变量中，问题得到解决。 3、删除ceph集群的mds ： ceph rm 0 ceph fs rm cephfs --yes-i-really-mean-it 下面就可以删除池了。 来源： oschina 链接： https://my.oschina.net/u/2326998/blog/805825

OpenStack all-in-one部署： 本次部署为OpenStack Queens版本部署，使用All-in-one，单节点部署。 物理资源：8核，32GB，硬盘400GB(3个盘)，2网卡。 其中CPU核心数和内存尽量高，如果资源有限，可以在上面的标准上进行降低，添加三块硬盘，是为了做测试使用，下文会有硬盘操作。 1.网卡个数和状态: # ifconfig ens160: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 10.89.127.123 netmask 255.255.255.0 broadcast 10.89.127.255 inet6 fe80::250:56ff:feaf:7db prefixlen 64 scopeid 0x20<link> ether 00:50:56:af:07:db txqueuelen 1000 (Ethernet) RX packets 1910 bytes 182468 (178.1 KiB) RX errors 0 dropped 10 overruns 0 frame 0 TX packets 110 bytes 18260 (17.8 KiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

前言 Ceph 分布式存储系统，在企业中应用面较广 初步了解并学会使用很有必要 一、简介 Ceph 是一个开源的分布式存储系统，包括对象存储、块设备、文件系统。它具有高可靠性、安装方便、管理简便、能够轻松管理海量数据。Ceph 存储集群具备了企业级存储的能力，它通过组织大量节点，节点之间靠相互通讯来复制数据、并动态地重分布数据，从而达到高可用分布式存储功能。 二、组件说明 1.Centos：release 7.6.1810 (Core) 2.Ceph：jewel-10.2.10 3.Openssh-server：version 7.4 4.NTP 三、Ceph 安装前准备 配置节点 host 将所有节点的/etc/hosts文件修改为如下内容 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 172.16.1.100 admin 172.16.1.101 osd1 172.16.1.102 osd2 安装部署工具 ceph-deploy ceph-deploy (admin-node) 上执行 # yum 配置其他依赖包 $ yum

1. Ceph 架构 1.1 Ceph 接口 Ceph 支持三种接口： Object：有原生的API，而且也兼容 Swift 和 S3 的 API Block：支持精简配置、快照、克隆 File：Posix 接口，支持快照 1.2 Ceph 核心组件及概念介绍 Monitor：一个 Ceph 集群需要多个 Monitor 组成的小集群，它们通过 Paxos 同步数据，用来保存 OSD 的元数据。 OSD：OSD 全称 Object Storage Device，也就是负责响应客户端请求返回具体数据的进程，一个Ceph集群一般有很多个OSD。 CRUSH：CRUSH 是 Ceph 使用的数据分布算法，类似一致性哈希，让数据分配到预期的位置。 PG：PG全称 Placement Groups，是一个逻辑的概念,一个PG 包含多个 OSD 。引入 PG 这一层其实是为了更好的分配数据和定位数据。 Object：Ceph 最底层的存储单元是 Object对象，每个 Object 包含元数据和原始数据。 RADOS：实现数据分配、Failover 等集群操作。 Libradio：Libradio 是RADOS提供库，因为 RADOS 是协议，很难直接访问，因此上层的 RBD、RGW和CephFS都是通过libradios访问的，目前提供 PHP、Ruby、Java、Python、C 和 C+

1. Ceph简介 所有的 Ceph 存储集群的部署都始于一个个 Ceph节点、网络和 Ceph存储集群。Ceph 存储集群至少需要一个 Ceph Monitor、一个 Manager和一个Ceph OSD 守护进程。在运行 Ceph 作为文件存储时，还需要 Ceph 元数据服务。 Monitors ： Ceph监视器（ceph-mon） 维护集群状态的映射，包括监视器映射、管理器映射、OSD映射和 CRUSH 映射。这些映射是Ceph守护进程相互协调所需的关键集群状态。Monitor还负责管理守护进程和客户机之间的身份验证。为了冗余和高可用性，通常至少需要三个监视器。 Managers: Ceph 管理进程（ceph-mgr） 守护进程负责跟踪Ceph集群的运行指标和当前状态，包括存储利用率、当前性能指标和系统负载。Ceph Manager 守护进程还托管基于python的模块来管理和公开Ceph集群信息，包括基于web的Ceph dashboard 和 REST API 高可用通常需要至少两个管理器。 Ceph OSDs: 对象存储守护进程（ceph-osd） 存储数据，处理数据复制，恢复，重新平衡并通过检查其他Ceph OSD 守护进程的心跳来为Ceph Monitor 和 Manager 提供一些监控信息，至少3 Ceph OSDs通常需要冗余和高可用性。 MDSs ：

原文链接： https://blog.csdn.net/lzw06061139/article/details/51953900 获取monmap 转储当前Ceph集群的monmap到/tmp/monmap文件 [root@ceph-xxx-xxx ~]# ceph mon getmap -o /tmp/monmap got monmap epoch 4 查看monmap内容 我的示例Ceph集群中包含三个Monitor节点 root@ceph-xxx-xxx ~]# monmaptool --print /tmp/monmap monmaptool: monmap file /tmp/monmap epoch 4 fsid 1ee20ded-caae-419d-9fe3-5919f129cf55 last_changed 2016-02-26 17:10:47.603764 created 0.000000 0: 192.168.xxx.xxx:6789/0 mon.ceph-xxx-xxx 删除monitor节点信息 逐一删除monmap中的节点信息： root@ceph-xxx-xxx ~]# monmaptool --rm ceph-xxx-xxx /tmp/monmap monmaptool: monmap file /tmp/monmap monmaptool:

ceph object store模式 一、总体概括。 ceph对象网关存储指的是，通过在librados库基础上对外提供Restful API的方式来访问ceph集群。ceph对象网关通常指的是radosgw程序，该程序建立在librados库基础上且该程序是一个FastCGI模块，该模块向上提供兼容S3以及Swift的接口。 radosgw是一个基于FastCGI的模块，因此需要依赖apache和FastCGI。当有外部ceph对象存储请求到达时apache首先接收到该请求，之后将该请求转发给FastCGI模块，最后FastCGI模块再将该请求发送给radosgw，radosgw通过librados与ceph集群通信。 二、手动安装ceph object store。 由于radosgw是一个FastCGI模块，因此需要安装apache等软件。具体安装步骤如下： 1）安装apache： #apt-get install apache2 libapache2-mod-fastcgi 2）配置apache： A）在apache配置文件中添加向外提供服务的服务器地址。apache配置文件位于/etc/apach2/apache2.conf文件，在该文件中添加如下信息： ServerName {fqdn} #其中{fqdn}可以通过命令hostname -f获取 B

1.安装apache。 #apt-get install apache2 libapache2-mod-fastcgi 2.配置apache。 在apache配置文件中添加服务器名称，即：在/etc/apache2/apache2.conf文件添加如下内容： ServerName {fqdn} 其中fqdn是hostname -f的输出结果。 使能apache相关模块。 a2enmod proxy_fcgi a2enmod fastcgi a2enmod rewrite 启动apache。 #service apache2 start 3.安装radosgw模块。 #apt-get install radosgw 4.创建radosgw用户和keyring。 为rgw创建keyring。 #ceph-authtool --create-keyring /etc/ceph/ceph.client.radosgw.keyring #chmod +r /etc/ceph/ceph.client.radosgw.keyring 为rgw用户生成key。 #ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.radosgw.gateway --gen-key 为rgw用户创建权限。 #ceph-authtool -n

引言 在高配置服务器，单个RGW的并发量无法充分使用机器的网络带宽资源，本文用于说明如何在单机上部署多RGW的方法。 如何使nginx和radosgw联合使用 如何使用配置多nginx，多radosgw 1.nginx Radosgw联合使用 Ceph官网说明了如何使用Apache作为前端Web服务器，后官方又退出Civetweb作为自带的web服务器。不过考虑实际并发性能，我们采用Nginx作为前端web服务器，和radosgw联合使用。 1.1 nginx配置 server { listen 80 default; #server_name .com .com.cn .net .cn .org .tv .cc .hk .tw; server_name ceph-21; location / { fastcgi_pass_header Authorization; fastcgi_pass_request_headers on; fastcgi_param QUERY_STRING $query_string; fastcgi_param REQUEST_METHOD $request_method; fastcgi_param CONTENT_LENGTH $content_length; fastcgi_param CONTENT_LENGTH $content_length

在64bit debian8 下面使用的仍然是 sysinit ，运行ceph-deploy rgw create 新建rgw的时候，提示rgw服务无法启动，排查如下： 检查ceph auth配置 root@demo:/etc/ceph# ceph auth list ...... client.rgw.demo # 使用ceph-deploy rgw create的时候自动生成 key: AQB0NPlVEkpPExAAaOAkz+X6fB9sJaMdR+Bq4Q== caps: [mon] allow rw caps: [osd] allow rwx ceph auth已经生成了一个client.rgw.demo的用户，同时在/etc/ceph下面也生成了对于的keyring（没有，请手工添加） cat /etc/ceph/ceph.client.radosgw.demo.keyring [client.rgw.demo] key = AQB0NPlVEkpPExAAaOAkz+X6fB9sJaMdR+Bq4Q== 检查ceph.conf配置 cat /etc/ceph/ceph.conf [client.rgw.demo] #重点是这个sections host = demo keyring = /etc/ceph/ceph.client.radosgw.demo