ceph

Ceph 文件系统 FS 性能测试 测试背景 系统环境： 测试工具： fio 测试工具 工具版本： fio-2.2.8 测试目录： /data/mycephfs 磁盘：单块盘做的 Raid0 ， ext4 文件系统 网络： 3 块千兆网卡绑定在一起 Ceph 环境： Ceph 版本 双副本机制， ceph 集群共两台机器，每台机器上有四个 osd ，每个 osd 对应一块物理盘： # ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 28.34558 root default -2 14.17279 host bdc217 0 3.54320 osd.0 up 1.00000 1.00000 1 3.54320 osd.1 up 1.00000 1.00000 2 3.54320 osd.2 up 1.00000 1.00000 3 3.54320 osd.3 up 1.00000 1.00000 -3 14.17279 host bdc218 4 3.54320 osd.4 up 1.00000 1.00000 5 3.54320 osd.5 up 1.00000 1.00000 6 3.54320 osd.6 up 1.00000 1.00000 7 3.54320 osd.7 up 1

rbd-mirror是jewel版本新加入的一个特性，目的是在不同的ceph集群中同步rbd设备上的数据。 rbd-mirror的内部实现如下图所示： 在两个相互独立的ceph集群中分别多了一个守护进程rbd-mirror，该守护进程负责同步rbd设备上的数据。rbd-mirror的主要处理流程如下图所示： 用户操作块设备向块设备中写入数据时，librbd首先将写操作写入日志，当日志写入完毕后应答用户写操作完毕。之后日志向本地块设备写入数据，于此同时日志通过rbd-mirror守护进程将日志发送到对端ceph集群。对端ceph集群将日志内容写入到块设备中，由此完成块设备的同步功能。由此看到rbd-mirror的核心在于rbd-mirror守护进程和块设备写入的日志。 rbd-mirror动手实践部分如下： 1、集群环境。 rbd-mirror的测试环境采用手动编译ceph源代码的方式安装并配置ceph集群，具体操作过程请参考http://my.oschina.net/linuxhunter/blog/682013。集群名称分别是ceph和ceph2。测试rbd-mirror使用的用户是各自集群中的admin用户（当然可以自行创建一个专门为rbd-mirror的特定用户）。 2、rbd-mirror设置。 1）复制ceph配置文件和admin用户的keyring到对端ceph集群。

特别说明： 本方法也可以用于单节点部署，只部署一个 Monitor （只是会形成单点故障而已），最低要求是使用两个分区创建 2 个 OSD （因为默认最小副本是 2 ）；如果不需要使用 CephFS ，则可以不部署 MDS 服务；如果不使用对象存储，则可以不部署 RGW 服务。 Ceph 从 11.x (kraken) 版本开始新增 Manager 服务，是可选的，从 12.x (luminous) 版本开始是必选的。 系统环境 3个节点的主机 DNS 名及 IP 配置（主机名和 DNS 名称一样）： $ cat /etc/hosts ... 172.29.101.166 osdev01 172.29.101.167 osdev02 172.29.101.168 osdev03 ... 内核及发行版版本： $ uname -r 3.10.0-862.11.6.el7.x86_64 $ cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) 3个节点使用 sdb 做 OSD 磁盘，使用 dd 命令清除其中可能存在的分区信息（会破坏磁盘数据，谨慎操作）： $ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 222.6G 0 disk ├─sda1 8:1 0

最近搞了下分布式PB级别的存储CEPH 尝试了几种不同的安装，使用 期间遇到很多问题，和大家一起分享。 一、源码安装 说明：源码安装可以了解到系统各个组件， 但是安装过程也是很费劲的，主要是依赖包太多。 当时尝试了centos 和 ubuntu 上安装，都是可以安装好的。 1下载ceph http://ceph.com/download/ wget http://ceph.com/download/ceph-0.72.tar.gz 2 安装编译工具apt-get install automake autoconf automake libtool make 3 解压 #tar zxvf ceph-0.72.tar.gz #cd ceph-0.72.tar.gz #./autogen.sh 4、 先安装依赖包 #apt-get install autotools-dev autoconf automake cdbs g++ gcc git libatomic-ops-dev libboost-dev \ libcrypto++-dev libcrypto++ libedit-dev libexpat1-dev libfcgi-dev libfuse-dev \ libgoogle-perftools-dev libgtkmm-2.4-dev libtool pkg-config

Installation【快速安装】 第1步：预检 在部署Ceph分布式存储集群，Ceph客户端和Ceph的节点之前，可能需要一些基本的配置工作。您还可以利用在Ceph的社区帮助文件的“入门”中获取帮助。 Preflight(预检) Ceph Node Setup（Ceph节点设置） Ceph Deploy Setup(Ceph部署设置) Advanced Package Tool (APT)（先进的包工具API） Red Hat Package Manager (RPM)(红帽包部署工具RPM) Summary（总结） 第2步：存储集群 一旦你完成您的预检，你就可以开始部署Ceph的存储集群。 Storage Cluster Quick Start(存储集群快速入门) Create a Cluster(创建一个集群) Operating Your Cluster（操作你的集群） Expanding Your Cluster（扩展你的集群） Adding an OSD（增加一个OSD） Add a Metadata Server（添加一个元数据服务器） Adding Monitors（添加监视器） Storing/Retrieving Object Data（存储/恢复对象数据） 第3步：CEPH的客户端（S） 大多数Ceph的用户不必存放对象直接在CEPH存储集群

参考：https://my.oschina.net/linuxhunter/blog/682013 一、克隆ceph源码：git clone https://github.com/ceph/ceph.git 完成后进入ceph源码目录 cd ceph。 二、克隆ceph源码的子模块，否则编译的时候会报错。 git submodule update --force --init --recursive 三、选择ceph的版本，执行如下命令 git tag #查看ceph源码的tag git show v10.2.3 #查看ceph v10.2.3 tag 的详细信息。 git checkout ecc23778e #切换到tag v10.2.3分支 四、进入ceph源码目录，依次执行如下命令 ./install-deps.sh #安装ceph需要的依赖文件 ./autogen.sh #产生ceph的configure配置文件 ./configure --prefix=/usr --libexecdir=/usr/lib --sysconfdir=/etc --with-radosgw --with-rados --with-rbd --with-cephfs --with-nss --without-libcryptopp #产生Makefile文件 make -j48

引言 我需要针对Ceph的对象存储直接进行编程访问，看看用网关和不用网关下的性能差别。基于gate-way进行访问例子已经走通。现在 要测的是不走网关，用librados直接和Ceph集群打交道。 环境配置 1. Ceph集群：你要有一个已经配置好的Ceph集群，通过ceph -s可以看到集群的状态。 2. 开发库安装 我的系统是CentOS6.5 采用如下命令安装相关开发包（C/C++开发包） sudo yum install librados2-devel 安装成功后，你可以在/usr/include/rados路径下看到相应的头文件 示例程序 该实例程序来自官网，可参官网实例 http://docs.ceph.com/docs/master/rados/api/librados-intro/ #include <rados/librados.hpp> #include <string> #include <list> int main(int argc, const char **argv) { int ret = 0 ; // Get cluster handle and connect to cluster std::cout<<"ceph Cluster connect begin."<<std::endl; std::string cluster_name("ceph

‍ ‍ 硬件推荐（内容提要） 1.CPU 2.RAM 3.Data Storage（数据存储） 3.1 Hard Disk Drives（硬盘驱动器） 3.2 Solid State Drives（固态硬盘） 3.3 Controllers（控制器） 3.4 Additional Considerations（其他注意事项） 4.Networks（网络） 5.Failure Domains（故障域） 6.Minimum Hardware Recommendations（最低硬件建议） 7.Production Cluster Example（生产集群示例） 硬件推荐 ‍ ‍ Ceph的目的是要在标准硬件上运行，这使得PB级数据集群的建设和维护从经济上来说是可行的。规划集群硬件时，需要平衡多方面的因素，包括故障域和潜在的性能问题。硬件规划应包括分布在许多主机上使用的Ceph的Ceph守护进程和其他进程。一般来说，我们建议某一特定类型，这种类型的守护进程配置为一台机器上只运行一种类型的守护进程。我们建议利用你的数据集群的进程时使用其他的主机（如OpenStack里面的CloudStack，等等）。 建议:也需要检查ceph日志。 类似于Ceph Write Throughput 1, Ceph Write Throughput 2, Argonaut v. Bobtail

环境说明 使用 Kolla-Ansible 请参考《使用 Kolla-Ansible 在 CentOS 7 单节点上部署 OpenStack Pike 》； 部署 Ceph 服务请参考《 Ceph 学习笔记 1 - Mimic 版本多节点部署》。 配置Ceph 以 osdev 用户登录： $ ssh osdev@osdev01 $ cd /opt/ceph/deploy/ 创建Pool 创建镜像Pool 用于保存 Glance 镜像： $ ceph osd pool create images 32 32 pool 'images' created 创建卷Pool 用于保存 Cinder 的卷： $ ceph osd pool create volumes 32 32 pool 'volumes' created 用于保存 Cinder 的卷备份： $ ceph osd pool create backups 32 32 pool 'backups' created 创建虚拟机Pool 用于保存虚拟机系统卷： $ ceph osd pool create vms 32 32 pool 'vms' created 查看Pool $ ceph osd lspools 1 .rgw.root 2 default.rgw.control 3 default.rgw.meta 4

一、环境准备工作 (1) 节点要求 ==》节点配置硬件最低要求 角色 设备 最小配置 推荐配置 ----------------------------------------------------------------------------------------------------------------- ceph-osd RAM 500M RAM for per daemon 1GB RAM for 1TB of storage per daemon Volume Storage 1x storage drive per daemon >1TB storage drive per daemon Journal Storage 5GB(default) SSD, >1GB for 1TB of storage per daemon Network 2x 1GB Ethernet NICs 2x10GB Ethernet NICs ----------------------------------------------------------------------------------------------------------------- ceph-mon RAM 1 GB per daemon 2 GB per daemon Disk Space