ceph

1 installing the Rocky release on all nodes. yum install centos-release-openstack-rocky 安装之后，会在/etc/yum.repos.d/下产生CentOS-OpenStack-rocky.repo，CentOS-Ceph-Luminous.repo，CentOS-QEMU-EV.repo，CentOS-Storage-common.repo这4个yum源，由于centos官方已经无rocky版本的安装包了，建议修改成阿里云完成之后的安装，主要修改CentOS-OpenStack-rocky.repo及CentOS-Ceph-Luminous.repo就可以了。 cat CentOS-OpenStack-rocky.repo (黑色体为修改成阿里云地址) # CentOS-OpenStack-rocky.repo # # Please see http://wiki.centos.org/SpecialInterestGroup/Cloud for more # information [centos-openstack-rocky] name=CentOS-7 - OpenStack rocky baseurl=https://mirrors.aliyun.com/centos/7/cloud

Ceph部署架构 三台主机，操作系统均为Centos： - node1:192.168.122.157 ceph-deploy mon osd - node2:192.168.122.58 mon osd - node3:192.168.122.54 mon osd Ceph版本 mimic 准备工作 1）关闭防火墙，关闭selinux systemctl stop firewalld systemctl disable firewalld //也可以不关闭防火墙，开放对应端口，Ceph Monitors之间默认使用 **6789** 端口通信， OSD之间默认用 **6800:7300**这个范围内的端口通信 vim /etc/selinux/config SELINUX=disabled 然后重启 reboot 2）修改hosts vim /etc/hosts 192.168.122.157 node1 192.168.122.58 node2 192.168.122.54 node3 3）免密登录（如下示例） [root@node1 ~]#ssh-keygen [root@node1 ~]#ssh-copy-id -i .ssh/id_rsa.pub node2 //首次需要输入密码 4）安装ntp服务，然后同步时间 [root@node1 ~]# yum install

一、部署准备： （1）所有ceph集群节点（包括客户端）设置静态域名解析； [root@zxw9 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.126.6 zxw6 192.168.126.7 zxw7 192.168.126.8 zxw8 192.168.126.9 zxw9 （2）所有集群节点（包括客户端）创建cent用户，并设置密码，后执行如下命令： useradd cent && echo "123" | passwd --stdin cent echo -e 'Defaults:cent !requiretty\ncent ALL = (root) NOPASSWD:ALL' | tee /etc/sudoers.d/ceph chmod 440 /etc/sudoers.d/ceph （3）在部署节点切换为cent用户，设置无密钥登陆各节点包括客户端节点 [root@zxw9 ~]# su - cent [cent@zxw9 ~]$ [cent@zxw9 ~]$ ssh

http://docs.ceph.org.cn/start/quick-start-preflight/#ntp 1.时间同步 2.关闭所有（放行seliunx,firewall) 3.免密码 ssh-keygen ssh-copy-id {username}@node1 ssh-copy-id root@ceph24. 安装部署器添加YUM源 [ceph] name=ceph baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/ gpgcheck=0 [ceph-noarch] name=cephnoarch baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/ gpgcheck=0 [ceph-source] name=ceph-source baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS/ gpgcheck=0 yum install ceph-deploy -y5.建立目录[root@ceph1 ~]# mkdir /etc/ceph[root@ceph1 ~]# cd /etc/ceph/ yum install python-setuptools6

Overview 缓存是为达到系统快速响应的一项关键技术，Ceph 作为一个复杂的分布式存储系统，有多种、多级缓存存在。缓存按照位置分为： 客户端缓存 服务端缓存 网络中缓存 按照部署方式分为： 单体缓存 缓存集群 分布式缓存 而Rados 网关缓存，也即RGW Cache 按照位置：作为Ceph client 可以归为客户端缓存，作为上层应用的服务端可以归为服务端缓存。而按照部署方式则为分布式缓存，因为Ceph 集群通常会存在多个RGW 实例，分布式缓存会涉及到缓存同步等问题。 RGW Cache 将对象存储的相关元数据存储在内部缓存中，用于提升性能。 RGW Cache 执行路径 前面已经提到，目前Ceph 中涉及RGW Cache 的配置参数有三个： rgw_cache_enabled: RGW Cache 开关，默认为true，即开启。 rgw_cache_expiry_interval: 缓存数据的过期时间，默认900秒。 rgw_cache_lru_size: RGW 缓存entries的最大数量，当缓存满后会根据LRU算法做缓存entries替换，entries size默认为10000。读请求较多的场景，适当大的参数配置可以带来更好的性能。 查看RGW cache 命中率: [root@umstor14 build]# bin/ceph daemon out

Ceph基础知识和基础架构 0、Ceph分为三部分：RADOS关于数据存储分布，CRUSH关于伪随机算法，Ceph系统 1、Ceph是一个可靠的、自动中均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph划分为三大块，分别是对象存储、块设备存储和文件系统存储。在虚拟化中，常常用到的时Ceph的块设备存储，比如在Openstack项目中，Ceph的块设备存储可以对接Openstack的cinder后端存储，Glance的镜像存储和虚拟机的数据存储，比较直观的时Ceph集群可以提供一个raw格式的快存储来作为虚拟机的硬盘。 Ceph相比其他存储的优势点在于它不单单时存储，同时还充分利用存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法，HASH算法，使得它不存在传统的单点故障问题，且随着规模的扩大性能并不会受到影响。 2、Ceph核心组件 Ceph的核心组件包括Ceph OSD、Ceph Monitor和Ceph MDS。 Ceph OSD：全称是Ceph Object Storage Device，他的主要功能是存储数据，复制数据，平衡数据，恢复数据等。与其他OSD之间进行心跳检测等，并将一些变化情况上报给Ceph Monitor。一般情况下 一块硬盘对应一个OSD

环境说明： ip 服务 主机名 备注 172.20.101.5 ceph、ceph-deploy、mon admin-node mon节点 集群节点 172.20.101.13 ceph ceph1 osd 172.20.101.15 ceph ceph2 osd ######### 环境准备： 1 关闭 selinux 和 iptables systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config setenforce 0 2 设置时间同步 yum -y install ntp systemctl enable ntpd systemctl start ntpd ntpdate -u cn.pool.ntp.org hwclock --systohc timedatectl set-timezone Asia/Shanghai 3 修改主机名和 host hostnamectl set-hostname admin-node hostnamectl set-hostname ceph1 hostnamectl set-hostname ceph2 vim /etc/hosts 172.20

Ceph简介 Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、 分布式文件系统 。 部署逻辑架构 准备3台主机，并且修改主机名（hostnamectl set-hostname xxx 后重启） IP地址 主机名（Hostname） 192.168.1.24 node1（用该主机同时作为管理和监控节点） 192.168.1.25 node2 （osd.0 节点） 192.168.1.26 node3 （osd.1 节点） 在各节点上安装启用软件仓库，启用可选软件库 # sudo yum install -y yum-utils && sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org* # sudo yum install yum-plugin-priorities 修改node1节点/etc/hosts文件，增加以下内容： 192.168.1.24

Doc： http://docs.ceph.com/docs/master/start/ 文档中admin node/mon node/osd node在不同的主机上。 我们的安装环境中admin node和mon node在一起。网上也有all-in-one的安装方式。 Node type IP addr hostname Mon/admin 10.254.4.3 controller-1 OSD 10.254.4.4 controller-2 OSD 10.254.4.7 controller-3 操作系统：CentOS 7 安装示意图： admin node ceph node（mon node and osd node） 基本过程是在admin node上安装ceph-deploy，然后无密码ssh到ceph node上安装mon和osd。 准备工作 http://docs.ceph.com/docs/master/start/quick-start-preflight/ 更新admin node的yum源并安装ceph-deploy [root@controller-1 ~]# cat /etc/yum.repos.d/ceph.repo [ceph-noarch] name=Ceph noarch packages baseurl=http://download

一、部署准备： 准备5台机器（linux系统为centos7.6版本），当然也可以至少3台机器并充当部署节点和客户端，可以与ceph节点共用： 1台部署节点（配一块硬盘，运行ceph-depoly） 3台ceph节点（配两块硬盘，第一块为系统盘并运行mon，第二块作为osd数据盘） 1台客户端（可以使用ceph提供的文件系统，块存储，对象存储） （1）所有ceph集群节点（包括客户端）设置静态域名解析； 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.253.135 controller 192.168.253.194 compute 192.168.253.15 storage 192.168.253.10 dlp （2）所有集群节点（包括客户端）创建cent用户，并设置密码，后执行如下命令： useradd cent && echo "123" | passwd --stdin cent echo -e 'Defaults:cent !requiretty\ncent ALL = (root) NOPASSWD:ALL