ceph-deploy

配置apt源 # wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add - # echo deb https://download.ceph.com/debian-jewel/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list 安装ceph-deploy，一台机器即可 # apt-get install ceph-deploy 安装ceph软件，三台机器都需要安装 # apt-get install ceph 创建集群 # mkdir /opt/ceph # cd /opt/ceph # ceph-deploy new k8s1 k8s2 k8s3 # echo mon_pg_warn_max_per_osd = 1000 >> ceph.conf # echo cluster_network=172.16.13.0/24 >> ceph.conf # echo max open files = 131072 >> ceph.conf # echo osd_scrub_begin_hour=1 >> ceph.conf # echo osd_scrub_end_hour=7 >> ceph.conf

Ceph集群搭建 一、 环境准备(三台服务器一样的配置) 操作系统平台：centos7.3 1.关闭firewalld与selinux 2.每台服务器添加3块100G硬盘 3.配置ip centos-01 centos-02 centos-03 192.168.0.118 192.168.0.119 192.168.0.120 4.修改yum源，官网的yum源可能会很慢，所以可以添加ali的 [root@localhost ~ ]# yum clean all [root@localhost ~ ]# curl http://mirrors.aliyun.com/repo/Centos-7.repo >/etc/yum.repos.d/CentOS-Base.repo [root@localhost ~ ]# curl http://mirrors.aliyun.com/repo/epel-7.repo >/etc/yum.repos.d/epel.repo [root@localhost ~ ]# sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo [root@localhost ~ ]# sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo [root@localhost ~ ]

概述 Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。 Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。 当然也可以单独作为存储，例如部署一套集群作为对象存储、SAN存储、NAS存储等。 可以作为k8s的存储类，来方便容器持久化存储。 支持格式 对象存储：即radosgw , 兼容S3接口。通过rest api上传、下载文件。 文件系统：posix接口。可以将ceph集群看做一个共享文件系统挂载到本地。 块存储：即rbd。有kernel rbd和librbd两种使用方式。支持快照、克隆。相当于一块硬盘挂到本地，用法和用途和硬盘一样。比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的后端存储 优势 统一存储：虽然ceph底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口 高扩展性：扩容方便、容量大。能够管理上千台服务器、EB级的容量。 高可靠性：支持多份强一致性副本，EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自管理、自动修复。无单点故障，容错性强。 高性能：因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的IOPS和吞吐量越高

因为最近在弄写作课，结果写作课的内容我还需要沉淀才能发，挂念我的读者，今天先发一个胖琪的文章出来哦。本来今天是例行ARTS打卡，暂时先等等了，小编正在筹备中，很快会和大家见面的。 ceph ceph是一款专注于分布式，弹性可扩展的，高扩展性，性能优异的系统存储平台，是跟阿里云OOS同样可以提供对象存储的云服务。能支持P级别的数据存储 一说到大数据，我们能想到的是hadoop，底层数据存储的hdfs，但是实际上现在进入云时代之后，hdfs的要求内容对于一些存储就并不是十分合适。 比如阿里每天需要处理的图片就几P级别的数据量，在hdfs中压缩存储对于快速反应的性能来说是很大的损耗。他们自研的OSS和亚马逊的S3对象存储都是一样的。 我们今天说的ceph是一个开源的对象存储，并且兼容了亚马逊的S3接口与Swift对象存储接口，也就是我们可以使用s3的sdk来使用ceph了。 安装流程 我们安装工具是借助官网提供的一键安装进行安装。 机器分配 由于我们采用的是三台真实服务器，没有再接收多余服务器配置，并且程序也是处于mvp版本，先实现基础功能，后期再进行扩展。 三台一样的机器配置 2个128的固态硬盘，一个系统盘，另外一个所谓数据库存储。 3个8T普通机器硬盘。 32核32G内存。 tidb1上部署安装工具，ceph-deploy。数据节点部署在三台服务器上。监控节点与rgw

自己测试的时候用的是虚拟机，在调试过程中遇到切换环境换IP的情况。 那么ceph应该怎样换IP呢？ [TOC] 修改步骤： 1.导出mon的配置; 2.修改mon的配置； 3.修改ceph配置文件 4.关闭ceph集群 5.修改服务器IP，/etc/hosts对应的ip等： 6.导入修改后的mon配置; 7.重启集群 修改步骤如下 1.导出mon配置 ceph mon getmap -o monmap.bin 2.修改mon配置 #打印查看原来的mon配置 monmaptool --print monmap.bin #删除原来mon配置(多个节点直接在后面加"--rm xxxx"即可) monmaptool --rm node1 monmap.bin #添加新的mon配置(多个就多家几个"--add nodeX xxxxx"即可) monmaptool --add node1 192.168.17.15:6789 monmap.bin #修改后打印一下,验证是否修改正确 monmaptool --print monmap.bin 3.修改ceph的配置文件 将/etc/ceph.conf文件中原来的ip地址替换为新的ip地址(每一台都必须修改) 如果是用ceph-deploy安装的，可将安装目录下的ceph.conf修改掉，然后将配置文件同步到其他节点。 ceph-deploy -

环境准备 1、在运行 Ceph 守护进程的节点上创建一个普通用户,ceph-deploy 会在节点安装软件包，所以你创建的用户需要无密码 sudo 权限。如果使用root可以忽略。 为赋予用户所有权限，把下列加入 /etc/sudoers.d/ceph echo "ceph ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/ceph sudo chmod 0440 /etc/sudoers.d/ceph 2、配置你的管理主机，使之可通过 SSH无密码访问各节点。 3、配置ceph源ceph.repo，这里直接配置163的源，加快安装速度 [Ceph] name=Ceph packages for $basearch baseurl=http://mirrors.163.com/ceph/rpm-mimic/el7/$basearch enabled=1 gpgcheck=1 type=rpm-md gpgkey=http://mirrors.163.com/ceph/keys/release.asc priority=1 [Ceph-noarch] name=Ceph noarch packages baseurl=http://mirrors.163.com/ceph/rpm-mimic/el7/noarch enabled=1

CentOS 7 下安装Ceph-nautilus 本问主要记录在CentOS 7下如何安装Ceph-nautilus，安装过程中遇到的一些问题及解决方法。 实验准备 以下是本次实验所用到的机器（采用的是虚拟机）的配置： 系统 内核版本 IP地址 Hostname 硬盘 角色 CentOS 7.6.1810 5.2.8 192.168.15.130 node0 /dev/sdb 20G admin CentOS 7.6.1810 5.2.8 192.168.15.128 node1 /dev/sdb 20G osd CentOS 7.6.1810 5.2.8 192.168.15.129 node2 /dev/sdb 20G osd CentOS 7.6.1810 5.2.8 192.168.15.137 node3 /dev/sdb 20G osd 更换国内源 因为CentOS系统默认使用的是国外的源，可能会影响安装，所以需要替换为国内的源。这里使用的都是 阿里云 。 替换yum源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo

目标 部署Ceph集群服务器，实现以下目标： 安装部署工具ceph-deploy 创建ceph集群 准备日志磁盘分区 创建OSD存储空间 查看ceph状态，验证 步骤 步骤一：安装部署软件ceph-deploy 1）在node1安装部署工具，学习工具的语法格式。 [root@node1 ~]# yum -y install ceph-deploy [root@node1 ~]# ceph-deploy --help [root@node1 ~]# ceph-deploy mon --help 2）创建目录（目录名称可以任意，推荐与案例一致） [root@node1 ~]# mkdir ceph-cluster [root@node1 ~]# cd ceph-cluster/ 步骤二：部署Ceph集群 1）创建Ceph集群配置,在ceph-cluster目录下生成Ceph配置文件（ceph.conf）。 在ceph.conf配置文件中定义monitor主机是谁。 [root@node1 ceph-cluster]# ceph-deploy new node1 node2 node3 2）初始化所有节点的mon服务，也就是启动mon服务。 拷贝当前目录的配置文件到所有节点的/etc/ceph/目录并启动mon服务。 [root@node1 ceph-cluster]# ceph

一、CEPH 简介 ¶ 不管你是想为 云平台 提供 Ceph 对象存储 和/或 Ceph 块设备 ，还是想部署一个 Ceph 文件系统 或者把 Ceph 作为他用，所有 Ceph 存储集群 的部署都始于部署一个个 Ceph 节点 、网络和 Ceph 存储集群。 Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。 Ceph OSDs : Ceph OSD 守护进程 （ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）。 Monitors : Ceph Monitor 维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。 MDSs : Ceph 元数据服务器 （ MDS ）为 Ceph 文件系统 存储元数据（也就是说

文章目录 1、Ceph概述 1.1、什么是分布式存储 1.2、常见的分布式文件系统 1.3、什么是Ceph 1.3.1、Ceph简介 1.3.2、Ceph特点 1.3.3、Ceph组件 2、实验环境准备 3、部署Ceph集群 3.1、安装部署软件ceph-deploy 3.2、部署Ceph 集群 3.3、创建OSD 3.4、验证测试 3.5、扩展知识：创建ceph用户，查看用户 4、Ceph块存储 4.1、创建镜像 4.2、动态调整 4.3、通过KRBD访问 4.4、删除镜像 5、块存储应用案例 5.1、创建镜像快照 5.2、创建快照克隆 6、Ceph文件系统 6.1、什么是CephFS 6.2、什么是元数据 6.3、部署元数据服务器 6.4、创建Ceph文件系统 6.5、客户端挂载 7、对象存储服务器 7.1、什么是对象存储 7.2、创建对象存储 7.3、客户端测试 1、Ceph概述 1.1、什么是分布式存储 分布式存储是指一种独特的系统架构，它由一组网络进行通信、为了完成共同的任务而协调工作的计算机节点组成 分布式系统是为了用廉价的、普通的机器完成单个计算无法完成的计算、存储任务 其目的是利用更多的机器，处理更多的数据 1.2、常见的分布式文件系统 Lustre Hadoop FastDFS Ceph GlusterFS 1.3、什么是Ceph 1.3.1、Ceph简介