ceph

k8s集群每一台上面都要安装客户端： 创建一个k8s操作用户 ： ceph auth add client.k8s mon ‘allow rwx‘ osd ‘allow rwx‘ ceph auth get client.k8s -o /etc/ceph/ceph.client.k8s.keyring #导出新建用户的钥匙 将导出的钥匙放在k8s每台的/etc/ceph/下面 创建一个池和映射 1. 创建一个名为k8spool的池 ceph osd pool create k8spool 2024 ceph osd pool ls #查看池 2. 创建一个块映射k8stest 3. 关闭centOS7内核不支持的选项 rbd feature disable k8spool/k8stest exclusive-lock, object-map, fast-diff, deep-flatten k8s操作： 1.创建密匙： grep key /etc/ceph/ceph.client.admin.keyring |awk ‘{printf "%s", $NF}‘ |base64 QVFBbW5SbFgyenJxRFJBQU9pdU9zMnNJSXRHaEFQNnRORGEzVmc9PQ == 2.创建k8s-pv 3.创建k8s-pvc 4.创建测试pod，看看是否能不能挂载ceph

Ceph: 1、它是一个分布式文件系统，可以提供块存储、文件系统存储和对象存储。但是文件存储还不非常成熟，不建议在生产环境中使用。应用的最多的形式是块存储。 2、Ceph主要组件 OSD：对象存储设备，它是ceph中唯一的真正进行数据存储的组件。通常情况下，一个OSD进程绑定到一块物理磁盘。 MON：Monitor监视器，跟踪整个集群的健康状态。它为每个ceph组件维护一个映射表。MON进程数目是奇数，如3、5、7…… MDS：元数据服务器。为ceph文件系统存储提供元数据，如果不是文件系统存储则不需要。 元数据：描述数据的数据。如一本书的出版社、页数、作者、出版时间等都是元数据。 RADOS：可靠自主的分存式对象存储。RADOS保证CEPH中的各种数据都是对象形式，操持CEPH的一致性。 RBD：为客户端提供块存储接口 RADOS GW：为客户端提供对象存储接口 CEPH FS：为客户端提供文件系统存储接口 CEPH环境搭建 1、创建5台虚拟机 node1.tedu.cn 192.168.4.1 node2.tedu.cn 192.168.4.2 node3.tedu.cn 192.168.4.3 node4.tedu.cn 192.168.4.4 client.tedu.cn 192.168.4.10 2、启动虚机 [root@room8pc16 kvms_ansi]# for

块是一个字节序列（例如，一个 512 字节的数据块）。基于块的存储接口是最常见的存储数据方法，它们基于旋转介质，像硬盘、 CD 、软盘、甚至传统的 9 磁道磁带。无处不在的块设备接口使虚拟块设备成为与 Ceph 这样的海量存储系统交互的理想之选。 Ceph 块设备是精简配置的、大小可调且将数据条带化存储到集群内的多个 OSD 。 Ceph 块设备利用 RADOS 的多种能力，如快照、复制和一致性。 Ceph 的 RADOS 块设备（ RBD ）使用内核模块或 librbd 库与 OSD 交互。 注意:内核模块可使用 Linux 页缓存。对基于 librbd 的应用程序， Ceph 可提供 RBD 缓存。 Ceph 块设备靠无限伸缩性提供了高性能，如向内核模块、或向 abbr:KVM (kernel virtual machines) （如 Qemu 、 OpenStack 和 CloudStack 等云计算系统通过 libvirt 和 Qemu 可与 Ceph 块设备集成）。 更多信息参考 http://docs.ceph.org.cn/rbd/rbd/ 注意作为client节点也需要安装ceph，否则rbd会报错sudo: rbd: command not found。 需要注意的是client节点需要是ceph集群中的一员，需要有/etc/ceph/ceph.client

I configured Ceph with the recommended values (using a formula from the docs). I have 3 OSDs, and my config (which I've put on the monitor node and all 3 OSDs) includes this: osd pool default size = 2 osd pool default min size = 1 osd pool default pg num = 150 osd pool default pgp num = 150 When I run ceph status I get: health HEALTH_WARN too many PGs per OSD (1042 > max 300) This is confusing for two reasons. First, because the recommended formula did not satisfy Ceph. Second, and most puzzling, is that it says I have 1042 PGs per OSD, when my configuration says 150. What am I doing wrong?

当集群容量或者计算资源达到一定限定时，就需要对集群进行扩容，扩容操作主要可以分为两种 ： 1、纵向扩展：向已有节点中添加磁盘，容量增加，集群计算性能不变； 2、横向扩展：添加新的节点，包括磁盘、内存、cpu资源，可以达到扩容性能提升的效果； 一、 在生产环境中避免新增节点影响性能，添加标识位 生产环境中，一般不会在新节点加入ceph集群后，立即开始数据回填，这样会影响集群性能。所以我们需要设置一些标志位，来完成这个目的。 [root@node140 ~]##ceph osd set noin [root@node140 ~]##ceph osd set nobackfill 在用户访问的非高峰时，取消这些标志位，集群开始在平衡任务。 [root@node140 ~]##ceph osd unset noin [root@node140 ~]##ceph osd unset nobackfill 二、新节点安装ceph （1）#手动yum集群部署 [root@node143 ~]# yum -y install ceph ceph-radosgw （2）#检查安装的包 [root@node143 ~]# rpm -qa | egrep -i "ceph|rados|rbd" （3）#检查ceph 安装本版，需要统一版本 [root@node143 ~]# ceph -v 全部都是

1 mount -t ceph 10.110.180.112:6789:/ /mnt/ceph-ceshi-rbd2/ -o name=admin,secret=AQBYqRBcbCfoCxAA0aBmuyhm31MC0XVjEfd97Q== Echo " AQBYqRBcbCfoCxAA0aBmuyhm31MC0XVjEfd97Q== " > /etc/ceph/adminkey mount -t ceph 10.110.180.112:6789:/ /mnt/ceph-ceshi-rbd2/ -o name=admin,secretfile= /etc/ceph/adminkey 2 . 3 4 来源：博客园 作者： still_j 链接：https://www.cnblogs.com/lbjstill/p/11475317.html

Ceph wen件系统的名称是 CephFS ，它是一个 POSIX 兼容的分布式文件系统，并使用Ceph RADOS 存储数据 。要实现 Ceph wen件系统，需要一个正常运行的 Ceph 存储集群，并且至少包含一个 Ceph 元数据服务器( Ceph Metadata Server, MDS) 。 客户端可以通过两种方式使用 Ceph wen件系统:使用本地内核驱动程序挂载 CephFS ，或者使用 Ceph FUSE。 （1）准备一个健康的ceph 集群 [root@node140 mds]# ceph -s cluster: id: 58a12719-a5ed-4f95-b312-6efd6e34e558 health: HEALTH_OK services: mon: 2 daemons, quorum node140,node142 (age 22h) mgr: admin(active, since 6d), standbys: node140 osd: 16 osds: 16 up (since 17h), 16 in (since 3d) data: pools: 5 pools, 768 pgs objects: 2.61k objects, 9.8 GiB usage: 47 GiB used, 8.7 TiB / 8.7 TiB avail pgs:

作者： luohaixian 原文： Ceph基础知识和基础架构认识 1 Ceph基础介绍 Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。 Ceph相比其它存储的优势点在于它不单单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法、HASH环等方法，使得它不存在传统的单点故障的问题，且随着规模的扩大性能并不会受到影响。 2 Ceph的核心组件 Ceph的核心组件包括Ceph OSD、Ceph Monitor和Ceph MDS。 Ceph OSD：OSD的英文全称是Object Storage Device，它的主要功能是存储数据、复制数据、平衡数据、恢复数据等，与其它OSD间进行心跳检查等，并将一些变化情况上报给Ceph Monitor。一般情况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行管理

　　Creating 　　 　　Peering 　　 　　Activating 　　 　　Active 　　 　　Backfilling 　　 　　Backfill-toofull 　　 　　Backfill-wait 　　 　　Incomplete 　　 　　Inconsistent 　　 　　Peered 　　 　　Recovering 　　 　　Recovering-wait 　　 　　Remapped 　　 　　Scrubbing 　　 　　Unactive 　　 　　Unclean 　　 　　Stale 　　 　　Undersized 　　 　　down 　　 　　Creating 　　 　　含义：PG正在创建 　　 　　引起原因：创建pool的时候，根据指定的pg数量进行创建pg时出现的状态，正常状态 　　 　　后果：无 　　 　　解决方案：无需解决，正常状态之一 　　 　　Peering 　　 　　含义：PG之间进行互联，就其中的对象和元数据状态达成一致 　　 　　引起原因：当pg被creating之后，会进行互联，存储归置组副本的 OSD 之间就其中的对象和元数据状态达成一致。 　　 　　后果：无 　　 　　解决方案：无需解决，正常状态之一 　　 　　Activating 　　 　　含义：pg在完成peering过程后，会对之前的结果进行固化，等待所有pg同步

Ceph 存储集群可以从RBD的快照中创建写时复制 (COW 副本），这就是 Ceph 的快照分层。 Ceph 的这个分层特性允许客户端创建 Ceph RBD 的多个即时副本， 这个特性对云平台和虚拟化平台非常有 ，例如 OpenStack 、CloudStack 和Qemu/ KVM 这些平台通常'以快照的形式保护含有 OS/VM 镜像的Ceph RBD 镜像 ，然后通过不断复制这个快照来创建新的虚拟机 /实例 ，快照是只读的，但是 COW 副本则是完全可写的; Ceph 的这个特性为云平台带来巨大的灵活性，并且对于云平台非常有用，下图显示了 RADOS 块设备、 RBD 快照和COW 快照副本之间的关系。 每一个复制的镜像(子镜像)都包含它的父快照的引用，用于读取镜像数据。 因此，父快照在用于复 制之前应该处于被保护状态。当有数据写入COW 复制的镜像时，它会为自己存储新的数据引用。 COW 复制的镜像与 RBD是一 样的。 它们都非常灵活，类似于 RBD ，也就是说，它们可写， 可调整容量，可以创建新的快照，将来还可以复制。 RBD 镜像的类型定义了它所支持的特性，在Ceph 中，有两种 类型的RBD 镜像:format-l和 form t-2， format-l和 format-2 类型的 RBD 镜像 都支持快 照特性。然而，分层特性( 也就是 COW 特性)只有