ceph

为了部署有状态服务，单独给k8s部署了一套ceph块存储集群，本文记录了k8s集群对接外部ceph集群的方案和问题。期间，还是遇见不少坑，好在都解决了。 环境准备 我们使用的k8s和ceph环境见： https://blog.51cto.com/leejia/2495558 https://blog.51cto.com/leejia/2499684 静态持久卷 每次需要使用存储空间，需要存储管理员先手动在存储上创建好对应的image，然后k8s才能使用。 创建ceph secret 需要给k8s添加一个访问ceph的secret，主要用于k8s来给rbd做map。 1，在ceph master节点执行如下命令获取admin的经过base64编码的key（生产环境可以创建一个给k8s使用的专门用户）： # ceph auth get-key client.admin | base64 QVFCd3BOQmVNMCs5RXhBQWx3aVc3blpXTmh2ZjBFMUtQSHUxbWc9PQ== 2，在k8s通过manifest创建secret # vim ceph-secret.yaml apiVersion: v1 kind: Secret metadata: name: ceph-secret data: key:

近年来，大型企业以及开源社区不断的推动中国开源技术的发展，今天的中国已然成为OpenStack & Ceph等开源技术大放光彩的乐土。 图为 Ceph中国行各地沙龙 Ceph 国内用户生态 Ceph作为全球最火热的开源分布式存储项目，同样在中国的发展也是非常火热，不断开始在不同领域不同行业及客户系统相融合。典型应用在国内一线互联网公司以及运营商、政府、金融、广电、能源、游戏、直播等行业。 当前中国Ceph形势对比前几年已经发生了决定性的变化，随着国内越来越多的各行业用户的使用，足以见证它的稳定性可靠性。Ceph中国用户生态已然形成，可以看到国内如：中国移动、腾讯、阿里、网易、乐视、携程、今日头条、中国电信、中兴、恒丰银行、平安科技、YY、B站、360等。正是由于众多用户的使用验证了它的稳定性和可靠性的同时也促进了Ceph的进步，使其出现了很多新东西，如 SPDK、BlueStore、RDMA等等这些高性能底层技术。 Ceph 国内贡献 豪迈在之前的文章也谈到过Ceph社区的贡 献者，非常有意思的是 Ceph 的使用用户占据了相当的贡献排名，一定程度上反映了 Ceph 目前的现状，要能够真正掌控Ceph 必须得深入社区并随之成长。因此，对于一个并不是像 Linux 一样成熟的开源项目，特别还是一个存储系统来说，代码贡献程度基本决定了对于Ceph 的理解，风险控制和使用程度

今天来聊一聊Ceph新版本功能，Ceph 会在今年秋季 发 布一个 长期 支持 稳 定版本Luminous（12.x.x）， 现 在已 经 出RC版了，Luminous版本新增了很多功能，比如新增一个内置的Dashboard、 底层的存储引擎的变更、消息方式的改变等等 。 下面我 们 来一起看看新版本的 变 化： 1. 默 认 的消息 处 理从SimpleMessenger 变 成了AsyncMessenger 2. 默 认 的后端存 储 从filestore 变 成了bluestore了 3. 内置Dashboard 预览 目前来 说 Ceph 的新版本Dashboard功能 还 是比 较简 陋，不 过 会越 来越完善，相比于Calamari来说我觉得内置Dashboard更偏向于产品化。 另外从其他方面无论是RGW还是CephFS都有了较大的改变，比如：RGW增加了分片和加密，CephFS多MDS。 下面来看下内置的Dashboard是什么样的 首先部署一个Luminous RC版本的Ceph， 这 里就不再 赘 述了，参考下官网文档即可，或者 查 看网上的 资 料。 提示：在部署的 时 候一定要 认 真、仔 细，有时候遇到的坑都是由于自己不认真造成的。 [root@devin-ceph1 ~]# ceph -v ceph version 12.1.0

前言 工作经常接触到海量文件储存，曾经把数百万个文件存储在 NTFS 格式的磁盘中，结果导致重启后无法识别磁盘，拆下硬盘插到外接 USB 硬盘盒上居然可以识别读取，吓得我赶紧删掉数据保住硬盘。 分布式存储方案 tfs (Taobao File System) 接触 tfs 是因为接受一个旧项目使用到了 tfs。tfs 这个项目 taobao 开源的一个大坑，项目缺少维护和文档，依赖老旧给编译部署带来极大的困难。 minio 文档全面，门槛低，上手容易，支持分布式，纠错码，s3。 leofs 测试了一下，底层好像性能不高。 ceph 文档复杂，学习曲线陡峭，对硬件网络要求高。大规模私有云的利器 2020年疫情期间在家磨了一个月的 ceph，部署 ceph 必须操作系统必须得 ubuntu，docker 不支持最新版本的要求。存储需要物理磁盘，网络要稳定。 seaweedfs 支持对象存储，resultful，s3，分布式灵活。个人开发的项目，有一些 bug，更新较快。 用来做图片服务器，目前很稳定。 来源： oschina 链接： https://my.oschina.net/u/2248663/blog/4378350

作者| 郡宝 阿里云技术专家 参与文末留言互动，即有机会获得赠书福利！ 导读：存储服务支撑了应用的状态、数据的持久化，是计算机系统中的重要组成部分，也是所有应用得以运行的基础，其重要性不言而喻。在存储服务演进过程中，每一种业务类型、新技术方向都会对存储的架构、性能、可用性、稳定性等提出新的要求，而在当今技术浪潮走到云原生技术普及的时代，存储服务需要哪些特性来支持应用呢？ 从本文开始，我们将用一个系列文章对云原生存储进行方方面面的探析，该系列文章将从云原生存储服务的概念、特点、需求、原理、使用、案例等方面，和大家一起探讨云原生存储技术新的机遇与挑战，欢迎大家讨论： "There is no such thing as a 'stateless' architecture" - Jonas Boner 云原生存储系列文章(一)：云原生应用的基石 云原生存储系列文章(二)：容器存储与K8S存储卷 云原生存储系列文章(三)：Kubernetes存储架构 云原生存储系列文章(四)：K8S存储实践-Flexvolume 云原生存储系列文章(五)：K8S存储实践-CSI 云原生存储系列文章(六)：存储卷高可用方案 云原生存储系列文章(七)：存储调度与容量感知 云原生存储系列文章(八)：数据卷扩缩容能力 云原生存储系列文章(九)：云原生存储安全 云原生存储系列文章(十)：高性能计算场景的存储优化

本章节主要介绍pg创建的流程，主要包括两部分，第一部分是创建pg在mon上跳转的流程。第二部分是osd端的pg创建流程。 以下源码分析以函数调用栈展开分析： ps：以下代码以L版本为准； 一、mon节点处理 1.函数调用栈1 1.void OSDMonitor::update_from_paxos() -> PGMonitor::check_osd_map() -> void PGMapUpdater::register_new_pgs() ->void PGMapUpdater::register_pg() void PGMonitor::check_osd_map(epoch_t epoch) { if (mon->is_peon()) return; // whatever. PGMapUpdater::register_new_pgs(osdmap, pg_map, &pending_inc);//a--- propose_pending();//b--- } a.PG的注册创建 b.完成推行，形成一致的PGMap void PGMapUpdater::register_new_pgs( const OSDMap &osd_map, const PGMap &pg_map, PGMap::Incremental *pending_inc) { for (ps_t ps =

ansible 对于自动化运维非常方便。在这里就记录一点自己觉得好用的地方。 1 ansible 的inventory 文件分组，组变量 /etc/ansible/hosts # 分组 [single] 172.28.64.104 172.28.64.105 172.28.64.133 172.28.64.137 # 组变量 [single:vars] ansible_ssh_port=22 ansible_ssh_user=root ansible_ssh_pass=borui2020 2 inventory 文件子分组 [single] 172.28.64.104 172.28.64.105 172.28.64.133 172.28.64.137 [single:vars] ansible_ssh_port=22 ansible_ssh_user=root ansible_ssh_pass=borui2020 [ceph] 172.18.0.131 172.18.0.132 172.18.0.133 # 主组包含下面两个子组 [test:children] ceph single 3 inventory 文件 组参数yml文件 由于组比较多，每个组的参数也比较多，如果都放在/etc/ansible/hosts 文件中 就不好管理。对组的参数可以分开放在不同yml文件中管理

集群搭建好之后网络，raid卡策略，磁盘都会影响集群的性能。为了避免因上述问题使得集群的性能受到影响，我们依次进行测试，最后得到基本的集群性能。 网络 首先是网络，ceph集群一大堆让人摸不着头脑的问题都出在网络上，所以我们在建立集群之前就可以测试网络，看其是否有问题，可以通过ping命令来测试网络的连通性，但最好使用iperf，测试下网络传输速度。 遇到有不少现场情况，因为光模块导致万兆网络只有百兆的速度，如果等集群建好之后性能不如意，花费大量时间排查发现是这个问题就太冤了。 iperf命令 选择一个节点作为iperf server iperf -s 选择其他节点作为iperf client，比如server IP地址为192.168.12.4 iperf -c 192.168.12.4 -i 1 -t 5 # -i: 间隔多少秒报告一次结果 # -t: 向服务器发送多少秒 # 结果如下 [ 3] 0.0- 1.0 sec 575 MBytes 4.83 Gbits/sec [ 3] 1.0- 2.0 sec 361 MBytes 3.03 Gbits/sec [ 3] 2.0- 3.0 sec 618 MBytes 5.18 Gbits/sec [ 3] 3.0- 4.0 sec 423 MBytes 3.55 Gbits/sec [ 3] 4.0- 5.0 sec 519

一.安装部署 1.Zabbix部署 2.Nessus简介与安装 3.Ceph安装 4.Graylog 安装 5.Centos6.10 安装Python 2.7.16 更新中... 二.Linux运维 更新中... 来源： oschina 链接： https://my.oschina.net/u/4275654/blog/4282064

在上周刚结束的网易数字+大会上 网易数帆 宣布： 开源一款名为Curve的高性能分布式存储系统， 性能可达Ceph的1.84倍！ 网易副总裁、网易杭州研究院执行院长兼网易数帆总经理汪源： 基础软件的能力对于数字化转型非常关键，当前存储领域需要一款性能更高、可用性/可靠性更好、自治能力更强的分布式存储系统，Curve的开源不仅代表网易数帆在基础软件市场的坚持，也为软件定义基础设施生态的繁荣再添一把火。 采用先进架构设计 单卷性能1.84倍于Ceph Curve的定位，是提供一个高性能、低延迟的存储底座，基于这个存储底座，企业可以打造适用于不同应用场景的存储系统，如块存储、对象存储、云原生数据库等。目前，网易数帆已经实现了高性能块存储系统。 汪源介绍，Curve主要具有三大设计特点： 高性能、高可用和自治 。 高性能源自先进架构。Curve参考了业界的存储系统，采用先进、高效的开源技术，设计了一个新架构实现高性能低延迟的核心能力，采用高性能的RPC框架来保障网络数据流的高性能和低延迟，基于Raft协议实现多副本一致性下的低延迟，并针对Raft协议的快照实现进一步优化。磁盘IO方面，Curve通过更细粒度的地址空间的hash减少IO碰撞，增加IO并发度，并采用chunkfilepool减小IO放大倍数，从而最大限度地发挥硬件的性能。 汪源公布了Curve和CephL版本的测试数据对比