ceph

激活osd时（ceph-deploy osd activate node1:/dev/sdm1）报错 [node1][WARNIN] command: Running command: /usr/bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring osd create --concise cf831c2a-aa3d-477a-bdea-5925dbf5acf3 [node1][WARNIN] mount_activate: Failed to activate [node1][WARNIN] unmount: Unmounting /var/lib/ceph/tmp/mnt.qH1Byn [node1][WARNIN] command_check_call: Running command: /bin/umount -- /var/lib/ceph/tmp/mnt.qH1Byn [node1][WARNIN] Traceback (most recent call last): [node1][WARNIN] File "/usr/sbin/ceph-disk", line 9, in <module> [node1]

创建mds时（ceph-deploy mds create node2）报错： [node2][INFO ] Running command: ceph --cluster ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.node2 osd allow rwx mds allow mon allow profile mds -o /var/lib/ceph/mds/ceph-node2/keyring [node2][ERROR ] 2019-10-09 11:51:55.700140 7f907f7c4700 0 librados: client.bootstrap-mds authentication error (1) Operation not permitted [node2][ERROR ] Error connecting to cluster: PermissionError [node2][ERROR ] exit code from command was: 1 [ceph_deploy.mds][ERROR ] could not create mds [ceph_deploy][ERROR ]

1、修改配置 [root@node2 ~]# vim /etc/ceph/ceph-cluster/ceph.conf [global] fsid = 4c137c64-9e09-410e-aee4-c04b0f46294e mon_initial_members = node2,node1,master1 mon_host = 172.16.18.22,172.16.18.24,172.16.18.16 auth_cluster_required = cephx auth_service_required = cephx auth_client_required = cephx osd pool default size = 3 public network = 172.16.18.22/24 [mon] mon allow pool delete = true 2、文件同步 [root@node2 ceph]# cp /etc/ceph/ceph-cluster/ceph.conf /etc/ceph/ [root@node2 ceph]# ceph-deploy --overwrite-conf config push node1 master1 3、新增monitor ceph-deploy --overwrite-conf mon create node1 master1

问题：执行ceph-deploy mon create-initial出错 [node2][INFO ] Running command: /usr/bin/ceph --connect-timeout=25 --cluster=ceph --admin-daemon=/var/run/ceph/ceph-mon.node2.asok mon_status [node2][INFO ] Running command: /usr/bin/ceph --connect-timeout=25 --cluster=ceph --name mon. --keyring=/var/lib/ceph/mon/ceph-node2/keyring auth get client.admin [node2][INFO ] Running command: /usr/bin/ceph --connect-timeout=25 --cluster=ceph --name mon. --keyring=/var/lib/ceph/mon/ceph-node2/keyring auth get-or-create client.admin osd allow * mds allow * mon allow * mgr allow * [node2][ERROR ] "ceph auth get-or

1、添加镜像 所有server上执行 官方的镜像源较慢，这里使用阿里提供的yum源 [root@node2 ceph]# vim /etc/yum.repos.d/ceph.repo [Ceph] name=Ceph packages for $basearch baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/$basearch enabled=1 gpgcheck=0 type=rpm-md priority=1 [Ceph-noarch] name=Ceph noarch packages baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch enabled=1 gpgcheck=0 type=rpm-md priority=1 [ceph-source] name=Ceph source packages baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS enabled=1 gpgcheck=0 type=rpm-md priority=1 2、安装epel 所有server上执行 yum install -y https://dl.fedoraproject.org/pub/epel

执行：ceph -s 2019-10-08 13:52:46.535872 7fb77dc6e700 0 librados: client.admin authentication error (1) Operation not permitted Error connecting to cluster: PermissionError [root@node2 ceph]# ceph -s 2019-10-08 15:40:25.631076 7f5f2158c700 0 librados: client.admin authentication error (13) Permission denied Error connecting to cluster: PermissionDeniedError [root@node2 ceph]# 》（1）ceph -s的完整命令是： ceph -s --conf /etc/ceph/ceph.conf --name client.admin --keyring /etc/ceph/ceph.client.admin.keyring 说明此时client.admin使用的key跟monitor记录的key不同。 此时可用monitor查询ceph -s，命令如下： ceph -s --name mon. --keyring /var

RBD存储卷 目前 CaaSP4 支持多种 Volume 类型，这里选择 Ceph RBD（Rados Block Device)，主要有如下好处： Ceph 经过多年开发，已经非常熟，社区也很活跃； Ceph 同时支持对象存储，块存储和文件系统接口； 环境准备条件 1、搭建环境 操作系统版本： SLES15 SP1， 无需安装 swap 内核版本：4.12.14-197.18-default Kubernetes 版本：CaaSP 4 , v1.15.2 Ceph ：Storage 6 VMware Workstation 14 2、虚拟化环境搭建和系统安装参考： SUSE Storage6 环境搭建详细步骤 - Win10 + VMware WorkStation SUSE Linux Enterprise 15 SP1 系统安装 SUSE Ceph 快速部署 - Storage6 SUSE CaaS Platform 4 - 安装部署 3、实验目的 配置 Pod 资源使用 RBD 存储卷 图1 环境架构 1、所有节点安装 # zypper -n in ceph-common 复制 ceph.conf 到 worker 节点上 # scp admin:/etc/ceph/ceph.conf /etc/ceph/ 2、创建池 caasp4 # ceph osd pool

概述 本文介绍 Ubuntu 环境下使用 saltstack 。 环境 测试环境为 Ubuntu server 14.04 。 禁用 : 所有 Ubuntu 系统都禁用 selinux , iptables 。 5 个运行 Ubuntu server 14.04 x86_64 的虚拟机： 192 . 168 . 1 . 119 ceph - node1 192 . 168 . 1 . 111 ceph - node2 192 . 168 . 1 . 112 ceph - node3 192 . 168 . 1 . 113 ceph - node4 192 . 168 . 1 . 114 ceph - node5 我们分配 saltstack 中的角色： 所有节点 都担任 Minion 角色，ceph-node1 同时担任 Master 角色。 主机名 请按上面的机器分配，设置好每个机器的主机名。编辑各机器上的 /etc/hostname 文件即可。并修改 /etc/hosts里的 127.0.1.1 指向该名。本测试配置完成后是这样的： ouser@ceph-node1:~$ sudo salt '*' cmd.run 'grep 127.0.1.1 /etc/hosts' ceph-node2: 127.0.1.1 ceph-node2 ceph-node4: 127.0.1.1

MinIO创始者是Anand Babu Periasamy、Harshavardhana(戒日王)等人， Anand是GlusterFs的初始开发者、Gluster公司的创始人与CTO，Harshavardhana曾经是GlusterFs的开发人员，直到2011年红帽收购了Gluster公司。MinIO在设计上汲取了GlusterFS的相关经验与教训，系统复杂度上作了大量简化。 一、MinIO简介 01.概述 MinIO对象存储系统是为海量数据存储、人工智能、大数据分析而设计，基于Apache License v2.0开源协议的对象存储系统，它完全兼容Amazon S3接口，单个对象最大可达5TB，适合存储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。 MinIO主要采用Golang语言实现，整个系统都运行在操作系统的用户态空间，客户端与存储服务器之间采用http/https通信协议。 02.设计哲学 极简理念——采用尽可以简单可靠的集群管理方案，摒弃复杂的大规模集群调度管理，减少风险因素与性能瓶颈，聚焦产品的核心功能，打造高可靠的集群、灵活的扩展能力以及超高的性能。 积木式扩展——建立众多的中小规模、易管理的集群，支持跨数据中心将多个集群聚合成超大资源池，6而非直接采用大规模、统一管理的分布式集群。 03.设计原则 04.产品特点 05.高级特性 二、技术架构 01

http://www.tang-lei.com/2018/06/05/ceph-%E7%8A%B6%E6%80%81%E7%9B%91%E6%B5%8B-%E8%84%9A%E6%9C%AC/ 为了能够试试获取ceph集群状态，以期发生故障，可以及时知晓，及时处理。这里结合公司使用的owl监控编写的python脚本，如果使用其他或者crontab，可以酌情修改返回格式。 cat ceph_status.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125