ceph

主机名 IP　 磁盘 角色 ceph01 10.10.20.55 ceph02 10.10.20.66 chph03 10.10.20.77 systemctl stop ceph-mon@ceph01 systemctl stop ceph-mon@ceph02 systemctl stop ceph-mon@ceph03 [root@ceph02 ~]# parted /dev/sdb mklabel gpt Information: You may need to update /etc/fstab. [root@ceph02 ~]# parted /dev/sdb mkpart primary 1M 50% Information: You may need to update /etc/fstab. [root@ceph02 ~]# parted /dev/sdb mkpart primary 50% 100% Information: You may need to update /etc/fstab. [root@ceph02 ~]# chown ceph.ceph /dev/sdb1 [root@ceph02 ~]# chown ceph.ceph /dev/sdb2 初始化清空磁盘数据（仅ceph01操作即可） [root@ceph01 ceph-cluster]

故障表现 Web管理后台发现告警，如下图所示： Pve40这个节点的某个盘down掉了。 问题排查 ssh登录pve40这个机器所在的系统，执行df –h查看磁盘挂接情况，得到如下输出： 通过挂接点名称（ceph-13）与故障osd的id相对照，可以准确无误的判断出物理磁盘/dev/sdc出现了故障。 修复尝试 在告知其它人发生故障以后，并确认故障处理不会导致任何负面作用的情况下，先试着从web管理界面选取故障osd，然后点击“启动”按钮尝试启动，但是很遗憾，不能获得成功。 再次回答系统命令行，执行ceph osd tree确认故障是否与web管理界面所变现的相一致。为了不对运维造成压力（其它人员看到有黄色报警，毕竟还是有点别扭，不懂的人还可能会发飙），决定对故障盘离线并进行如下尝试： 1、 df –h 查看一下磁盘是否被挂载 2、 ceph osd out osd.13 离线操作 3、 ceph auth del osd.13 ；ceph osd rm 13；ceph osd crush remove osd.13 4、 wipefs -af /dev/sdc 清空磁盘 5、 ceph-volume lvm zap /dev/sdc 创建ceph卷 6、 web界面尝试重新创建osd。 到最后一步执行创建的时候，界面一直在转圈，点开日志详情，可看到具体的原因，如下图所示：

故障表现 Web管理后台发现告警，如下图所示： Pve40这个节点的某个盘down掉了。 问题排查 ssh登录pve40这个机器所在的系统，执行df –h查看磁盘挂接情况，得到如下输出： 通过挂接点名称（ceph-13）与故障osd的id相对照，可以准确无误的判断出物理磁盘/dev/sdc出现了故障。 修复尝试 在告知其它人发生故障以后，并确认故障处理不会导致任何负面作用的情况下，先试着从web管理界面选取故障osd，然后点击“启动”按钮尝试启动，但是很遗憾，不能获得成功。 再次回答系统命令行，执行ceph osd tree确认故障是否与web管理界面所变现的相一致。为了不对运维造成压力（其它人员看到有黄色报警，毕竟还是有点别扭，不懂的人还可能会发飙），决定对故障盘离线并进行如下尝试： 1、 df –h 查看一下磁盘是否被挂载 2、 ceph osd out osd.13 离线操作 3、 ceph auth del osd.13 ；ceph osd rm 13；ceph osd crush remove osd.13 4、 wipefs -af /dev/sdc 清空磁盘 5、 ceph-volume lvm zap /dev/sdc 创建ceph卷 6、 web界面尝试重新创建osd。 到最后一步执行创建的时候，界面一直在转圈，点开日志详情，可看到具体的原因，如下图所示：

接上一篇 《KubeSphere实战排除》 近期在使用kubesphere中也记录了一些使用问题，希望可以对其他人有帮助 八 kubesphere应用上传问题 8.1 文件上传413 将应用部署进入kubesphere中，应用中有设置上传文件功能，测试上次异常无法正常上传，文件上传，ingress413报错，kubesphere使用的是ingress-nginx控制器，可以在其中注解添加k-v来支持， 解决方案：应用路由自定义max body size https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#custom-max-body-size 8.2 大文件上传后端504 大文件上传后端响应504解决方案： proxy read timeoutnginx.ingress.kubernetes.io/proxy-read-timeout 九 跨域问题 kubesphere使用ingress-nginx支持跨域，可以参考以下链接在注解中添加 https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#enable-cors

3 月，跳不动了？>>> osd crush weight osd weight crushtool 修改crushmap test 在我们执行ceph osd tree命令的时候显示内容里面会显示一个WEIGHT还有REWEIGHT，那它们到底是什么呢？ [ root@xt7 ceph ] # ceph osd tree //第二列对应osd crush weight，倒数第二列对应osd weight ID WEIGHT TYPE NAME UP / DOWN REWEIGHT PRIMARY - AFFINITY - 13 2.66554 root metadata - 14 1.00401 host xt7 - metadata 23 1.00000 osd . 23 up 1.00000 1.00000 - 15 1.05763 host xt6 - metadata 11 1.00000 osd . 11 up 1.00000 1.00000 - 16 0.60390 host xt8 - metadata 35 1.00000 osd . 35 up 1.00000 1.00000 - 12 0 root default - 11 0 host xt7 - default - 10 0 host xt6 - default - 9 0 host xt8 -

在安装ceph时，在执行monitor初始化mon、收集秘钥是出现异常报错 报错如下： [c2][INFO ] Running command: ceph --cluster=ceph --admin-daemon /var/run/ceph/ceph-mon.c2.asok mon_status [c2][ERROR ] admin_socket: exception getting command descriptions: [Errno 2] No such file or directory [ceph_deploy.mon][WARNIN] mon.c2 monitor is not yet in quorum, tries left: 3 [ceph_deploy.mon][WARNIN] waiting 10 seconds before retrying [c2][INFO ] Running command: ceph --cluster=ceph --admin-daemon /var/run/ceph/ceph-mon.c2.asok mon_status [c2][ERROR ] admin_socket: exception getting command descriptions: [Errno 2] No such file or directory

环境：SUSE SESv5版本——对应社区ceph的L版本（12.2） 故障背景：在给ceph集群扩充第四个节点的时候，运行到stage4，报错： sesadmin:~ # salt-run state.orch ceph.stage.4 openattic : valid [ERROR ] Run failed on minions: sesnode3.ses5.com Failures: sesnode3.ses5.com : ---------- ID: wait for rgw processes Function: module.run Name: cephprocesses.wait Result: False Comment: Module function cephprocesses.wait executed Started: 15:51:13.725345 Duration: 135585.3 ms Changes: ---------- ret: False Summary for sesnode3.ses5.com ------------ Succeeded: 0 (changed=1) Failed: 1 ------------ Total states run: 1 Total run time: 135.585 s sesadmin.ses5

一、部署准备： 4台虚拟机（linux系统为centos7.6版本） dlp：192.168.88.50 node1：192.168.88.55 node2：192.168.88.56 node3：192.168.88.57 （1）所有ceph集群节点（包括客户端）设置静态域名解析； [root@dlp ~]# vim /etc/hosts （2）所有集群节点（包括客户端）创建cent用户，并设置密码，后执行如下命令： 1. 添加cent用户： useradd cent && echo "123" | passwd 2.赋予sudo权限： echo -e 'Defaults:cent !requiretty\ncent ALL = (root) NOPASSWD:ALL' | tee /etc/sudoers.d/ceph 3. 修改权限 chmod 440 /etc/sudoers.d/ceph （3）在部署节点切换为cent用户，设置无密钥登陆各节点包括客户端节点 [root@dlp ~]# su - cent [cent@dlp ~]$ ssh-keygen [cent@dlp ~]$ ssh-copy-id node1 [cent@dlp ~]$ ssh-copy-id node2 [cent@dlp ~]$ ssh-copy-id node3 [cent@dlp ~]$

简介 Rook官网： https://rook.io Rook是 云原生计算基金会 (CNCF)的孵化级项目. Rook是Kubernetes的开源 云本地存储协调 器，为各种存储解决方案提供平台，框架和支持，以便与云原生环境本地集成。 至于CEPH，官网在这： https://ceph.com/ ceph官方提供的helm部署，至今我没成功过，所以转向使用rook提供的方案 有道笔记原文： http://note.youdao.com/noteshare?id=281719f1f0374f787effc90067e0d5ad&sub=0B59EA339D4A4769B55F008D72C1A4C0 环境 centos 7.5 kernel 4.18.7-1.el7.elrepo.x86_64 docker 18.06 kubernetes v1.12.2 kubeadm部署： 网络: canal DNS: coredns 集群成员： 192.168.1.1 kube-master 192.168.1.2 kube-node1 192.168.1.3 kube-node2 192.168.1.4 kube-node3 192.168.1.5 kube-node4 所有node节点准备一块200G的磁盘：/dev/sdb 准备工作 所有节点开启ip_forward cat <<EOF

一、Rook部署 Rook是一个开源的cloud-native storage orchestrator，为各种存储解决方案提供平台、框架和支持，以便与云原生环境本地集成。Rook通过自动化部署、引导、配置、置备、扩展、升级、迁移、灾难恢复、监控和资源管理来实现此目的。Rook使用底层云本机容器管理、调度和编排平台提供的工具来实现它自身的功能。 1.使用Helm安装Rook Operator Ceph Operator Helm Chart # helm repo add rook-release https://charts.rook.io/release # helm install --namespace rook-ceph rook-release/rook-ceph --name rook-ceph 2.在k8s集群中三个Node节点上新增一块磁盘sdb [root@k8s-node01 ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 200G 0 disk sdb 8:16 0 50G 0 disk 3.创建Rook Cluster # git clone https://github.com/rook/rook.git # cd rook/cluster/examples/kubernetes