ceph-fuse客户端问题排查流程

匿名 (未验证) 提交于 2019-12-02 23:43:01

本文讲述了ceph-fuse客户端问题排查基本流程:)

首先查看集群的整体情况

 ceph -s 

是否有osd挂掉,是否有pg非active

ceph-fuse进程是否存在?

 ps -ef |grep ceph-fuse 

ceph-fuse进程不存在
需查看日志看什么原因,log文件默认为 /var/log/ceph/ceph-client.${user_id}.log

ceph-fuse进程存在,但是访问卡
ceph-fuse客户端的unix socket文件为:

 /var/run/ceph/ceph-client.${user_id}.asok 

其中${user_id} 一般为admin,可以通过查看ceph-fuse进程获取,或通过查看ceph.conf获得

1. 检查下该客户端与mds的连接session是否正常:

 ceph daemon /var/run/ceph/ceph-client.${user_id}.asok mds_sessions  

如果mds session 的state不是open,通过netstat -anp 查看下客户端到mds的网络连接是否存在,状态是否正常,并根据情况决定是否往网络方向进行进一步检查

2. 访问卡住,说明客户端有正在进行中的请求,该请求可能是发往mds,也有可能是发往osd,通过如下命令查看:

  • 查看客户端发往mds的请求:
 ceph daemon /var/run/ceph/ceph-client.${id}.asok mds_requests   
  • 查看客户端发往osd的请求:
 ceph daemon /var/run/ceph/ceph-client.${id}.asok objecter_requests   
  • 如果卡住的请求是发往mds的,去到active的mds上,查看mds收到的正在处理的请求:
 ceph daemon /var/run/ceph/ceph-mds.${id}.asok ops   

通过该命令可以查看卡住的op卡住哪个阶段,比如 [ initiated ]、[ failed to wrlock, waiting ]、[ failed to xlock, waiting ]等阶段

  • 如果卡住的请求是发往osd的:
    • 可以通过netstat -anp 来查看到客户端到osd的网络连接是否正常
    • 登录到osd的机子,通过osd的unix socket来查看该osd正在处理的op:
 ceph daemon /var/run/ceph/ceph-osd.${osd_id}.asok dump_ops_in_flight  

通过该命令可以查看卡住的op卡住哪个阶段,可以通过iostat查看该osd的磁盘的ioutil是否高,来确定磁盘是否繁忙

关注笔者

专注笔者公众号,阅读更多干货文章:)

文章来源: https://blog.csdn.net/wangmingshuaiguo/article/details/92656205
标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!