凌晨两点存储报警,没有 K8s 权限怎么查出是哪个 Pod 在疯狂刷盘?

这是上个月真实发生的一次深夜排障。

凌晨两点多,手机报警短信连环轰炸,Ceph 集群的监控群炸了锅:ceph01 节点所在的 OSD 写入 IOPS 突然暴涨到 4000+,平均响应延迟直接从平时的 2ms 飙到了 180ms,PVE 虚机和几个微服务开始报磁盘写入超时。

迷迷糊糊爬起来 VPN 连上内网,登录 ceph01(10.20.30.11),敲了个 rbd perf image iotop 抓实时 IO 榜单。

屏幕一刷,瞬间锁定了罪魁祸首——压力全集中在 kubernetes 这个存储池里的一个块设备上:

NAME                                           WR_OPS    WR_BPS    RD_OPS    RD_BPS
csi-vol-44df5988-088e-47de-b61f-28025561074b   3890      45 MiB    12        4 KiB

就是这玩意儿,每秒疯狂往下刷 45MB 的数据,把底层机械盘的队列深度直接拉爆了。


运维现场的经典僵局:满屏 UUID 与权限高墙

问题来了:这个 csi-vol-44df5988-088e-47de-b61f-28025561074b 到底跑的是什么业务?

正常情况下,大家的第一反应是登录 Kubernetes Master 节点,拿 kubectl 顺着卷信息慢慢 grep。

但当时的实际情况极为恶心: 1. 跨团队权限壁垒:生产 K8s 属于容器运维组管,存储属于基础设施组管。大半夜的,我手里只有底层 Ceph 节点的 root 权限,根本没有生产 K8s 集群的 kubeconfig。 2. 值班人员联系不上:打电话给应用运维和 K8s 值班同事,对方手机静音没人接。在企业大群里喊,各业务研发都在那刷屏“我们接口超时了,是不是底层存储又挂了?” 3. 传统排查极慢:即便拿到 K8s 权限,面对几百个 PV,执行 kubectl get pv -o json 再去字符串匹配 44df5988 这种深层字段,集群卡顿的时候光捞一遍输出都得两分钟。

满屏幕就只有一串冷冰冰的 UUID,研发在群里催,领导在群里问到底是谁搞的,眼看锅就要扣到存储组头上。


不碰 K8s,直接在 Ceph 底层破案

很多人以为 Ceph 只管存底层数据块,业务层元数据全在 K8s 的 etcd 里。

其实完全不是。负责对接两边的组件是 Ceph-CSI。这个驱动在给 K8s 动态建卷(RBD Create)的时候,为了防止将来对账混乱,早就顺手把业务的身份证打在了镜像头部的扩展元数据里。

在 Ceph 节点上根本不需要切换机器,直接敲这行命令:

rbd image-meta list kubernetes/csi-vol-44df5988-088e-47de-b61f-28025561074b

回车敲下的瞬间,终端当场吐出三行救命的键值对:

There are 3 metadata on this image:

Key                               Value                                   
csi.storage.k8s.io/pv/name        pvc-6426b336-13b6-4132-9559-e206e3fd1293
csi.storage.k8s.io/pvc/name       rbd-pvc                                 
csi.storage.k8s.io/pvc/namespace  default                                 

看到这三行,心里瞬间有底了: - 对应的 K8s PV 叫 pvc-6426b336-13b6-4132-9559-e206e3fd1293 - 业务 PVC 叫 rbd-pvc - 挂在 default 命名空间下

直接查这个镜像关联的监控指标和业务用途,顺带把隔壁另一个占用正常的磁盘也扫了一眼:

rbd image-meta list kubernetes/csi-vol-a11ec6a5-b0dd-4443-9bc8-7ac0bb64e133
Key                               Value                                   
csi.storage.k8s.io/pv/name        pvc-b4330ee6-db6c-4aee-a4f8-c05cd00860f6
csi.storage.k8s.io/pvc/name       grafana-rbd-pvc                         
csi.storage.k8s.io/pvc/namespace  monitoring                              

这是监控组件 Grafana 的配置盘,写入平稳,显然不是它惹的祸。

我直接把查出来的 default 命名空间、PVC 名称 rbd-pvc 以及它对应的 PV 名字截图甩进应急群:

“存储硬件和网络没有任何故障。当前是 default 命名空间下的 rbd-pvc 正在以每秒 4000 IOPS 进行单盘死循环写盘,把底层单个 OSD 队列打满了,请业务负责人立刻去查该 Pod 内是哪个脚本在死循环刷写磁盘!”

五分钟后,一位刚醒的开发在群里认领:白天做压力测试写的一个日志脚本没配轮转和缓冲区,夜里数据堆积直接疯狂刷本地盘了。对方登录把容器一停,Ceph 的 IOPS 瞬间从 4000 跌回 100 以内,延迟立刻从 180ms 归零恢复到正常的 1.5ms,整个集群全绿。


随手写进维护手册的懒人脚本

排障结束后毫无睡意,索性在终端顺手写了个小脚本,把整个 kubernetes 池里的镜像跟 K8s 的对应关系全部做成实时对照表:

for img in $(rbd ls -p kubernetes); do
    pv=$(rbd image-meta get kubernetes/$img csi.storage.k8s.io/pv/name 2>/dev/null)
    pvc=$(rbd image-meta get kubernetes/$img csi.storage.k8s.io/pvc/name 2>/dev/null)
    ns=$(rbd image-meta get kubernetes/$img csi.storage.k8s.io/pvc/namespace 2>/dev/null)
    printf "%-46s | %-42s | %-12s | %-20s
" "$img" "$pv" "$ns" "$pvc"
done

在终端跑出来的输出干净利落:

csi-vol-44df5988-088e-47de-b61f-28025561074b   | pvc-6426b336-13b6-4132-9559-e206e3fd1293   | default      | rbd-pvc             
csi-vol-a11ec6a5-b0dd-4443-9bc8-7ac0bb64e133   | pvc-b4330ee6-db6c-4aee-a4f8-c05cd00860f6   | monitoring   | grafana-rbd-pvc     

这个小东西现在直接被放进了我们的巡检 SOP 里。平时存储同学甚至可以不做任何 K8s 授权,光靠 Ceph 这边的定时任务就能统计出哪个项目的 PVC 占了多少 Ceph 裸容量。


经验总结

  1. 别被跨架构的 UUID 吓住:CSI 插件是连通存储与容器的桥梁,既然它能创建,就必然会保留追踪锚点。rbd image-meta 就是官方留给底层排查的后门。
  2. 快速定界是 SRE 最重要的生存技能:业务卡顿时所有人都会本能地怪底层存储慢。遇到这种事,别跟业务扯存储原理,在两分钟内把具体是“哪个命名空间、哪个 PVC、甚至哪个磁盘 ID”甩到当事人脸上,才能把排障节奏真正控在自己手里。
评论