一、背景与现象
一套跑批业务的数据库服务器,最近每隔十几分钟就出现一次 2~5 秒的写延迟尖刺,业务侧表现为偶发的"卡一下"。用 iostat -x 查看对应数据盘,%util 没到 100,但 await 会瞬间从 1ms 飙到 3000ms 以上,avgqu-sz 也同步异常。
这台机器挂的是 iSCSI 存储,双交换机、双控制器,走 device-mapper-multipath。问题不在磁盘慢,而在多路径正在切换链路。这类"周期性卡顿"最容易误导人:单看磁盘 util 一切正常,只有把时间窗口对齐到路径切换的瞬间,才能看到延迟尖刺的真相。
二、排查过程
先确认数据盘是不是 multipath 设备:
# 列出多路径设备与每条路径状态
multipath -ll
# 示例输出:
# mpatha (3600xxxx) dm-2 XXX,STORAGE
# |- 1:0:0:1 sdb 8:16 active ready running <- 主路径
# `- 2:0:1:1 sdc 8:32 failed faulty running <- 备路径在抖
注意 failed faulty 状态。它说明某条物理路径在反复经历 "active -> faulty -> active"。接着查看多路径守护进程记录的路径事件:
# 实时看路径状态变化与切换次数
multipathd show paths format "%w %i %d %T %s"
# 或直接看日志
journalctl -u multipathd -S "30 min ago" | grep -iE "path.*failed|switching|reinstate"
然后把磁盘 IO 抖动和路径切换的时间点对齐:
# 采样磁盘延迟(每 1s 一次,看 await)
iostat -x 1 | grep -E "sdb|sdc|dm-2"
# 另开窗口抓内核侧链路错误
dmesg -T | grep -iE "sd[b-c]|iscsi|timeout"
dmesg 里能看到 session xxx: Kernel reported iSCSI connection xxxx error 或 device offline,时间与 await 尖刺一一对应。这就确认了链路抖动触发了路径切换。最后再从 map 视角看整体状态:
# 看 multipath 映射层的整体状态与策略
multipathd show maps format "%n %s %m" # 设备名 / 状态 / 当前选路
三、根因分析
multipath 靠定期运行的 path_checker(如 tur、readsector0)探活,来判断路径好坏。如果 polling_interval 偏保守、超时又偏短,短暂的网络拥塞或存储控制器的微小抖动,就会被判定为"路径失败",流量随之切到另一条路径。切换本身要刷新 DM 映射、刷写队列,于是出现几百毫秒到几秒的 IO 挂起。探活恢复后又切回来,如此循环,就表现为周期性卡顿。
这里有个关键细节。开启 features "1 queue_if_no_path" 后,所有路径都失效时 IO 会排队而不是报错,这能挡住"全断"引发的雪崩。但单条路径反复 faulty,恰恰发生在还有可用路径的时候,每次切换都会刷新映射,反而制造了抖动。所以根因不在磁盘,而在探活过于敏感,同时切换代价被忽略了。
另一个容易被忽略的点是 path_selector。默认的 round-robin 会让两条路径轮流发 IO,一旦其中一条在抖,一半请求就跟着抖。换成 service-time 后,系统按响应时间选路,慢路径会被少派活,抖动对业务的影响能再削掉一截。选路策略和探活频率要配合着调,只改一个往往压不住。
四、解决方案
思路是调稳探活节奏,给链路抖动留出缓冲,减少误判:
# /etc/multipath.conf 关键参数
defaults {
polling_interval 5 # 探活间隔,别太短
path_checker tur # 用 TEST UNIT READY,比读扇区更轻
path_selector "service-time 0" # 按响应时间选路
features "1 queue_if_no_path" # 全路径失效时排队而非报错
no_path_retry queue
retry_interval 5
fast_io_fail_tmo 5 # 先快速失败再切换,避免长挂起
dev_loss_tmo 30 # 设备丢失宽限,避免频繁 offline
}
让配置生效,并观察路径是否稳定:
# 重载配置(不中断 IO)
multipathd reconfigure
# 观察 10 分钟,路径应稳定在 active/ready,不再反复 faulty
multipath -ll
如果底层网络本身有偶发丢包,还要在交换机和网卡侧排查 MTU、CRC、光模块。不过多数"周期性卡顿"靠上面这组参数就能压下去。改完先别急着收工,最好用 fio 打一段混合读写,确认 await 不再出现周期性尖刺。
五、复盘与预防
- 监控:把
multipath -ll 输出的路径状态、切换次数接入监控。
下面这个 textfile 脚本把 faulty 路径数上报,便于画趋势图:
# /usr/local/bin/multipath_exporter.sh
faulty=$(multipath -ll 2>/dev/null | grep -c "faulty")
echo "node_multipath_faulty_paths $faulty" > /var/lib/node_exporter/multipath.prom
- 告警:
faulty / failed 状态持续超过 N 秒就告警,不要等业务延迟暴露问题。
- 规范:新挂存储时,按业务 IO 特征预设
polling_interval 与 fast_io_fail_tmo,不要直接用发行版默认值。变更存储网络前,先演练路径切换。
- 容量:保留双链路的真实冗余,避免一条链路抖动就被迫由单路径承压。
六、小结
多路径盘"周期性卡一下",十有八九是 path_checker 太敏感,把正常抖动当成故障,导致链路频繁切换。排查顺序是:先用 multipath -ll 看路径状态,再用 journalctl 对时间点,最后用 polling_interval、fast_io_fail_tmo、no_path_retry 这三项参数把切换压稳。磁盘没坏,别急着换盘。
想系统梳理这类存储与监控故障的处理思路,可以到云栈社区的运维/DevOps/SRE板块看看。
来源:作者 WAKE UP技术