找回密码
立即注册
搜索
发回帖 发新帖

5710

积分

0

好友

734

主题
发表于 昨天 01:43 | 查看: 15| 回复: 0

一、背景与现象

一套跑批业务的数据库服务器,最近每隔十几分钟就出现一次 2~5 秒的写延迟尖刺,业务侧表现为偶发的"卡一下"。用 iostat -x 查看对应数据盘,%util 没到 100,但 await 会瞬间从 1ms 飙到 3000ms 以上,avgqu-sz 也同步异常。

这台机器挂的是 iSCSI 存储,双交换机、双控制器,走 device-mapper-multipath。问题不在磁盘慢,而在多路径正在切换链路。这类"周期性卡顿"最容易误导人:单看磁盘 util 一切正常,只有把时间窗口对齐到路径切换的瞬间,才能看到延迟尖刺的真相。

二、排查过程

先确认数据盘是不是 multipath 设备:

# 列出多路径设备与每条路径状态
multipath -ll
# 示例输出:
# mpatha (3600xxxx) dm-2 XXX,STORAGE
# |- 1:0:0:1 sdb 8:16 active ready running   <- 主路径
# `- 2:0:1:1 sdc 8:32 failed faulty running   <- 备路径在抖

注意 failed faulty 状态。它说明某条物理路径在反复经历 "active -> faulty -> active"。接着查看多路径守护进程记录的路径事件:

# 实时看路径状态变化与切换次数
multipathd show paths format "%w %i %d %T %s"
# 或直接看日志
journalctl -u multipathd -S "30 min ago" | grep -iE "path.*failed|switching|reinstate"

然后把磁盘 IO 抖动和路径切换的时间点对齐:

# 采样磁盘延迟(每 1s 一次,看 await)
iostat -x 1 | grep -E "sdb|sdc|dm-2"
# 另开窗口抓内核侧链路错误
dmesg -T | grep -iE "sd[b-c]|iscsi|timeout"

dmesg 里能看到 session xxx: Kernel reported iSCSI connection xxxx error 或 device offline,时间与 await 尖刺一一对应。这就确认了链路抖动触发了路径切换。最后再从 map 视角看整体状态:

# 看 multipath 映射层的整体状态与策略
multipathd show maps format "%n %s %m"   # 设备名 / 状态 / 当前选路

三、根因分析

multipath 靠定期运行的 path_checker(如 tur、readsector0)探活,来判断路径好坏。如果 polling_interval 偏保守、超时又偏短,短暂的网络拥塞或存储控制器的微小抖动,就会被判定为"路径失败",流量随之切到另一条路径。切换本身要刷新 DM 映射、刷写队列,于是出现几百毫秒到几秒的 IO 挂起。探活恢复后又切回来,如此循环,就表现为周期性卡顿。

这里有个关键细节。开启 features "1 queue_if_no_path" 后,所有路径都失效时 IO 会排队而不是报错,这能挡住"全断"引发的雪崩。但单条路径反复 faulty,恰恰发生在还有可用路径的时候,每次切换都会刷新映射,反而制造了抖动。所以根因不在磁盘,而在探活过于敏感,同时切换代价被忽略了。

另一个容易被忽略的点是 path_selector。默认的 round-robin 会让两条路径轮流发 IO,一旦其中一条在抖,一半请求就跟着抖。换成 service-time 后,系统按响应时间选路,慢路径会被少派活,抖动对业务的影响能再削掉一截。选路策略和探活频率要配合着调,只改一个往往压不住。

四、解决方案

思路是调稳探活节奏,给链路抖动留出缓冲,减少误判:

# /etc/multipath.conf 关键参数
defaults {
    polling_interval        5        # 探活间隔,别太短
    path_checker            tur      # 用 TEST UNIT READY,比读扇区更轻
    path_selector           "service-time 0"   # 按响应时间选路
    features                "1 queue_if_no_path"  # 全路径失效时排队而非报错
    no_path_retry           queue
    retry_interval          5
    fast_io_fail_tmo        5        # 先快速失败再切换,避免长挂起
    dev_loss_tmo            30       # 设备丢失宽限,避免频繁 offline
}

让配置生效,并观察路径是否稳定:

# 重载配置(不中断 IO)
multipathd reconfigure
# 观察 10 分钟,路径应稳定在 active/ready,不再反复 faulty
multipath -ll

如果底层网络本身有偶发丢包,还要在交换机和网卡侧排查 MTU、CRC、光模块。不过多数"周期性卡顿"靠上面这组参数就能压下去。改完先别急着收工,最好用 fio 打一段混合读写,确认 await 不再出现周期性尖刺。

五、复盘与预防

  • 监控:把 multipath -ll 输出的路径状态、切换次数接入监控。

下面这个 textfile 脚本把 faulty 路径数上报,便于画趋势图:

# /usr/local/bin/multipath_exporter.sh
faulty=$(multipath -ll 2>/dev/null | grep -c "faulty")
echo "node_multipath_faulty_paths $faulty" > /var/lib/node_exporter/multipath.prom
  • 告警:faulty / failed 状态持续超过 N 秒就告警,不要等业务延迟暴露问题。
  • 规范:新挂存储时,按业务 IO 特征预设 polling_interval 与 fast_io_fail_tmo,不要直接用发行版默认值。变更存储网络前,先演练路径切换。
  • 容量:保留双链路的真实冗余,避免一条链路抖动就被迫由单路径承压。

六、小结

多路径盘"周期性卡一下",十有八九是 path_checker 太敏感,把正常抖动当成故障,导致链路频繁切换。排查顺序是:先用 multipath -ll 看路径状态,再用 journalctl 对时间点,最后用 polling_interval、fast_io_fail_tmo、no_path_retry 这三项参数把切换压稳。磁盘没坏,别急着换盘。

想系统梳理这类存储与监控故障的处理思路,可以到云栈社区的运维/DevOps/SRE板块看看。


来源:作者 WAKE UP技术




上一篇:Agent 自进化怎么实现?从经验沉淀到回归验证
下一篇:Agent 与 Workflow 怎么选?客服系统架构决策指南
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-20 04:51 , Processed in 0.097330 second(s), 43 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表