构建可靠的磁盘系统:故障判定和自动化处理
![构建可靠的磁盘系统:故障判定和自动化处理](https://static001.geekbang.org/infoq/09/092e7e352ca966a221e864eb35bd125e.jpeg)
存储痛点
存储系统以保证数据可靠为首要任务,传统单机存储以极低成本对外提供存储服务,但存在多处单点故障,可用性较低,扩展性差等问题。
随后演化出支持 SAS 接口双控双活控制器架构,在一定程度上能够避免单点故障,实现升级软硬件时业务不感知,能够保证可用性,但扩展性仍受到很大制约。
另外,以上两种传统存储方案中,均存在重构耗时过长的隐患,以目前单盘最大容量 14TB 磁盘而言,在不影响业务的前提下,存储单点故障后的重构时间将要以天计算,过大的重构时间窗口,出现高阶故障的概率会增大,数据面临风险也增大。
面对这些问题,为满足扩展性、无单点故障、快速重构的需求,设计者用分布式架构让更多的存储服务器参与到系统中,理论上它确实解决了以上问题,但均面临磁盘系统的软硬件故障,大规模分布式存储系统虽然能够快速处理单点故障,但单个存储系统磁盘规模可到 K 级别,随着业务的增长和磁盘寿命的衰减,单点故障成为常态,同时发生高阶故障的概率也会逐渐递增,给整个存储系统的稳定性和可靠性带来了挑战。
监控磁盘系统的必要性
分布式存储系统中,每个服务组件都有各自的监控逻辑,但都不涉及到 OS 层和硬件层面的监控。在业务层监控并处理底层异常,犹如隔靴挠痒,感知异常较滞后,有时在底层异常很长时间后,业务层才感知到,并且业务层预判异常,很容易出现误判。
因此无论在传统存储中,还是在大规模分布式存储中,都需要一套能提前感知和预判磁盘子系统软硬件健康状况的机制。一方面,生产环境的单个存储集群拥有海量磁盘,当业务运行度过磁盘稳定期后,磁盘故障率会变大,同时也面临质保过期的问题。因此能够辨别磁盘故障类别,是可修复的异常,还是直接申请售后更换,都能节约一定成本;另一方面,在配合产品定义的数据冗余特性,保证存储可靠性的前提下,给自动化运维提供可信的数据支持,实现自动化快速处理异常。短期来看,它直接提高存储的可用性和服务质量;长期来看,它让整个存储系统一直处于良好的健康状态,并且减轻运维人员的工作量,以及分析处理异常的复杂度。
故障分类
硬件类
1)磁盘硬件故障:以单盘故障居多,极少会遇到批量磁盘硬件故障,故障影响范围小,前提是软件要及时处理该异常。
2)HBA 卡硬件故障:影响整台服务器的 IO,故障影响范围大,会触发较多数据迁移。
软件类
1) 磁盘固件 bug:有批次问题,统计故障时,在某段时间内,同型号多块磁盘发生故障,重启后又可以正常工作,健康值良好,可和厂家确认是否是磁盘固件有缺陷。
2) 磁盘驱动异常处理逻辑缺失:磁盘驱动若没及时处理异常,慢盘处理机制缺失,单盘异常可能夯死整台服务器,无法重启服务器,很难定位到异常盘,对业务影响大。
3) 低效的 scsi 中间层错误处理逻辑:该逻辑适合桌面级应用中,不适合企业级存储系统中,单盘异常可能会导致整台服务器 IO 夯,体验差,对业务影响大。
分析方法
一次异常不能认为该设备故障无法被继续使用(如震动、温度的影响),只有已经明确的故障,才能认为设备不可用,需替换。磁盘的好坏很难界定,所以一般用健康值去衡量磁盘是否可用,一般分良好、警告、错误,而健康值是个多维度给磁盘打分后的综合值。
1. 硬件类异常: HBA 的特定寄存器值异常、有硬件复位、PCIE 寄存器异常都可以表明该 HBA 已经异常,磁盘的特定 sense key 可以表明磁盘是否为坏盘。
2. 软件异常:磁盘 iops 和吞吐基本为 0,利用率达到 99%,某些异常 sense key,表明磁盘有异常。
3. 常见影响磁盘健康值的因素:G 表,重映射扇区数,CRC 项,各类 sense key,IO 超时,最大 IO 延迟时间等。
处理方法
软件层面优化:磁盘异常处理在磁盘驱动层实现,及时处理 IO 超时、IO 错误、慢盘,完成磁盘异常修复。自己实现单盘异常处理逻辑,将单盘异常处理和系统隔离。
A) IO 超时类:如果不是环境震动导致,说明磁盘本身有异常,可通知监控报警。
B) IO 错误类:具体错误具体处理,部分错误可被 scsi 命令修复,而业务不感知。
C) 慢盘类:确认不是驱动 bug 导致,底层驱动最先感知到,可通知监控报警。
磁盘健康值打分维度:
A) smart 信息中关键指标项、特定的 sense key 都可直接判定为坏盘。
B) smart 中特性属性值,IO 延迟大和超时,可以设置磁盘警告。
C) 在业务低峰期时的磁盘短检,随机抽样读取数据,若有 IO 报错,可设置警告
D) 离线时的磁盘长检,可判定磁盘的健康状态。
自动化运维处理
自动化运维目的是减轻运维人员的工作量和工作复杂度,提升集群服务质量和可用性。
通过给磁盘健康值评分后,业务监控层根据自己踢盘策略配置,在满足上层数据冗余条件下,在一定故障域配额下自动化完成集群移除磁盘操作,并主动触发恢复,如果在恢复期间,再次发现异常盘,继续根据踢盘策略决定是否移除磁盘。
当遇到超出配额的高阶故障时,需要人工介入,确认故障类型后再做进一步处理。
总结
故障判定和自动化处理是个逐步完善的过程,需要对底层协议、内核、平台业务相关的有深入的理解。焱融云以保障客户数据为首要任务,在所有产品发布前,均进行大量线下故障模拟演练,并在生产环境中处理故障并得以验证,积累了大量自动化运维经验。以及在产品迭代中,不断优化自动化运维机制,从而提升产品竞争力和客户体验。
版权声明: 本文为 InfoQ 作者【焱融科技】的原创文章。
原文链接:【http://xie.infoq.cn/article/5eddfb2a7d0bf0886ee24e11a】。文章转载请联系作者。
评论