Redis 故障演练 - 主从切换

背景

随着企业对数据处理和存储需求的不断增长，Redis 作为一款高性能的内存数据结构存储系统，已成为业界的首选。然而，在 Redis 中的使用中，会面对一些潜在的故障风险，其中主节点故障，发生主从切换最为常见。

为何需要进行 Redis 的混沌演练?

当 Redis 进行主备切换之后，往往会有以下几个影响：

• 数据一致性问题：在主从切换的瞬间，可能会出现数据不一致的情况，如主节点的部分数据未同步到从节点。

• 性能波动：主从切换过程中，可能会出现短暂的性能波动，如读写延迟、响应时间增加等。

• 客户端连接中断：主从切换时，客户端可能需要重新连接新的主节点，可能导致短暂的连接中断。

当主备切换发生时，业务会受到什么影响？业务如何做容错处理？有何快速恢复方案？等担忧往往是我们非常关心的。

当然，我们可以设计应对此类场景的兜底方案。但是如何验证方案是否奏效呢？效果是否达到预期呢？此时进行 Redis 的主从切换混沌演练便是一个科学的方法。

腾讯云混沌工程实践

Redis 集群是业务存储热数据的重要组件，为保证业务的可用性，依靠集群内节点之间的 Gossip 协议来进行节点状态的判断，默认的心跳超时时间 (cluster-node-timeout) 为 15s。如果此故障节点为主节点时，腾讯云 Redis 将采取故障切换机制，将重新从备节点选举新的主节点。

腾讯云混沌演练平台基于以上特性，提供手动方式跨过节点故障阶段直接模拟 HA 策略的故障动作，您可通过该手动故障方式模拟当 Redis 集群发生故障切换机制的短时间内对业务的影响。

目前提供两种主从切换方式，可以根据模拟的容灾场景灵活选择主备切换模式：

1. 优先同可用区切换

模拟主节点发生故障时，腾讯云 Redis 真实 HA 策略场景：数据最新节点优先提主；数据相同时，优先同可用区其他节点选举

2. 优先跨可用区切换

模拟跨可用区整体故障时，其他可用区节点提主场景。

通过混沌工程实现 Redis 主备切换的故障注入，企业可以更好地了解系统在故障场景下的表现，提前发现潜在问题，确保业务的稳定运行。同时，这种主动应对故障的方法，有助于提高企业对 Redis 系统的信心，为业务发展提供有力保障。

快速开始

可前往腾讯云混沌演练平台，快速开始 Redis 的主备切换混沌演练。