作者：中国移动磐基 CMChaos 混沌工程团队，晁元宁（@Yuaninga），Reviewer of ChaosBlade
01 Redis 新特性介绍
1.1 背景
Redis 实际使用过程中会存在一些故障演练需求。例如：模拟触发所有 key 过期的极端故障场景、模拟主动触发 Redis 内存淘汰策略释放内存场景等等。
所以，根据以上故障演练需求，决定对 ChaosBlade 新增模拟 Redis 缓存过期实验和模拟 Redis 缓存内存限制实验，丰富 ChaosBlade 的混沌实验场景。
1.2 模拟 Redis 缓存过期实验
1.2.1 实验用途
模拟 Redis 缓存单个 key 缓存过期，触发缓存指定 key 过期的实验场景。
模拟 Redis 缓存所有 key 缓存过期，触发缓存所有 key 过期的极端异常场景。
1.2.2 实现原理
通过使用 go-redis 包中的 Golang 接口修改 Redis 缓存 Key 的过期时间，来实现模拟 Redis 缓存过期实验。
1.2.3 使用示例
# 设置key 1分钟后过期# blade create redis cache-expire --addr 192.168.56.101:6379 --password 123456 --key test1 --expiry 1m{"code":200,"success":true,"result":"b6a0f477b7fb1f4c"}
# 当要设置的过期时间大于key当前过期时间时，设置新过期时间。不存在则直接设置。# blade create redis cache-expire --addr 192.168.56.101:6379 --password 123456 --key test1 --option GT --expiry 1m{"code":200,"success":true,"result":"b6a0f477b7fb1f4c"}
复制代码
1.2.4 官方文档
https://chaosblade.io/docs/experiment-types/host/redis/blade_create_redis_cache_expire
1.3 模拟 Redis 缓存内存限制实验
1.3.1 实验用途
通过修改 Redis 配置 maxmemory 的大小，模拟超出 Redis 缓存内存限制，从而触发 Redis 内存淘汰策略释放内存场景。
1.3.2 实现原理
通过使用 go-redis 包中的 Golang 接口修改 Redis maxmemory 配置，来实现模拟 Redis 缓存内存限制实验。
1.3.3 使用示例
# 设置Redis maxmemory为256M# blade create redis cache-limit --addr 192.168.56.101:6379 --password 123456 --size 256M{"code":200,"success":true,"result":"b6a0f477b7fb1f4c"}
# 设置Redis maxmemory为原值的50%# blade create redis cache-limit --addr 192.168.56.101:6379 --password 123456 --percent 50{"code":200,"success":true,"result":"b6a0f477b7fb1f4c"}
复制代码
1.3.4 官方文档
https://chaosblade.io/docs/experiment-types/host/redis/blade_create_redis_cache_limit
02 开源贡献新人入门
2.1 概述
本部分以两个新增 Redis 故障场景为例，帮助刚接触 ChaosBlade 的社区同学快速入门开源贡献。开源贡献新人入门前置条件为：了解混沌工程相关知识和掌握 Golang 开发。
2.2 贡献流程图
image
2.3 第一步：分析故障演练需求，确认新增原子事件
确认新增原子事件之前，首先要分析故障演练的需求价值。根据上述第一部分的背景介绍，我们了解到 Redis 实际使用过程中会存在模拟触发所有 key 过期的极端故障场景、模拟主动触发 Redis 内存淘汰策略释放内存场景等等故障演练需求。
所以，基于存在的故障演练需求价值，确认新增模拟 Redis 缓存过期实验和模拟 Redis 缓存内存限制实验。
2.4 第二步：Fork 项目 &本地拉取代码并创建 dev 分支
image
2.5 第三步：正式开始新原子事件开发
2.5.1 拉取 chaosblade-exec-middleware 项目代码
2.5.2 新建 redis 目录
该目录放置 Redis 原子事件核心代码
mkdir chaosblade-exec-middleware/exec/redis
复制代码
2.5.3 新建 redis.go 文件
package redis
import ( "github.com/chaosblade-io/chaosblade-spec-go/spec")
type RedisCommandSpec struct { spec.BaseExpModelCommandSpec}
func (*RedisCommandSpec) Name() string { return "redis"}
func (*RedisCommandSpec) ShortDesc() string { return "Redis experiment"}
func (*RedisCommandSpec) LongDesc() string { return "Redis experiment"}
func NewRedisCommandSpec() spec.ExpModelCommandSpec { return &RedisCommandSpec{ spec.BaseExpModelCommandSpec{ ExpActions: []spec.ExpActionCommandSpec{ NewCacheExpireActionSpec(), NewCacheLimitActionSpec(), }, ExpFlags: []spec.ExpFlagSpec{}, }, }}
复制代码
2.5.4 Redis 原子事件包含到 Model
model_darwin.go 支持 Mac 系统
model_linux.go 支持 linux 系统
model_windows.go 支持 windows 系统
https://github.com/chaosblade-io/chaosblade-exec-middleware/tree/main/exec/model
package model
import ( "github.com/chaosblade-io/chaosblade-exec-middleware/exec/nginx"; "github.com/chaosblade-io/chaosblade-exec-middleware/exec/redis"; "github.com/chaosblade-io/chaosblade-spec-go/spec";)
// GetAllExpModels returns the experiment model specs in the project.// Support for other project about chaosbladefunc GetAllExpModels() []spec.ExpModelCommandSpec { return []spec.ExpModelCommandSpec{ nginx.NewNginxCommandSpec(), redis.NewRedisCommandSpec(), }
复制代码
2.5.5 Redis 原子事件包含到编译文件
https://github.com/chaosblade-io/chaosblade-exec-middleware/blob/main/build/spec.go
...// getModels returns experiment models in the projectfunc getModels() *spec.Models { modelCommandSpecs := []spec.ExpModelCommandSpec{ nginx.NewNginxCommandSpec(), redis.NewRedisCommandSpec(), // <== Redis相关 } specModels := make([]*spec.Models, 0) for _, modeSpec := range modelCommandSpecs { flagSpecs := append(modeSpec.Flags(), model.GetSSHExpFlags()...) modeSpec.SetFlags(flagSpecs) specModel := util.ConvertSpecToModels(modeSpec, spec.ExpPrepareModel{}, "host") specModels = append(specModels, specModel) } return util.MergeModels(specModels...)}...
复制代码
2.5.6 开发具体原子事件
https://github.com/chaosblade-io/chaosblade-exec-middleware/blob/main/exec/redis/redis_cache_expire.go
https://github.com/chaosblade-io/chaosblade-exec-middleware/blob/main/exec/redis/redis_cache_limit.go
2.6 第四步：使用 Goland 本地调试，有 bug 或优化再次开发调试
2.6.1 搭建准备 Redis 服务
2.6.2 使用 Goland Debug
打开 main.go 点击三角按钮，选择 Modify Run Configuration...
image
修改 debug 配置：详细使用可以查看 Goland 官方文档
image
执行 Debug 操作：详细使用可以查看 Goland 官方文档
image
2.7 第五步：本地编译并替换测试环境旧编译文件
2.7.1 参考官方文档执行编译
如果在 mac 系统上，编译当前系统的版本，请执行：
如果想在 mac 系统上，编译 linux 系统 x86 架构版本，请执行：
如果想在 mac 系统上，编译 linux 系统 arm 架构版本，请执行：
说明：其他系统编译说明参考官方文档
https://github.com/chaosblade-io/chaosblade/blob/master/README_CN.md
2.7.2 编译后文件存放在 target 目录中
image
2.7.3 测试环境替换为新编译文件
将测试服务器 chaosblade 目录以下文件替换为新版本：
image
2.8 第六步：测试环境测试直至通过
2.8.1 测试模拟缓存过期实验
执行实验：
#示例1：expire a keyblade create redis cache-expire --addr 192.168.56.101:6379 --password 123456 --key test1 --expiry 1m#示例2：expire all keys only when the new expiry is greater than current oneblade create redis cache-expire --addr 192.168.56.101:6379 --password 123456 --option GT --expiry 1m
复制代码
验证实验结果：
# 实验前192.168.56.101:6379> set test1 test2OK192.168.56.101:6379> get test1"test2"192.168.56.101:6379> expire test1 3000(integer) 1192.168.56.101:6379> ttl test1(integer) 2924# 实验后# blade create redis cache-expire --addr 192.168.56.101:6379 --password 123456 --option GT --expiry 1m192.168.56.101:6379> ttl test1(integer) 58
复制代码
2.8.2 测试模拟缓存内存限制实验
执行实验：
# 示例：set maxmemory to 256Mblade create redis cache-limit --addr 192.168.56.101:6379 --password 123456 --size 256M
复制代码
验证实验结果：
# 实验前192.168.56.101:6379> config get maxmemory1) "maxmemory"2) "0"# 实验后# blade create redis cache-limit --addr 192.168.56.101:6379 --password 123456 --size 256M192.168.56.101:6379> config get maxmemory1) "maxmemory"2) "256000000"
复制代码
说明：测试有 bug 或待优化，重复开发、调试和编译步骤
2.9 第七步：使用 dev 分支创建和提交 PR
2.9.1 推送本地 dev 分支 GitHub 远程
# commitgit commit -s -m "add 2 redis experiments"# pushgit push origin dev
复制代码
2.9.2 登录 GitHub 使用 dev 分支创建和提交 PR
image
2.9.3 提交 PR 后准备官网 chaosblade 文档贡献
https://chaosblade.io/docs/1.7.0/community/docs/
2.10 第八步：PR 审查直至审查通过
image
2.11 第九步：PR 合并至 main，新增原子事件贡献成功
image
联系我们：
ChaosBlade 官方网址：
https://chaosblade.io/
ChaosBlade Github：
https://github.com/chaosblade-io/chaosblade
ChaosBlade 钉钉社区交流群：23177705
评论