跨越异构鸿沟,Redis 迁移同步过程中的挑战与解决方案
随着云计算十余年的高速发展,作为目前可见的最新阶段,多云正在快步大踏步前进。而多云趋势所带来得数据云间迁移,也逐步常态化。因此,缓存 Redis 已成为高并发场景下提升数据访问速度的标配。
不仅是数据云间迁移,目前大型系统对于缓存强依赖,致使大多数企业都会面临大量并发读写数据时访问速度慢、数据库压力大,以及缓存数据不⾜带来的缓存击穿及雪崩⻛险。其中,Redis 就起到了降低数据库压力,提升数据访问速度的作用。
下图是某网站业务的解决访问速度慢的问题,引入缓存 Redis 提升访问速度的流程:
但在 Redis 迁移同步过程中,势必会面临着许多挑战:
rdb 版本不⼀致导致源 redis dump⽂件在⽬标 redis 中不能加载
数据节点不⼀致带来的 redis 主从复制⽅案失效
应⽤快速割接的⽤⼾需求
⾮幂等命令的幂等要求
正因如此, 应运而生。RedisSyncer 是京东云用于在 redis 之间数据同步的产品,支持跨版本、异构集群间的数据同步。它模拟了 redis 的 replication 协议,在 rdb 版本不⼀致时进⾏命令转换,以实现跨 rdb 版本迁移,并通过缓存 value 的⽅式完成 INCR、INCRBY、DECR、DECRBY 等⾮命令的幂等转换。最终适应云上与云下、原生与托管等多种场景,能够快速灵活地满足用户的同步、迁移、扩容的需求。
RedisSyncer 案例解析
某金融机构为保障金融数据安全、符合金融数据规范,需要将原⽣redis 集群迁移⾄该金融机构⾃研的 upredis 集群,并保证业务系统平滑过渡。
项⽬挑战
版本差异
降版本迁移
集群节点数不⼀致
极速回退需求
最终客⼾收益
实现 15 分钟完成 256GB+数据迁移
20 分钟完成系统割接
迁移过程“丝般柔顺”
RedisSyncer 操作实战
必要环境
docker
docker-compose
使⽤docker-compose 部署服务
下载并配置 cli 客⼾端
.config.yaml
⽣成数据
编写要执⾏的任务 json redissyncer-cli 需要增加 taskexamples
启动任务
数据校验
Github 地址:
https://github.com/TraceNature/redissyncer-server
推荐阅读
欢迎点击【京东科技】,了解开发者社区
更多精彩技术实践与独家干货解析
欢迎关注【京东科技开发者】公众号
版权声明: 本文为 InfoQ 作者【京东科技开发者】的原创文章。
原文链接:【http://xie.infoq.cn/article/f6fb7acafc4cf542b99c9278a】。文章转载请联系作者。
评论