写点什么

设计 | 基于 Redis 谈一谈缓存设计思想

发布于: 2 小时前
设计 | 基于 Redis 谈一谈缓存设计思想

王奇 顾问软件工程师

目前从事 PaaS 中间件服务(Redis/MongoDB/ELK 等)开发工作,对 NoSQL 数据库有深入的研究以及丰富的二次开发经验,热衷对 NoSQL 数据库领域内的最新技术动态的学习,能够把握行业技术发展趋势。

| 前言

前段时间跟同事一起聊到 Redis 的那些坑,不谋而合感触很深。有的时候当业务规模未达到一定瓶颈,很可能发现不了问题,例如下面的这段代码。

public static LotteryPeriod getCurrentAwardNumberPeriod(String gameId) {    List<LotteryPeriod> periodList = getPeriodsByGameId(gameId);    if (periodList == null) {        return null;    }    Timestamp now = DateUtil.getCurrentTimestamp();    LotteryPeriod lotteryPeriod = null;    for (LotteryPeriod period : periodList) {        if (period.getEndTime().before(now) && period.getAwardTime().before(now)) {          if (LotteryAwardCache.getLotteryAward(gameId, period.getPeriod(), false) != null) {             lotteryPeriod = period;             break;          }        }    }    return lotteryPeriod;}
复制代码

这是一个关于期次类的一个业务,这么写乍眼看没什么问题,但由于业务类型增加,时间一久代码量超过了 3000+,接近 20 个getXXPeriod(String),Java 运行后加载了几万个 Period 实例。

| 改进思路

  • Timestamp --> Long

  • startTime, endTime....betDeadline 迭代比较 --> Timeline

  • Cache

| Period 缓存设计思想



Period 实体类包含以上私有属性和构造方法,系统所有有关期次的时间计算均围绕 startTime、endTime、saleStartTime、saleEndTime、awardTime、openTime 这些属性。


如果将所有期次对象按照期次顺序缓存起来,后续的计算也不方便。同时效率也是需要考虑的,如果每次用户读取某些特殊需求的期次,例如获取当前销售期次,每次都需要循环处理并判断销售开始时间、结束时间与当前时间的关系。最后,Timestamp 的比较在 Redis 缓存里面不能直接计算,这样导致很多计算需要将数据传输到本地后再进行,计算的算法效率也不一定有 Redis 高。


基于上述几点考虑做以下设计:将每一个时间维度按照 Redis 缓存的 SortedSet 结构保存,Timestamp 转化为 Long 作为 SortedSet 的 score 存储,member 则为 periodId;为了提高用户访问效率,将每个特定需求的期次信息直接使用 Redis 缓存 String 结构保存,即将对象转化为字节数组保存;为保证这些数据时效性,设置合理的过期时间并且定时刷新这些数据。


一级缓存

总计有五种时间轴(TimelineEnum 枚举类)—— START_TIME、END_TIME、SALE_START_TIME、SALE_END_TIME、OPEN_TIME。


每种时间轴使用 SortedSet 结构保存,初始化的时候载入最新一定数量的期次,一般是未来 N 天以及过去 M 天,这里的数量主要保证追号功能和最近开奖号码功能显示正常即可。时间轴对应的时间属性转化为 Long 后作为 SortedSet 的 score,periodId 则为 member,这样每条时间轴均按照对应时间属性从小到大排序,获取满足小于或者大于某个时间点的期次列表使用 Redis 命令即可方便获取。



系统提供periodRedisService.refreshTimeline(gameId)按照指定彩种刷新所有的 Timeline,提供periodRedisService.rebuildTimeline(gameId)按照指定彩种重建所有的 Timeline,此方法会先删除所有 Timeline 的 Key 再刷新。

二级缓存

总计有以下系统需要访问对象(PeriodEnum 枚举类)—— CURRENT_PERIOD、CURRENT_PERIODS、TODAY_PERIODS、CURRENT_SALE_PERIOD、NEXT_SALE_PERIOD、LAST_10AWARD_PERIOD、FUTURE_3DAY_PERIOD、LAST_OPEN_PERIOD、RECENT_3PERIODS、LAST_100AWARD_PERIOD。


每种对象使用 String 结构保存,定时刷新这些已经过期的缓存。系统提供 periodRedisService.refreshPeriodInfo(gameId) 按照指定彩种刷新所有的这些缓存信息,提供 periodRedisService.refreshExpirePeriodInfo(gameId) 按照指定彩种刷新所有的 Key。

| 改善后

@Overridepublic List<GamePeriod> getCurrentPeriods(Long gameId) {    String key = RedisConstant.getPeriodDetailKey(gameId, RedisConstant.CURRENT_PERIOD);    List<GamePeriod> list = redisService.hessian2Get(key);    if (GameCache.getGame(gameId).getGameType() != Game.GAME_TYPE_TRADITIONAL) {        list = resetRedisTimeline(gameId, RedisConstant.CURRENT_PERIOD, list);    }    return (list == null || list.isEmpty()) ? null : list;}
复制代码

关于 RadonDB

RadonDB 开源社区 是一个面向云原生、容器化的数据库开源社区。为数据库技术爱好者提供围绕主流开源数据库(MySQL、PostgreSQL、Redis、MongoDB、ClickHouse 等)的技术分享平台,并提供企业级 RadonDB 开源产品及服务。


目前 RadonDB 开源数据库系列产品已被 光大银行、浦发硅谷银行、哈密银行、泰康保险、太平保险、安盛保险、阳光保险、百年人寿、安吉物流、安畅物流、蓝月亮、天财商龙、罗克佳华、升哲科技、无锡汇跑体育、北京电信、江苏交通控股、四川航空、昆明航空、国控生物 等上千家企业及社区用户采用。


RadonDB 可基于云平台与 Kubernetes 容器平台交付,不仅提供覆盖多场景的数据库产品解决方案,而且提供专业的集群管理和自动化运维能力,主要功能特性包括:高可用主从切换、数据强一致性、读写分离、一键安装部署、多维指标监控 &告警、弹性扩容 &缩容、横向自由扩展、自动备份 &恢复、同城多活、异地灾备 等。RadonDB 仅需企业及社区用户专注于业务层逻辑开发,无需关注集群高可用选型、管理和运维等复杂问题,帮助企业及社区用户大幅度提升业务开发与价值创新的效率!


GitHub:https://github.com/radondb

微信群: 请搜索添加群助手微信号 radondb


发布于: 2 小时前阅读数: 2
用户头像

https://radondb.com 2021.06.21 加入

一个面向云原生、容器化的数据库开源社区!

评论

发布
暂无评论
设计 | 基于 Redis 谈一谈缓存设计思想