缓存数据的淘汰之路(上)
redis 是我们研发人员的利器,虽然它速度快,支持高并发,多种业务都会融合到缓存,但要用好它,可不是那么简单的事情。下面我们就跟随卢卡的视角来去寻找一下 redis 内存淘汰背后的故事。
背景
第一次提到一个内存淘汰,是因为业务中很多数据已经将缓存的速度拖的很慢,而且一致在库中的数据留存下去,额,虽然说已经没有实际意义了,但是至少证明它之前存在过,数据的心声,作为 redis 的管理员 conf 大佬, 就给他们上课了,将数据整理好,确定好标签,给他们找寻数据最后的归属
数据听了顿时留下了眼泪,踌躇满志的想要重新来过,等啊等啊。就是到了过期时间, 它还是没有被 0 号库的皇帝召见,看来等待它的就只能默默的离开了,当,逐渐的数据感觉自己被冷落了,皇帝也不喜欢我了,说着就开始给淘汰机制的警察诉苦,当时是他给我标注的,说好会一直待我好,现在呢,就不爱了,渣男,呸。
作为淘汰警察的内存掌控者,每天这样的事情也已经习惯了, 谁让是缓存呢,对吧,好的东西就是比较稀有,人家就是有特权选择你们这些单纯的数据,淘汰警察说的话一次次的牵动着数据的心, 看来只有哭诉,才可以让以后的生活成长起来。经历过缓存的丢弃,渣男的抛弃,数据在一次在淘汰警察的鼓励下,站了起来,我以后要跟你混。
淘汰警察耐心的告诫数据,以后的路要自己好好走,我这里可是很复杂的,你有信心去走向远方吗?
数据,直接坚定的说了一句, YES ,SIR,(话说给淘汰警察整的不会了)
那你要是有兴趣,就先留下来吧,说着,数据眼角留下了热泪,温柔的笑了起来。
迎接你新的生活吧,淘汰警察慢吞吞的说到。
数据缓存第一集(被缓存警察上课一天)
数据跟淘汰警察历险记
第二天,一大早数据就被,淘汰警察喊醒了,告诉你今天第一个任务,获取最新的内存情况
也就是将你一样,被 0 号库皇帝管理的韭菜数据,他们要获取一下他们现在的总体情况,你先去交接一下 memory 大哥,把这个 info 的令牌带着, 先去找你 command 妹妹,告诉他要查一下 内存情况;
实例情况:
缓存 redis 的内存情况,用命令 info memory,可以获取到;
看到最新的内存情况的,数据很是高兴, 刚要回家,就看到淘汰警察给的任务卡上还有任务, 既然有挑战,那我就要完成,数据已经决定了开始像下个任务驶入;
任务一:
缓存 Redis 内存如何配置,生产环境中一般配置多少?
数据一看,这个配置,只能去寻找 conf 大哥了, 屁颠屁颠的去找了 conf 大哥让他查查内存配置,正好看见数据是新手,就给他指明一条路;
如果默认没有配置 redis 的内存,64 位操作环境下,一般不限制内存大小;
但是 conf 大哥,细心的告诉数据, 想要配置内存,也是有技巧的;
数据认真的听了起来
生产环境缓存内存配置:
生产环境,公司一般会配置 当前主内存的四分之三,(redis 底层用 hash 算法,负载因子是 0.75)
如何设置 redis 的内存:
方法 1:可以通过 conf 来设置
方法 2:使用命令来配置
任务二:
当 Redis 的内存满了,会发生什么情况?
数据一看这个任务,感觉要起义的感觉,内存总有一天要被我们数据占据,到时候看看鹿死谁手,
实例情况:
我将最大内存设置为 1 字节,
Redis 内存已满
任务三:
Redis 数据满了之后,如何淘汰数据?
数据一看,这不就是我之后的生活吗,我得好好表现,
这个还得从 conf 大哥那边找找灵感,说着就跑去找 conf 大哥了,
默认的 Redis conf 文件中,对于淘汰数据;
maxmemory-policy noeviction
不会驱逐数据的一种数据策略
如果内存够,基本都可以保存下来;
面试题:
如果当前的一个键值是过期的,name 他到了过期时间是否会马上在内存中被删除呢?
答案:当一个 key 过期,标识不可用之后,不会立刻删除
因为会有过期键值对的策略在起作用
卢卡寄语
数据在淘汰警察的任务下,逐渐了解了内存的细节情况, 对于内存中最大数据,配置,以及过期保存都有了一定的了解,接下来会是对 Redis,key 值中过期策略的制定, 果然: 淘汰警察说,数据你还有很远的路要走。
数据缓存第二集(被过期键经理上了一课)
背景
上回说到,数据已经完成了基本的三个任务,获取了 conf 大哥赏识,其中淘汰警察也对它评价很高,这次淘汰警察就给数据出了个挑战,题目为,一个过期数据,在内存中是如何被淘汰的,会经历什么?
带着这个问题,我们从小数据的视角开始冒险吧。
任务一:数据过期后会遇到什么?
起初,数据经过过期时间后,会在内存中晃荡,不会立马删除,数据会慢慢的遇见第一个经理,名为过期键的删除策略
这个经理可不得了,手里有三大利器;
分别是:
①定时删除
②惰性删除:
③ 定期删除:
这个三把利器,可以让过期键策略,在数据淘汰中,占据大半江山, 基本上可以处理一半的数据,而且效率也不错;说着就让数据自己选一个 ,经理不想亲自动手,
可萌可萌的数据这时候却糊涂了起来, 慢通通的说,这三种利器有啥区别啊,到底有什么厉害之处啊, (数据心里有点不服气,就算是死了,也要死得其所)
既然你这么诚心的份上,那我就给你讲讲我的宝贝,果然是初生牛犊不怕虎,过期键经理心里默念道,感情是要给我上课的,不行,让你装到我还以后怎么在淘汰数据界中混,今天高低也要把你办了?
数据可要小心了, 过期键经理可不是说说而已
说着就端起了,第一件珍宝:
定时删除
本质上:
大程度保持数据的新鲜度, 但是每次都有挂载一个定时任务去扫描,是否临界过期时间, 产生大量的性能消耗
对 CPU 造成额外的压力, (用时间换取空间)
惰性删除
本质上:
当前访问数据,发现数据过期,不会马上删除
等下次,访问,数据过期,会加载删除
redis 中过期,但是没有删除,内存中存储大量的过期数据, 对内存不友好对于 CPU 友好,
定期删除:
对内存和时间 CPU 进行两者中和;
本质上:
每隔一段时间执行一次删除过期键的操作,并通过 限制删除操作的时长和频率来减少对 CPU 时间的影响
过期键经理的总结
虽然我这三大法宝,功能都是删除数据的,但是用的比较多的,对于时间空间,内存 CPU 影响比较小的方式,选择 “定期删除”,因为有很大的优势:
周期性比较强:
特点一: CPU 可以自定义检测频率时长
特点 2: 内存压力减少, 长期过期数据会被持续清理
随机抽查,
好处是:大大提高我们内存删除的效率,但是因为是随机抽查的,所以,会存在漏网之鱼
面试官在线:
面试官: 不错不错,这三种策略但是还是不能完全解决 redis 内存的问题, 如果说定期删除从来没有被抽查到呢,
惰性删除时,过期键值,但是没有被访问到, 持续如此,redis 中存在大量的 key, 你可以说说你的思路吗?
答案是:那我们有大招, 缓存淘汰策略
过期键的删除策略,不能保证内存, 这就要使用大招, 内存淘汰策略了:
数据内心独白
原来,我们之前的兄弟数据,都是被定时删除,不定时的惰性删除,和定期删除解决掉了, 看来这些淘汰警察的手段很硬,硬钢划不来,我要继续做卧底,看看他们是如何将我淘汰掉,
卢卡寄语
数据经过对于过期键经理的折磨, 冒死送出了一份淘汰警察的数据处理过程, 目前是 经过了第一关,听说还有缓存淘汰策略 BOSS 在等着他, 数据也算是厉害,
明天数据,要开始 LRU、LFU,TTL,和 RANDOM 的淘汰策略中去,基于两个维度,四个方面,八条策略,全方位的展示 淘汰警察的手段,期待数据的带来的好消息了
版权声明: 本文为 InfoQ 作者【卢卡多多】的原创文章。
原文链接:【http://xie.infoq.cn/article/e451fd724c66d4b2cab746357】。文章转载请联系作者。
评论