从消息中间件看分布式系统的多种套路,Java 进阶篇
缓存雪崩
我们首先看下这个正常的缓存流程是怎样的?如下图所示:
可以看到,首先这个用户访问这个某东,然后这个某东去访问这个 Redis,如果 Redis 有该访问数据,就会直接返回查缓存拿到的数据;如果 Redis 缓存没有查到该数据,就会去 MySql 数据库中查询,查询到有结果把从 MySql 中查到的数据同步至 Redis 缓存中去,同时会把这个查询到的结果返回回去。
这是一个简单的正常的缓存流程。 那么我们基于这个正常的缓存流程,来看下什么是缓存的雪崩。
首先给大家举个例子,就是在双十一的时候,在某东买东西,进入它的这个首页,由于是双十一,首页的访问量是非常大的,所以首页的很多数据是缓存在 redis 里面的。
假设首页数据存储在 redis 里的 100 个 key,设置的缓存失效时间是两个小时,当在双十一期间,购物超过两个小时之后,这个首页数据的 redis 缓存在这瞬间会全部失效,导致所有的请求都打到这个 MySql 数据库上,此时数据库的访问压力增大,造成这个 MySql 数据库响应不及时而挂掉,从而某东的首页就没办法继续对外提供服务了,然后东哥就特别不开心,把这次的技术负责人送去了非洲。
那么通过这个举例,我们来看下面这个图:
就是说用户访问某东,这个时候 redis 里面的 key 大量失效,导致这个某东直接访问数据库,把大量的请求都打到来数据库,这种现象就是缓存雪崩。简单来说就是 redis 缓存在同一时间大量失效,就像这个雪崩来了一样。
那么缓存雪崩它的解决方案有几种呢?下面来说下:
设置这个缓存的失效时间,不让大量的 key 在同一时间失效,即在设置这个缓存的时候,可以将 key 的失效时间分散开。
我们部署 redis 一般是集群部署的,可以把这些热点的 key 放到不同的节点上去,让这些热点的 key 均匀的分布在不同的 redis 节点上。
还有就是比较暴力的方法,不设置这个缓存失效的时间,让 key 永不失效。
缓存穿透
接下来我们再来介绍什么是缓存穿透。
还是举个例子:比如说某位老哥开发了一个网站,然后这个网站非常的受欢迎,某一天突然遭到了黑客疯狂的攻击,他的这个攻击手段就是采用这个缓存穿透的原理。
大家都知道通常情况下,数据库的主键是从 0 开始递增的,是没有负数的,那么这位黑客就利用这点,他不断的用 ID 小于零的参数发请求过来。这位老哥刚开始是把网站的所有数据放到了 redis 缓存里面去,但是黑客是用 ID 小于零的数来请求,redis 缓存里面并没有这个 ID 小于零的数据,这样 redis 就查不到这个结果,一旦 redis 查不到结果就会去数据库中查,那么所有请求都会打到数据库,而且会一直打到数据库中去,因为 redis 缓存这层根本拦截不到这样的数据。
redis 缓存直接被这种数据穿透了,直接穿透到数据库里面。同样我们来看下面这个图:
首先这个恶意用户访问某东,用 id=-1 的数据去请求,然后这个 id=-1 的数据在 redis 缓存里面没有查到,就到数据库里面查询,也没有查到该条数据,只能返回空数据给前端了。
这个恶意用户(黑客)用脚本不断的发这个数据去请求,直接穿透 redis 打到这个数据库上,这就是所谓的缓存穿透。 简单来说,缓存穿透就是指缓存和数据库中都没有这样的数据,一般出现这种情况都不是正常的用户在访问。
那么缓存穿透的解决方案有以下几点:
请求如果穿透 redis,直接到数据库,那么数据库无论查出什么结果,都写回到 redis 缓存里面去,这样下次用同一个参数发来请求的时候,就直接被 redis 缓存拦截掉了,就不回打到数据库了。
对请求的参数做合法性校验。
比较直接、简单粗暴的方法,把这个 IP 拉黑。
最后是使用布隆过滤器,这是一个非常好的方式。
缓存击穿
我们再来讲最后一个问题,就是缓存的击穿。
还是拿双十一来举例:东哥在双十一的时候,发话说想搞一个大活动,说想把自己 20 年前用的电脑拿出来拍卖,然后有巨多人对这个电脑感兴趣,于是东哥决定在双十一当天九点拍卖这台电脑,然后某东的开发程序员,把这台电脑数据放到了 redis 缓存里,即对应 redis 缓存里的一个 key。
拍卖的时候,大家热情都非常的高涨,持续拍卖了将近三个小时,还没有结束这场线上拍卖,但是这台电脑对应的 redis 缓存 key 的失效时间是三个半小时。 当大家拍卖到三个半小时的时候,这台电脑的缓存 key 突然失效了,导致这个大量的拍卖请求在 redis 里面查不到数据,从而这些大量请求就会直接打到数据库上,此时数据库的瞬间压力增大,造成响应不及时而挂掉。这个时候呢,东哥看到自己的这台电脑还没拍卖出去,有点生气,于是把这个程序员送去了非洲。
同样我们也来看下面这个图:
用户访问某东,然后去 redis 请求某个拍卖秒杀商品,在缓存没有失效的时候,redis 可以把这个查询到的缓存 key 的结果返回回去,但是当这个缓存的 key 失效了,这个请求就会击穿这个 redis,直接打到数据库上。
这里大家注意的是,这里是某一个热点的 key,大量的用户请求不断的访问这个热点的 key,当这个热点的 key 突然失效,把请求都打到数据库上,这个过程就是叫做缓存击穿了。记住它是击穿某个一个非常热点的 key。
那么这个缓存击穿的解决方案是:
让这个热点 key 不过期,即不设置失效时间(不推荐)。
使用分布式锁,如果是单体应用的话使用互斥锁(分布式锁后续文章会讲)。
最后
关于面试刷题也是有方法可言的,建议最好是按照专题来进行,然后由基础到高级,由浅入深来,效果会更好。当然,这些内容我也全部整理在一份 pdf 文档内,分成了以下几大专题:
Java 基础部分
算法与编程
数据库部分
流行的框架与新技术(Spring+SpringCloud+SpringCloudAlibaba)
这份面试文档当然不止这些内容,实际上像 JVM、设计模式、ZK、MQ、数据结构等其他部分的面试内容均有涉及,因为文章篇幅,就不全部在这里阐述了。
作为一名程序员,阶段性的学习是必不可少的,而且需要保持一定的持续性,这次在这个阶段内,我对一些重点的知识点进行了系统的复习,一方面巩固了自己的基础,另一方面也提升了自己的知识广度和深度。
评论