写点什么

Java 中级笔试题百度文库,java 架构师直通车百度云,使用指南

用户头像
极客开源
关注
发布于: 刚刚

缓存雪崩

缓存雪崩指的是 Redis 当中的大量缓存在同一时间全部失效,而假如恰巧这一段时间同时又有大量请求被发起,那么就会造成请求直接访问到数据库,可能会把数据库冲垮。


缓存雪崩一般形容的是缓存中没有而数据库中有的数据,而因为时间到期导致请求直达数据库。

解决方案

解决缓存雪崩的方法有很多:


  • 1、加锁,保证单线程访问缓存。这样就不会有很多请求同时访问到数据库。

  • 2、失效时间不要设置成一样。典型的就是初始化预热数据的时候,将数据存入缓存时可以采用随机时间来确保不会咋同一时间有大量缓存失效。

  • 3、内存允许的情况下,可以将缓存设置为永不失效。

缓存击穿

缓存击穿和缓存雪崩很类似,区别就是缓存击穿一般指的是单个缓存失效,而同一时间又有很大的并发请求需要访问这个 key,从而造成了数据库的压力。

解决方案

解决缓存击穿的方法和解决缓存雪崩的方法很类似:


  • 1、加锁,保证单线程访问缓存。这样第一个请求到达数据库后就会重新写入缓存,后续的请求就可以直接读取缓存。

  • 2、内存允许的情况下,可以将缓存设置为永不失效。

缓存穿透

缓存穿透和上面两种现象的本质区别就是这时候访问的数据其在数据库中也不存在,那么既然数据库不存在,所以缓存里面肯定也不会存在,这样如果并发过大就会造成数据源源不断的到达数据库,给数据库造成极大压力。

解决方案

对于缓存穿透问题,加锁并不能起到很好地效果,因为本身 key 就是不存在,所以即使控制了线程的访问数,但是请求还是会源源不断的到达数据库。


解决缓存穿透问题一般可以采用以下方案配合使用:


  • 1、接口层进行校验,发现非法的 key 直接返回。比如数据库中采用的是自增 id,那么如果来了一个非整型的 id 或者负数 id 可以直接返回,或者说如果采用的是 32 位 uuid,那么发现 id 长度不等于 32 位也可以直接返回。

  • 2、将不存在的数据也进行缓存,可以直接缓存一个空或者其他约定好的无效 value。采用这种方案最好将 key 设置一个短期失效时间,否则大量不存在的 key 被存储到 Redis 中,也会占用大量内存。

布隆过滤器(Bloom Filter)

针对上面缓存穿透的解决方案,我们思考一下:假如一个 key 可以绕过第 1 种方法的校验,而此时有大量的不存在 key 被访问(如 1 亿个或者 10 亿个),那么这时候全部存储到缓存,会占用非常大的空间,会浪费大量服务器内存,导致内存不足。


那么有没有一种更好的解决方案呢?这就是我们接下来要介绍的布隆过滤器,布隆过滤器就可以最大程度的解决 key 值过多的这个问题。

什么是布隆过滤器

可能大部分人都知道有这么一个面试问题:如何在 10 亿的海量的无序的数据中快速判断一个元素是否存在?


要解决这个问题就需要用到布隆过滤器,否则大部分服务器的内存是无法存储这么大的数量级的数据的。


布隆过滤器(Bloom Filter)是由布隆在 1970 年提出的。它实际上是一个很长的二进制向量(位图)和一系列随机映射函数(哈希函数)。


布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率而且删除困难。

位图(Bitmap)

Redis 当中有一种数据结构就是位图,布隆过滤器其中重要的实现就是位图的实现,也就是位数组,并且在这个数组中每一个位置只有 0 和 1 两种状态,每个位置只占用 1 个字节,其中 0 表示没有元素存在,1 表示有元素存在。如下图所示就是一个简单的布隆过滤器示例(一个 key 值经过哈希运算和位运算就可以得出应该落在哪个位置):


哈希碰撞

上面我们发现,lonely 和 wolf 落在了同一个位置,这种不同的 key 值经过哈希运算后得到相同值的现象就称之为哈希碰撞。发生哈希碰撞之后再经过位运算,那么最后肯定会落在同一个位置。


如果发生过多的哈希碰撞,就会影响到判断的准确性,所以为了减少哈希碰撞,我们一般会综合考虑以下 2 个因素:


  • 1、增大位图数组的大小(位图数组越大,占用的内存越大)。

  • 2、增加哈希函数的次数(同一个 key 值经过 1 个函数相等了,那么经过 2 个或者更多个哈希函数的计算,都得到相等结果的概率就自然会降低了)。


上面两个方法我们需要综合考虑:比如增大位数组,那么就需要消耗更多的空间,而经过越多的哈希计算也会消耗 cpu 影响到最终的计算时间,所以位数组到底多大,哈希函数次数又到底需要计算多少次合适需要具体情况具体分析。

布隆过滤器的 2 大特点

下面这个就是一个经过了 2 次哈希函数得到的布隆过滤器,根据下图我们很容易看到,假如我们的 Redis 根本不存在,但是 Redis 经过 2 次哈希函数之后得到的两个位置已经是 1 了(一个是 wolf 通过 f2 得到,一个是 Nosql 通过 f1 得到)。



所以通过上面的现象,我们从布隆过滤器的角度可以得出布隆过滤器主要有 2 大特点:


  • 1、如果布隆过滤器判断一个元素存在,那么这个元素可能存在。

  • 2、如果布隆过滤器判断一个元素不存在,那么这个元素一定不存在。


而从元素的角度也可以得出 2 大特点:


  • 1、如果元素实际存在,那么布隆过滤器一定会判断存在。

  • 2、如果元素不存在,那么布隆过滤器可能会判断存在。


PS:需要注意的是,如果经过 N 次哈希函数,则需要得到的 N 个位置都是 1 才能判定存在,只要有一个是 0,就可以判定为元素不存在布隆过滤器中。

fpp

因为布隆过滤器中总是会存在误判率,因为哈希碰撞是不可能百分百避免的。布隆过滤器对这种误判率称之为假阳性概率,即:False Positive Probability,简称为 fpp。


在实践中使用布隆过滤器时可以自己定义一个 fpp,然后就可以根据布隆过滤器的理论计算出需要多少个哈希函数和多大的位数组空间。需要注意的是这个 fpp 不能定义为 100%,因为无法百分保证不发生哈希碰撞。

最后的内容

在开头跟大家分享的时候我就说,面试我是没有做好准备的,全靠平时的积累,确实有点临时抱佛脚了,以至于我自己还是挺懊恼的。(准备好了或许可以拿个 40k,没做准备只有 30k+,你们懂那种感觉吗)


如何准备面试?


1、前期铺垫(技术沉积)


程序员面试其实是对于技术的一次摸底考试,你的技术牛逼,那你就是大爷。大厂对于技术的要求主要体现在:基础,原理,深入研究源码,广度,实战五个方面,也只有将原理理论结合实战才能把技术点吃透。


下面是我会看的一些资料笔记,希望能帮助大家由浅入深,由点到面的学习 Java,应对大厂面试官的灵魂追问


这部分内容过多,小编只贴出部分内容展示给大家了,见谅见谅!


  • Java 程序员必看《Java 开发核心笔记(华山版)》



  • Redis 学习笔记



  • Java 并发编程学习笔记


四部分,详细拆分并发编程——并发编程+模式篇+应用篇+原理篇



  • Java 程序员必看书籍《深入理解 ava 虚拟机第 3 版》(pdf 版)



  • 大厂面试必问——数据结构与算法汇集笔记



其他像 Spring,SpringBoot,SpringCloud,SpringCloudAlibaba,Dubbo,Zookeeper,Kafka,RocketMQ,RabbitMQ,Netty,MySQL,Docker,K8s 等等我都整理好,这里就不一一展示了。



2、狂刷面试题


技术主要是体现在平时的积累实用,面试前准备两个月的时间再好好复习一遍,紧接着就可以刷面试题了,下面这些面试题都是小编精心整理的,贴给大家看看。


①大厂高频 45 道笔试题(智商题)



②BAT 大厂面试总结(部分内容截图)




③面试总结




3、结合实际,修改简历


程序员的简历一定要多下一些功夫,尤其是对一些字眼要再三斟酌,如“精通、熟悉、了解”这三者的区别一定要区分清楚,否则就是在给自己挖坑了。当然不会包装,我可以将我的简历给你参考参考,如果还不够,那下面这些简历模板任你挑选:



以上分享,希望大家可以在金三银四跳槽季找到一份好工作,但千万也记住,技术一定是平时工作种累计或者自学(或报班跟着老师学)通过实战累计的,千万不要临时抱佛脚。


另外,面试中遇到不会的问题不妨尝试讲讲自己的思路,因为有些问题不是考察我们的编程能力,而是逻辑思维表达能力;最后平时要进行自我分析与评价,做好职业规划,不断摸索,提高自己的编程能力和抽象思维能力。


本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

用户头像

极客开源

关注

还未添加个人签名 2021.03.18 加入

还未添加个人简介

评论

发布
暂无评论
Java中级笔试题百度文库,java架构师直通车百度云,使用指南