1. Redis 缓存穿透解决方案
1.1. 缓存穿透的场景
get 传参数，参数一般是 id，如果这个 id 是一个无效 id
String key = request.getParameter("key");List<BuyCart> list = new ArrayList();//习惯性会用json来保存结构数据String cartJson = redisOperator.get(key);if(StringUtls.isBlank(cartJson)){ //redis里面没有保存这个key list = cartService.getCarts(key); //从数据库里查出来然后写入redis if(list!=null&&list.size()>0){ redisOperator.set("cartId:"+key,JsonUtils.objectToJson(list)); }else{ redisOperator.set("cartId:"+key,JsonUtils.objectToJson(list),10*60); }}else{ //redis里有值 list = JsonUtils.jsonToList(list));}
复制代码
假如我系统被人攻击了，如何攻击？
get 传参数，传 N 个无效的 id
1.2. 布隆过滤器 bloomfilter
之前讲了一个 hyperloglog，保存不重复的基数个数：比如记录访问的 UV，我只需要个数
场景描述
比如我们一个新闻客户端，不断的给用户推荐新的新闻，推荐去重，还要高效
这个时候你想到 Redis，能实时推送并快速去重
用户 A：1 2 3 4 5 6（2 7 9）每个用户都应该有一个浏览的历史记录：一旦时间长了，是不是数据量就非常大
如果用户量也很大怎么办？
这个时候我们的布隆过滤器就登场了
总结一下
1.2.1. 布隆过滤器的运行场景
它本身是一个二进制的向量，存放的就是 0，1
比如我们新建一个长度为 16 的布隆过滤器
所以布隆过滤器的精度是取决于 bloom 的存储大小的的，如果长度越大，精度就越高
布隆过滤器的特征
精度是取决于 bloom 的存储大小的的，如果长度越大，精度就越高
只能判断数据是否一定不存在，而无法判断数据是否一定存在
bloom 的存储节点不能删除，一旦删除就影响其他节点数据的特征了
布隆过滤器存储的节点数据一定是历史数据
1.2.2. 布隆过滤器的使用
到入 google 的 guava 的 POM
<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>28.2-jre</version> </dependency>
复制代码
BloomFilter 的代码测试
public class BloomFilterTest { public static void main(String[] args) { //字符集，bf的存储长度一般是你要存放的数据量1.5-2倍，期望的误判率 BloomFilter bf = BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf-8")),100000,0.0001); for(int i=0;i<100000;i++){ bf.put(String.valueOf(i)); } int flag = 0; for(int i=100000;i<200000;i++){ if(bf.mightContain(String.valueOf(i))){ flag++; } } System.out.println("误判了："+flag);
}}
复制代码
1.2.3. Redis 集成布隆过滤器
Redis 官方提供的布隆过滤器支持的是到了 Redis4.x 以后提供的插件功能
# 下载bloomfilter的插件wget https://github.com/RedisLabsModules/rebloom/archive/v1.1.1.tar.gz# 解压make# 去到redis的配置文件对我们的过滤器进行添加loadmodule /usr/local/software/RedisBloom-1.1.1/rebloom.so# 创建bloomfilter并添加一个值# 默认过滤器长度为100，精度0.01 : MBbloombf.add users value1 #可以不断添加到同一个keybf.madd users value1 value2# 判断一个值是否存在bf.exists users value1# 判断多个值是否存在bf.mexists users value1 value2 value3# 手工建立bloomfliter的配置bf.reserve userBM 0.001 10000
复制代码
1.2.4. Java 集成 Redis BloomFilter
先导入依赖
<dependency> <groupId>com.redislabs</groupId> <artifactId>jrebloom</artifactId> <version>1.2.0</version></dependency>
复制代码
Java 的 bloomfilter 调用
import io.rebloom.client.Client;
public class RedisBloomFilterTest { public static void main(String[] args) { Client bloomClient = new Client("127.0.0.1",6379); //先创建bloomfilter bloomClient.createFilter("userFilter",1000,0.001); bloomClient.add("userFilter","gavin"); System.out.println("bloomfilter："+bloomClient.exists("userFilter","gavin")); }}
复制代码
1.2.5. 布隆过滤器的使用总结
布隆过滤器如果初始值过大会占用较大空间，过小会误差率高，使用前估计好元素数量
error_rate 越小，占用空间就越大
只能判断数据是否一定不存在，而无法判断数据是否一定存在
可以节省 90%的存储空间
但匹配精度会有一点不准确（涉及空间和时间的转换：0.01%）
布隆过滤器只能 add 和 exists 不能 delete
评论