写点什么

全网最细的短网址系统设计与实战

作者:清风
  • 2022 年 4 月 27 日
  • 本文字数:2672 字

    阅读完需:约 9 分钟

全网最细的短网址系统设计与实战

💖介绍

今天介绍一个短网址系统的设计与实现。所谓的短链接就是不管你的链接有多么长,最终它都会生成一个固定长度的短链接。虽然说义务很简单,但是里面会涉及很多的细节。保证短链接唯一访问速度成为一个核心的问题,接下来就开始表演。短链接的应用场景:


  • 营销推广:短信发送、移动端链接转发(哔哩哔哩)

  • 文章内容排版

  • 企业发送面试题

  • 投票和问卷

💖一、相关概念及技术

🌲1.1 Redis 缓存

在本系统中,我们会用到 redis 数据类型Hash,用于存储我们要访问的长链接,我们都知道,Hash 的查询时间复杂度O(1),故而采用其保存 code 和长链接的一个 KV 对应就可以提高短链到长链接的转发速度(302 协议),存储模型如下所示:


🌲1.2 生成 6 位随机码算法

短网址实现的核心是必须保证生成的 6 位 code 必须唯一,使用该算法也不能够完全保证唯一,所以本人设计时在义务层引入 redis 高级数据类型布隆过滤器做了一个优化,以保证生成的 6 位编码唯一。


public class ShortUrlCodeUtil {    private static final String randomStr = "hnmnd0d";
public static String genShortCode(String url, String randomStr) { return shortUrl(url, randomStr)[0]; }
public static String genShortCode(String url) { return shortUrl(url, randomStr)[0]; }
private static String[] shortUrl(String url, String randomStr) { String[] chars = new String[]{"a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T", "U", "V", "W", "X", "Y", "Z" }; String encrypt = (MD5.encrypt(randomStr + url)); String hex = encrypt; String[] resUrl = new String[4]; for (int i = 0; i < 4; i++) { String t = hex.substring(i * 8, i * 8 + 8); long lHex = 0x3FFFFFFF & Long.parseLong(t, 16); String charTemp = ""; for (int j = 0; j < 6; j++) { long index = 0x0000003D & lHex; charTemp += chars[(int) index]; lHex = lHex >> 5; } resUrl[i] = charTemp; } return resUrl; }}
复制代码

🌲1.3 布隆过滤器

思考问题:


  • 为什么要使用布隆过滤器,不使用 set 集合?

  • 布隆过滤器有哪些义务场景?

  • 布隆过滤器的底层原理?


  1. 本系统使用布隆过滤器的目的是对生成的6位code去重,防止存在重复的编码,虽然说重复的概率很小,但是还是要防止,所以对其做了一个优化,至于同样是去重,为什么不用 set,由于篇幅原因,不再展开。

  2. 其次,布隆过滤器在本系统还有一个作用,就是解决缓存击穿透问题,当一个用户发送一个短链接请求来的时候,首先系统会解析出 6 位 code,然后先去布隆过滤器查找,如果存在再去缓存获取 code 对应的长链接,缓存不存在再去数据库查找;如果不存在的话,直接抛出异常,不在去数据库和缓存查询。



@Servicepublic class ShortURLService {    /**     * 预计要放入的值数量     */
private Integer size=10_0000; /** * 期望的误判率 */ private Double error=0.01; /** * 实例化布隆过滤器 */ private BloomFilter<String> shortUrlCodeFilter = BloomFilter.create(Funnels.stringFunnel(Charset.defaultCharset()), size, error);
/** * 放入短网址编码 * * @param code */ public void put(String code) { shortUrlCodeFilter.put(code); }
/** * 判断布隆过滤器是否包含此元素 * * @param code 短网址编码 * @return */ public boolean contain(String code) { return shortUrlCodeFilter.mightContain(code); }}
复制代码

🌲1.4 302 和 301

由于本系统需要将长链接在后台通过请求转发的方式转发出去,所以会用到请求转发协议。请求转发有两种,一种是301,另一种是302,那他们有什么区别呢?1)301永久重定向 2)302临时重定向由于我们需要做数据统计,也就是记录短链接访问量,所以需要使用302协议

💖二、系统设计

🌲2.1 数据库设计

本系统设计的是一个稍微简单的短链生成系统,所以表的设计不复杂,义务简单,主要的表是短链接信息表,用于存储生成的短链接。

🎄2.1.1 ER 图

就 4 张表:用户表、数据统计表、短链分组表、短链接信息表。

  • 一个用户可以新建多个分组

  • 一个可以有多个短链接信息

  • 一条短链接可以有多个数据统计(每天的访问量)


🎄2.1.1 表设计

⛅️1.用户表

用于保存注册的用户信息


⛅️2.短链信息表

用于记录生成的短链接信息


⛅️3. 短链分组表

登录的用户可以为新建的短链接分组,每个用户注册成功都会有一个默认的分组至少有一个组


⛅️4.短链访问统计表

用于记录每条短链接每天的用户访问量


💖三、系统详细设计

🌲3.1 短链生成

🎄3.1.1 原理

短链接生成的流程大概就是,用户输入一个长链接,请求短链生成方法,首先该方法需要进行加锁,防止多线程多个用户同时请求该方法出现多线程问题,长链通过短链生成器后得到一个6为数的编码,然后去布隆过滤器去判断是否已经存在,如果已经存在的话需要重新调用生成器生成,接下来就是把这 6 位编码保存到数据库布隆过滤器

🎄3.1.2 流程图

🌲3.2 短链访问网站

🎄3.2.1 原理

短链的访问流程大致是:用户在浏览器输入一个短链接,系统解析出最后的6位编码,然后用这个编码去布隆过滤器查询是否存在,如果存在就去缓存获取长链,如果缓存不存在的话再去数据库查询,并将查询出来的短链解析刷新到缓存,接下来通过请求转发,将获取到的长链接通过302协议转发出去;如果布隆过滤器不存在6位编码的话直接抛出异常

🎄3.2.2 流程图

💖四、结论

短链接的应用场景非常的广泛,所以当面对这样的义务时,设计一个可靠的短链接变得很重要,由于本系统是本人设计和开发的第一个版本,设计也很简单,可能会出现些问题,欢迎大家在评论区留言指出,也可以提出问题和修改建议,感谢!。

💖五、开源地址

该系统的源码已经上传到码云(Gitee),欢迎大家去阅读,如果觉得有帮助,还请大家点个star❤️。商业版本正在开发...



🌏线上地址:http://url.breez.work

发布于: 2022 年 04 月 27 日阅读数: 46
用户头像

清风

关注

学无止境 2020.08.01 加入

还未添加个人简介

评论

发布
暂无评论
全网最细的短网址系统设计与实战_MySQL_清风_InfoQ写作社区