写点什么

微博系统中”微博评论“的高性能高可用计算架构设计

作者:Beyond Ryan
  • 2021 年 11 月 29 日
  • 本文字数:1785 字

    阅读完需:约 6 分钟

用户行为建模和性能估算:

  • 2020.9 月月活 5.11 亿,日活 2.24 亿(参考《微博 2020 用户发展报告》)。

  • 考虑到微博是一个看得多发的少的业务,假设平均每天每人发 1 条微博(只考虑文字微博),则微博每天的发送量约为 2.5 亿条。

  • 大部分的人发微博集中在早上 8:00~9:00 点,中午 12:00~13:00,晚上 20:00~22:00,假设这几个时间段发微博总量占比为 60%,则这 4 个小时的平均发微博的 TPS 计算如下:2.5 亿 * 60% / (4 * 3600) ≈ 10 K/s。

  • 由于绝大部分微博用户看微博的对象是大 V 和明星,因此我们假设平均一条微博观看人数有 100 次,则观看微博的次数为:2.5 亿 * 100 = 250 亿。

  • 大部分人看微博的时间段和发微博的时间段基本重合,因此看微博的平均 QPS 计算如下:250 亿 * 60% / (4*3600) = 1000K/s。

【发评论】

  • 根据二八定律,100 人看,就有 20 点赞,4 人评论,所以评论微博每天 250*0.04 = 10 亿条评论,大部分人看微博的时间段和发微博的时间段基本重合,因此评论微博的平均 TPS 计算如下:10 亿*60%/(4*3600)=40k/s。

【看评论】

  • 一般看微博的人都会顺手看一下评论,还是根据二八定律,有 20%的人在看微博的时候会顺手看一下评论,因此看评论的平均 QPS 为 250 亿*20% / (4*3600) = 200k/s

高性能计算架构

发评论

【业务特性分析】

发评论是一个典型的写操作,因此不能使用缓存技术,可以用负载均衡技术

【架构分析】

用户量过亿,应该要用多级负载均衡架构,覆盖 DNS -> F5 -> Nginx -> 网关的多级负载均衡。

【架构设计】

  1. 负载均衡算法选择

发评论的时候依赖登录状态,登录状态一般都是保存在分布式缓存中的,因此发评论的时候,将请求发送给任意服务器都可以,这里选择“轮询”或者“随机”算法。

  1. 业务服务器数量估算

发评论涉及几个关键的处理:评论内容审核(依赖审核系统)、数据写入存储(依赖存储系统)、数据写入缓存(依赖缓存系统),因此按照一个服务每秒处理 500 来估算(评论的业务相对微博业务较简单),完成 20K/s 的 TPS,需要 80 台服务器,加上 20%的预留量,96 台服务器差不多了。

看评论

【业务特性分析】

看评论是一个典型的读场景,由于评论发了后不能修改,只能删除,因此非常适合用缓存架构,同时由于请求量很大,负载均衡架构也需要。

【架构分析】

  1. 用户量过亿,应该要用多级负载均衡架构;

  2. 请求量达到 250 亿*0.2= 50 亿,应该要用多级缓存架构,尤其是 CDN 缓存,是缓存设计的核心。

【架构设计】

  1. 负载均衡算法选择

游客都可以直接看微博,但是这里需要注意的是,用户发完评论之后需要能够优先看到自己的评论,排在第一位(需要知道自己发布的评论有没有成功等),所以最好是用户发评论请求的是哪台服务器,用户看评论的请求也是哪台服务器,所以这里需要和发评论的请求绑定,如果没有发过评论,选择“轮询”或者“随机”算法,如果发过评论,选择“hash”算法

  1. 业务服务器数量估算

假设 CDN 能够承载 90%的用户流量,那么剩下 10%的读微博评论的请求进入系统,则请求 QPS 为 200K/s*10%=20K/s,由于读取微博评论的处理逻辑比较简单,主要是读缓存系统,因此假设单台业务服务器处理能力是 1000/s,则机器数量为 20 台,按照 20%的预留量,最终机器数量为 24 台。

微博评论业务的高性能计算方案- 整体架构设计


微博评论业务的多级负载均衡整体架构


微博评论业务的多级缓存整体架构



热点事件时的高可用计算架构

微博评论热点事件用户行为建模和性能估算

热点事件指某个大 V 或者明星爆料或者官宣,虽然只有一两条微博,但引起大量用户在短时间内访问和评论,给系统造成很大压力。

【微博评论】

虽然热点事件的微博可能只有 1-2 条,但是会有很多用户来看评论和发评论,大部分人属于吃瓜群众,看评论的会很多,发评论的会少一点

微博评论热点事件业务特性分析

【发评论】

微博评论的重要性不如发微博,用户评论之后,需要立刻看到自己的评论,需要保证评论的高可用,但是用户不需要实时刷出所有评论,举个例子:比如用户看评论,允许用户只看到 5 分钟之前的所有评论,不需要很实时,但是用户体验上来看,需要马上看到自己发的评论(极端情况可以允许发评论失败,来保证稳定性)。发评论遇到高并发时,只需要尽量少丢失请求即可,这里考虑使用”漏桶算法”的限流策略,并且设置尽量大的缓存队列。

【看评论】

热点事件发生之后,几乎有很多人会看评论,这个量是无法估算的,需要做好限流、排队、降级、熔断的措施来预防。

微博评论热点事件计算高可用架构分析

核心架构设计思想:既然无法预估,那就做好预防

架构示意图如下



用户头像

Beyond Ryan

关注

学习如逆水行舟,不进则退 2018.09.07 加入

学习如逆水行舟,不进则退

评论

发布
暂无评论
微博系统中”微博评论“的高性能高可用计算架构设计