微博评论高可用高性能计算架构设计

一、业务背景以及性能指标估算

根据《微博 2020 用户发展报告》，微博在 2020 年 9 月月活 5.11 亿，日活 2.24 亿，因此以下评估基于日活 2.5 亿的量级进行考虑。

• 发评论

假设平均每天每人发 5 条评论，则微博评论每天的发送量约为 2.5*5=12.5 亿条。大部分的人刷微博集中在早上 8:00~9:00 点，中午 12:00~13:00，晚上 20:00~22:00，假设这几个时间段刷微博总量占比为 60%，则这 4 个小时的平均发微博评论的 TPS 计算如下：

12.5 亿 * 60% / (4 * 3600) ≈ 50 K/s

• 刷评论

观看微博的次数预估为 250 亿，由于评论支持分页和折叠的，因此在观看评论的过程中有可能多次请求评论列表，这里假设平均为 5 次，预计请求次数能达到 1250 亿次，大部分人看微博的时间段和发微博的时间段基本重合，因此看微博评论的平均 QPS 计算如下：

1250 亿 * 60% / (4*3600) = 5000K/s

二、高性能架构设计

• 发评论

【业务特性分析】

发评论跟发微博一样，是一个典型的写操作，因此不能用缓存，可以用负载均衡。

【架构分析】

用户量过亿，应该要用多级负载均衡架构，覆盖 DNS -> F5 -> Nginx -> 网关的多级负载均衡。

【架构设计】

1. 负载均衡算法选择

发微博的时候依赖登录状态，登录状态一般都是保存在分布式缓存中的，因此发评论的时候，将请求发送给任意服务器都可以，这里选择“轮询”或者“随机”算法。

2. 业务服务器数量估算

发评论涉及几个关键的处理：内容审核（依赖审核系统）、数据写入存储（依赖存储系统）、数据写入缓存（依赖缓存系统），预估一个服务每秒可以处理 500 个请求，完成 50K/s 的 TPS，需要 100 台服务器，加上一定的预留量，120 台服务器差不多了。

• 刷评论

【业务特性分析】

看评论是一个典型的读场景，适合用缓存架构，同时由于请求量很大，负载均衡架构也需要。

【架构分析】

1. 用户量过亿，应该要用多级负载均衡架构；

2. 请求量达到 1250 亿，应该要用多级缓存架构，尤其是 CDN 缓存，是缓存设计的核心。

【架构设计】

1.负载均衡算法选择

游客都可以直接看微博评论，因此将请求发送给任意服务器都可以，这里选择“轮询”或者“随机”算法。

2. 业务服务器数量估算

假设 CDN 能够承载 90%的用户流量，那么剩下 10%的读评论的请求进入系统，则请求 QPS 为 5000K/s * 10% = 500K/s，假设单台业务服务器处理能力是 1000/s，则机器数量为 500 台，按照 20%的预留量，最终机器数量为 600 台。

• 整体架构

1.评论的多级负载均衡架构

2.多级负载均衡的缓存架构

三、微博评论热点事件的架构

热点事件指某个大 V 或者明星爆料或者官宣，虽然只有一两条微博，但引起大量用户在短时间内访问，给系统造成很大压力。

【转发评论】

造成热点事件的微博自己只有 1~2 条，但是用户围观后会有很多转发，假设有 10%的围观用户会在事件发生后 60 分钟内转发。

【刷评论】

很难预估，和事件的影响力和影响范围有关。

对于这种难以预测的热点时间，其对应的核心架构设计思想：既然无法预估，那就做好预防！

【架构设计分析】

1. 转发微博评论

转发的微博重要性和影响力不如原微博，可以考虑对“转发微博”限流，由于转发能带来更好的传播，因此尽量少丢弃请求，考虑用“漏桶算法”。

2. 刷微博评论

很明显，热点事件微博存在缓存热点问题，可以考虑“多副本缓存”，由于原有的缓存架构已经采用了“应用内的缓存，总体上来看，缓存热点问题其实不一定很突出。