微博评论高性能高可用架构设计
微博评论场景计算性能评估
2020.9 月月活 5.11 亿,日活 2.24 亿(参考《微博 2020 用户发展报告》)。
发评论
考虑到微博是一个看得多发的少的业务,假设平均每天每人发 2 条评论(只考虑文字评论),则评论每天的发送量约为 5 亿条。
大部分的人评论集中在早上 8:00~9:00 点,中午 12:00~13:00,晚上 20:00~22:00,假设这几个时间段发评论总量占比为 60%,则这 4 个小时的平均发评论的 TPS 计算如下:
5 亿 * 60% / (4 * 3600) ≈ 20 K/s。
看评论
由于绝大部分微博用户看微博的对象是大 V 和明星,因此我们假设平均一条评论观看人数有 50 次,则观看微博的次数为:5 亿 * 50 = 250 亿。
大部分人看评论的时间段和发评论的时间段基本重合,因此看评论的平均 QPS 计算如下:
250 亿 * 60% / (4*3600) = 1000K/s。
微博评论高性能计算架构设计
发评论
【业务特性分析】
发评论是一个典型的写操作,因此不能用缓存,可以用负载均衡。
【架构分析】
用户量过亿,应该要用多级负载均衡架构,覆盖 DNS -> F5 -> Nginx -> 网关的多级负载均衡。
【架构设计】
1. 负载均衡算法选择
发评论的时候依赖登录状态,登录状态一般都是保存在分布式缓存中的,因此发微博的时候,将请求发送给任意服务器都可以,这里选择“轮询”或者“随机”算法。
2. 业务服务器数量估算
发微博涉及几个关键的处理:内容审核(依赖审核系统)、数据写入存储(依赖存储系统)、数据写入缓存(依赖缓存系统),因此按照一个服务每秒处理 500 来估算,完成 20K/s 的 TPS,需要 40 台服务器,加上一定的预留量,45 台服务器差不多了。
发评论的多级负载均衡架构
看评论
【业务特性分析】
看评论是一个典型的读场景,由于微博发了后不能修改,因此非常适合用缓存架构,同时由于请求量很大,负载均衡架构也需要。
【架构分析】
1. 用户量过亿,应该要用多级负载均衡架构;
2. 请求量达到 250 亿,应该要用多级缓存架构,尤其是 CDN 缓存,是缓存设计的核心,缓存点赞最多的。
【架构设计】
1.负载均衡算法选择
游客都可以直接看评论,因此将请求发送给任意服务器都可以,这里选择“轮询”或者“随机”算法。
2. 业务服务器数量估算
假设 CDN 能够承载 90%的用户流量,那么剩下 10%的看评论的请求进入系统,则请求 QPS 为 1000K/s * 10% = 100K/s,由于读取评论的处理逻辑比较简单,主要是读缓存系统,因此假设单台业务服务器处理能力是 1000/s,则机器数量为 100 台,按照 20%的预留量,最终机器数量为 120 台。
看评论的多级负载均衡架构
看评论的多级缓存架构
微博评论高性能计算方案-整体架构设计
考虑到发评论与看评论业务量级差异较大,所以需将两者进行拆分
微博评论多级负载均衡整体架构
微博评论多级缓存整体架构
微博评论高可用计算架构设计
微博热点事件
热点事件指某个大 V 或者明星爆料或者官宣,虽然只有一两条微博,但引起大量用户在短时间内访问,给系统造成很大压力。
【业务特征分析】
发评论:发评论的逻辑类似发微博,评价同时支持转发、点赞、评论(回复),但重要性和影响力远低于微博。
看评论:热点事件发生后,绝大部分请求都落在了热点事件微博的前几条评论上。
【架构设计分析】
核心架构设计思想:既然无法预估,那就做好预防!
发评论:评论的影响力和重要程度远远低于微博本身,可以考虑对“评论”进行限流,但由于神评等本身能带来更好的传播效果,因此应尽量少丢弃请求,考虑用“漏桶算法”。
看评论:很明显,热点事件微博评论存在缓存热点问题,可以考虑“多副本缓存”,由于原有的缓存架构已经采用了“应用内的缓存,总体上来看,缓存热点问题其实不一定很突出。
评论