微博评论高性能高可用架构设计(架构实战营 模块五作业)
一、场景计算预估
业务背景
根据《微博 2020 用户发展报告》,微博在 2020 年 9 月月活 5.11 亿,日活 2.24 亿,因此以下评估基于日活 2.5 亿的量级进行考虑。
发评论
假设平均每天每人发 5 条评论,则微博评论每天的发送量约为 2.5*5=12.5 亿条。
大部分的人刷微博集中在早上 8:00~9:00 点,中午 12:00~13:00,晚上 20:00~22:00,假设这几个时间段刷微博总量占比为 60%,则这 4 个小时的平均发微博评论的 TPS 计算如下:
12.5 亿 * 60% / (4 * 3600) ≈ 50 K/s。
看评论
观看微博的次数预估为 250 亿,由于评论支持分页和折叠的,因此在观看评论的过程中有可能多次请求评论列表,这里假设平均为 5 次,预计请求次数能达到 1250 亿次,大部分人看微博的时间段和发微博的时间段基本重合,因此看微博评论的平均 QPS 计算如下:1250 亿 * 60% / (4*3600) = 5000K/s。
二、高性能架构设计
发评论
【业务特性分析】
发评论跟发微博一样,是一个典型的写操作,因此不能用缓存,可以用负载均衡,但重要性与时效性弱于发微博,允许一定的延时及数据重复或丢失,因此可以使用写缓冲。
【架构分析】
用户量过亿,应该要用多级负载均衡架构,覆盖 DNS -> F5 -> Nginx -> 网关的多级负载均衡,并在存储端使用性能更强的消息队列。
【架构设计】
1. 负载均衡算法选择
发微博的时候依赖登录状态,登录状态一般都是保存在分布式缓存中的,因此发评论的时候,将请求发送给任意服务器都可以,这里选择“轮询”或者“随机”算法。
2. 写缓冲选择
使用 Kafka,缓冲容量不做限制,写入 Kafka 后直接向用户返回成功,再异步写入存储中。
3. 业务服务器数量估算
发评论可以拆分为处理请求与数据写入两个异步流程:(1)对于处理请求来说涉及几个关键的处理:内容审核(依赖审核系统)、数据写入存储(主要是 Kaka),由于使用了性能更强的 Kafka,预计一个服务每秒可以处理 1000 个请求,完成 50K/s 的 TPS,需要 50 台服务器;(2)对于数据写入来说,主要依赖于关系型数据库与缓存的写入,一般也能达到 1000 左右的 TPS。因此总体来说,50 台服务器即可,加上一定的预留量,55 台服务器差不多了。
看评论
【业务特性分析】
看评论是一个典型的读场景,适合用缓存架构,同时由于请求量很大,负载均衡架构也需要。
【架构分析】
1. 用户量过亿,应该要用多级负载均衡架构;
2. 请求量达到 1250 亿,应该要用多级缓存架构,尤其是 CDN 缓存,是缓存设计的核心。
【架构设计】
1.负载均衡算法选择
游客都可以直接看微博评论,因此将请求发送给任意服务器都可以,这里选择“轮询”或者“随机”算法。
2. 业务服务器数量估算
假设 CDN 能够承载 90%的用户流量,那么剩下 10%的读评论的请求进入系统,则请求 QPS 为 5000K/s * 10% = 500K/s,假设单台业务服务器处理能力是 1000/s,则机器数量为 500 台,按照 20%的预留量,最终机器数量为 600 台。
三、整体架构
多级负责均衡整体架构
看评论的多级缓存架构
四、热点事件高可用架构设计
版权声明: 本文为 InfoQ 作者【Gor】的原创文章。
原文链接:【http://xie.infoq.cn/article/650b7a3e5f983f689540d6bbe】。未经作者许可,禁止转载。
评论