写点什么

微博评论高性能高可用架构设计

用户头像
tjudream
关注
发布于: 3 小时前
微博评论高性能高可用架构设计

1. 估算

【用户量】

  1. 2020.9 月月活 5.11 亿,日活 2.24 亿(参考《微博 2020 用户发展报告》)。

【关键行为】

  1. 发评论

  2. 看评论

2. 用户行为建模和性能估算

【发评论】

考虑到微博评论是一个看得多发的少的业务,假设平均每天每人发 10 条微博评论,则微博评论每天的发送量约为 25 亿条。

大部分的人发微博评论集中在早上 8:00~9:00 点,中午 12:00~13:00,晚上 20:00~22:00,假设这几个时间段发微博总量占比为 60%,则这 4 个小时的平均发微博评论的 TPS 计算如下:25 亿 * 60% / (4 * 3600) ≈ 100 K/s。


【看评论】

由于绝大部分微博用户看微博的对象是大 V 和明星,因此我们假设平均一条微博观看人数有 100 次,则观看微博的次数为: 2.5 亿 * 100 = 250 亿

假设看微博的人有 50%看评论,大部分人看的是前 20 条评论,因此评论的观看次数为:250*50%*20=2500 亿

大部分人看评论的时间段和发评论的时间段基本重合,因此看评论的平均 QPS 计算如下:

2500 亿 * 60% / (4*3600) = 10M/s。


3. 高性能计算架构

3.1 发评论

【业务特性分析】

发评论是一个典型的写操作,因此不能使用缓存技术,可以用负载均衡技术

【架构分析】

用户量过亿,应该要用多级负载均衡架构,覆盖 DNS -> F5 -> Nginx -> 网关 的多级负载均衡。

【架构设计】

  • 1. 负载均衡算法选择发评论的时候依赖登录状态,登录状态一般都是保存在分布式缓存中的,因此发微博的时候,将请求发送给任意服务器都可以,这里选择“轮询”或者“随机”算法。

  • 2. 业务服务器数量估算发评论涉及几个关键的处理:内容审核(依赖审核系统)、数据写入存储(依赖存储系统)、数据写入缓存(依赖缓存系统),因此按照一个服务每秒处理 500 来估算,完成 100K/s 的 TPS,需要 200 台服务器,加上一定的预留量,240 台服务器差不多了。

  • 3. 考虑到有可能有突发流量,而且写评论不需要实时看到,所以可以使用队列总缓冲,采用令牌桶算法做限流。

3.2 看评论

【业务特性分析】

看评论是一个典型的读场景,由于评论发表后不能修改,因此非常适合用缓存架构,同时由于请求量很大,负载均衡架构也需要。

【架构分析】

  • 1. 用户量过亿,应该要用多级负载均衡架构;

  • 2. 请求量达到 2500 亿,应该要用多级缓存架构,尤其是 CDN 缓存,是缓存设计的核心。

【架构设计】

  • 1.负载均衡算法选择游客都可以直接看评论,因此将请求发送给任意服务器都可以,这里选择“轮询”或者“随机”算法。

  • 2. 业务服务器数量估算假设 CDN 能够承载 90%的用户流量,那么剩下 10%的读评论的请求进入系统,则请求 QPS 为 10M/s * 10% = 1000K/s,由于读取评论的处理逻辑比较简单,主要是读缓存系统,因此假设单台业务服务器处理能力是 1000/s,则机器数量为 1000 台,按照 20%的预留量,最终机器数量为 1200 台。

4. 整体架构设计

  • 负载均衡架构设计采用多级负载均衡方案: DNS -> F5 -> Nginx -> 网关 -> 评论服务器(1440 台)

  • 多级缓存架构设计:App 缓存/流量器缓存 -> CDN -> WEB 容器缓存 -> 应用内缓存 -> 分布式缓存 -> 数据库


发布于: 3 小时前阅读数: 3
用户头像

tjudream

关注

还未添加个人签名 2018.04.26 加入

还未添加个人简介

评论

发布
暂无评论
微博评论高性能高可用架构设计