微博评论的高性能高可用计算架构
1.用户行为建模和性能估算
【用户量】
参考《微博 2020 用户发展报告》日活 2.5 亿
【发评论】
微博评论是在看微博后的一个动作,绝大部分微博用户看微博的对象是大 V 和明星,假设一个用户每天发 5 次评论,则评论微博的次数为:2.5 亿 * 5 = 12.5 亿。
大部分的人发微博、看微博和评论微博集中在早上 8:00~9:00 点,中午 12:00~13:00,晚上 20:00~22:00,假设这几个时间段评论微博总量占比为 60%,则这 4 个小时的平均评论微博的 TPS 计算如下:12.5 亿 * 60% / (4*3600) = 52K/s。
2、非热点事件时的高性能计算架构
2.1 发微博评论
【业务特性分析】
发微博评论是一个典型的写操作,因此不能用缓存,可以用负载均衡。
发微博和微博评论都是写操作,但是发微博不建议用写缓冲。因为发微博的用户希望发了微博之后能够立刻自己看到,也能够被别人看到。但是发完评论之后,评论就被刷掉了,他自己不一定能看到,所以他对这个及时性要求并没有那么高。所以把发微博评论单独弄成一个微服务。
【架构分析】
用户量过亿,应用要用多级负载均衡架构,覆盖 DNS->F5->Nginx->网关的多级负载均衡
【架构设计】
1.负载均衡算法选择
发微博评论的时候依赖登录状态,登录状态一般都是保存在分布式缓存中的,因此发微博评论的时候,将请求发送给任意服务器都可以,这里选择轮询或者随机算法。
2.业务服务器数量估算
发微博评论涉及几个关键的处理:内容审核、数据写入存储、数据写入缓存,因此按照一个服务每秒处理 500 来估算,完成 52K/s 的 TPS,需要 104 台服务器,加上一定的与流量,120 台服务器。
2.2 发微博评论多级负载均衡架构
2.3 整体架构设计
微博发出去只要一个请求,看微博可能是几千万个请求,微博评论的 TPS 居于两者之间,所以把这三者拆开更加有利于系统的性能提升和可用性的一个提升
2.4 微博的多级负载均衡整体架构
2.5 微博的多级缓存整体架构
图在看微博的多级缓存整体架构上,添加了写缓冲,主要用于微博评论使用。所以发微博、写微博、微博评论最终的多级缓存整体架构如上
3、热点事件时的高可用计算架构
3.1 微博热点事件用户行为建模和性能估算
热点事件指某个大 V 或者明星爆料或者官宣,虽然只有一两条微博,但引起大量用户在短时间内访问,给系统造成很大压力。
【评论微博】
很难预估,和事件的影响力和影响范围有关
3.2 微博热点事件业务特性分析
热点事件发生后,绝大部分微博评论请求都落在了导致热点事件发生的那一条微博上面
3.3 微博热点事件计算高可用架构分析
核心架构设计思想:既然无法预估,那就做好预防!
【架构设计分析】
很明显,热点事件微博存在缓存热点问题,可以考虑“多副本缓存”,由于原有的缓存架构已经采用了“应用内的缓存,总体上来看,缓存热点问题其
实不一定很突出。
3.4 微博热点事件计算高可用架构示意图
【微博评论】架构设计上已使用漏桶算法,海量评论可以先写消息队列,由后台线程处理队列中的评论。
版权声明: 本文为 InfoQ 作者【闲人Eric】的原创文章。
原文链接:【http://xie.infoq.cn/article/1e713f6cc08602907526eb4ae】。文章转载请联系作者。
评论