写点什么

从反脆弱角度说一说:技术系统高可用性策略

  • 2023-03-28
    湖南
  • 本文字数:2578 字

    阅读完需:约 8 分钟

一、非线性

我们先来介绍一个概念:非线性。这个概念在我们的生活中无处不在。


你要赶早上 8 点钟的火车,如果 6:30 出发可以在 7:00 到达车站,于是你得到一个结论:只要 30 分钟就可以到达车站。


你早上想睡晚一点预计 7:10 出发,想着 7:40 可以到达车站。但是最可能的结果是你将错过这趟火车。因为正好遇上早高峰,堵车导致你至少需要花费 1 个小时才能到达车站。


一个小雪球的重量是 100 克,打雪仗时你被砸中 100 次,这对你不会造成任何影响。


但是如果你被 10 公斤的雪球砸中 1 次,这可能会对你造成严重的伤害。


这就是非线性。事物不是简单的叠加关系,当达到某个临界值时,会造成一种完全截然不同的结果。

二、秒杀系统

我们来分析一个互联网的秒杀场景。假设你设计的秒杀系统当每秒 30 个人访问时,响应时间是 10 毫秒。即从用户点击按钮至得到结果这个过程,只花费了 10 毫秒。这个时间的流逝基本上察觉不到,性能是不错的。你感觉很好,继续设计:

每秒30个访问量,响应时间10毫秒每秒300个访问量,响应时间100毫秒每秒3000个访问量,响应时间1000毫秒
复制代码

如果你按照这个思路去做系统设计,将会发生重大的错误。因为当每秒 3000 个访问量发生时,系统的响应时间可能不是 1000 毫秒,而可能直接导致系统崩溃,无法再处理任何的请求。最常见的场景就是当缓存系统失效时,导致的系统雪崩:

  • 当耗时低的缓存层出现故障时,流量直接打在了耗时高的数据库层,用户的等待时长就会增加

  • 等待时长的增加导致用户更加频繁去访问,更多的流量会打在数据库层

  • 这导致用户的等待时长进一步增加,再次导致更频繁访问

  • 当访问量达到一个极限值时,造成系统崩溃,无法再处理任何请求


流量和响应时间绝不是简单的叠加关系,当到达某个临界值时,系统将直接崩溃。

三、黑天鹅与三体

欧洲人从来都认为只有白天鹅,因为他们从来只看到过白色的天鹅。


他们的这种想法有多坚定,那他们在澳大利亚发现黑色天鹅时,震撼就有多么大。


这就是著名的黑天鹅事件的由来。黑天鹅事件指事前无法预知,一旦发生将具有巨大影响的不确定事件。

我们来分析一下欧洲人的白天鹅理论。他们采用的是归纳推理的方法,这也是科学实验中常用的一种方法。

当他们没有见到黑天鹅之前,认为只存在白色天鹅是成立的。但当黑天鹅出现时,整个认知瞬间土崩瓦解。

一个更加值得关注的系统是混沌系统。这个系统最大的特点是,当一个微小的扰动发生时,会给整个系统带来巨大的影响。典型混沌系统的体现就是蝴蝶效应和三体问题。


一只蝴蝶挥动翅膀可以带来一场飓风。


三个天体在相互的万有引力作用下,运动轨迹无法预测,这也是刘慈欣《三体》三部曲的基础设定。

处于混沌系统,不知道黑天鹅事件将在什么时间,什么地方,以什么形式发生。


我们不知道 7 点钟出发会被堵多久,不知道秒杀系统在开抢的瞬间会有多大的访问量,不知道某大 V 在微博上公布的消息会带来多少激增的流量。

四、工程系统稳定性

我们来思考一个问题:怎样保证一个工程系统的稳定性?有以下两种做法:

  • 思路 1:考虑到所有意外情况,针对每一个意外的异常情况分别处理

  • 思路 2:接受无法预料到所有意外情况的现实,把兜底方案做好,保证即使出现极端情况,系统也不会崩溃


我们仔细分析思路 1 会发现这其实是一个悖论。


所谓意外情况就是意料之外的情况,无法预料的情况。如果被考虑到了,那么也就不能称之为意外情况了。

塔勒布在经典著作《反脆弱》一直想告诉我们:黑天鹅事件是无法预测的,极端意外情况是无法预测的,尾部风险虽然概率小,但破坏力却极大。


我们无法预测会发生什么故障,以及什么时候发生。但面对不确定性,我们不会束手就擒,至少可以把系统保护好。

五、高可用策略

为了保证系统的稳定性和高可用性,我们需要采取一些策略。我认为高可用核心策略一般包含:冗余+自动故障转移策略,降级策略,延时策略,隔离策略。高可用实际应用方案多种多样,但一般都在实施上述策略,从而构建一个稳定的高可用工程系统。

5.1 冗余 + 自动故障转移策略

最基本的冗余策略就是主从模式。原理是准备两台机器,部署了同一份代码,在功能层面是相同的,都可以对外提供相同的服务。


一台机器启动提供服务,这就是主服务器。另一台机器启动在一旁待命,不提供服务,随时监听主服务器的状态,这就是从服务器。当发现主服务器出现故障时,从服务器立刻替换主服务器,继续为用户提供服务。


自动故障转移策略是指当主系统发生异常时,应该可以自动探测到异常,并自动切换为备用系统。不应该只依靠人工去切换成,否则故障处理时间会显著增加。

5.2 降级策略

所谓降级策略,就是当系统遇到无法承受的压力时,选择暂时关闭一些非关键的功能,或者延时提供一些功能,把此刻所有的资源都提供给现在最关键的服务。


在秒杀场景中,下订单就是最核心最关键的功能。


当系统压力将要到达临界值时,可以暂时先关闭一些非核心功能如查询功能。


当秒杀活动结束后,再将暂时关闭的功能开启。这样既保证了秒杀活动的顺利进行,也保护了系统没有崩溃。


还有一种降级策略,当系统依赖的下游服务出现错误,甚至已经完全不可用了,那么此时就不能再调用这个下游服务了,否则可能导致雪崩。所以直接返回兜底方案,把下游服务直接降级。

5.3 延时策略

用户下订单成功后就需要进行支付。


假设秒杀系统下订单每秒访问量是 3000,我们来思考一个问题,有没有必要将每秒 3000 次访问量的压力传递给支付服务器?


答案是没有必要。


因为用户秒杀成功后可以稍晚付款,比如可以跳转到一个支付页面,提示用户只要在 10 分钟内支付完成即可。


这样每秒 3000 次的访问量就被分摊至几分钟,有效保护了系统。技术架构还可以使用消息队列做一个缓冲,让支付服务按照自己的能力去处理业务。

5.4 隔离策略

物理隔离:应用分别部署在不同物理机、不同机房,资源不会互相影响。

线程隔离:不同的请求进行分类,交给不同线程池处理,当一类请求出现高耗时和异常,不影响另一类请求访问。

六、无所不备则无所不寡

《孙子兵法》虚实篇告诉我们一个道理:备前则后寡,备后则前寡,备左则右寡,备右则左寡,无所不备,则无所不寡。


力量集中在前,后面就空虚。力量集中在后,前面就空虚。力量集中在左,右面就空虚。力量集中在右,左面就空虚。如果力量分散在前后左右,那么前后左右就都空虚。


不确定性分散在前后左右无法预测。我们不可能将精力分散在前后左右,但是技术人员至少可以做好一点:保护好系统。


作者:JAVA 前线

链接:https://juejin.cn/post/7213744681419030583

来源:稀土掘金

用户头像

还未添加个人签名 2021-07-28 加入

公众号:该用户快成仙了

评论

发布
暂无评论
从反脆弱角度说一说:技术系统高可用性策略_Java_做梦都在改BUG_InfoQ写作社区