服务韧性工程（SRE）论坛演讲实录 | 混沌工程：复杂系统韧性实现之道

​2024 年 5 月 24 日，第二届服务韧性工程（SRE）论坛在杭州成功举办。本次会议由中关村人才协会作为指导单位，中国移动通信集团浙江有限公司和 SRE 创新联合体（中关村人才协会 SRE 专委会）联合主办,中移动信息技术有限公司，PeopleCert，雅菲奥朗、观测云等单位协办。会议邀请了来自通信、金融、制造、互联网行业等 150 余位 SRE 领域专业人士，共同探讨在数字经济时代下，如何通过技术创新和最佳实践提升企业的服务韧性和运维效率，以及 SRE 和人工智能领域的最新发展、创新和未来趋势。

随着云计算和微服务架构的蓬勃发展，系统复杂性与日俱增，任何一次失控都可能导致巨大损失。为了确保系统韧性、加快交付、保障安全性和可靠用户体验，企业面临前所未有的挑战。在这种背景下，混沌工程应运而生。在 2024 年第二届服务韧性工程（SRE）论坛上，混沌工程专家黄帅结合自己十年的实践经验，分享了如何通过混沌工程来增强系统的韧性，以及对未来的深刻思考。他强调了"拥抱混沌，掌控不确定性的未来"，在混沌中寻求秩序，通过主动引入不确定性来测试和强化系统，从而在面对未来不可预测的挑战时，能够更加从容不迫地掌控局面。

黄帅 《混沌工程》中文版译者和布道师 

​《混沌工程》中文版译者和布道师黄帅，为与会者带来了一场主题《混沌工程：复杂系统韧性实现之道》的精彩演讲。他深入探讨了混沌工程的核心价值和面临的挑战。他指出在云计算和微服务架构蓬勃发展的今天，系统复杂性不断增加，混沌工程通过在生产环境中有意注入故障，帮助企业提前发现并强化系统的薄弱环节。黄帅还分享了混沌工程的未来技术趋势和创新方向，并介绍了云原生数字免疫的概念，这一创新结合了可观测性、混沌工程、服务自愈等技术。他的演讲为构建复杂系统的韧性提供了清晰的方向和深刻见解。

一、十年沉淀：本质、价值与挑战

混沌工程经过了的十年发展之路。从 2004 年的简单三层架构，到如今复杂的心脏架构，混沌工程已经走过了一段不平凡的道路。在这个过程中，GameDay 的概念被提出，它是一种通过模拟真实运营环境中的故障来测试系统韧性的方法。随着云计算和微服务架构的兴起，新型故障模式不断出现，混沌工程也在不断地适应和进化。在云原生环境下，新型故障层出不穷，混沌工程结合可观测性进行探索实验，成为提升系统稳定性的关键。

混沌工程的本质在于它对系统稳定性的主动探索和挑战。它不是被动地等待故障发生，而是主动地在控制环境中引入故障，以此来验证系统的鲁棒性和恢复能力。这种方法的核心思想是“在安全的环境中发现问题”，从而避免在真实运营中出现灾难性的故障。

尽管混沌工程带来了诸多好处，但它也面临着一系列的挑战。首先，如何在不造成实际损害的情况下进行有效的故障注入是一个技术难题。其次，如何确保故障注入的实验不会对用户造成负面影响，需要精心设计和严格控制。此外，混沌工程的实施需要跨学科的知识和技能，这对团队成员的专业能力提出了更高的要求。

二、混沌工程的未来：技术趋势与创新方向

从基础设施的单一故障到多层次组合故障，混沌工程的故障场景类型将更加丰富。故障场景编排将从预先指定转变为根据优先级自动挑选，故障注入方式也将从随机化发展为根据依赖关系自动选择。实验执行模式、目标工作环境、监控/观测能力、结果/成果分析以及安全管控方法都将实现从手动到自动化的转变，具体呈现形态也将从命令行工具进化为自动化平台。

Gartner 在 2023 年的观点“系统韧性就是收入”，强调了系统韧性对企业经济价值的重要性。计划外系统停机会给企业带来的巨大损失，包括直接的财务成本和间接的品牌成本。这不仅凸显了系统韧性的重要性，也为企业敲响了警钟。韧性工程作为一门跨学科领域，其在航空航天、建筑工程、矿业工程等多个行业中都有广泛的应用。无论是在物理世界还是数字世界，韧性工程都是确保系统稳定运行的关键。

三、混沌工程驱动数字免疫：创新实践与未来愿景

在当今的技术格局中，企业面临着日益复杂的安全威胁。混沌工程通过在生产环境中有意注入故障，帮助企业提前发现系统的薄弱环节，从而增强系统的韧性和可恢复性。

数字免疫，作为一种新兴的概念，是指利用技术和策略来增强系统对故障和攻击的抵抗力，从而实现自我修复和自我防护的能力。这个概念借鉴了生物学中的免疫机制，将其应用于软件和系统工程中，以提高系统的韧性和可靠性。旨在通过创新实践构建一个更加健壮、可靠、安全的系统。数字免疫是一个系统性的安全策略，它不仅包括预防故障和攻击的措施，还包括在故障发生时快速恢复系统的能力。这种策略要求系统能够识别、适应并从各种异常状态中恢复，类似于生物体的免疫系统。攻击者会利用系统漏洞进行攻击，因此需要通过混沌工程提前发现和修复这些漏洞。

随着混沌工程的深入实践和理论发展，它已经成为企业提升服务韧性、保障系统稳定性的重要工具。通过在生产环境中主动引入故障，混沌工程帮助企业提前发现并修复潜在的问题，从而在面对真实世界中的不确定性时能够更加从容应对。企业通过混沌工程的实施，能够更好地理解系统的运行机制，优化故障响应流程，并提高系统的自我修复能力。

未来，混沌工程将继续引领企业在数字化转型的道路上前行，帮助企业构建更加健壮、可靠、安全的系统。通过混沌工程的深入应用，企业将能够在不确定性的未来中，更加自信地掌控自己的命运，为用户提供更可靠、更稳定的服务体验。让我们一起期待混沌工程在未来带给我们的更多惊喜和价值。

总结

随着混沌工程的深入实践和理论发展，企业已将其视为提升服务韧性、保障系统稳定性的关键工具。通过在生产环境中主动引入故障，混沌工程不仅帮助企业提前发现并修复潜在问题，更促进了对系统运行机制的深刻理解，优化了故障响应流程，提高了系统的自我修复能力。展望未来，混沌工程将继续引领企业在数字化转型的道路上前行，助力构建更加健壮、可靠、安全的系统。在不确定性的未来，混沌工程将赋予企业更强大的掌控力，为用户带来更稳定、更可靠的服务体验。让我们共同期待混沌工程在未来为构建更加坚韧和智能的系统所作出的贡献。

​