雅菲奥朗 SRE 知识墙分享（六）： 『混沌工程的定义与实践』

混沌工程不再追求“永不宕机”的童话，而是主动在系统中注入可控的“混乱”，通过实验验证系统在真实故障场景下的弹性与自我修复能力。混沌工程不是简单的“搞破坏”，也不是运维团队的专属游戏。它是一种以实验为导向、以度量为核心、以文化为基石的工程实践，要求架构、开发、测试、运维、产品甚至业务方共同参与，把“可预期的故障”嵌入软件交付的每一个环节。

从 2010 年 Netflix 的 Chaos Monkey 开源，到如今阿里、腾讯、Amazon、微软等巨头的规模化落地，混沌工程已演进出一套方法论、一套工具链和一套组织治理模式。

一、SRE 混沌工程的核心定义

混沌工程是一门通过在生产环境中主动注入可控故障，基于实验数据验证系统韧性，并持续改进自动化能力与可观测性水平的 SRE 核心学科。

二、SRE 混沌工程的价值主张

• 99.99%的可用性承诺无法回答"故障发生时系统能否真正保持业务连续性"

• 将被动应对黑天鹅事件转变为主动预演，将未知风险转化为已知的应急预案和修复动作。

三、SRE 混沌工程的实施框架（四步闭环）

第一步稳态定义：基于 SLI/SLO 建立可观测的健康指标体系

第二步实验设计：采用最小爆炸半径原则（确保可回滚、可观测、可隔离）

第三步故障注入：按资源层→中间件层→应用层→业务层渐进式实施

第四步效果评估：量化稳态偏离程度，完善监控、预案和容量规划

四、SRE 混沌工程的实施工具栈

• 平台工具：CMChaos、ChaosBlade、Chaos Mesh、Gremlin

• 故障类型：资源故障（CPU/内存）、网络故障（延迟/丢包）、容器故障（杀 Pod）

• 管控能力：灰度发布、功能开关、自动回滚机制

五、SRE 混沌工程的核心原则

✅ 爆炸半径可控：通过流量染色、环境隔离等技术控制影响范围

✅ 主动运维文化：从"被动救火"转向"主动防火"的运维模式转型

✅ 无责文化：建立"故障复盘不追责"机制，鼓励透明化的事故分析

六、SRE 混沌工程的工程化检查清单

✓ 核心业务链路梳理及降级方案验证

✓ 实时监控大盘具备稳态指标展示能力

✓ 支持一键注入常见故障类型（CPU 满载/网络延迟/容器异常）

✓ 故障脚本与恢复脚本版本化管理，CI/CD 流水线集成回归测试

✓ 每季度组织 GameDay 演练，新人入职需完成基础故障演练培训

七、SRE 混沌工程的专家视角

——混沌工程不是破坏性测试，而是通过可控实验建立对系统韧性的信心。它本质上是一种通过“主动失败”来预防“被动失败”的前瞻性工程实践。

成熟度演进

�� 初级：基础资源层故障注入

�� 中级：分布式依赖故障模拟

�� 高级：全链路故障演练与自动恢复

�� 专家：AI 驱动的自适应故障注入与预测

雅菲奥朗专家刘峰老师总结：

1.“故障不是我们的敌人，对故障的无知才是”

2.混沌工程让我们在“安全环境”中学会如何与失败共处，从而构建真正可靠的系统。

雅菲奥朗 SRE 全栈认证培训

雅菲奥朗携手国际认证机构 PeopleCert、 DevOps Institute，打造国内最全 SRE 认证全链路，覆盖从入门到专家、从传统监控到可观测性和 AIOps 的完整成长路径。从“救火队长”到“可靠性架构师”——雅菲奥朗 SRE 全栈认证培训，让运维人赢在 AI 时代的起跑线。

（1）SRE Foundation 认证培训 （2 天）

关键词：SLI/SLO、错误预算、减少琐事、监控和服务水平指标、SRE 工具及自动化、SRE 的组织影响等；

适合人群：IT 团队领导、SRE 从业者、DevOps 从业者、运维、开发、测试、项目经理、产品经理、系统集成商等；

课程收获：

● 独立设计并落地符合业务场景的 SLI/SLO 与错误预算。

● 掌握“琐事识别—脚本化—自动化流水线”三步法。

● 熟练使用 Prometheus、Grafana、Slack ChatOps 等主流工具。

● 掌握可复制的 SRE 组织落地蓝图。

● 获取 PeopleCert 和 DevOps Institute 颁发的 SRE Foundation 国际认证证书。

（2）SRE Practitioner 认证培训（2 天）

关键词：SLO 是客户满意度的代表、Chaos Engineering、容量预测、全栈可观测性、平台工程和 AIOps、SRE 动手实验等；

适合人群：组织变革推动者、IT 团队领导、SRE 从业者、DevOps 从业者、运维、开发、测试、项目经理、产品经理、系统集成商等；

学习基础：需具备至少 2 年以上 SRE / 运维 / DevOps 从业经验

课程收获：

● 把业务 KPI 量化成 SLO，用错误预算在需求评审“说 No”。

● 现场 Chaos Mesh 演练，带回自动故障场景库。

● 端到端打通 OpenTelemetry → Tempo → Loki → Grafana 链路。

● 引入 AIOps 场景：利用 Prometheus + Thanos 数据训练异常检测模型，实现自动回滚、自动扩缩容、告警降噪。

● 获取 PeopleCert 和 DevOps Institute 颁发的 SRE Practitioner 国际证书。

（3）SRE Observability 认证培训（2 天）

关键词：可观测性三大支柱、OpenTelemetry、DataOps、AIOps 增强了可观测能力、异常检测、实时数据关联、从 0 到 1 构建系统可观测性等；

适合人群：企业 IT 负责人、CIO、组织变革推动者、IT 团队领导、SRE 从业者、DevOps 从业者、运维、开发、测试、监控、平台、中间件工程师等；

课程收获：

● 三支柱一体：Metrics/Logs/Traces 秒级关联定位

● OpenTelemetry 生产落地：Collector+SDK+规范一次搞定

● DataOps ：驱动的观测数据治理

● 0→1 搭建企业级可观测平台

● 获取 PeopleCert 和 DevOps Institute 颁发的 Observability Foundation 国际证书。

（4）SRE AIOps 认证培训（2 天）关键词：AIOps 数据源、机器学习 （ML）、AIOps 和运维指标、指标异常检测、、根因分析、日志聚类分析、告警分析、智能自愈、AIOps 动手实验等;

适合人群：SRE 从业者、DevOps 从业者、运维工程师、软件工程师、算法工程师、项目经理、产品经理、系统集成商等；

课程收获：

● 自动汇聚日志、指标、事件等多源数据，实现 AI 预测与秒级自愈，显著降低故障与成本。

● 系统掌握 AIOps 核心概念、算法与 DevOps/SRE 融合方法，成为数据驱动的运维专家。

● 动手完成异常检测、根因定位、告警降噪与智能自愈全流程，带回可落地的脚本与模板。

● 通过 AI 动态容量规划与资源优化，把 MTTR 缩至分钟级，释放人力投入创新。

● 获取 PeopleCert 和 DevOps Institute 颁发的 AIOps Foundation 国际证书。

SRE 全栈认证课程近期培训时间：

SRE Foundation 认证培训：2025 年 9 月 20-21 日、10 月 18-19 日、11 月 22-23 日

SRE Practitioner 认证培训：2025 年 10 月 25-16 日、12 月 13-14 日  

SRE Observability 认证培训：2025 年 9 月 27-18 日、11 月 15-16 日  

SRE AIOps 认证培训：2025 年 9 月 20-21 日、10 月 25-26 日、12 月 20-21 日

方式：面授班/直播班

企业内训：可按需定制企业内训

课程报名方式： 

1. 微信扫码下方二维码，进行课程报名

2. 电话：021-53098865（工作日 9:30–18:00）

雅菲奥朗，成立于 2018 年的专业培训与咨询机构，由国内知名的云计算和人工智能专家团队组建。公司秉承“以人为本”的理念，依托国际认证机构以及知名 IT 巨头（如惠普、微软）的顶级专家团队，专注于“AI 时代”的 IT 培训与咨询。雅菲奥朗致力于帮助企业进行数字化转型，持续提升科技管理能力，助力企业赶超世界先进水平。

培训官网：www.sretraining.cn

社区官网：www.srenow.cn