企业如何实现运维故障加速闭环的告警体系建设

作者：嘉为蓝鲸

2024-07-25
广东
本文字数：4835 字
阅读完需：约 16 分钟

直达原文：【可观测系列】企业如何实现运维故障加速闭环的告警体系建设

告警在运维体系中的必要性

企业监控告警管理的困扰

告警管理是企业运维管理中的一个重要环节，它可以帮助企业实时监测和诊断业务系统的状态，并及时发现可能存在的故障或异常情况。但是，在实际操作中，企业告警管理也面临一些困扰，主要包括以下几个方面：

告警散落不标准

在相互隔离的多个监控系统中，散落着没有统一的格式内容规范的各类告警，缺少集中式的管理工具，且告警信息不全面，可读性低。

告警信息不及时

对于一些紧急的故障或异常情况，如果告警信息不能及时地传达给相关人员，可能会带来不可挽回的后果，企业告警管理系统需要保证告警信息的及时性和可靠性。

告警噪音多

各监控系统，人工设置固定阈值的标准不一、同一故障可能引发不同系统告警，导致大量的误报、漏报，以及重复告警。

没有全局视图

无法直观了解应用系统 &对象模型的告警整体情况和关联影响范围。

缺乏工具联动

告警处理人工干预过多，自动处理少，告警流转效率低，过程缺少追踪和闭环。

缺少运维经验沉淀

对于相似的告警或者难度较高的告警，经验不足的运维人员需要花大量的时间排查，导致告警处理效率低。

各角色告警管理痛点

在企业中，每个角色对于告警的关注点不一样，对告警管理会有不同的痛点。以下角色可能会遇到告警管理的痛点：

告警管理的价值

告警管理是保障系统稳定的必不可少的一环。告警管理的价值在于其能够帮助组织及时发现和解决问题，保障系统稳定和用户体验。通过显著提升响应速度、有效减少人为错误，并优化系统维护流程，因此告警在日常运维和管理中起着非常重要的作用。

实时监控，及时发现

通过设置告警规则和指标，监控各种系统、网络和应用程序的运行状态。一旦告警规则被触发，就会在第一时间通知相应的责任人员，使其能够及时介入处理。

快速定位问题，减少排查时间

通过告警信息提供的明确指标、详细数据以及知识库智能推荐，可以快速定位问题所在，并采取有效的应对措施，缩短故障处理时间。

自动处理，提高效率

通过自动化告警与处理，能够降低过去手工维护所需的时间和成本。告警可以轻松自动地触发应急响应流程，减少人为干预和错误。

全局数据分析，完成告警治理

告警可以提供实时数据和统计信息，为业务决策或者性能优化提供依据。通过对告警信息的系统整理与深入分析，不仅能够更有效地辅助管理层做出精准的业务决策，还能助力发现潜在的增长点与发展机遇。

告警建设实施路径

告警系统建设成熟度

告警系统建设成熟度指的是企业或组织在实现有效告警系统方面的成熟度评估。告警系统是指一种能够对系统、应用、设备等关键业务和操作进行监控并发出告警的系统，可以有效帮助用户及时发现问题并迅速处理。以下是业界对告警系统建设成熟度的划分：

目前大多数企业的告警管理程度都在 L2-L4，完成基本的告警生命周期管理，级别越高则更高效实现告警闭环。告警建设的成熟度需要从低到高逐步建设，只有低成熟度的告警管理完成后，才能基于原来的建设进行更高层级的优化。

实施思路

到达告警自动化管理或告警治理优化需要能将告警规范接入-告警处理过程-问题复盘沉淀形成一个闭环。实现这个闭环管理场景涉及人、工具和管理规范，结合这几个方面，最终实施的效果会形成以下的闭环路径。

告警规范接入：基于告警信息标准化的要求和场景消费，通过插件开发、告警丰富等手段，统一接入各监控系统告警数据和标准化告警格式。包括：告警级别定义、告警指标、告警对象等。
告警处理过程：根据告警信息，进行问题排查和处理，包括定位问题原因、采取相应的措施解决问题。包含告警丰富、告警收敛、告警分析、告警处理等环节，
问题复盘沉淀：回顾过去一段时间内的告警情况，根据告警复盘的结果，对告警处理流程和规则进行优化改进，提高告警的准确性和处理效率。

实施路径

根据实施思路进行落地，需要将告警实施主要分为以下几个步骤：告警接入标准化、告警收敛规范、告警处理规范和告警复盘治理。

1、告警接入标准化

基于告警信息标准化的要求和场景消费，通过插件开发、告警丰富等手段，统一接入各监控系统告警数据和标准化告警格式。

通过统一告警中心汇聚所有监控工具告警事件，并将所有告警字段都做统一规范，告警需要符合以下接入规范模板：

2、告警收敛规范

告警收敛作为告警处理阶段的一个重要工作，对多次产生的重复告警信息进行筛选、合并和精简，以减少告警数量，提高告警处理效率和准确性。建立告警收敛规范有助于减轻运维人员的负担，避免告警泛滥造成的混乱和延误。以下是制定告警收敛规范的一些关键要点：

告警抑制

针对监控系统告警源无收敛能力情况，由值班人员进行告警抑制策略的配置，有效防止告警风暴。

告警抑制常用场景——防抖抑制策略：

抖动类指标偶发性产生的告警事件
抖动类指标：CPU 使用率、内存使用率、磁盘 IO、网卡流量等

可用 X 分钟内发生 N 次来屏蔽指标抖动产生的无效告警；根据指标抖动的概率进行配置。

告警屏蔽

针对运维变更窗口，由值班人员设置告警屏蔽策略，防止误告警的产生。告警屏蔽一般分为时间屏蔽和依赖屏蔽两种屏蔽方式，两种方式一般使用场景如下：

时间屏蔽策略：由于已知事件导致的产生了无需关注的告警事件。常见场景：系统维护期内、变更时间窗口内；可配置某一段时间内的该系统告警全部屏蔽的策略来实现。
依赖屏蔽策略：由于依赖关系影响而导致的关联告警事件。常见场景包括：

① 组件安装、运行于主机的关系；

② 主机磁盘挂载了存储提供的存储盘；

③ 虚拟机运行于宿主机或宿主机集群上；

④ 主机、设备通过交换机连通网络；

⑤ 应用内部服务调用依赖的关系，例如前端应用调用后台服务、数据库等；

⑥ 应用外部服务调用依赖的关系，例如淘宝应用调用支付宝的支付服务，如 A 对象依赖 B 对象，则可配置当 B 对象产生 XX 告警时，A 对象的 XX 告警自动屏蔽的策略。

3、告警处理规范

告警处理阶段主要进行事件受理和记录，确保问题能够迅速准确地被识别、分析和解决。告警处理阶段的关键工作分为以下几类：

告警分派

针对有效的告警事件，值班人员需要设置告警分派策略，通过告警筛选将指定时间匹配规则的告警分派给指定人员和组进行告警处置。

告警自愈

对于常见的告警，有固化处理流程的场景，可配置告警自愈策略。

日志文件过大，自动清理日志；
磁盘空间满，自动清理指定目录的文件；
服务异常自动重启进程；
负载均衡节点异常，自动将异常节点从负载均衡列表中剔除；
网站访问异常，自动触发 DNS 记录修改指向备用地址；
集群同步状态异常，自动触发同步操作；
时间同步状态异常，自动触发时间同步；
主机故障，备用机自动上线。

自动转工单

对于需要人工介入的复杂告警处理，可以通过工单系统流转给对应的小组或专家进行处理，并留下完整的处理记录。常见场景：

需要二线、三线或者其他厂商解决的问题；
由告警升级为一个事件，需要进行工单事件管理的；
告警转为其他部门处理，需要通过工单进行流转。

4、告警复盘治理

通过告警运营分析，统计告警分布情况、告警处理的 MTTA 和 MTTR、告警关单率等运营度量指标，持续优化告警策略和管理流程。并根据历史告警处理方案沉淀知识库，对后续相似的问题提供处理指引。

成功要素

告警管理需要对接的人、系统、管理规范等纷繁复杂，这些因素会影响到告警管理实施落地过程中是否能成功。其中几个重要的成功因素如下：

告警数据标准化：对于多格式、多种定义的告警源的数据，确认统一的规范接入告警中心，保证告警数据的统一性；告警的格式规范包含告警结构标准定义（告警信息、对象信息、其他扩展信息）、告警等级定义、告警事件 ID 的定义等重要字段的定义。
CMDB 建设规范：基于 CMDB 匹配到正确的告警丰富信息，便于快捷分派和定位问题。能关联到告警对象的正确关联关系，提高关联分析的准确性。
告警管理规范化：制定规范的告警管理制度，根据制度设置告警处理策略，高效处理策略。规范不同类型、等级的告警处理规则。告警管理规范制定是个复杂的过程，包含人员、岗位职责、告警等级定义、告警处理时效、告警处理策略等各种复杂的规范制定，需要制定完整的管理规范后，通过告警中心功能配套实现。
通过运营分析持续改善流程：通过告警处理及流转的记录，对于告警响应时长、处理时长进行考核，促进告警的快速响应和解决。通过考核的结果对环节进行优化调整。告警治理是一个持续治理和优化的过程，应对架构调整或者运行事件暴露出的问题项，需要不断优化配置监控项和告警策略，提高告警的及时性、有效性。

产品推动告警体系建设

构建企业运维故障闭环告警体系，关键在于标准化流程与优质产品并重。流程确保告警体系稳步构建，有效应对各类告警，保障系统稳定。而完善的产品支撑则是加速器，不仅强化体系功能，还推动运维体系整体进化，显著提升运维响应速度与效率，增强系统可靠性。

嘉为蓝鲸告警中心是实现这一目标的理想平台，通过告警实施路径与其相结合，能够构建一个高效、可靠的告警管理体系。系统内的自动化流程并与人工干预紧密结合，不仅提升了告警处理的速度和准确性，还为企业的 IT 运维管理提供了强大支持，确保了业务的连续性和稳定性。

产品介绍

嘉为蓝鲸告警中心是一款告警事件全生命周期管理工具，可轻松汇聚各种监控系统的告警信息，实现对告警事件的丰富、抑制、屏蔽、处理、分派、分析等，帮助运维团队统一闭环管理告警事件，释放人力的同时大幅提升故障处理效率，更好地保障业务稳定性。

通过嘉为蓝鲸告警中心能实现对告警源接入、告警丰富、告警收敛、告警处理的生命周期流转。

产品特性

轻松汇聚告警

轻松对接各种监控系统，全面汇集告警，实现告警事件集中管控;提供低成本，低门槛的告警源适配器开发框架一一脚本文件在线调试，灵活扩展，自主开发。

防范告警风暴

方便灵活的告警压缩降噪配置，支持自动去重、防抖抑制、关联聚合、依赖关系屏蔽、维护期屏蔽。常规的降噪效果达 70%以上，让运维人员免受无效告警的风暴袭扰。

精准管理告警事件

联动 CMDB、工单系统及标准运维系统，实现告警丰富、动态分派、转工单、自愈处理、自动关闭等;支持对接微信、企业微信等移动端进行告警管理，缩短故障修复时长，降低故障漏报导致的业务风险。

告警影响关联分析

从告警事件的基础信息字段、关联信息(指标趋势图、关联日志等)、统计报表、业务关联拓扑等多个层面去呈现告警全貌，帮助运维人员快速定位故障。

算法辅助分析、处理

基于大模型算法能力，进一步加强告警处理的能力，降低运维门槛，加速故障处理速度和效率。

产品优势

融合联动

基于蓝鲸 PaaS 体系；
可观测全场景串联：
① 基础监控-告警联动：确认告警的级别和类型。告警级别和类型反映了告警的严重程度和紧急程度。可以帮助我们将告警信息分类，进行优先级排序，并制定相应的应急响应计划。
② APM-告警联动：极大地增强了组织在监视、管理以及系统维护方面的能力。APM 工具可以提供警报管理系统所需的系统调用关系，告警可以和 APM 的调用数据相匹配。这种集成功能可以帮助组织更好地发现告警的产生链路，缩短故障修复时间和减少拥堵。
③ 日志-告警联动：通过该机制能够迅速检索并展示与告警相关联的日志上下文信息，这些信息通常涵盖了时间戳、事件位置、环境配置等关键要素，可以帮助我们更好地理解告警信息，并更准确地判断问题所在。
结合标准运维/ITSM 实现完整异常-处置闭环；
结合 CMDB 实现告警数据丰富。

强大的告警降噪

有效避免淹没在告警风暴中，降低故障漏报导致的业务风险
以强大的告警筛选规则+灵活的通知配置，保障通知效果

快速定位解决问题

联动 CMDB，消费实例信息；
基于业务拓扑和关联关系，快速查看告警影响范围；
联动多种 IT 运维工具，支持移动端处理告警，简化告警处理流程;缩短故障响应及恢复时长。

推广落地便捷

支持多告警源快速接入及扩展；
告警丰富、屏蔽、聚合、处理规则的便捷配置；
支持多通知渠道拓展。

智能分析

基于大模型算法对知识库内容进行监督学习训练，实现将告警产生后进行知识推荐；
提供智能助手，通过对话式方式进行故障定位分析和推荐处理方案的建议。