高效实战｜航空业海量日志数据的智能化分析

2022 年 7 月 13 日
本文字数：2124 字
阅读完需：约 7 分钟

对于当前航空业面临的海量实时业务数据监测与分析挑战，云智慧推出了一种基于业务系统日志数据，使用实时流式数据采集、大数据处理和人工智能技术实现海量日志数据智能化分析的解决方案，帮助 IT 运维人员实时、动态发现业务及 IT 系统存在的故障和异常，快速定位问题根源，保障航司业务持续、稳定和高效运行。

挑战与需求

随着航空及上下游服务产业链的快速发展，系统多、架构复杂、新旧业务系统长期共存，持续产生的海量日志数据缺乏有效的处理手段，对 IT 运维和运营带来极大的风险与挑战。

以民航为例，旅客选择飞机出行需要经历订票、值机、登机等一系列流程，每种业务处理都要跨越多个平台的应用系统，每个系统都会实时输出日志数据记录当前应用运行情况，上述流程中任何一个应用的故障或者性能问题都会影响乘客出行。

如何实时了解业务的整体运行状态，如何基于海量、实时的应用日志分析快速确定业务运行异常及潜在风险，如何根据业务量变化动态确定业务异常标准，如何针对当前业务中的异常情况及时预警，如何实现日志数据与其他运维监控数据的融合分析和查询，快速、准确定位业务及系统的故障，这都是日志智能分析平台需要解决的难题。

云智慧日志智能分析解决方案及平台架构

云智慧海量日志智能分析解决方案包括系统日志数据的实时采集、传输、集群化的消息队列、预处理组件及实时流式大数据处理，完成日志数据的解析、转换、脱敏、业务逻辑处理后，以结构化数据保存在分布式存储系统中，然后调用算法集之中的一种或多种算法组合进行多场景的智能分析、告警及可视化展示，同时提供数据 API 满足其它数据深入挖掘和探索需求。

海量日志智能化分析平台架构如下图所示：

方案特色和优势

云智慧日志智能化分析平台解决方案为航空业务运行的连续性、用户体验的提升和业务的高效运维提供了可靠的技术支撑，此方案具有如下优势：

丰富的日志数据实时采集
支持自有高性能采集器，兼容主流开源数据采集器、灵活水平扩展的数据接入接口，快速接入流式数据。
超高的吞吐量和极小的响应时间，数据接入即可秒级查询。
高性能、动态扩展数据处理平台。 内置数十种处理组件，支持可视化处理 pipeline 及单步处理结果验证、处理结果采用列式存储、线性存储扩展。平台具备实时流式数据处理能力，满足航空业海量日志数据实时处理和智能分析的严格要求。
支持根据数据量进行水平伸缩，数据处理能力：40T/天，EPS：130 万/秒。
支持多个节点同时写入，写入速度：单个节点：60 万条/秒。同等条件下，写入速度比 Elasticsearch 快 10 倍以上。
多场景智能分析平台能力
算法平台基于最新架构和人工智能算法，具备强大的智能化分析能力，为上层业务提供算法支撑和扩展。
内置多个智能分析场景，包括日志智能搜索及上下文分析、日志模式自动识别、基于算法的智能异常检测、智能告警及指标告警对接、日志与应用性能监控、基础监控数据的融合关联分析等。