微服务日志监控的挑战及应对方案

当企业在进行整体性应用拆分实现微服务化时，需要建立松耦合的模块，从而保证其便于测试并降低变更风险。这些模块也都可以独立部署以实现快速、横向扩展。但这也会带来一些初看并不严重，但长远来看影响极为重大的问题，其中的典型代表就是服务日志记录。微服务日志对整个开发团队的作用可以总结为以下几点。

• 业务日志：从业务角度来对一些分支条件进行记录，方便日后排查。例如：在支付服务中，日志需要记录每条交易的支付信息，支付的状态、金额、双方的支付账号等。

• 异常记录：对于服务的代码错误以及异常，我们需要记录运行时异常的详细信息和上下文等，方便事后排查修复。

• 性能定位：对于质量分析师和传统测试人员，我们可以利用日志系统的请求标识和时间戳等信息来验证系统性能，还可以排查函数或请求调用的时间消耗、内存、CPU 使用率等。

1、微服务日志监控的特点

日志是我们日常工作中最常用的监控方式。日志的特点是由事件驱动发生变化，带有不连续性、随机性，日志数据可以是结构化的或非结构化的。在传统的单体服务中，可以采用 Log4j、Logback 和 SLF4J 等主流的日志框架将服务日志记录在日志文件中。

微服务架构的特点决定了功能模块的部署采用分布式的系统结构，而大部分功能模块都是独立部署运行，彼此通过总线交互。微服务之间通常也是相互隔离的，不共享公共数据库和日志文件，因此微服务监控也如微服务一样具有复杂特性。

• 监控源的多样化：不同的服务存在于不同业务开发的子系统、模块、数据库和中间件。

• 海量数据：基于各种业务类型汇聚海量的业务数据，包括结构化数据和非结构化数据（影音文件、电子文档、消息体等）。

• 成百上千个应用服务：大量的微服务部署在不同的虚拟机或者云平台上，服务的注册、提供、挂起、版本更新、停止等都应被日志所记录。

• 调用链路关系复杂且环节长：一个业务流程可能需要经过十几个服务才能够完成，其中任何一个环节出现问题，想要从日志中调试与定位问题都将十分困难。

2、微服务日志监控面临的挑战与应对方案

微服务日志监控面临着如下挑战。

• 如何从成百上千个微服务中快速找到某个微服务的出错日志？

• 如果微服务之间存在调用，如何从一次完整的调用和整个请求链路角度来分析相关服务的日志？

• 当触发异常日志后，系统如何进行自我预警？

面对上述挑战，我们应从以下几点思考应对策略：

1）微服务日志的收集、管理与查询；2）微服务的调用链跟踪；3）微服务异常日志的预警。

需要一种能够在众多服务中查看分布式事务日志和进行分布式调试的架构。同时需要日志分析平台帮助收集不同微服务的日志信息，并能够归纳汇总，在我们需要时可快速高效地从平台上查找出有价值的信息，帮助团队快速定位问题。

随着微服务的流行，其相关的工具也随之演进，目前业界最流行的微服务日志监控组合是 Elasticsearch、Logstash 和 Kibana，即我们常提到的 ELK。它们用于实时搜索、分析和可视化日志数据，相应地解决了上面提到的挑战。如下图所示：

1）Logstash 负责从不同的微服务、不同的子节点上收集日志文件，并对日志进行格式化。

2）Elasticsearch（以下简称 ES）负责日志数据的存储、索引。

3）Kibana 提供了友好的数据可视化、分析界面。

Beats 负责收集日志，将收集到的数据存储到 Redis 内存数据库和 Kafka 或 RabbitMQ 消息队列服务中，并将日志发送给 Logstash，由 Elasticsearch 汇总分析，并最终由 Kibana 以图表的形式展现给整个团队。