用这个开源项目，网络小白也能搞定容器网络问题排查

作者：溪恒、谢石、遐宇

Kubernetes 本身比较复杂，使用门槛较高，用户在开始容器化迁移时经常遇到各种各样的问题，由于缺乏故障定位的技能和工具，用户常常产生挫败感，甚至放弃业务容器化。其中网络问题表现尤为突出，Kubernetes 网络虚拟化导致网络问题排查的难度巨大。

KubeSkoop 是阿里云容器服务团队开源的 Kubernetes 容器网络诊断工具，支持主流的网络插件和云厂商的 Kubernetes 集群诊断。它正是为了降低网络问题排查难度，让没有网络知识的人也可以自动化地定位网络问题。

Kubernetes 容器网络诊断工具：https://github.com/alibaba/kubeskoop

KubeSkoop 能够自动构建出给定源和目的地址在容器网络中的访问路径，自动化地采集和分析链路上每一个网络节点的配置，结合 eBPF 内核监控以及 IaaS 层的网络配置检查，定位出导致网络不通的根因，极大地降低了网络问题定位的时间，即使没有任何网络技能的用户也可以使用。目前在阿里云容器服务的环境中，作为自运维工具解决了大量客户在大规模 Kubernetes 集群场景下遇到的网络问题。

本文将会对容器网络和传统定位手段带来的问题进行简单的介绍，以及对 KubeSkoop 的功能设计等方面进行总体解说。

容器网络

网络连通性-CNI

容器网络是 Kubernetes 集群中及其重要的一部分，包括了构成集群网络连通性的 CNI 插件、Service 服务发现机制、NetworkPolicy 网络策略等。Kubernetes 集群网络保证了每个 Pod 拥有自己独立的网络空间，并且能够与集群中的 Pod 和 Node 互相通信。

CNI 插件是构成集群容器网络中的核心，实现集群级别唯一的地址分配，将集群维度的网络打通。

image

不同的 CNI 插件，如 Flannel、Calico、Cilium、Terway 等，有其不同的网络实现，包括地址分配，网络虚拟化实现，网络连通性实现等。服务发现和网络策略除 CNI 插件外，Kubernetes 还提供了 Service 作为服务发现，以及 NetworkPolicy 作为网络策略能力。这些能力也是通过可替换的组件来实现的。

image

复杂性和网络问题定位

由于概念繁多，以及插件实现选择的丰富性，导致 Kubernetes 网络问题存在着相当的复杂性，包括：

• 逻辑概念的复杂性

• Ingress/Service/NetworkPolicy 配置灵活，可能导致配置错误/规则冲突等问题。

• 使用 ServiceMesh 或第三方 CNI 插件，带来更复杂的网络策略和扩展能力。

• 数据面实现的复杂性

• 数据平面经过不同组件的多层处理，且存在多种实现。

• 协议栈链路复杂，涉及到网卡驱动 /netfilter/route/bridge 等配置。

• 不同云厂商的底层配置不同，安全组、路由表等配置复杂。

传统的容器网络问题定位手段，主要是通过抓包定位丢包点、压测复现、人工查配置等方式。存在着定位流程长、大量时间开销、人员经验要求高等问题。

image.png

在日常的工作中，排查容器网络问题占用了相当大部分的精力。因此，我们开发了 KubeSkoop 项目，来实现针对容器网络场景下问题的自动诊断系统。

KubeSkoop 功能

在我们的分析中，常见的 Kubernetes 网络问题可以分为以下两类：

• 网络持续不通问题

• 持续的无法访问：ping 不同、connect 超时、DNS 无法解析等。

• 网络抖动问题

• 偶发的网络问题：偶尔的业务超时、504、偶发 reset 等。

• 网络性能问题：网络性能低、QPS 压不上去等。

在这些问题中，80% 都是可以依赖经验解决的已知问题。而问题的处理时间主要浪费在问题上报、信息收集和验证上。

KubeSkoop 即是针对这两类场景，通过信息收集（包括 CNI 插件、ServiceMesh、Kernel/eBPF、基础设施等）、推导和展示（容器服务智能运维、Prometheus、Grafana/Loki 等），实现全链路一键诊断、网络栈延迟分析、网络异常事件识别回溯，快速定位问题根因。

image

项目可分为两部分：诊断网络持续不通问题的 KubeSkoop 连通性诊断， 和分析网络抖动问题的 KubeSkoop 深度网络监控。

连通性诊断

通过 KubeSkoop，能够对网络持续不通问题进行一键诊断。

用户通过指定网络不通的来源 IP 和目的 IP 发起一次诊断。在诊断中，KubeSkoop 将会自动构建网络访问链路，收集网络栈信息，分析链路问题。

同时，诊断包含了 Service、NetworkPolicy 等 Kubernetes 概念的分析，全面覆盖协议栈、底层 IaaS 的连通性相关检查，让用户无需了解网络插件的实现，也无需拥有复杂网络问题排查经验，就能够一键定位网络问题并自助解决。

image

连通性诊断目前提供了 Flannel、Calico（内部包括 Terway）网络插件插件的诊断支持，以及阿里云作为基础设施的支持。关于诊断能力的完整使用文档，可见：https://kubeskoop.io/docs/guide/diagnose/intro

深度网络监控

针对网络抖动问题，KubeSkoop 深度网络监控提供了基于 eBPF 的，Pod 级别的容器网络异常监控能力。

image.png

基于 eBPF，KubeSkoop 提供了精简、低开销的内核异常监控能力，覆盖驱动、netfilter、TCP 等完整协议栈，几十种异常场景的识别。同时，基于云原生部署，提供了与 Prometheus 等可观测体系的对接，支持网络问题的 Metrics 查看和事件回溯。

image

关于深度网络监控能力的指标透出，可参考：https://kubeskoop.io/docs/guide/exporter/exporter-description

KubeSkoop 设计

KubeSkoop 的设计，同样分为连通性诊断和深度网络监控两部分。

连通性诊断

工作流程

image

KubeSkoop 连通性诊断的工作流程可分为三步：拓扑构建、信息采集和链路模拟。

• 拓扑构建

通过用户所提供的信息，再通过 API Server 获取集群内的 Pod/Node 资源和 Service/NetworkPolicy 规则，匹配对应的 CNI 插件、基础设施，构建集群内的访问关系。

• 信息采集

在构建链路的过程中，KubeSkoop 会按需向集群中的节点下发信息采集任务。采集的内容包括运行时信息、协议栈采集（路由、iptables、IPVS 等）和基础设施信息（ECS metadata）。采集后的信息用于后续的网络拓扑构建和诊断模拟过程。

• 链路模拟

KubeSkoop 会根据网络拓扑和所收集到到的信息，进行检查和模拟。包括对路径上的拓扑点和链路的转发模拟、对于 CNI 插件实现的模拟、云厂商的模拟，快速发现链路中存在的丢包或错误路由配置。

最终，结合网络拓扑以及诊断中发现的异常链路，KubeSkoop 会输出诊断结果和链路中存在的问题，或在 Web UI 中进行直观地展示。

扩展性

image.png

KubeSkoop 连通性诊断提供了对 CNI 插件和基础设施架构的扩展，能够轻松地在框架中提供对其它 CNI 插件和云厂商的支持。

深度网络监控

工作流程

image

KubeSkoop 深度网络监控通过在需要采集信息的集群节点上运行 KubeSkkop exporter 的方式，采集节点上 Pod 的网络监控信息并以多种形式导出，包括：

• 深度容器网络采集

• 通过 eBPF 采集协议栈关键点

• 采集 procfs 下内核透出信息用于回溯

• 采用 CRI 接口关联采集点和 Pod

• 容器指标和异常事件预处理

• 网络异常 Metrics 过滤，减少开销

• 多指标聚合生成异常 Event

• 网络 Metrics 和 Event 展示

• 通过 Prometheus+Grafa 存储和回溯异常时间点指标

• Grafana Loki 记录异常事件

• KubeSkoop Inspector 查看实时异常事件流

实现

在实现中，采用了 eBPF 作为 KubeSkoop 主要数据的采集来源。eBPF 可以达到在内核中动态注入代码的目的，eBPF 代码在内核中执行效率高，并且可以通过 map 和 pert_event 与用户态通信。eBPF 还自带了校验机制，避免了因挂载的程序问题而导致宕机。

image

为了兼容性和性能考虑，在使用 eBPF 的过程中，我们也做了许多优化措施：

• 采用 CO-RE 方式减少编译开销，提升内核兼容性

• 减少在关键路径上的注入

• 尽量在 eBPF 程序中过滤异常数据，以减少内存开销

• 默认注入低开销程序，根据需求可动态插拔 eBPF 采集模块和修改过滤参数

未来规划

目前，KubeSkoop 项目仍旧处于早期阶段。我们下一步的规划包括：

• 增加更多云厂商和网络插件的支持。

• 支持模拟发包和追踪以定位未知问题点，缩小排查范围。

• 提供 KubeSkoop Analysis 工具，智能分析 KubeSkoop 的指标和事件，降低诊断结果理解门槛。

• 不限于网络诊断，增加存储、性能诊断。

• 应用层感知能力，提供对 7 层协议（如 http、redis 等）的感知和处理。

KubeSkoop 的官网位于：https://kubeskoop.io

欢迎大家前来试用 &提供建议 &贡献代码！也欢迎通过搜索群号的方式加入 KubeSkoop 用户钉钉交流群~（群号：26720020148）

点击此处了解 KubeSkoop 更多详情