KubeShark: Kubernetes 的 Wireshark

作者：俞凡

2023-04-30
上海
本文字数：1885 字
阅读完需：约 6 分钟

Wireshark 可以帮助我们抓取并分析网络数据包，理解网络中发生的事情，那是否有工具可以帮助我们理解在 K8S 集群中发生的事情，帮助排查集群故障，Kubeshark 就是这样的工具。原文: KubeShark: Wireshark for Kubernetes

简介

Wireshark 是著名的数据包抓取、分析和故障排除工具，可以实时捕获网络流量并在微观级别上实时分析，或者读取和处理保存的数据包文件。Wireshark 可以解析和显示许多协议，并有强大的过滤系统过滤感兴趣的流量。https://www.wireshark.org/

TCPDump/Wireshark 使我们能够在微观层面可视化和理解网络中发生的事情。想象一下，如果可以在 k8s 中做类似的事情，如果可以看到当前部署的工作负载、获取 pod、创建服务帐户以及不同的工作负载如何相互交互时究竟发生了什么，那会怎么样。

集群的示例源代码可视化

现在缺少什么?

要查看启动 kubectl 命令时究竟发生了什么，可以简单的在 kubectl 命令中使用 verbose 标志，并设置一些详细级别，如kubectl get pods -v=6。verbose 级别从 0 开始到 9 结束，0 显示的信息最少，9 显示最多的信息。这是当前已经存在的数据，但流程的清晰可视化并不存在。

带-v 标志的 kubectl 可以查看 L7 API 调用，但不会让我们监视任何网络流量。而 kubesshark 抓取 L3 和 L7，实际上它可以访问整个 L2 框架，可以将创建仪表板/视图来可视化，就像 Wireshark 一样。

Kubeshark 仪表板

kubeshark 解决了什么问题?

监控一切 —— 监控 Pod 到 Pod 的网络流量、API 调用、监控单个节点、服务或特定路径，如/latest/meta-data或/health等。
可视化 —— Kubeshark Viewer 非常简单，但支持强大的实时流量查看、过滤、分析和问题排查功能，右侧窗口里的请求响应详细信息非常清晰。
PCAP 存储 —— 存储 PCAP 以供将来分析，可以轻松将其转储到 S3 或其他存储中，供稍后加载并可视化。
更容易调试 —— 无论是调试，还是加深对集群中各个组件之间通信的理解，都能获得极大支持。
实时告警 —— 可以使用 kubesshark 允许基于获取的数据为 k8s 构建真正强大的告警系统，例如获取密钥调用失败、实例元数据调用失败以及其他类似异常。

自己动手

安装 Kubeshark，看看它是如何工作的，通过以下命令安装 KubeShark:

sh <(curl -Ls https://kubeshark.co/install)

复制代码

要支持特定版本和架构的，请从 https://github.com/kubeshark/kubeshark/releases/ 下载二进制文件。

启动 Kubeshark:

kubeshark tap -A

复制代码

tap -A 表示监控所有命名空间，指定-n 表示监控指定命名空间。

kubeshark tap -n kube-system

复制代码

Kubeshark 将开始监控/获取流量，并在本地主机的端口 8899 上启动查看器。

启动 kubesshark，仪表盘暴露在 8899 端口上

我用 KOPS 部署了测试集群，注意 Kubeshark 二进制文件从~/.kube/config查看当前上下文，并用相同的凭据和集群来创建其资源并开始监控。

你可以创建一个本地 kind 集群来快速了解 Kubeshark 是如何工作的。

玩一会儿

让我们看看要监控什么，kubeshark 的仪表板上有哪些功能，这些是用来测试 kubesshark 的过滤器样本。

单节点监控 ——

可视化服务地图 ——

监控 AWS 实例元数据安全凭证路径 ——

一些思考

有助于加深对集群中各个组件如何在尽可能低的级别上进行通信和协同工作的理解。
通过向流量添加适当的过滤器，调试/故障排除变得非常简单。
服务地图从可视化的角度提供了一个关于集群的高层次概述。
可以扩展数据做实时告警，包括操作和安全警报。
在适当规模上做性能基准测试，看看这个工具是如何扩展，如何影响计算和存储，因为流量基于集群规模呈指数级增长。
老实说，将它与 Sysdig falco 或 Cilium Tetragon 进行比较是不公平的，它捕获和调整数据的方式更关注实时检测方面，并考虑在与 K8S API 异常更相关的安全方面使用。
也许这是一个应该广泛使用的工具，以便更好理解底层调用，从而编写与控制平面更相关的更好的运行时安全策略，但对检测任何容器异常或与容器运行时 AFAIK 相关的异常没有多大帮助。