5 分钟搞懂 K8S Pod Terminating/Unknown 故障排查

Kubernetes 集群中的 Pod 有时候会进入 Terminating 或 Unknown 状态，本文列举了 6 种可能的原因，帮助我们排查这种现象。原文: K8s Troubleshooting — Pod in Terminating or Unknown Status

有时我们会看到 K8S 集群中的 pod 进入"Terminating"或"Unknown"状态，pod 进入这两种状态可能有以下原因:

• 优雅终止周期(Graceful termination period): 当 pod 被删除时，会进入"Terminating"状态，等待容器优雅关闭。如果容器关闭所需时间超过默认期限(默认 30 秒)，则 pod 将保持在"Terminating"状态。

• Finalizers: Finalizer 是一种允许在删除资源之前清理资源的机制。如果 pod 有 Finalizer，并且相关的清理操作被卡住或没有响应，则 pod 将保持在"Terminating"状态。

• 无响应容器(Unresponsive containers): 如果 pod 中的容器在终止过程中没有响应 SIGTERM 信号，则可能导致 pod 卡在"Terminating"状态。

• 节点问题(Node issues): 如果节点无响应、断开连接或遇到其他问题，pod 可能会进入"Unknown"状态。在这种情况下，Kubernetes 控制平面无法确定 pod 的实际状态。

• 网络问题(Network issues): 节点与 Kubernetes 控制平面之间的连接问题可能导致 pod 进入"Unknown"状态。例如，如果控制平面无法与节点通信，则无法接收来自 pod 的状态更新。

• Kubelet 问题: 如果节点上运行的 Kubelet 进程出现问题或崩溃，可能会导致无法将 pod 状态上报给控制平面，从而造成 pod 进入"Unknown"状态。

故障排查

优雅终止周期(Graceful termination period)

K8S 中的优雅终止周期是在删除 pod 时，容器的优雅关闭时间。在此期间，容器接收 SIGTERM 信号，执行必要的清理工作，例如关闭连接，完成正在进行的任务，并在资源终止之前释放资源，默认为 30 秒。

• 检查 pod 状态和事件: 通过kubectl检查 pod 的状态和事件以获取相关信息:

$ kubectl describe pod <pod-name> -n <namespace>

• 检查容器日志:

$ kubectl logs <pod-name> -c <container-name> -n <namespace> --previous

• 调整优雅终止周期: 如果容器始终需要更多的时间来清理资源，可以通过在 pod 的 YAML 文件中设置terminationGracePeriodSeconds字段来调整 pod 的终止周期。

apiVersion: v1kind: Podmetadata:  name: my-podspec:  terminationGracePeriodSeconds: 60  containers:  - name: my-container    image: my-image

Finalizers

Finalizer 允许在删除资源之前清理资源，如果 pod 上存在 Finalizer，并且相关的清理操作被卡住或没有响应，则 pod 将保持在"Terminating"状态。例如:

apiVersion: v1kind: Podmetadata:  name: my-finalizer-pod  finalizers:    - example.com/cleanupspec:  containers:  - name: busybox    image: busybox    command: ["sh", "-c", "sleep 3600"]

检查是否有 finalizer，可以运行以下命令:

$ kubectl get pod <pod-name> -n <namespace> -o json

如果确定不需要 finalizer，或者确定可以将其安全删除，可以使用kubectl patch命令。但是，这样做要小心，因为可能会导致意想不到的副作用:

$ kubectl patch pod <pod-name> -n <namespace> -p '{"metadata":{"finalizers":["<finalizer-1>", "<finalizer-2>", ...]}}'

无响应容器(Unresponsive containers)

当容器消耗过多系统资源时，可能会进入无响应状态。

• 用kubectl describe命令查看 Pod 状态和事件。

$ kubectl describe pod <pod-name> -n <namespace>

• 检查 Pod/container 日志:

$ kubectl logs <pod-name> -c <container-name> -n <namespace>

• 强制删除 pod: 可以强制删除被卡住的 pod

$ kubectl delete pod <pod-name> -n <namespace> --force --grace-period=0

节点/网络/Kubelet 问题

执行以下步骤处理节点问题:

• 检查节点状态/事件: 检查 pod 所在节点的状态:

$ kubectl describe node <node-name>$ kubectl get events --field-selector involvedObject.kind=Node,involvedObject.name=<node-name>

• 检查节点系统日志

$ journalctl -u kubelet$ journalctl -u docker$ journalctl -u containerd$ cat /var/log/messages

• 排空节点: 如果已经确定了节点问题，并且需要执行维护，可以排空节点以安全驱逐所有正在运行的 pod，并将节点标记为不可调度:

$ kubectl drain <node-name>

结论

你好，我是俞凡，在 Motorola 做过研发，现在在 Mavenir 做技术工作，对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI 等技术始终保持着浓厚的兴趣，平时喜欢阅读、思考，相信持续学习、终身成长，欢迎一起交流学习。为了方便大家以后能第一时间看到文章，请朋友们关注公众号"DeepNoMind"，并设个星标吧，如果能一键三连(转发、点赞、在看)，则能给我带来更多的支持和动力，激励我持续写下去，和大家共同成长进步！