一个正常运行的 Kubernetes 集群包含以下的各种组件。
通常开发者日常编码都基于 Windows/Mac 上的 IDE（VsCode/Goland），编码完成后再部署到远端 Linux 机器运行。因此，我们就需要一种基于 IDE 和 dlv 远程调试 Kubernetes 组件的方式，而go-delve正是一个不错的选择。
delve 调试包括附加到进程调试和远程调试。其实附加到本地进程和远程调试原理是一样的，待调试的进程是通过 delve 启动的，delve 会启动进程，并立即附加到进程，开启一个 debug session。并且启动一个 debug server，暴露某个端口，客户端 IDE 可以通过该端口连接到 debug server 进行调试。
远程 Linux 服务器准备工作
Go 安装
wget 安装包
$ wget https://dl.google.com/go/go1.17.8.linux-amd64.tar.gz
复制代码
解压并配置 GOROOT、GOPATH 和 PATH
# 解压GO安装包$ tar -zxvf go1.17.8.linux-amd64.tar.gz -C /usr/local/
# 编辑配置文件 vim ~/.bashrc$ export GOROOT=/usr/local/go #GOROOT是系统上安装Go软件包的位置。$ export GOPATH=/go #GOPATH是工作目录的位置。这个是自己创建的，想放在哪都行$ export PATH=$GOPATH/bin:$GOROOT/bin:$PATH$ export GOPROXY="https://goproxy.cn,https://mirrors.aliyun.com/goproxy,direct"
# 更新配置文件$ source ~/.bashrc
复制代码
验证
go-delve 安装
目前 Go 语言支持 GDB、LLDB 和 Delve 几种调试器。其中 GDB 是最早支持的调试工具，LLDB 是 macOS 系统推荐的标准调试工具。但是 GDB 和 LLDB 对 Go 语言的专有特性都缺乏很大支持，而只有 Delve 是专门为 Go 语言设计开发的调试工具。而且 Delve 本身也是采用 Go 语言开发，对 Windows 平台也提供了一样的支持。
以下指令适用于 Linux、macOS、Windows 和 FreeBSD。
方式一： 克隆 git 仓库并构建：
$ git clone https://github.com/go-delve/delve$ cd delve$ go install github.com/go-delve/delve/cmd/dlv
复制代码
方式二： 在 Go 版本 1.16 或更高版本上：
# Install the latest release:$ go install github.com/go-delve/delve/cmd/dlv@latest
# Install at tree head:$ go install github.com/go-delve/delve/cmd/dlv@master
# Install at a specific version or pseudo-version:$ go install github.com/go-delve/delve/cmd/dlv@v1.7.3$ go install github.com/go-delve/delve/cmd/dlv@v1.7.4-0.20211208103735-2f13672765fe
复制代码
有关 go-delve 版本信息，请参阅https://go.dev/ref/mod#versions。
验证
Kubernetes 编译打包
下载
$ mkdir -p $GOPATH/src/github.com/kubernetes$ cd $GOPATH/src/github.com/kubernetes$ git clone https://github.com/kubernetes/kubernetes.git$ git check v1.18
复制代码
编译
-s disable symbol table 禁用符号表
-w disable DWARF generation 禁用调试信息；
更多编译参数帮助信息查看：go tool link
# Kubernetes v1.18在k8s.io/kubernetes/hack/lib/golang.sh中设置了-s -w选项来禁用符号表以及debug信息，因此在编译Kubernetes组件进行远程调试时需要去掉这两个限制，如下：- goldflags="${GOLDFLAGS=-s -w} $(kube::version::ldflags)"+ #goldflags="${GOLDFLAGS=-s -w} $(kube::version::ldflags)"+ goldflags="${GOLDFLAGS:-} $(kube::version::ldflags)"
# 编译单个组建：sudo make WHAT="cmd/kube-apiserver" GOGCFLAGS="-N -l" GOLDFLAGS="" # 编译所有组件：sudo make all GOGCFLAGS="-N -l" GOLDFLAGS=""
复制代码
Kubernetes static pod 组件 调试
本文以kube-apiserver为例，其他kube-controller-manager和kube-scheduler等以static pod部署的组件，调试方法类似。
除了“Goland 配置”，以下操作都是在远程 Linux 服务器中进行。
编译 kube-apiserver 组件
重编译的输出，在当前位置的_output/bin/目录下；
sudo make WHAT="cmd/kube-apiserver" GOGCFLAGS="-N -l" GOLDFLAGS=""
# 执行过程[root@gv187 kubernetes]# make WHAT="cmd/kube-apiserver" GOGCFLAGS="-N -l" GOLDFLAGS=""+++ [1004 20:26:13] Building go targets for linux/amd64: ./vendor/k8s.io/code-generator/cmd/deepcopy-genwarning: ignoring symlink /go/src/github.com/kubernetes/kubernetes/_output/local/go/src/k8s.io/kubernetesgo: warning: "k8s.io/kubernetes/vendor/github.com/go-bindata/go-bindata/..." matched no packages+++ [1004 20:26:25] Building go targets for linux/amd64: cmd/kube-apiserver
复制代码
查找 kube-apiserver 配置信息
[root@gv187 kubernetes]# ps -ef | grep kube-apiserverroot 421 29137 0 20:27 pts/1 00:00:00 grep --color=auto kube-apiserverroot 34900 34776 6 9月27 ? 11:00:53 kube-apiserver --advertise-address=10.0.35.187 --allow-privileged=true --authorization-mode=Node,RBAC --client-ca-file=/etc/kubernetes/pki/ca.crt --enable-admission-plugins=NodeRestriction --enable-bootstrap-token-auth=true --etcd-cafile=/etc/etcd/pki/ca.pem --etcd-certfile=/etc/etcd/pki/client.pem --etcd-keyfile=/etc/etcd/pki/client-key.pem --etcd-servers=https://10.0.35.187:2379 --insecure-port=0 --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key --requestheader-allowed-names=front-proxy-client --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt --requestheader-extra-headers-prefix=X-Remote-Extra- --requestheader-group-headers=X-Remote-Group --requestheader-username-headers=X-Remote-User --secure-port=6443 --service-account-key-file=/etc/kubernetes/pki/sa.pub --service-cluster-ip-range=10.96.0.0/12 --tls-cert-file=/etc/kubernetes/pki/apiserver.crt --tls-private-key-file=/etc/kubernetes/pki/apiserver.key
复制代码
组装 dlv debug 命令
dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec 编译生成的组件 -- 组件配置参数
# 示例dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec /go/src/github.com/kubernetes/kubernetes/_output/local/bin/linux/amd64/kube-apiserver -- --advertise-address=10.0.35.187 --allow-privileged=true --authorization-mode=Node,RBAC --client-ca-file=/etc/kubernetes/pki/ca.crt --enable-admission-plugins=NodeRestriction --enable-bootstrap-token-auth=true --etcd-cafile=/etc/etcd/pki/ca.pem --etcd-certfile=/etc/etcd/pki/client.pem --etcd-keyfile=/etc/etcd/pki/client-key.pem --etcd-servers=https://10.0.35.187:2379 --insecure-port=0 --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key --requestheader-allowed-names=front-proxy-client --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt --requestheader-extra-headers-prefix=X-Remote-Extra- --requestheader-group-headers=X-Remote-Group --requestheader-username-headers=X-Remote-User --secure-port=6443 --service-account-key-file=/etc/kubernetes/pki/sa.pub --service-cluster-ip-range=10.96.0.0/12 --tls-cert-file=/etc/kubernetes/pki/apiserver.crt --tls-private-key-file=/etc/kubernetes/pki/apiserver.key
复制代码
停止 kube-apiserver 的 static pod
$ mv /etc/kubernetes/manifests/kube-apiserver.yaml /etc/kubernetes/
复制代码
只需要把 manifest 目录下的配置文件移动到别的地方即可，kubelet 会直接停止不在 manifest 目录下的 static pod。
通过ps -ef | grep kube-apiserver验证进程是否存在，如果依然存在，可以通过终止进程方式。
dlv 启动 kube-apiserver
dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec /go/src/github.com/kubernetes/kubernetes/_output/local/bin/linux/amd64/kube-apiserver -- --advertise-address=10.0.35.187 --allow-privileged=true --authorization-mode=Node,RBAC --client-ca-file=/etc/kubernetes/pki/ca.crt --enable-admission-plugins=NodeRestriction --enable-bootstrap-token-auth=true --etcd-cafile=/etc/etcd/pki/ca.pem --etcd-certfile=/etc/etcd/pki/client.pem --etcd-keyfile=/etc/etcd/pki/client-key.pem --etcd-servers=https://10.0.35.187:2379 --insecure-port=0 --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key --requestheader-allowed-names=front-proxy-client --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt --requestheader-extra-headers-prefix=X-Remote-Extra- --requestheader-group-headers=X-Remote-Group --requestheader-username-headers=X-Remote-User --secure-port=6443 --service-account-key-file=/etc/kubernetes/pki/sa.pub --service-cluster-ip-range=10.96.0.0/12 --tls-cert-file=/etc/kubernetes/pki/apiserver.crt --tls-private-key-file=/etc/kubernetes/pki/apiserver.key# 提示监听在2345端口API server listening at: [::]:23452022-10-04T20:34:58+08:00 warning layer=rpc Listening for remote connections (connections are not authenticated nor encrypted)
复制代码
本地 Goland 配置
首先安装 Go，下载对应版本的 Kubernetes 代码
GoLand IDE 界面Run=>Debug=>Edit Configurations新增Go Remote debug条目，同时配置相关Host以及Port
调试效果
还原kube-apiserver的 manifest 文件
mv /etc/kubernetes/kube-apiserver.yaml /etc/kubernetes/manifests/
复制代码
Kubernetes daemonset 组件调试
本文以kube-proxy为例，其他 daemonset 组件调试类似。
除了“Goland 配置”，以下操作都是在远程 Linux 服务器中进行。
kube-proxy 的启动方式不是 static pod 方式；是以 daemonset+configmap 配置文件方式启动服务的；
编译 kube-proxy 组件
重编译的输出，在当前位置的_output/bin/目录下；
sudo make WHAT="cmd/kube-proxy" GOGCFLAGS="-N -l" GOLDFLAGS=""
复制代码
查找 kube-proxy 配置
先看看 kube-proxy 相关启动参数：
启动命令参数看 daemonset 中的 command 部分，配置文件看 configmap 中的 config.conf 和 kubeconfig.conf
# daemonset/kube-proxy ... spec: containers: - command: - /usr/local/bin/kube-proxy - --config=/var/lib/kube-proxy/config.conf - --hostname-override=$(NODE_NAME) volumeMounts: - mountPath: /var/lib/kube-proxy name: kube-proxy - mountPath: /run/xtables.lock name: xtables-lock - mountPath: /lib/modules name: lib-modules readOnly: true ... volumes: - configMap: defaultMode: 420 name: kube-proxy name: kube-proxy - hostPath: path: /run/xtables.lock type: FileOrCreate name: xtables-lock - hostPath: path: /lib/modules type: "" name: lib-modules ... # configmap/kube-proxy apiVersion: v1 data: config.conf: |- ... kubeconfig.conf: |- ... kind: ConfigMap ...
复制代码
kube-proxy configmap 中主要包含两部分：config.conf以及kubeconfig.conf，这里可以将config.conf的内容存放到单独的一个文件config.conf中，而 kubeconfig.conf 的内容则可以直接用$HOME/.kube/config进行替代
停止 kube-proxy
这里为了不影响其它母机上的 kube-proxy，可以通过设置 node 标签以及 nodeSelector 的方式将某一个节点的 kube-proxy 停止：
# 方式一：设置node标签kubectl label nodes <node-name> <label-key>=<label-value># 方式一：修改nodeSelector，让node的标签匹配不上kubectl -n kube-system edit daemonsets.kube-proxy nodeSelector:beta.kubernetes.io/os:linux2
复制代码
dlv 启动 kube-proxy
# 注意nodeName替换成实际节点名称$dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec /go/src/github.com/kubernetes/kubernetes/_output/local/bin/linux/amd64/kube-proxy -- \--config=./config.conf \--hostname-override=nodeName
复制代码
然后，Goland 设置 kubelet 代码断点并调试
Kubernetes 二进制组件调试
kubelet 是以二进制方式运行在宿主机上，是通过 systemd 管理的。
本文以kubelet为例，其他二进制组件调试类似。
除了“Goland 配置”，以下操作都是在远程 Linux 服务器中进行。
编译 kubelet 组件
重编译的输出，在当前位置的_output/bin/目录下；
sudo make WHAT="cmd/kubelet" GOGCFLAGS="-N -l" GOLDFLAGS=""
复制代码
查找 kubelet 组件配置
[root@gv187 ~]# systemctl status -l kubelet ● kubelet.service - kubelet: The Kubernetes Node Agent Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled) Drop-In: /usr/lib/systemd/system/kubelet.service.d └─10-kubeadm.conf Active: active (running) since 一 2022-09-26 21:12:13 CST; 1 weeks 1 days ago Docs: https://kubernetes.io/docs/ Main PID: 20478 (kubelet) Tasks: 74 Memory: 86.0M CGroup: /system.slice/kubelet.service └─20478 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=k8s.gcr.io/pause:3.2 # 其中配置信息就是--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=k8s.gcr.io/pause:3.2
复制代码
停止 kubelet 组件
$ systemctl stop kubelet.service
复制代码
dlv 启动 kubelet
$ dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec /go/src/github.com/kubernetes/kubernetes/_output/local/bin/linux/amd64/kubelet -- --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=k8s.gcr.io/pause:3.2
复制代码
然后，Goland 设置 kubelet 代码断点并调试
参考
https://github.com/go-delve/delve/tree/master/Documentation/installation
评论