写点什么

测试 TIDB in k8s 一次问题记录(pd failed to respond)

  • 2024-01-26
    北京
  • 本文字数:424 字

    阅读完需:约 1 分钟

作者: WalterWj 原文来源:https://tidb.net/blog/ebea9a8e

问题背景

单机装了个 k8s,TIDB 部署启动的时候看报错好像是 tikv 访问不到 pd。



但是通过 tikv pod curl pd 端口是通的 (404 代表通,但是 API 不存在)。


而且可以看到本地目录 pd 是预期产生文件了的。登录 pd pod,执行 pd-ctl 也是正常执行。member 命令下有内容


解决方法

这个时候已经到了问题瓶颈,因为手动调试网络通的,但是 tikv 确实访问不到 🤔。后来内部请教了下研发,原来我不是第一个遇到这个问题的。


相关 ISSUE:https://github.com/pingcap/tidb-operator/issues/5372#issuecomment-1794020036


按照相关 ISSUE 配置后:



看起来 tikv 预期创建文件。kubectl logs 查看 tikv pod 也是预期解决。


搜索了下 GRPC_DNS_RESOLVER native 原理,看到 gRpc 有相关 ISSUE,感觉是 gRpc 的问题 🤔


ISSUE:https://github.com/grpc/grpc/issues/18691


这个问题解决了很久,Google 半天居然没有找到解决方案,这里分享下。(头皮发麻)


这里感谢下贵司研发 笔芯。


发布于: 刚刚阅读数: 3
用户头像

TiDB 社区官网:https://tidb.net/ 2021-12-15 加入

TiDB 社区干货传送门是由 TiDB 社区中布道师组委会自发组织的 TiDB 社区优质内容对外宣布的栏目,旨在加深 TiDBer 之间的交流和学习。一起构建有爱、互助、共创共建的 TiDB 社区 https://tidb.net/

评论

发布
暂无评论
测试 TIDB in k8s 一次问题记录(pd failed to respond)_7.x 实践_TiDB 社区干货传送门_InfoQ写作社区