写作训练营打卡 2-- 工作后最有成就感的事
跟其他同学相比,打卡比较慢,比较偷懒,不过肯定会尽可能坚持往下做。
工作中最有成就感的事情应该是几年前修复 hue"卡死"问题,那时候刚入职公司,问题已经在几个同事手中转了几次,不过还是没有解决。现象是数仓或分析师使用 hue 过程中,偶现提交 sql 时突然卡住,直到一段时间后页面出现 timeout。
最开始接手问题时比较懵,之前也没怎么写过 python 代码,而 hue 用的 Django 框架。
刚开始从 hue 接口侧入手,整理入口请求后的代码处理逻辑,刚开始怀疑是不是使用线程池问题,尝试调大线程池数量未解决问题。
差不多一两天后,刚好电梯碰到遇到过问题的分析师,偶然得到个反馈,sql 语句提交后页面反馈超时但语句执行成功,将视线转到 hiveserver 侧。
跟踪 hiveserver 代码,发现主要的步骤都记录了日志,排查 hiveserver 日志,发现有次 compile 过程很久,且 compile 的逻辑加了静态锁。
进一步确认,ranger 校验权限耗时很久,追踪 ranger0.5 代码,最终发现是 ranger 校验权限的 bug。建表时会扩大校验范围,而测试库下的表和数据很大,导致校验很长加上全局锁,其他提交语句全部“卡死”。
这个问题从刚开始接手的懵逼,到一步步解决处理,对我自己收获了不少信心,只要你肯迈出去,总会离答案更近。
评论