写点什么

写作训练营打卡 2-- 工作后最有成就感的事

作者:Avril
  • 2023-12-07
    浙江
  • 本文字数:499 字

    阅读完需:约 2 分钟

跟其他同学相比,打卡比较慢,比较偷懒,不过肯定会尽可能坚持往下做。

工作中最有成就感的事情应该是几年前修复 hue"卡死"问题,那时候刚入职公司,问题已经在几个同事手中转了几次,不过还是没有解决。现象是数仓或分析师使用 hue 过程中,偶现提交 sql 时突然卡住,直到一段时间后页面出现 timeout。


最开始接手问题时比较懵,之前也没怎么写过 python 代码,而 hue 用的 Django 框架。

  1. 刚开始从 hue 接口侧入手,整理入口请求后的代码处理逻辑,刚开始怀疑是不是使用线程池问题,尝试调大线程池数量未解决问题。

  2. 差不多一两天后,刚好电梯碰到遇到过问题的分析师,偶然得到个反馈,sql 语句提交后页面反馈超时但语句执行成功,将视线转到 hiveserver 侧。

  3. 跟踪 hiveserver 代码,发现主要的步骤都记录了日志,排查 hiveserver 日志,发现有次 compile 过程很久,且 compile 的逻辑加了静态锁。

  4. 进一步确认,ranger 校验权限耗时很久,追踪 ranger0.5 代码,最终发现是 ranger 校验权限的 bug。建表时会扩大校验范围,而测试库下的表和数据很大,导致校验很长加上全局锁,其他提交语句全部“卡死”。


这个问题从刚开始接手的懵逼,到一步步解决处理,对我自己收获了不少信心,只要你肯迈出去,总会离答案更近。

用户头像

Avril

关注

日拱一卒 2018-09-08 加入

还未添加个人简介

评论

发布
暂无评论
写作训练营打卡2--工作后最有成就感的事_Avril_InfoQ写作社区