写点什么

【python 小脚本】监听日志文件异常数据发送告警短信

作者:山河已无恙
  • 2022-12-02
    内蒙古
  • 本文字数:1748 字

    阅读完需:约 6 分钟

我的需求:

  • 老项目中有个用脚本启动的服务,很重要,用来做业务留痕的,涉及业务客户经常性投诉,是找第三方做的,时间长了维护需要花钱,老出各种未知 bug,没办法处理所以机器上配了定时任务,定期的几天重启一次来解决。

  • 但是有时候不知道什么原因,重启脚本运行,服务没起来,crond 也没有什么调度机制。

  • 希望写个脚本做监控,当发现服务没起来,发送告警信息,或者重启服务。

我需要解决的问题:

  • 这里需要考虑的问题,如何在服务死掉后触发这个告警或者重启服务的动作,即健康监测的手段是什么?

  • 常见的手段比如心跳探针 之类,心跳即服务定时向外发送存活信息,探针即外部监听者,定时向服务发送存活询问。

我是这样做的:

  • 目前的解决办法是通过检索 日志来 触发,类似一种探针的手段,定时读取日志文件来确认存在当天的日志来确认服务正常,通过执行命名的返回值确认。类似下面这样


┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-pod-create]└─$grep Pod demo.yamlkind: Pod┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-pod-create]└─$echo $?0┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-pod-create]└─$grep pod demo.yaml┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-pod-create]└─$echo $?1
复制代码


  • 也可以使用常见的判断方式,比如考虑重启时指定 PID,然后通过 PID 进程存在来判断,或者直接通过 启动命名 来匹配进程是否存在


┌──[root@vms81.liruilongs.github.io]-[~/ansible/k8s-pod-create]└─$pgrep etcd2507
复制代码


  • 如果希望 systemd 管理,可以把 启动脚本写成一个 Service unit,通过 systemctl 相关命令来判断服务存在,类似systemctl show httpd -p ActiveState 这样

  • 实现方式考虑 shellpython 脚本。需要配置为定时任务


傍晚时分,你坐在屋檐下,看着天慢慢地黑下去,心里寂寞而凄凉,感到自己的生命被剥夺了。当时我是个年轻人,但我害怕这样生活下去,衰老下去。在我看来,这是比死亡更可怕的事。--------王小波




下面为一个 python 写的 Demo,通过监听日志文件中是否存在指定日期的日志来触发动作,这里插表发送短信。


主要利用 pythonsubprocess 模块来执行命令,这是一个自带的模块,当命名返回值不为0 的时候,会报异常,然后通过 命令来发送执行 SQL install 操作。


前提是机器需要有 python 环境,同时需要有 mysql 客户端,当然连接 mysql 也可以通过python实现,但是需要装对应的模块。


当然这里 grep 的触发方式很简单,如果使用下面的脚本,只能判断当天日志存在,如果精确到时间需要修改正则匹配。


需要注意的是,这并不是一个完全可信任的方式,当 sql 连接异常就无法做到监听的目的。同时需要考虑正则匹配的偶然性。


# -*- encoding: utf-8 -*-"""@File    :   ipcc_log_mis.py@Time    :   2022/10/13 17:27:15@Author  :   Li Ruilong@Version :   1.0@Contact :   1224965096@qq.com@Desc    :   IPCC日志监控             如果日志文件不存在,或者当天的日志没有,会发送告警短信"""
# here put the import lib

import subprocess
parser = argparse.ArgumentParser(description='简单的日志监控:如果命令失败或者不是成功状态码,执行对应的操作')


try: com = 'tail -n 10 /home/****/RecordUser.log | grep -i $(date +%m-%d)' out_bytes = subprocess.check_output(com, shell=True) out_bytes = out_bytes.decode('utf-8') # print out_bytesexcept subprocess.CalledProcessError as e: out_bytes = e.output # Output generated before error line = 'mysql -h 192.168.50.187 -P 3306 -u PT90 ************* --database cloud -A -e"{sql}" > /dev/null 2>&1' sql = "insert into nm_sms_send (accNbr,smsContent,spId) values ('181****5370','【XX平台】IPCC 日志异常,监控不到当天日志。请排查,$(date)',1);" sql += "insert into nm_sms_send (accNbr,smsContent,spId) values ('153****7834','【XX平台】IPCC 日志异常,监控不到当天日志。请排查,$(date)',1);" line = line.format(sql=sql) subprocess.check_output(line, shell=True)
复制代码


  • 理解不足之处小伙伴帮忙指正,生活加油 ^_^


用户头像

InfoQ写作平台签约作者,RHCE、CKA认证 2022-01-04 加入

Java 后端一枚,技术不高,前端、Shell、Python 也可以写一点.纯种屌丝,不热爱生活,热爱学习,热爱工作,喜欢一直忙,不闲着。喜欢篆刻,喜欢吃好吃的,喜欢吃饱了晒太阳。

评论

发布
暂无评论
【python小脚本】监听日志文件异常数据发送告警短信_12月月更_山河已无恙_InfoQ写作社区