写点什么

自动化脚本:提升运维效率的秘诀

作者:左诗右码
  • 2024-06-21
    上海
  • 本文字数:2681 字

    阅读完需:约 9 分钟

自动化脚本:提升运维效率的秘诀

当我们谈论服务器管理时,自动化脚本就像是一位无声的英雄,它默默在幕后保持着我们的服务器运行顺畅,确保数据安全,同时还能有效防范网络攻击。


今天,我将和大家分享几个实用的自动化脚本,涵盖了数据库备份、防范 Dos 攻击、监控网卡流量、发送系统告警以及日志管理等方面。无论你是初学者还是有一定经验的开发者,相信这篇文章都能带给你一些启发。

一、自动备份数据库的脚本

背景介绍

数据库是任何在线服务的心脏。无论是用户信息、交易数据还是其他重要信息,都存储在数据库中。一旦数据丢失或损坏,可能会造成不可挽回的损失。因此,定期备份数据库是一项非常关键的工作。

脚本概述

以下是一个简单的 shell 脚本,用于备份指定的数据库表:


#!/bin/bash#备份指定表数据,因为加了 -t 参数,如果需要备份表字段直接去掉 -t 参数即可。
# 数据库相关配置信息host='127.0.0.1'port=3306username='root'password='password'database='sample_api'tables='menus users'
# 当前时间current_time=$(date +"%Y-%m-%d_%H:%M:%S")
# sql 备份目录sql_backup_path=$(cd `dirname $0`; pwd)
# sql 文件file_name="${sql_backup_path}/back_up_${current_gmtime}.sql"
# 目录存在,删除修改时间为 7 天前的文件if [ -d "${sql_backup_path}" ]; then find "${sql_backup_path}"/* -name '*.sql' -mtime +1 -exec rm -rf {} \;fi
# 执行 sql 备份mysqldump --host=${host} --port=${port} --user=${username} --password=${password} -t ${database} ${tables} > "${file_name}"
复制代码


此脚本通过 mysqldump 工具备份指定的数据库中的表,并根据当前时间为备份文件命名,自动删除 7 天前的备份文件,以节省空间。

二、Dos 攻击防范(自动屏蔽攻击 IP)

背景介绍

Dos 攻击是一种常见的网络攻击方式,通过大量的请求消耗服务器资源,导致服务不可用。对于这类攻击,一种有效的应对策略是检测异常 IP 并及时将其屏蔽。

脚本概述

以下脚本可以自动检测异常 IP 并屏蔽:


#!/bin/bashDATE=$(date +%d/%b/%Y:%H:%M)LOG_FILE=/usr/local/nginx/logs/demo2.access.logABNORMAL_IP=$(tail -n5000 $LOG_FILE | grep $DATE | awk '{a[$1]++} END{for(i in a) if(a[i]>10) print i}')for IP in $ABNORMAL_IP; do    if [ $(iptables -vnL | grep -c "$IP") -eq 0 ]; then        iptables -I INPUT -s $IP -j DROP        echo "$(date +'%F_%T') $IP" >> /tmp/drop_ip.log    fidone
复制代码


该脚本通过分析 Nginx 的访问日志,查找在短时间内访问频率异常高的 IP 地址,并使用 iptables 命令屏蔽这些 IP。

三、查看网卡实时流量脚本

背景介绍

了解服务器的实时流量是监控服务器状态的重要一环。通过实时监控,我们可以及时发现异常流量,做出相应的处理。

脚本概述

以下脚本可以实时显示指定网卡的流入和流出流量:


#!/bin/bashNIC=$1echo -e " In ------ Out"while true; do    OLD_IN=$(awk '$0~"'$NIC'"{print $2}' /proc/net/dev)    OLD_OUT=$(awk '$0~"'$NIC'"{print $10}' /proc/net/dev)    sleep 1    NEW_IN=$(awk  '$0~"'$NIC'"{print $2}' /proc/net/dev)    NEW_OUT=$(awk '$0~"'$NIC'"{print $10}' /proc/net/dev)    IN=$(printf "%.1f%s" "$((($NEW_IN-$OLD_IN)/1024))" "KB/s")    OUT=$(printf "%.1f%s" "$((($NEW_OUT-$OLD_OUT)/1024))" "KB/s")    echo "$IN $OUT"    sleep 1done
复制代码


通过读取 /proc/net/dev 文件,该脚本计算了网卡在一秒钟内的数据流入和流出量,并以 KB/s 为单位展示。

四、Linux 系统发送告警脚本

背景介绍

当服务器出现问题时,能否及时收到告警,直接关系到问题处理的时效性。配置一个能自动发送告警邮件的脚本,对于运维人员而言是非常有帮助的。

配置邮件发送环境

在 Linux 系统中,我们可以使用 mailx 命令发送邮件。首先,需要安装 mailx 并配置邮件发送参数:


# yum install mailx# vi /etc/mail.rcset from=baojingtongzhi@163.com smtp=smtp.163.comset smtp-auth-user=baojingtongzhi@163.com smtp-auth-password=123456set smtp-auth=login
复制代码


通过配置 /etc/mail.rc 文件,设置发件人邮箱、SMTP 服务器、认证用户等信息,之后就可以使用 mailx 命令发送邮件了。

五、Nginx 访问日志按天切割与分析

背景介绍

对于任何在线服务而言,日志文件都是不可或缺的。它们记录了服务的运行状况和用户的行为。然而,随着时间的推移,日志文件会不断增大,不仅占用磁盘空间,而且还会影响日志查找的效率。因此,按照一定的规则切割和分析日志文件是非常必要的。

日志切割脚本

通过以下脚本,我们可以实现 Nginx 访问日志的按天切割:


#!/bin/bashLOG_DIR=/usr/local/nginx/logsYESTERDAY_TIME=$(date -d "yesterday" +%F)LOG_MONTH_DIR=$LOG_DIR/$(date +"%Y-%m")LOG_FILE_LIST="default.access.log"
for LOG_FILE in $LOG_FILE_LIST; do [ ! -d $LOG_MONTH_DIR ] && mkdir -p $LOG_MONTH_DIR mv $LOG_DIR/$LOG_FILE $LOG_MONTH_DIR/${LOG_FILE}_${YESTERDAY_TIME}done
kill -USR1 $(cat /var/run/nginx.pid)
复制代码


该脚本会将指定的日志文件移动到按月分类的目录中,并以昨天的日期为文件名后缀,然后通过发送 USR1 信号给 Nginx 主进程,无需重新启动 Nginx 即可生效。

日志分析脚本

为了更好地理解访问模式,以下脚本提供了一种 Nginx 日志的分析方法:


#!/bin/bash# 日志格式: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"LOG_FILE=$1echo "统计访问最多的10个IP"awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr |head -10echo "----------------------"
echo "统计时间段访问最多的IP"awk '$4>="[01/Dec/2018:13:20:25" && $4<="[27/Nov/2018:16:20:49"{a[$1]++}END{for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr|head -10echo "----------------------"
echo "统计访问最多的10个页面"awk '{a[$7]++}END{print "PV:",length(a);for(v in a){if(a[v]>10)print v,a[v]}}' $LOG_FILE |sort -k2 -nrecho "----------------------"
echo "统计访问页面状态码数量"awk '{a[$7" "$9]++}END{for(v in a){if(a[v]>5)print v,a[v]}}'
复制代码


这个脚本可以帮助我们快速从日志中挖掘出访问量最多的 IP、高频时间段、热门页面以及状态码分布等关键信息,对于分析和优化网站性能具有重要参考价值。


通过这些脚本,我们不仅可以提高数据安全和服务稳定性,还可以有效管理日志文件,及时发现并处理问题。希望这些内容对你有所帮助!

发布于: 2024-06-21阅读数: 2
用户头像

左诗右码

关注

全网同名,欢迎关注交流。 2018-11-22 加入

三观比五官更正,思想比套路更深。常用技术栈PHP、Go、Python,享受编程,平时爱好写点文章。V公主号:「左诗右码」,欢迎关注交流。

评论

发布
暂无评论
自动化脚本:提升运维效率的秘诀_Shell_左诗右码_InfoQ写作社区