写点什么

交换机配置的自动备份与变更告警

用户头像
冯骐
关注
发布于: 2021 年 03 月 04 日
交换机配置的自动备份与变更告警

前言


我们做运维的人呢,平时没人在意,出问题的时候才有存在感。所谓日常透明,关键给力嘛。而运维中非常重要的一部分就是备份,它很大程度上决定了我们关键时刻到底能不能给力。


所以今天我们就来聊一聊交换机配置备份的那些事。


配置备份


交换机的配置备份有很多办法,比如


  • 走 netconf 协议通过 API 拉

  • 通过交换机命令向 ftp 服务器上传

  • show run , display cu 等命令直接抓


走 netconf 比较高端一点,但是交换机未必都能支持。而且存在需要开启 netconf 配置的问题,初始工作量较大。


通过 ftp 上传的配置文件最准确,但是不同品牌,不同型号间对应的 ftp 命令差异很大,做起来也是比较麻烦的。


通过命令 show 配置似乎看起来最为简单和直接,命令基本也就 C 家和仿 C 家系列的 show running-config,H 家和他家基友的 display current-configuration ,J 家的 show configuration 这几种。


当然是自动来 show 配置了,手动是不可能 的,这辈子都不可能手动来做的。我们需要自动化的建立远程连接,show 配置,退出,然后把结果存下来。


首先要考虑下走 SSH 还是 TELNET


  • SSH :安全,连接方式标准,易于实现。但可能存一些交换机未开启 SSH ,需要人工介入开启。

  • TELNET:通常默认开启的远程选项,不安全,各家提示符不一,脚本实现复杂。


所以其实很好抉择,SSH 早晚是要全线开启的,而且安全要求严格一些的话, TELNET 应该是要关闭掉。


况且,批量 SSH 的轮子这么多,我们其实根本不需要自己再写一个 SSH 的脚本。比如直接用 multissh 就可以很好的符合我们的需求。


如下所示,使用 multissh ,一条非常简单的命令我们就可以把 SSH 执行 show run 的结果输出到我们指定的目录里,而且速度非常快,15 台交换机同时完成备份只用了 1.3 秒。


[root@wiki-qfeng multissh]# ./multissh -ips "192.168.15.101-192.168.15.115" -cmds "terminal length 0;show run" -u admin -p password -outTxt -f ./conf/      2018/04/13 21:26:06 Multissh start2018/04/13 21:26:08 Multissh finished. Process time 1.350904329s. Number of active ip is 15
[root@wiki-qfeng conf]# ls192.168.15.101.txt 192.168.15.102.txt 192.168.15.103.txt 192.168.15.104.txt 192.168.15.105.txt
[root@wiki-qfeng conf]# cat 192.168.15.101.txt sw-1#terminal length 0sw-1#show runBuilding configuration...
Current configuration : 4246 bytes!! Last configuration change at 03:25:58 UTC Sun Apr 8 2018 by admin! NVRAM config last updated at 03:25:57 UTC Sun Apr 8 2018 by admin!…………
复制代码

我们可以把不同类型交换机,路由器,防火墙的 show 配置命令都提前写好。以文件的方式让 multissh 去读取。如果交换机的密码不一致的话,也可以统统写到一个配置文件里来调用。详细可以参考 用 Go 写一个轻量级的 ssh 批量操作工具


然后把这个命令放到 crontab 定时任务里去就好了。


变更告警


对于一个运维的团队而言,日常运维的操作记录和回溯是非常重要的一件事情。因为绝大部分的故障并非因为软硬件本身,而是来自运维人员的误操作。GitLab 误删过数据库,AWS 误删过系统,携程误操作崩过一整天。实际上只要是人做的操作,误操作就不可能完全避免。


怎么办呢?


一方面是尽量避免误操作的发生,比如更为严格的权限控制和变更审批,堡垒机操作审查等等。另一方面则是在事件发生后能及时的提示和告警,并能快速的溯源导致故障的操作,以便尽快回退。


所以给交换机的配置变更做个告警就也非常重要;额。刚才我们已经备份下了交换机的配置,所以我们只要把每次备份下的配置和上一次备份的配置做一个比对,就能马上得到配置的变更情况。


简单一点,可以直接用 python 的 difflib 库来做两个配置文本的比对。difflib 非常简单。如下例,输入两个数组,返回的对比变更情况,并附带上下文(默认三行)


>>> s1 = ['bacon\n', 'eggs\n', 'ham\n', 'guido\n']>>> s2 = ['python\n', 'eggy\n', 'hamster\n', 'guido\n']>>> for line in unified_diff(s1, s2, fromfile='before.py', tofile='after.py'):...     sys.stdout.write(line)   --- before.py+++ after.py@@ -1,4 +1,4 @@-bacon-eggs-ham+python+eggy+hamster guido
复制代码

不过对于交换机的配置变更告警而言,我们还需要过滤掉一些东西。比如 ntp clock-period 17179963 类似这样的 nto clock-period 行,隔一段时间他本身就会变一次,而我们并不关心这个东西。因为它的变更而发出的告警就毫无意义,反而可能让真正需要的告警信息淹没在其中。


同理还有类似 Current configuration : 22452 bytesCryptochecksum:ff93c7fc1cb0fd5cf9d113715ce16b62 ,Tue Apr 10 18:08:09.028 UTC 等,这些东西本身就有可能变更而事实上我们并不关心这些。


同时还有一些特殊情况,比如在锐捷的一些版本上,我们就不得不忽略掉 radius-server key 7 xxxxx 这里的变更。因为它丫的这个也自己会变——【交换机】10.X交换机配置radius-server key密文显示后,show run发现密文不同时间会显示不一样


综合这些因素,滤除掉我们不需要参加比较的行之后,我们再对两个配置文件去做 diff 比较。此时的结果就可以发告警了。用 smtplib 来调用 smtp 发送邮件,用 email.mime 来做附件封装的工作,把配置文件作为附件传上去。


完整代码大概如下(有删减)


#!/usr/bin/python# encoding: utf-8import difflibimport timeimport osimport shutilfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartimport smtplib

conf_path = '/opt/swbackup/conf/'backup_path = '/opt/swbackup/backup/'mailto_list=["user1@example.org","user2@example.org","user3@example.org"]mail_host="smtp.example.org"mail_user="user@example.org"mail_pass="mailpasswd"RuiJie = ["ruijie1.txt","ruijie2.txt","ruijie3.txt"]
####################
def compare(source,target,current,original): lines1 = get_lines(source) lines2 = get_lines(target)
result = list(difflib.unified_diff(lines1, lines2, fromfile=current, tofile=original)) return result
def get_lines(filename): f = open(filename) lines = f.read().splitlines() newlines = [] split_list = filename.split('/') filename = split_list[(len(split_list)-1)] for l in lines: # 滤除时间行 if "!Time: " in l: continue # 滤除空白行 if (l == "") or (l == "!"): continue # 滤除配置变更提示行 if "! Last configuration change at" in l: continue if "! NVRAM config last updated at" in l: continue # 滤除配置大小行 if "Current configuration :" in l: continue # 滤除 checksum 提示行 if "Cryptochecksum:" in l: continue # 滤除 enable 输入行 if ">enable" in l: continue # 滤除 Password 输入行 if "Password:" in l: continue # 滤除 terminal length 0 输入行 if "terminal length 0" in l: continue # 滤除 show run 命令行 if "show run" in l: continue # 滤除 display cu 行 if "display cu" in l: continue # 滤除 VTY is now available 行 if ("VTY" in l) and ("is now available" in l): continue # 滤除时间行 if (" UTC" in l) and ("config" not in l): continue # 滤除 ntp clock 行 if "ntp clock-period" in l: continue # 滤除 login 时间行 if "The last login time is" in l: continue # 滤除 login 时间行 if "The current login time is" in l: continue # 对于锐捷,滤除 radius-server key 变更行 if (filename in RuiJie) and ("radius-server key 7" in l): continue newlines.append(l + "\n") f.close() return newlines

def load_conf(path): files= os.listdir(path) return files

def send_mail(to_list,sub,content,att_path): msg = MIMEMultipart()
msg.attach(MIMEText(content,_subtype='plain',_charset='utf-8')) split_list = att_path.split('/') filename = split_list[(len(split_list)-1)] att = MIMEText(open(att_path, 'rb').read(), 'base64', 'utf-8') att["Content-Type"] = 'application/octet-stream' att["Content-Disposition"] = 'attachment; filename=' + filename msg.attach(att) msg['Subject'] = sub msg['From'] = mail_user msg['To'] = ",".join(to_list) try: s = smtplib.SMTP() s.connect(mail_host) s.login(mail_user,mail_pass) s.sendmail(mail_user, to_list, msg.as_string()) s.close() return True except Exception, e: print str(e) return False
if __name__=='__main__': conf_file = load_conf(conf_path) backup_file = load_conf(backup_path)
for f in conf_file: now = conf_path + f backup = backup_path + f if f in backup_file: res = compare(backup, now, f + " original",f + " current") if len(res) >0: content = "".join(res) send_mail(mailto_list, "switch_backup " + f, content, now) else: fl = open(now) content = fl.read() fl.close() send_mail(mailto_list, "switch_backup " + f, content, now) shutil.copy(now, backup)
复制代码

大抵逻辑就是准备两个目录,一个放备份的配置,一个放 multissh show 出来的配置。


  1. 先分别列出两个目录下的文件,然后拿当前获取的配置文件去备份目录下查。

  2. 如果找不到说明是新备份的交换机,发邮件。配置做正文和附件。

  3. 如果找到了相同的配置文件,那么做 diff 对比。

  4. diff 对比前先过滤掉一些可能会造成误报的配置行。

  5. 如果产生配置变更,发邮件。diff 变更内容做正文,配置做附件。

  6. 所有逻辑执行完以后,将当前 multissh show 得的配置备份至备份目录。等待一下次执行。


很简单的一个脚本。也做个定时任务,把他放在 multissh 的定时任务之后就行。整个交换机配置的备份和变更告警就全自动化完成了。看下效果:



感觉还行。


参考文献


difflib

【交换机】10.X交换机配置radius-server key密文显示后,show run发现密文不同时间会显示不一样

用 Go 写一个轻量级的 ssh 批量操作工具


以上

原文于 2018 年 4 月首发于简书,搬家存档。

行文有微调。


发布于: 2021 年 03 月 04 日阅读数: 26
用户头像

冯骐

关注

教育行业码农 2020.06.19 加入

一个教育行业的码农

评论

发布
暂无评论
交换机配置的自动备份与变更告警