记一次混合监控的反思
一、背景
作为最底层的技术人员,目前由于有客户在运维中遇到混合架构,公有云上使用了产品级别Redis数据库,同时由于业务在云服务器和kubnets的容器内也有redis数据库,因此对于这种混合模式数据库的监控,进行简单的分析总结,在此记录笔记,在此抛砖引玉,也曾希望对各位有一点点益处。
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,在原子化操作的基础上,有具有数据持久化的功能,同时也支持主从同步和集群搭建,支持发布订阅机制,大大提高了数据操作的扩展性和数据冗余安全性。在目前SAAS无论是共有云还是私有云,自建集群,还是docker容器,监控方式多样化,针对不同的场景各种方式互补来更好的提供监控。
二、监控方式
### 2.1 云平台监控
目前对于SAAS产品级别数据库产品,即开即用底层均依托于各云厂商的多副本或集群方式,来保障数据的安全性和服务的稳定性,但在目前的几次云故障中,我们也要心怀对数据的敬畏之心,各方面多方式做好数据的备份,没有绝对的安全,无论在多少个9的SLA面前,数据一旦发生不可挽回性丢失或损坏那将是百分之百的损失,数据无价。
因此需要做好数据备份:
共有云产品备份策略,
备份恢复验证数据可用性
跨可用区,异地灾备
多副本,主从备份
本地或对象存储归档备份等
监控方式使用各公有云提供的数据库监控,但是对于提供监控指标有可能很少,且很多云厂商监控频率为5分,实时性不高,对此我们可以使用自定义监控来将数据上报给云平台来扩展自定义监控项,同时联系云服务提供商是否可以缩短监控频率等。
可了解云平台自定义监控:阿里云自定义监控
此处只举了一个例子,各不同云厂商如果具有自定义监控功能,那都可以类似的来进行操作。
在此监控展示两张代表性国内公有云厂商redis监控图
腾讯云
阿里云
### 2.2 第三方监控工具
第三方成熟监控工具也很多,提供服务的如:
2.2.1 安畅网络的SmartEye
在此仅简略介绍应用监控
服务监控类型丰富,常用应用及数据库监控都有
身处运维人员角度,提供完善齐全服务监控指标
安装方式非常方便,一条命令即可安装部署
监控模式多样化,可直接安装agent代理,或纯内网proxy模式监控
服务系统资源占用极小
监控频率细粒度,1分钟监控数据上报
可自定义脚本横向扩展指标或监控其他应用业务等
告警策略分级,告警方式可选性多
详细信息可以官网介绍了解详情SmartEye
2.2.2 监控宝
监控宝的应用监控也较详细
可以参考之前的文章了解监控宝服务性能监控
### 2.3 开源监控工具
2.3.1 RedisLive
RedisLive是由python编写的并且开源的图形化监控工具,非常轻量级,核心服务部分只包含一个web服务和一个基于redis自带的info命令以及monitor命令的监控服务,界面上只有一个基于BootStrap的web界面,非常简洁明了。除此之外,它还支持多实例监控,切换方便,而且配置起来也非常容易。监控信息支持redis存储和持久化存储(sqlite)两种方式。
操作方式可以参考:RedisLive监控Redis服务
2.3.2 Zabbix监控
zabbix作为运维人员总所周知的开源监控系统,其功能强大,监控方式多样深受技术人员喜爱,有很多公司对其进行二次开发来定制化本公司监控系统。
本次为客户提供的也是SAAP云平台结合Zabbix私有监控来共同构建完整监控体系,优势互补且监控冗余。
对于客户SAAS产品Redis使用自带云产品监控配合自定义监控项可以很好满足;
对于客户自建Redis和容器内跑的数据库利用zabbix监控;
云主机的redis可以利用在云主机上安装agent采集数据,被动发送给server监控
但是对于容器内,在内部安装agent,对于目前已经整在运行的业务进行大规模在此部署显得不是非常的方便,此时使用在zabbix server自定义脚本来实现监控。
A. 通过redis-cli命令的info
参数可以获取redis的详细信息,利用自定义脚本来截取想要的参数进行监控,以下为记录的获取的参数,还可以通过redis参考指标获取。
B. 对获取的指标挑选想要监控的进行脚本截取
注意,如果多个主机监控,可以将host作为第二个参数进行传入,也可分多个脚本,区分不同端口或密码,
C. 最后添加进zabbix server 主机的agent配置段
三、总结
目前对于平台话的,尽量用平台化统一监控管理,如何内部有自定义那就更好了,可以配合脚本多维度细粒度实现定制化监控,非常方便;
对于例如客户这种混合模式,平台无法满足可以利用平台基础监控+私有化部署监控互补来满足绝大多数需求。
对于想要既方便且功能强大的,由易于管理维护,smarteye可以考虑,监控类型及指标全而完整,细粒度、高频率、支持自定义、可私有化部署,成为下一代监控的首选。
版权声明: 本文为 InfoQ 作者【雪雷】的原创文章。
原文链接:【http://xie.infoq.cn/article/d442ff2daab7834cfbc617b2b】。文章转载请联系作者。
评论