业务运维

除了监控，安全之外，业务系统还有一些日常的维护工作要做，比如数据备份，服务器升级等等，这样才能保证业务的长期稳定。

资源扩容

业务量上去了，使用的资源不够了，就需要对底层的资源进行升级，升级的资源包括但不限于服务器，数据库等等。

那什么时候需要进行升级，需要升级到什么配置呢？这是个问题。

一般情况下，我们会对资源的使用率进行评估，比如会先看几个月的监控数据，看看资源使用率，比如 cpu，内存，磁盘使用率等等，看下最近一段时间的使用率变化情况， 再结合业务增长情况，至少留一倍的资源冗余。 现在我们云产品的消耗量比较少，还没有到需要进行成本深度优化的时候，所以拿空间换时间，留足冗余，有更多时间可以响应业务的需求变化。

需要特别注意的是，服务器和数据库的升级都会涉及重启，会有一段时间的中断，虽然时间不长，一般是几分钟，但是对业务还是有一定影响，建议在业务低点，比如深夜进行升级。

还有对于服务器来讲，磁盘的替换升级比较麻烦，建议如果可以还是一步到位，省得后面替换起来麻烦。

数据备份

相比物理资源来说，数据对我们来说是更加重要的，云主机挂了，我们还能用新的替换或者等待恢复，业务就正常了。但是数据丢了，可能就找不回来了，对我们业务和用户造成的是永久的影响。

哪些需要备份呢，需要怎么备份？ 这是个问题。

一般需要备份的数据包括但不限于，数据库数据，磁盘数据，配置数据等。

【数据库数据备份】

一般我们这边重要的数据库都是每天进行备份，每份数据保留一周以上。 而且需要异地备份。防止单数据中心出现问题后，数据备份丢失。 重要数据多地备份的策略是加了双保险。比较数据是企业最宝贵的资产之一，这块的投入宁愿浪费，不能节省。

【磁盘数据备份】

磁盘这块，我们一般会对业务服务器的系统盘和数据盘进行备份，防止有时候系统崩溃了之后，有些系统配置和安装好的系统软件和补丁可以找回。 我们一般会设定磁盘自动快照策略。 每天做一次快照。 有些不太重要的服务器就不用频繁备份。

【其它配置数据备份】

其它配置，如 Kubernetes 上的应用配置，供应商账号信息等， 也需要有一个备份，这个备份可以在公司密码库里留存。

Kubernetes 软件升级

kubernetes 经常隔一段时间就会进行版本升级，相关的插件也会跟着升级版本。 所以我们每隔一段时间也会对 Kubernetes 进行升级。如果有新特性，我们正好也能用上。

阿里云的 kubernetes 升级是一键傻瓜式升级，做的还比较方便，但是在升级某些关键组件，比如 dns 插件时，还是会有业务中断的情况，所以在做 kubernetes 升级的时候，建议在业务低峰操作。

SSL 证书更新替换

SSL 证书要一年一换，也有定期维护。 我们涉及的 CDN 和 API 项目较多，手动替换比较麻烦，所以我们同事写了个工具调用阿里云的 API 进行批量替换，整体还是比较方便的。

云产品报障

云产品的稳定性虽然说很好，但是难免也会出问题，在我们业务上云的 3 年里，共计出现的云产品问题不下 10 次，涉及的云产品包括 CDN，OSS，数据库，数据传输，分析型数据库，Kubernenets 平台等。

云厂商的响应速度很重要。不过每次提交工单去处理还是太慢，延长了我们业务的宕机时间。 后面销售拉了个专门的服务群之后，这块的响应速度更快了，问题也能得到及时的处理，整体的感知更好了。 我觉得最后云厂商拼的不仅仅是产品，更是服务。