导言

为什么每天电话邮件云会议，四处化缘各种数据报表？

为什么通宵达旦整理数据，到了汇报时还是被批数据不准不全不及时？

为什么运维团队逐渐庞大，各种规章制度，工作效率却止步不前？

IDC 运维的同学们，在披星戴月的下班路上，你是不是会思索这样的问题？

困境为何

近几年来，我国数据中心机架规模持续稳步增长，大型以上数据中心规模增长迅速。截止 2021 年底，我国在用数据中心机架规模达到 520 万架，近五年年均复合增速超过 30%，其中大型以上数据中心机架规模增长更为迅速，机架规模 420 万架， 占比达到 80%。与此同时，新业务新技术给消费终端带来更好的体验感知，对数据中心网络的质量、可靠性及安全性也提出了更高的要求。

国内数据中心机架规模（数据来源工信部信息通信发展司）

运营商的数据中心，其建设年份较长，设备种类繁多，分布广泛。在生产工作中，对这些设备的运维监管有着不小的难度与挑战。

设备复杂度高，厂商多、型号杂、采集协议多

IDC 设备包括物理服务器、网络设备、存储设备，此外还包括动环等。目前已投入应用的设备厂家多、型号杂、文档缺失。要做到监控指标的全面覆盖，数据采集需要适配多种协议，即使是最经常使用的 SNMP 也需要适配不同厂家的私有 MIB 库，大大增加了采集的复杂度。

监控程度低，方法手段单一

对于五花八门的设备厂商和型号，监控面窄，可感知指标简单，常见于执行脚本收集到例如 PING 网络是否连通，TELNET 端口是否开放等简单的指标来监控设备有没有挂死，缺少深层次故障性能指标。

自动化水平低，漏管设备多，纳管不及时

传统 IDC 运维监管工具依赖于规章制度流程的严格执行，但在建设和割接等工程阶段，大量设备出入库和位置变更，相关流程执行不严会导致设备运维数据录入延迟。缺乏自动化感知能力，造成监管遗漏，如果发生故障，需要更高的成本解决故障。

普度运维

DCUCC，数据中心集中采集控制平台，聚焦于 IDC 机房的服务器和网络设备的运行感知和控制，是各种运维平台工具的基础数据和能力底座，是连接管理系统和网络设备的唯一纽带。

浩鲸科技 DCUCC 的方案架构

DCUCC 整体采用集中化采集框架服务+分布式采集前置机的部署架构。采集框架服务在运维总部集中部署，负责配置、监控、任务调度和数据回收处理工作；前置机在各 DC 内就近部署，负责采集任务执行。

轻量化前置部署

前置节点轻量化架构，使用嵌入式的缓存和队列，不需专门资源部署 PAAS 组件；启动后配置数据本地化，即使与管理节点的连接中断也不影响采集任务执行；不依赖数据库运行。高容错且轻量化的前置节点，使用廉价服务器按需异地部署，实现各个数据中心设备的采集监控全面覆盖。

设计态和运行态分离模式

通过设计态，实现设备类型建模，接口指令设计、服务设计等准备工作。平台提供可视化采集流程设计，支持复杂任务采集编排，将采集、解析、转换、汇聚、回传、持久化等多种任务自由组合；提供 API 开发，能自由组合设备的各种能力，为上层运维工具赋能。

浩鲸科技 DCUCC 的可视化采集流程编排

设计完成后按设备型号输出相应业务包，业务包在各运行态实例中加载使用。运行态的工作包括任务生成、任务执行、结果回收 3 大步骤。任务由集中节点根据采集策略自动生成，并按前置机负责范围调度任务单。相应的前置机接收采集任务，按数据采集、测量解析、归一化、持久化、回传等步骤执行。最后，集中节点进行结果的汇聚收集。运行态采用弹性部署方案，随着采集任务量变化可进行人工和自动化的运行时动态扩缩容调整。

现在，你只需通过 DCUCC 为每个 DC 部署上前置机，就可以提升你的“打怪”技能，成为运维中心最靓的仔。

5 大绝技

多样适配

网络设备和通用服务器主要以 SNMP 为主进行采集，因此 DCUCC 提供统一的 OID 索引库，将各类服务器和网络设备采集特征统一管理维护。为便于新指标特征的扩张，简化调整，还配套相应的一键测试，不需要做复杂的任务配置即可直接进行取值测试。

某些情况下 SNMP 依赖的 MIB 库的 OID 是很难进行获取的，这时可通过指令控制模块使用 SSH 协议仿真设备 OS 指令模拟人工登录设备巡检查询。DCUCC 集成了主流网络设备常用的指令，可快速联想检索，按白名单安全管控，对指令进行金库管理。

对外物理服务器更有一种极端情况，既缺乏 MIB 库支持又无法像网络设备 OS 有成熟的操作指令，某些服务器上会安装了一个本地化运行的 WEB 管理页面。这种情况下，系统还提供了 WEB 页面报文分析工具，自动解析提取嵌入在 HTML 报文中的指标信息。

通过 SNMP 或 OS 指令或 HTML 解析，采集回来的值有简单的单值型，也有复杂的 TABLE 型，系统支持 BeanShell、Python 动态脚本进行结果的解析，方便灵活扩展。

IDC 机房还存在少量设备断电关机脱管的情况，这种情况下我们采用 IPMI 协议对这些设备进行基础信息的采集。如符合运维规则，则远程控制其进行启动，再按标准化协议进行采集管控。

自动发现

IDC 设备数量庞大，虽然大部分是按正式流程入网使用，但也存在紧急入网并投入使用的情况，这些设备在系统的网元库中没有记录，处于脱管状态。针对此类情况，系统提供自动化手段可主动发现识别新设备，自动为其配置采集策略，将其纳入管理范围。

自动发现的原理是通过设备的 LLDP 协议自动发现周边的新邻居设备，根据 LLDP 属性解析识别出新设备类型和 IP 地址，自动生成采集策略，自动完成新设备的数据采集工作。下面是自动发现和配置的完整过程。

浩鲸科技 DCUCC 的设备自动化发现和配置过程

• 遍历机房内已在网被纳管的交换机和路由器。

• 通过 SNMP 对网络设备的 LLDP 信息进行采集，解析出对端设备的 MAC 地址、管理 IP 地址、接口和设备信息描述。根据设备信息描述中的特征值，识别出对端设备的类型和厂家型号等。

• 根据 MAC 地址和管理 IP 地址，与系统内已纳管的设备进行比对，确认是新设备后继续执行后面的自动配置动作。

• 对于新设备自动我们可以根据步骤 1 识别出的信息，自动完成设备和采集源的自动创建任务，适配相应型号设备的采集模板，创建采集任务策略。

• 对于新发现的设备是网络设备的情况，还可能存在下连有新设备的情况（如下图），需要再次以这个新网络设备为源设备，迭代步骤 1 再次识别，直到没有新设备才结束迭代。至此整个自动发现和配置完成。

浩鲸科技 DCUCC 自动发多层新设备

LLDP 是定义在 802.1ab 中的二层协议，它提供了一种标准的链路层发现方式，使得接入网络的一台设备可以将其主要的能力，管理地址，设备标识，接口标识等信息发送给接入同一个局域网络的其它设备。我们不仅可以用它来发现新设备，还可以根据获取的本端的端口信息，自动完成机房局域网拓扑的自动绘制。

在实际操作中，系统一般通过 SNMP、SSH 到新设备获取 LLDP 信息，从对端的角度对连接信息进行确认。此外，在网络部署和设备入网的时候，还需要遵循一些基本规则，包括：

• 设备操作系统安装时需安装 LLDPAD 并默认打开 LLDP 服务

• 网络设备和服务器入网时需默认打开 SNMP 服务，统一默认登录鉴权

• 网络设备和服务器遵循统一的命名规范（对应 LLDP 信息中的 SYSTEM NAME 单元），新设备识别会更加简单准确

离网清退

对于使用年限长，效能利用率低的设备，运维部门会实施清单化的退网规划，从而释放机房机架资源，减少能耗和碳排放，降低运维工作量。离网清退工作，一般按以下步骤执行。

• 老旧、低效、高故障率设备的筛查和上报

• 运营运维组织内部审核

• 设备配置数据清理

• 设备下电、离网、报废或资源回收重利用等

对于老旧、低效、高故障设备的发现，DCUCC 提供了一套自动化高效的筛查手段。系统会采集设备的关键指标，并按一定的规则进行自动判别，初步整理出一份小范围清单后再由人工进行确认。

网络和服务器设备在网工作期间都有大量的涉密配置数据，包括设备鉴权、网络结构、安全策略、用户业务数据等。这些清退设备并非直接销毁，可能会进入外部回收市场或者其它环境下的利旧复用，因此要在下电前完成这些涉密数据的清理销毁工作。针对不同类型和型号的设备，系统提供一键清退能力，自动安全高效地完成配置数据清理工作，完成后自动关闭设备，避免无谓能耗。

浩鲸科技 DCUCC 的下线设备配置数据自动清除过程

割接辅助

数据机房不定期需要对网络、服务器、电源等进行扩容、改造、升级、迁移等变更，同时这些操作行为又发生在一个正在承载业务的上设备上，这就是割接操作。割接工作往往在晚上进行，操作时间短，对操作员的技术、技能、体力、经验等都有一定的要求。

通过长期多项目经验的积累，采集系统提供割接辅助功能，一键批量导入待割接设备，按需选择割接场景，自动完成相关批量的、重复的、可操作时间短的各种设备操作。可支持的操作包括：

• 自动暂停监控系统的采集任务，避免积压异常采集任务单

• 如涉及设备配置变更，自动完成设备配置数据的导出和备份任务

• 如涉及设备关机，自动完成各项关机临检，如服务器是否还有用户登录、是否还有业务进程在运行，网络上是否还有业务流量等，记录割接前的网络时延和丢包指标

• 设备远程关机，待人工作业流程结束后，设备远程开机

• 开机完成后自动完成网络恢复测试，检测设备到各个出口拨测点的网络通断性，时延和丢包率是否劣化等

• 自动恢复监控系统的采集任务

代理上报

服务器上一般会运行操作系统外的各种软件，SNMP 等设备标准协议难以采集到这些软件运行数据，又不允许开放远程模拟登录权限，这时候就用 AGENT 代理模式。AGENT 是我们部署在采集源上的一个极轻量化的信息收集器，采用轻量脚本进行编写，或操作系统默认支持的类库语言编写，减少入侵性。

目前系统提供的 AGENT 可以支持大多数主流操作系统，支持对常见 PAAS 平台日志、MYSQL 等主流数据库日志。AGENT 模式还可以支持自定义脚本监测器，实现对私有业务系统的监测。

项目实战

在 21 年某电信云运维项目中，通过 DCUCC 对数据中心的物理服务器、网络交换机、路由器、防火墙、存储设备都已具备采集控制能力，厂家覆盖 20 多家，型号覆盖 200 多种。采集能力覆盖全面的基础资源指标 300 多种、性能指标 120 多种、告警和日志消息，全面覆盖各级 DC 的设备。

21 年底 DCUCC 纳管设备范围

轻量化的采集前置机易于扩展，省市机房的纳管硬件成本控制在小几万元水平，利旧低配服务器。低成本运维从另一个角度又确保了大量中小机房的管理覆盖面。

原来新增 100 台设备的纳管，需要 1 个人工花 2 天时间完成设备录入，配置基础采集信息，采集任务验证，数据验证。现在完全释放配置人员，可实现分钟级设备接入配置，自动启动数据采集处理和上报。

新一代的 IDC 不断引入绿色低碳技术，能效考核指标从以 PUE 为主逐步演变为 PUE、 CUE、 WUE 等多指标兼顾，机房数字化智能化也对运维基础能力提出更高的要求。DCUCC 提供了一个业务能力丰富且易于扩展 IDC 设备接入平台，在不断发展的云服务时代，会实时更新业务能力来适应不断推陈出新的新设备和新技术。