资源数据治理的应用实践
导读:
资源数据是运营商核心资产和重要的生产要素,运营商业务的售前、售中、售后都对资源的数据高度依赖。资源数据的质量好坏,直接影响业务的拓展和保障。无论是电信、联通还是移动,每年在资源数据治理专项工作上都有很大的投入,但是效果都不够显著。如何保障和提升资源数据质量,已经成为资源系统最关键的任务。
本文将基于我们对资源数据治理基本方法的理解,分享我们在多个资源数据治理项目上进行的不同实践。
资源数据治理基本方法
如何进行资源数据治理?每个运营商省份资源系统建设阶段、管理专业范围和数据质量情况不同,所以在数据治理方法和手段上不尽相同。各运营商不断加快网管系统和资源系统的融合节奏,在一些重要专业如 PON、传输、无线、数据专业的融合尤为迫切,所以网资融合、比对拼接是针对有源资源的一项有效的数据治理方法。针对管道、杆路、光缆、哑设备等无源资源的数据治理,更多的需要借助数据清查、人工核查等来进行长期的治理,需要引入一些创新的 IT 应用嵌入到治理场景中来实现数据智能修复。
无论是无源和有源的数据治理,借助 IT 工具手段进行数据治理,能获得数据质量提升的局部成果或者阶段性成果,长期的数据治理,或许还需要运营商从企业管理角度上进行管控或者变革,要从数据的源头把控好,实现数据的闭环管理。
实践一:基于传输链路告警的光路数据治理
移动市场 A 省份近年来大力发展政企客户业务,越来越多的政企客户需要提供高质量的专线产品服务,传输专业维护室压力极大,传输专业资源中设备光口至 ODF 端口、光缆、跳纤、光缆成端等数据都是靠人工收集、手工录入,且内外线操作人员一般都是两拨人,数以万计光缆资源数据录入的准确率与完整性很低,原始的人工核查效率低、准确性差。为此 A 省份建设传输运维智慧平台系统,打造基于传输链路告警的光路普查应用,实现光路资源数据治理。
光路普查工作中主要解决光交等设施的大量 AZ 端子跳接错误数据问题,核心解决思路是通过现场拔插光纤,打断光路通道,造成电路告警,现场普查人员对光交尾纤一拔一插,手机 APP 会在 30 秒内获取到告警和去告警信息,两个信息相互验证,获得准确的 AZ 网元端口信息,形成光交 A 端子、AZ 网元端口的关系。通过多次的拔插,系统智能匹配 AZ 端网元端口、光交 A 端子和 AZ 端网元端口、光交 Z 端子数据,自动修复光交 A 端子和光交 Z 端子的跳接关系。
现场拔纤:通过 APP 扫描光交二维码快速调出设备面板图,自动带出 AZ 端网元,选择具体光交端子进行拔纤,对接告警平台,分析相应网元是否有电路断开的告警;插上成端的光纤,确认告警是否恢复正常。自动关联告警电路与所拔光纤、光交端子的关系。
智能分析:随着大量的普查工作开展,累加大量的拨测数据。针对相同的告警设备端口信息,进行自动计算出路由正确跳接关系,逐步拼接一条完整的光/电路链路路由。
路告警的光路普查运行 3 个月,移动运营商 A 省的光路完整率由原来低于 10%提升至 50%,光路和电路关联准确性由原来不到 30%提升到 60%,各地市光路普查率最低的也提升到 50%以上,最高的提升到 80%。花费在普查上的人力成本也大大降低,试点地市的光路普查原来需要 3 个月完成的工作,现在 1 个月就完成了。
实践二:基于网资融合的资源数据治理
电信运营商 B 省份资源系统建设多年,系统能力不足,资源数据不准,后端维护服务手段落后,导致承接集团重点工作明显吃力,不足以支撑集团关于智慧运营的转型要求,2019 年借公司 IT 系统架构升级建设统一网元库系统。通过统一网库系统的建设,融合传输、无线、数据等核心专业网管数据和资源系统数据,有源数据进行比对、拼接,无源数据进行稽核,实现各专业以及跨专业端到端拓扑数据呈现,实现资源数据全面治理。
统一网元库融合网管和资源的数据,通过数据拼接实现网络路径还原,通过比对实现数据的清洗,从数据采集、转换、拼接、比对、同步全流程,实现网资数据全面融合。
数据采集:全量和增量数据采集,支持多种格式采集
数据转换:源数据转换成目标数据,关联关系、唯一标识处理,数据拼接、结构化展示,网管数据和资源数据拼接网络链路。数据转换支持配置化处理,对于通用的转换对象及其属性通过属性拖拉可视化配置,对于需进行关联计算或复杂逻辑处理的属性,支持 java 脚本、python 脚本、大数据等插件配置
数据比对:比对规则管理、比对方式管理(正向比对和反向比对)、比对报告输出。对各专业对象及属性进行灵活的业务包配置,比对成功后生成关键指标的可视化报告
稽核:定义稽查规则,自动稽查异常数据,输出可视化稽核报告
拓扑呈现:融合各专业物理、逻辑、业务数据,生成物理拓扑、逻辑拓扑、业务端到端拓扑
统运行 1 年来,传输、数据、无线专业的网管和资源侧的设备、机框、插槽、板卡、端口的一致率经过 1 年多由 70%左右提升到 94%,资源系统数据质量得到显著提升,通过统一网元库治理后的数据共享,实现集中监控等上层应用快速建设。
设备框板槽匹配率
实践三:基于责任体系+端到端建链的资源数据治理
电信市场 C 省份多年来致力于提升资源系统数据质量,无论是优化生产流程,新增系统功能,用尽了各种招数,数据前清后乱,数据质量一直没有明显变化。客户意识到资源数据治理,并非通过新建一个 IT 系统就能解决,资源数据治理还需要关注企业内部的业务管理模式。
今年 C 省借政企两线业务发展契机,进行企业内部管理改革,建立以云网资源为核心的一到五级纵向责任体系,划分现场资源维护、远程资源维护、资源运营分析、资源运营决策四类角色,将企业管理制度与 IT 技术手段相结合,打造资源责任到“人”,落实到“田”,责任制到“位”的资源管理运营体系。
为什么要构建责任体系?为了解决专业维护部门资源责任意识薄弱,导致资源存量数据不准、浪费运营成本,后端部门重故障抢修,轻资源运营的现状。建立以资源责任体系为基础的云网资源运营体系,各专业把资源运营作为核心职责,企业员工要对资源准确率、资源运营效能负责。
如何构建责任体系?首先梳理责任人角色,根据资源管理的角色范围差异,梳理出现场资源维护、远程资源维护、资源运营分析、资源运营决策 4 大类,每类细化多种责任人角色。
然后建立责任人、责任田、责任制规则,划分每种责任人负责的资源范围,形成责任田。制定各类责任人考核的评估指标,形成责任制。
最后进行资源责任认领,无源设备通过 GIS 网格自动认领,有源设备通过人工认领,建立完整的资源责任体系数据,把原有的资源存量数据与企业的员工形成关联,并赋予企业的业务管理职责。有了这层管理数据,就可以通过企业组织管理制度来驱动资源数据质量提升。
构建了责任体系后,如何实现从发现数据问题到解决数据问题全流程闭环管理?先来看一下网络资源的层级关系:
资源系统数据是复杂的分层分网络的结构,任何一层都会形成完整的链路关系。接下来通过进行端到端建链,来自动判断全程链路的数据是否完整。
端到端建链就是分析资源网络链路数据连接是否完整、资源属性数据是否正确的全过程,根据配置的几百条业务稽核规则,系统自动进行业务数据稽核,建链不成功的数据或者错误的资源数据,通过责任体系关系查找到对应的资源责任人,系统自动派单到人,责任人收到错误的数据清单明细,进行数据修复处理,处理完成后进行回单,回单需要进行错误数据修复实时稽核校验,如果数据错误修复完成,则回单成功,否则无法回单,责任人需要进一步修复错误数据。通过从资源数据问题发现到数据问题修复,实现数据修复闭环管理。
基于责任体系+端到端建链模式的资源数据治理处于建设初期,还没有足够的数据来体现业务收益,企业管理的变革带来的成效还需要时间去检验,不过可以拭目以待,相信在不久的将来客户会取得想要的收益。
后续期待
资源数据治理是企业数据治理范畴的一种,是体系化工程,运营商针对资源数据治理越来越重视,未来将会从组织、工具、管理、制度等方面体系化开展数据治理工作。
运营商对支撑厂家的要求也会从传统提供数据治理工具,逐步演进到一起实施资源数据治理大工程,一起探讨如何实现运营商内部业务管理模式改革,带来资源数据质量的长效提升。我们也可以借助在不同的资源项目上和客户一起实践和探索新型资源数据治理方法,为运营商的发展做出更大的贡献。
版权声明: 本文为 InfoQ 作者【鲸品堂】的原创文章。
原文链接:【http://xie.infoq.cn/article/f7165dfe0b4d48bf26c7a9b0b】。文章转载请联系作者。
评论