概述大数据技术在智能运维中四大挑战
在智能运维领域,大数据技术的核心价值体现在于打造智能运维底座,构建以数据为核心、以场景为导向的运营支撑系统。目前,已有的大数据技术已能完成多源数据的采集、实时高效的数据计算、稳定可靠的数据存储。但是由于企业分散的数据存储、多口径的数据计算、无监督的数据质量等原因,目前企业使用大数据技术实现智能运维普遍面临以下几个挑战与问题。
数据系统重复采集、重复存储
由于企业缺乏统一的数据管理维护,各业务部分重复采集,造成严重的硬件和人力成本浪费。以某运营商 DPI 数据为例,其拥有 3 套 DPI 采集存储系统,存在多次分光、分流、存储的情况,且不同采集系统采用不同的数据规范,跨域间调用困难,难以发挥数据价值。
分散的数据缺乏一套安全可靠的共享机制
目前由于数据泄露类安全事件频发,企业对数据保密及安全的重视越来越高。但这样限制了外界窃取企业商业秘密的同时,也存在数据管理一刀切的现象,部门间数据调用层层审批且数据流常常无法打通,妨碍了跨专业跨部门的多源数据融合分析。
缺乏一套行之有效的数据价值体系,数据价值密度低、处理环节长
随着数据的价值被企业不断认可,越来越多的生产数据留存在企业大数据平台。同时,由于部分企业设计了分层分级的大数据采集架构,海量原始数据需要跨地跨省传输,会占用大量带宽资源,不仅成本较高而且时延较大。海量数据固然有很高的分析研判价值,但随着数据的爆炸式增长,找准数据分析价值与降低存储传输成本显得越来越重要。因此,合理规划数据价值体系,有针对性地筛选存储数据势在必行。
分级数据标准不统一,数据质量缺乏有效监督管理
在智能运维中,由于企业采集处理环节众多,下游暴露数据质量问题后难以溯源,数据质量提升困难。为构造稳定可靠的智能运维系统,数据质量监控环节必不可少。构建统一的数据标准,各环节设置数据质量抽样监控,是在搭建智能运维数据处理系统前需要首先完善的工作。
随着企业智能运维改革的不断深入,数据业务的精细化管理显得越来越重要。上述大数据应用的困境,主要还是在运营过程中规范和标准的欠缺。在使用大数据运维技术前,需要对整体系统有长远的规划,方能更好地支撑上层应用。
版权声明: 本文为 InfoQ 作者【穿过生命散发芬芳】的原创文章。
原文链接:【http://xie.infoq.cn/article/f839ee4b1a49f6b1978915e49】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论 (1 条评论)