写点什么

《华为数据之道》读书笔记:第 6 章 面向“自助消费”的数据服务建设

用户头像
方志
关注
发布于: 2020 年 12 月 01 日

数据底座建设的目标是更好的支撑数据消费,在完成数据的汇聚、整合、联接之后,还需要在供应侧确保用户更便捷、更安全地获取数据。一方面业务人员希望尽可能快速地获取各种所需的数据,另一方面要确保数据获取过程中满足安全、合规的要求。



1 数据服务:实现数据自助、高效、复用

数据在不同系统间不断“搬家”,数据的一致性很难得到保障,尤其是经过多次搬家后,源头数据往往和下游各系统之间的数据差异巨大。...华为公司进行了大规模的数据服务建设,通过数据服务替代原有数据集成的方式,解决了数据交互过程中的诸多问题,取得了数据获取效率和数据安全之间的平衡。

1.1 什么是数据服务

数据服务定义:数据服务是基于数据分发、发布的框架,将数据作为一种服务产品来提供,以满足客户的实时数据需求,它能复用并符合企业和工业标准,兼顾数据共享和安全。



数据服务给企业带来的价值:

1)保障“数出一孔”,提升数据的一致性。

2)数据消费者不用关系技术细节,可以满足不同类型的数据服务需求。

3)提升数据敏捷响应能力。

4)满足用户灵活多样的消费诉求。

5)兼顾数据安全。



数据服务建设策略:

1)要制定数据服务建设的方法,确保每个从事数据服务建设的人都明白数据一致性的要求,并且所提供的数据是可信的和清洁的。

2)要建立数据服务流程,以确保各个环节的有效协同,定义整个生命周期中每个角色的责任和有效输出。

3)要构建统一的数据服务能力中心,负责数据服务建设方法、规范和流程的落地,数据服务不同于传统集成方式,因此应该有统一的平台提供能力保障。



数据服务建设应遵循的标准:

1)数据服务要满足可重用性、减少数据“搬家”

2)服务提供方在规划服务时应明确服务的用户是谁,并针对用户的场景和需求进行服务设计,同时定义SLA服务水平承诺。

3)应用只能通过服务接口向其他应用开放其数据和功能,服务接口要稳定,应用间的通信也必须通过这些服务接口进行。

4)所有的服务需在统一的服务管控平台中进行注册和发布。

5)应根据不同场景选择合适的服务化架构粒度。

1.2 数据服务生命周期管理

完整的数据服务生命周期包括服务识别与定义、服务设计与实现、服务运营三个主要阶段。

  • 服务识别与定义:业务与数据握手,识别服务的业务价值、准入条件与服务类型,减少数据服务的重复建设,提升数据服务的重用度。

  • 服务设计与实现:业务、数据、IT三方协同,使设计、开发、测试与部署快速迭代以实现服务的敏捷交付,缩短数据服务的建设周期。

  • 服务运营:通过统一数据服务中心及服务运营机制,保障服务SLA与持续优化。



数据服务识别与定义的关键要素:

1)分析数据服务需求:通过数据需求调研与需求交接,判断数据服务的类型(面向系统或面向消费)、数据内容(指标/维度/范围/报表项)、数据源与时效性要求。

2)识别可重用性:结合数据需求分析,通过数据服务中心匹配已有的数据服务,判断以哪种方式(新建服务、直接复用、服务变更)满足业务需求。

3)判断准入条件:判断服务设计条件是否已具备,包括数据Owner是否明确、元数据是否定义、业务元数据和技术元数据是否建立联接、数据是否已入湖。

4)制定迭代计划:根据数据服务需求定制敏捷交付计划,快速满足数据服务需求。



所有的数据服务都是需求驱动产生的,如果没有需求方,那么这个数据服务就没有存在的价值。...重复建设也就成了数据服务建设中最大的风险之一。...如果数据服务不具备可重用性,那么它与传统的数据集成的方式相比,就并不具备优越性,有时甚至会导致更大的重复投资



数据服务设计的关键要素:

在服务设计与实现阶段,要定义服务契约和数据契约,重点明确服务契约所涉及的服务责任主体、处理逻辑,并以数据契约规范服务的数据格式与数据的安全要求。

  • 服务契约:包括服务的基本信息(数据服务提供方、数据服务的类型)、能力要求(服务的时效性、服务的处理逻辑、服务的安全策略、服务的SLA要求)等。

  • 数据契约:包括数据契约描述、输入和输出参数、业务数据资产编码、物理落地资产编码等。



服务粒度设计原则:

  • 业务特性:将业务相近或相关、数据粒度相同的数据设计为一个数据服务。

  • 消费特性:将高概率同时访问、时效性要求相同的数据设计为一个数据服务。

  • 管理特性:综合考虑企业在数据安全管理策略方面的要求。

  • 能力特性:将单一能力模型设计为一个服务。



为确保服务设计后能快速、有序落地,要建立数据服务的开发、测试、部署流程,通过技术、自动化工具、管理协同机制,确保数据服务敏捷交付,缩短数据服务建设周期。服务开发、测试、部署中应重点构建以下能力:

  • 服务需求接收与管理:明确数据管理部门、IT部门、业务代表的具体职责,通过三方共同协作,解决需求理解不透彻导致开发过程反复的问题。

  • 构建自助式开发平台:通过简单配置的方式实现数据服务的开发,降低数据服务的开发门槛,缩短数据服务的开发周期。

  • 代码自动审查:通过自动化手段校验服务开发代码的性能及不规范等问题,阻断代码提交,直到问题解决,做到事前规避。

  • 数据自动验证:构建数据自动测试能力,实现数据服务的数据量差异、字段差异、数据准确性差异的验证。

  • 功能自动测试:构建功能自动化测试能力,自动对数据服务SLA、查询出入参数进行自动检查,构建容错机制。

  • 服务部署:数据服务不涉及对数据的修改,采用实时部署的方式可缩短数据服务的实现周期,提升数据服务的敏捷响应能力。

1.3 数据服务分类与建设规范

1)数据集服务

数据集服务最主要的特征是由服务提供方提供相对完整的数据集合,消费方“访问”数据集合,并自行决定接下来的处理逻辑。

2)数据API服务

数据API服务提供面向某个IT系统提供数据事件驱动的“响应”。

1.4 打造数据供应的“三个1”

“三个1”是数据供应的整体目标,起点是需求方提出数据需求,终点为需求方拿到数据并可立即进行消费,具体衡量标准包括如下内容:

  • 1天:对于已发布数据服务的场景,从需求提出到消费者通过服务获取数据,在1天内完成。

  • 1周:对于已进底座但无数据服务的场景,从需求提出到数据服务设计落地、消费者通过服务获取数据,在1周内完成。

  • 1月:对于已结构化但未进底座的场景,从需求提出到汇聚入湖、数据主题联接、数据服务设计落地、消费者通过服务获取数据,在1个月内完成。

2 构建以用户体验为核心的数据地图

在解决数据的“可供应性”之后,企业应该帮助业务更便捷、更准确地找到它们所需要的数据,这就需要打造一个能够满足用户体验的“数据地图”。

2.1 数据地图的核心价值

数据供应者与消费者之间往往存在一种矛盾:供应者做了大量的数据治理工作、提供了大量的数据,但数据消费者却仍然不满意,他们始终认为在使用数据之前存在两个重大困难:找数难、读不懂



数据地图(DMAP)是华为公司面向数据的最终消费用户针对数据“找得到”“读得懂”的需求而设计的,基于元数据应用,以数据搜索为核心,通过可视化方式,综合反映有关数据的来源、数量、质量、分布、标准、流向、关联关系,让用户高效率地找到数据,读懂数据,支撑数据消费。

2.2 数据地图的关键能力

数据地图重点提供数据搜索、排序推荐、数据样例、资产/用户画像等关键能力。

3 人人都是分析师

数据服务解决了“可供应性”,数据地图解决了“可搜索/可获取性”,当消费方获取数据后,提供“可分析”能力,帮助数据消费者结合自身需要获取想要的分析结果。

3.1 从“保姆”模式到“服务+自助”模式

“保姆式”开发模式,即业务部门只负责提出需求,所有的方案从设计到开发实现,统一由总部完成。存在以下问题:

1)总部开发周期长,通常从需求提出到开发实现,需要多轮次需求解析和澄清。

2)无法满足灵活多变的业务要求。



“服务+自助”模式,即公司总部只提供统一的数据服务和分析能力组件服务,各业务部门可以根据业务需要进行灵活的数据分析消费,数据分析的方案和结果由业务自己完成。这一模式有如下价值:

1)数据分析消费周期极大缩短。

2)发挥业务运营主观能动性。

3)减少“烟囱式系统”的重复减少。

3.2 打造业务自助分析的关键能力

华为公司将自助分析作为一种公共能力,在企业层面进行了统一构建。针对三类角色提供差异性服务:

1)面向业务分析师,提供自助分析能力,业务人员通过“拖、拉、拽”即可快速产生分析报告

2)面向数据可视化,提供高效的数据接入能力和常用的数据分析组件,快速搭建数据探索和分析环境

3)面向IT开发人员,提供云端数据开发、计算、分析、应用套件,支撑海量数据的分析与可视化,实现组件重用



以租户为核心的自助分析关键能力

1)多租户管理能力

2)数据加工能力

3)数据分析能力(即席查询、可视分析、自助分享能力



4 从结果管理到过程管理,从能“看”到能“管”

4.1 数据赋能业务运营

数字化运营归根结底是运营,旨在推动运营效率与能力的提升,所以它体现在具体的业务中,而不是一块新的业务,更多是在现有标准流程的基础上改进和完善。数字化运营的核心是数据,以及基于数据的精细化管理和科学决策分析。



业务数字化运营的目的不应只有“察(数字化看板)”,还应该进一步实现“打(业务决策与执行)”,即支撑业务运营作战模式转变,提升运营效率。



基于数据底座的数字化运营模式:

1)满足业务运营中数据实时可视化需求

2)满足业务运营中及时诊断预警的需求

3)满足业务运营中复杂智能决策的需求

4.2 华为数据驱动数字化运营的历程和经验

1)华为数字化运营的不同阶段:

  • “从行走到公交”阶段:大部分情况下采取“机关建、业务部门用”的方式。

  • “从公交到自驾”阶段:由于自研和引进了业界先进的分析工具,各区域开始按需以自助的形式生成各种分析报表”。

  • “从无序到有序”阶段:通过数据底座建设实现生态共建、平台共享的效果。

  • “人工到智能”阶段:在原有的数据实时可视化的基础上,逐步增加动态及时预警能力、智能分析和方案推荐能力、任务自动执行能力,支撑业务数字化运营达到更高层面。



2)做好数字化运营的“三个要点、两个基础”

  • 三个要点”是指数字化运营中的“发育、激励、分享”

在面向各业务部门的数字化运营能力的“发育”过程中,要做好自助分析能力赋能,识别关键核心人员并通过培训与实战的方式帮助他们掌握自助分析的基本能力,同时机关专家要做好现场支持,帮助各业务分析人员“上马”。在数字化运营实践中要充分激励原创,采取各种方式保护原创,同时鼓励各业务部门充分共享优秀实践。

  • 两个基础”是指数字化运营中的“数据服务和IT平台”

数据服务是整个数字化消费的关键,也是业务数字化运营的重要基础。IT平台包括分析平台和数据分析结果呈现前台,其中分析平台承载企业的公共分析能力建设,并重点面向业务分析师提供自助分析能力;数据分析结果呈现前台承载了公共场景的市场能力,支撑典型场景的快速分享。



用户头像

方志

关注

还未添加个人签名 2018.03.15 加入

还未添加个人简介

评论

发布
暂无评论
《华为数据之道》读书笔记:第 6 章 面向“自助消费”的数据服务建设