企业级一站式大数据开发平台理论及实践

王知无

关注

发布于: 1 小时前

【大数据技术与架构】2021年大数据面试进阶系列系统总结

前言

本文是个人在从零搭建部门数据及运营平台的过程中的笔记。随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据的产生，越来越多的企业开始在大数据平台下进行数据处理。

本文借鉴了众多网络上公开的案例和实践。旨在为大家提供建设一站式的数据平台的思路。

一站式大数据平台，应该提供数据抽取、数据清洗、数据存储、数据分析、数据共享一站式全流程数据治理，以及数据安全、运维监控等管理。使用户能够更有效地利用数据构建核心系统，加速业务创新。

我们期待的一站式数据平台应该包含：

一站式数据治理：提供数据仓库的构建，多样化抽取任务调度配置，实现业务数据/实时数据抽取清洗，并入库到数据仓库。同时，提供数据仓库数据高效的检索，满足数据的多样化查询需求。
数据血缘分析：数据血缘分析是保证数据融合（聚合）质量的关键环节，通过血缘分析实现数据融合处理的可追溯。同时，可分析数据的数据价值。
智慧数据目录：数据资产目录提供自定义目录编目、标签系统、资产快速检索，同时支持用户搭建全局知识库，沉淀业务理解。
数据可视化：产品将图形语法产品化，用户无需掌握编程，简单拖拉拽即可进行可视化分析
数据隐私：针对些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护

我们用网易易数官网的典型架构图进行说明：

图中从数据采集、存储、开发和业务支持提供了一站式的服务。并且在此之上支持了以下的数据产品：

下面是几个典型的一站式数据平台的实施方案：

微众银行一站式大数据平台建设方案

微众银行基于海量数据、数据孤岛等痛点，微众银行的业务模式要求大数据平台解决方案必须：

支持海量数据
一站式的数据存储和用户体验
符合金融级别的可靠性、安全性的要求
自主可控
低成本

在明确大数据平台的目标和要求之后，微众银行形成了一个基于大数据生态的套件平台 WeDataSphere，整体架构图如下：

在方案中，所有的计算和存储引擎进行了统一，上层的应用开发工具，微众银行全部进行了自主研发。首先解决了存储的统一；其次面对众多计算的客户端，在解决计算的统一入口和调度上，银行自研了大数据领域的计算中间件 Linkis。

通过隔离基础的存储计算引擎和应用客户端，统一解决了每个客户端和应用都要面临的问题，包括权限管控，多租户隔离，多引擎支持，以及计算资源的弹性扩缩容。并且，进一步通过 Linkis 中间件，把不同客户端之间的数据交互和批量依赖打通，真正能够给业务用户一站式的大数据应用的服务，所有的工具都可以连接起来，并且共享用户权限，用户定义的变量，用户定义的函数，大大提高了数据应用的开发效率，和运维效率。

整个平台的运维和管理是集成在 Managis 这个组件中的，在这个组件里面完成了所有底层、工具和自研组件的运维工作，同时，汇总了监控信息，集成了集群的部署和扩缩容，以及自动化的故障处置。

微众银行的大数据平台支撑的银行业务场景包括：