多引擎可视化数据流实现方案

元年的多引擎可视化数据流实现方案

元年的可视化数据流方案是一种多引擎可视化数据流实现方案，一个可视化数据流可同时使用多个开源计算引擎，并能够用多种数据结构进行数据分析。

可视化数据流抽象体系

元年可视化数据流共有 3 个核心抽象，分别是步骤、引擎、数据结构，其关系如下图所示：

（图 1：可视化数据流抽象图）

一个完整的可视化数据流由多个步骤构成，每个步骤均有输入与输出数据结构，每个步骤均可运用不同的引擎。

1、步骤

步骤代表数据处理流程中的一个步骤，无论是输入步骤、处理步骤、输出步骤，均是步骤。以一个‘步骤’抽象统御输入、处理、输出的好处是抽象层次更高，抽象体系更统一，更方便将公共优化机制运用于所有类型的步骤，比如每一步均可开启重试机制，一套重试机制可用于所有类型的步骤。

2、引擎

引擎代表底层实际执行数据处理任务的计算引擎。元年可视化数据流正是通过这一抽象，实现了接入所有前沿优秀计算引擎的能力。

3、数据结构

数据结构是数据流转的载体。可视化数据流的每一个步骤，均有输入与输出，每一个步骤的输入与输出数据结构可以是不同的，就能够令可视化数据流的流动形式与流动内容更为灵活。

可视化数据流设计界面

元年的可视化数据流设计界面，具有美观的、不同颜色的插件，具有网格状的画布，用户通过简单的拖拽与连线，即可完成数据流的绘制工作，极大地提升大数据开发效率。

（图 2：可视化数据流设计界面）

可视化数据流管理系统

元年的可视化数据流具有统一的、易用的管理系统，能够方便地进行数据流的增删改查，及可视化数据流运行情况的监控。

（图 3：可视化数据流管理界面）

元年方舟数据中台集成多个开源计算引擎，一个数据流能同时运用多个开源计算引擎进行数据处理，极大提升了数据处理的灵活性；允许开发者以任意数据结构进行数据分析，一个数据流能运用多个数据结构进行数据分析，极大提升了数据分析的灵活性。

基于元年方舟的可视化数据流的可视化与灵活性，一方面极大提升用户数据开发的效率。传统数据开发，若想要运用大数据组件的计算能力，不仅需要有深厚的大数据技术底蕴，而且从开发到调试到部署，整个周期很长，而运用元年方舟的可视化数据流，则能将原来 20 人天的工作量，缩减到 1 人天，因用户不需要了解底层原理，也不需要繁琐的调试与部署，只需要通过拖拉拽的方式，实现业务逻辑，就能轻松完成大数据处理工作。一方面有利于用户进行技术沉淀，提升企业技术复用能力。元年方舟的可视化数据流本质上是解耦了数据开发的各个环节，使得通用数据处理逻辑，能以插件的方式沉淀下来，形成企业可复用的技术资产。

最后我们看一个真实的案例，通威集团在引入元年数据中台之后，平滑地将原来的数据开发逻辑迁移到可视化数据流，并将通用数据处理逻辑提取出来，沉淀为可复用的插件。依托可视化数据流的可视化能力与衔接数据处理逻辑的能力，以拖拉拽的方式，复用通用插件，迅速定制开发了多个新的数据处理作业，同时开发成本、测试成本、运维成本大幅降低，提升了整个数据团队的工作效率。