一种多引擎可视化数据流实现方案

企业大数据处理的挑战

随着大数据时代的到来，数据量迅猛增长，给传统的分析技术带来了巨大的冲击和挑战，企业面临着大数据处理的巨大挑战。将复杂的大数据处理问题进行简化，以便企业有更多人能够进行大数据处理，进而整体提升企业大数据处理能力显得尤为重要。可视化是简化大数据处理的关键。现有技术中有多种可视化方法，这些方法多是选择一种计算引擎作为底层计算引擎，并以一个固定的数据结构进行数据流转，无法以多种引擎、多种数据结构，支撑企业的大数据处理需求。

为满足企业多样化的大数据处理需求，必须能够同时运用各项前沿技术，对于可视化的大数据处理方案，需要能同时引入多种计算引擎，以便应对各种大数据处理场景。元年方舟数据中台，能接入多个大数据处理引擎，快速响应企业大数据处理需求，极大缩短大数据开发周期，提升企业研发实力，助力企业数字化转型。

可视化是支撑企业大数据处理的关键

可视化数据流是对数据处理流程的抽象，是对人们进行数据处理自然思路的可视化呈现。可视化数据流以插件为核心，插件与插件之间以线相连，每个插件代表一个数据处理步骤。

我们进行数据处理，不外乎是三个步骤，首先是输入数据，其次是处理数据，最后是输出数据。数据输入与输出要能够适配多种数据源类型，数据处理则要能包含各种数据处理常用逻辑。元年方舟数据中台提供的可视化数据流提供了简单易用的数据流设计界面，并提供了多种数据处理插件，能够满足用户各种场景的数据处理需求。

可视化数据流发展现状

目前很多厂商也有可视化数据流产品方案，但都有明显缺点。首先是只能接入一种开源计算引擎，无法接入多个开源计算引擎，限制了数据处理的灵活性；其次是只能依托一种数据结构进行数据分析，无法以任意数据结构进行数据分析，限制了数据分析的灵活性。