数据交换机案例详解|基于 smardaten 实现智慧园区数据处理与分析

需求背景

在智慧园区治理中，管理人员常常面临多重数据挑战。各个业务系统的数据壁垒导致企业信息、合同数据、纳税记录等分散存储，形成数据孤岛。

更为棘手的是，数据处理过程严重依赖 IT 人员和技术团队，业务人员即使有分析思路，也难以快速实现。从数据接入到最终可视化展示，往往需要经历漫长开发周期，无法支持实时决策。当需要计算一些专业指标时，业务人员不得不等待技术团队开发相应计算逻辑，响应速度慢，成本高昂。

解决方案

smardaten 平台中提供了数据交换机功能，针对上述痛点提供了完整的解决方案。数据交换机是平台中的核心数据处理模块，它通过可视化的方式，让用户能够通过简单拖拽配置复杂的数据处理流程。

与传统编码方式相比，数据交换机具有以下突出优势：

• 可视化操作：提供丰富的算子节点（输入、输出、基本转换等），通过拖拽即可完成数据处理流程设计，降低技术门槛；

• 多源数据支持：能够同时接入数据库、外部接口、Excel 等多种数据源，实现数据统一融合处理；

• 便捷的数据处理能力：内置数据清洗、转换、关联、计算等全方位功能，支持复杂业务逻辑实现。

处理场景：入驻企业纳税与风险分析

某智慧园区需要对企业进行精准评估，识别高潜力企业和高风险企业。核心分析目标包括：

• 计算每家入驻企业 2022-2024 年的纳税复合增长率，并生成排名；

• 结合纳税增长率并计算租金收缴率，进行风险分级预警，形成预警清单；

• 将数据处理结果通过列表、图表等可视化形式进行直观展示，支持管理决策。

配置过程

1. 纳税复合增长率计算

在第一个交换机中，我们需要计算每家企业 2022 到 2024 年的纳税复合增长率。整个流程将涵盖数据接入、清洗与转换、关联、计算、输出和可视化展示六个核心环节。

1.1 数据接入

首先，完成多源数据的接入工作。通过“输入数据源”节点和“Excel 抽取”节点，轻松导入企业信息表（来自 MySQL 数据库）、合同信息表（来自外部接口）和税务年度记录表（来自 Excel）。

1.2 数据清洗与转换

原始数据往往杂乱，必须清洗和转换后才能用于分析，这是确保分析结果准确性的关键步骤，能剔除无效数据、规范数据格式。

在“合同信息表”中，“租用地址”字段将园区地址、楼栋号、楼层号通过横线连接存储，需要通过该字段获取到园区名称。

通过「分列」节点，解析合同信息表中的“租用地址”字段，分别定义“园区地址”、“楼栋号”、“楼层号”三个目标字段，以横线为分隔符进行切分，形成三列数据。右侧，处理结果将会自动按列序号递增分配切分结果。

针对“税务年度记录表”，需要过滤出最近三年的数据以计算有意义的复合增长率。使用「过滤」节点，设置年份条件为 2022、2023 和 2024 年，精准筛选出所需数据。

发现税收或营收字段有空值？使用「空值填充」节点，将这些空数据统一填充为 0，保障数据完整性。

原始税务记录是一年一行，为方便后续纳税复合增长率的计算，使用「行转列」节点，将每个企业三年的纳税金额转为一行三列，结构清晰，方便后续计算。

1.3 数据关联

数据清洗与转换完成后，需要将分散在三张表中的数据关联起来，获取所需的字段，形成完整的数据表。使用「维表关联」的节点，将三张表根据企业 ID 关联起来，输出所需的字段。

1.4 数据计算

数据整合到位后，进入核心的指标计算环节。通过「函数」节点实现复杂运算，平台内置多种 sparkSQL 函数，无需专业编程能力，只需输入计算表达式，即可快速完成纳税复合增长率计算，非常简单！

计算完成后，还需两步优化结果呈现。首先，增长率计算完成后，是小数的展示形式。如果我们更希望展示为百分比的形式，只需使用「度量转换」节点，新增百分比字段，转换比例为 1 比 100。

其次，还可以使用「排名」节点，按纳税复合增长率百分比进行降序排名，让高增长企业一目了然。

1.5 数据输出

最后通过「合并输出数据」节点将结果输出到资产表。

选择“插入并更新”模式，以企业 ID 为主键，无相同数据则插入，有相同数据则自动更新，避免数据冗余。

现在我们已经完成了所有节点的配置，执行交换机后，很快就能得到包含企业 ID、园区名称、企业名称、纳税复合增长率以及排名的完整资产表。

同时下方，支持查看每个处理节点的中间输出数据，便于校验与调试。

更便捷的是，还支持设定「定时调度」，比如每个季度执行一次，设定起止时间，实现数据自动处理，无需人工重复操作。

1.6 可视化展示

完成数据输出后，来到智慧园区应用中，进行可视化展示。在工作台页面的画布列表中，绑定刚刚生成的资产表。预览后，可以看到排行榜中直观展示了不同园区每家企业的纳税增长排名和对应的增长率。

2. 企业风险等级分析

有了核心的纳税增长数据，我们进一步延伸分析维度，将“纳税增长能力”与“租金履约能力”结合，精准识别潜在风险企业，让管理从“被动应对”转向“主动预警”。

2.1 数据接入

创建一个新的交换机，拖入「输入数据源」节点，导入下方的数据表：

• 纳税复合增长率资产：上一个交换机输出的资产，包含企业 ID、名称、增长率等数据；

• 收租计划表：包含应缴日期和应收金额等数据；

• 实际收款表：包含实缴日期和实收金额等数据。

2.2 复杂分析

现在我们要进行一个复杂分析，除了之前我们综合使用各个节点进行处理，可灵活使用「高级 SQL」节点，直接编写 SQL 语句进行处理，兼顾灵活性和效率。

在这段查询 SQL 中，将针对纳税增长率的排名和收缴率两个指标对企业进行打标。例如，如果增长率排名小于等于 10，同时收缴率又小于 90%，标记为“高增长-高逾期风险”的企业，招商或客户部门应主动介入，了解其是否存在经营困难，防范坏账风险。最后我们会得到一份预警清单。

同时 SQL 语句中的表名称需替换为对应的 S1、S2 节点，完成后点击校验 SQL，确认 SQL 语句可用。

2.3 数据输出

最后，拖入「输出数据源」节点，输出处理后的数据。

现在我们来执行交换机，查看最终节点的输出。

现在已经完成了企业风险等级的分析。我们发现该交换机数据的执行是依赖于前一个交换机输出的纳税增长率资产表，所以在应用配置页，选中一个交换机开启触发依赖，即一旦纳税增长率的交换机执行完成后，会立即自动触发第二个交换机的执行任务，将两个分析阶段无缝衔接，形成一个连贯的自动化管道。

2.4 可视化展示

最后，在工作台页面的配置页，将图表和列表绑定资产。左侧环形图，直观展示了各风险等级的企业数量分布，帮助管理者快速把握整体风险轮廓，右侧画布列表则可以直接查看收缴率低于 95%的具体企业名单。

体验总结

通过智慧园区治理平台的数据处理与分析，smardaten 数据交换机展现出以下几方面突出价值：

• 支持敏捷迭代：当业务规则变化时，只需调整相应节点配置即可快速响应，无需重新开发整个流程；

• 实现自动化运营：通过配置触发依赖和定时调度，整个数据处理流程可实现全自动化运行，极大减少人工干预需求。前一个交换机执行完成后可自动触发后续流程，形成连贯的自动化管道；

• 数用一体：数据处理结果可直接应用于业务场景，简单直观，避免了传统模式下数据平台与应用场景脱节的问题。