ETLCloud 结合 kafka 的数据集成

一、ETLCloud 中实时数据集成的使用

在 ETLCloud 中数据集成有两种方式，一种是离线数据集成，另一种便是我们今天所要介绍的实时数据集成了，两者的区别从名字便可以得知，前者处理的数据是离线的没有时效性的，后者的数据是有时效性的，所以要根据自己需要的场景来使用这两个模块。

实时数据集成常见的场景有，CDC 监听，Kafka 监听，MQ 监听（商业版），今天我们结合一些常用的场景来演示一下 Kafka 监听的使用。

二、场景演示

在实时数据集成中有一个重要的对象便是监听器，顾名思义是用来监听数据的变动的，一旦数据有变动那么监听器就能监听到并对数据进行原先设置好的方式去处理。

1、创建监听器

点击实时数据集成模块，进入模块首页，选择 Kafka 监听器，点击新增监听器

2、监听器的配置，Kafka 的数据源我们需要在数据源管理中去新建

数据源选择 Kafka 然后新建数据源填写服务相关信息即可。

监听器配置图如下：

选择我们刚刚创建好的 Kafka 数据源，点击载入主题列表按钮，便可以获取所有的消费主题，填写消费分组，数据来源选择其他 topic 数据（监听的是 Kafka 中的主题）

接收端的配置：

我们可以选择把数据传给指定流程或者直接输出到目标库中，我们选择传输给 ETL 流程

3、创建接收实时数据的离线流程或目标数据库

我们可以创建一个简单的流程，将数据进行输出，流程如下。

4、向 Kafka 发送消息，offersetExploer 工具连接 Kafka 并找到所要监听的主题，进行消息发送。

5、发送后回到我们之前创建好的流程查看流程日志，可以发现监听到的数据已经发送到流程中了。

同理如果是将数据传输到目标数据库，只需要配置好目标数据源即可

三、总结

实时数据集成是 ETLCloud 中重要的功能模块之一，与离线数据集成相对应。实时数据集成能够处理具有时效性的数据，常见的场景包括 CDC 监听、Kafka 监听以及 MQ 监听等。

在实时数据集成中，监听器是一个重要的对象，用于监听数据的变动，一旦数据有变动，监听器就会触发相应的处理操作。具体操作包括创建监听器、配置 Kafka 数据源、设置接收端配置等步骤。

对于 Kafka 监听器的配置，需要先在数据源管理中新建 Kafka 数据源并填写相关信息，然后配置监听器以选择消费主题、填写消费分组等。接收端的配置可以选择传输给 ETL 流程或直接输出到目标数据库。

创建接收实时数据的离线流程或目标数据库是实时数据集成的关键步骤之一，通过简单的流程可以将监听到的数据进行输出或传输至目标数据库。

最后，通过消息发送工具向 Kafka 发送消息，然后查看流程日志以确认监听到的数据是否已经发送到流程中。