部署 及 使用 etl crontab 和 etl engine

如何部署及使用 etl_crontab 和 etl_engine

内容详细，适合新人上手

1、前置条件

获取到以下文件列表

code.bin (授权文件，必须)

code.key (授权文件，必须)

conf.cron (调度配置文件，使用 etl_crontab 必须)

sys.properties (环境配置文件，使用 etl_crontab 必须)

etllog_mysql.sql (日志表结构文件，使用 etl_crontab 必须)

etl_crontab.exe (管理端，用于配置 etl 任务、配置调度定期执行 etl_engine、查看日志等功能)

etl_engine.exe (ETL 引擎，用于解析执行 ETL 任务，必须)

readme_v1.2.7.txt (说明文件,非必须)

etl-engine.pdf (说明文件,非必须)

2、准备用于存储日志的数据库

将 etllog_mysql.sql 脚本文件导入到自己的 MySQL 数据库中，如数据库名称是 db1

3、修改配置文件

conf.cron

该文件配置了 etl-engine 引擎文件位置，每个 etl 任务在什么时刻执行，及日志输出级别，http 服务端口号等信息，

各参数可根据实际情况进行修改，具体参数可参看 etl_engine.pdf 文件或其它资料。

如：下面两个配置要根据实际情况进行修改。

engineFile 引擎文件存放位置（默认配置 d:/etl_crontab/etl_engine.exe）

confDir etl 任务配置文件所在目录（默认配置 d:/etl_crontab/config）

sys.properties

该文件是日志输出数据源配置(当前配置默认支持输出到 mysql)，和 etl 设计器登录等配置。

4、启动 etl_crontab（管理端）

执行以下命令：

etl_crontab.exe -fileUrl conf.cron

etl_crontab.exe 运行后，默认会启动一个 11100 的 http 端口，用于和 etl 后台管理进行交互。

http://127.0.0.1:11100/etl_designer

用户名称：admin

口令：123456

默认会启动 11101 端口，用于向前端推送控制台日志信息（取消该功能可通过配置 conf.cron 文件中 webSocketPort="" 或 取消该设置）。

5、执行 etl_engine（根据实际情况使用）

1）由 etl_crontab 调度负责调用 etl_engine 执行，不需要人为干预。

2）独立执行 etl_engine

执行以下命令：

etl_engine.exe -fileUrl d:/example.grf -logLevel info

6、查看相关日志（均可通过管理端查看）

1）读写成功与失败的日志信息存储在数据库中

2）etl_engine 执行过程中的日志输出到 etl_engine.log 文件中

3）etl_crontab 执行过程中的日志输出到 etl_crontab.log 文件中