[自研开源] MyData 使用手册 v0.7.1
版本介绍
MyData v0.7.1 版本主要提供 在项目范围内多个环境的数据集成,通过定时任务调用应用的 API 获取、存储和消费业务数据;
系统架构
采用前后端分离的模式,前端使用 Sword 框架开发,后端使用 SpringBlade 框架的 Boot 版本开发;
系统分为 3 个服务,分别是:管理服务、任务服务、业务数据服务;
管理服务,提供数据集成的管理功能;
任务服务,根据任务配置调用第三方接口,分别实现:调用接口获取数据并交由数据服务存储 和 从数据服务读取数据并调用接口消费数据;
业务数据服务,封装 MongoDB 实现自定义标准数据的存储和动态扩展;
功能介绍
登录系统
默认租户 id 是 6 个 0,账密 admin/admin,填写验证码 点击登录按钮;
数据融合
以下介绍实现数据集成的过程,示例内容为 模拟 3 个应用之间的数据集成;
应用管理
应用管理 用于维护应用信息,以便集成时 了解数据的来源和去向;
示例中 添加了 3 个应用,其中 hr 系统作为用户数据
的来源,oa 和 pm 系统消费用户数据
;
API 管理
API 管理 用于维护接口信息,以便任务通过调用 API 传输数据;
新增 API
API 类型的
提供数据
表示该接口返回数据、消费数据
表示该接口接收数据;相对路径 是指接口不包含 ip 和端口的访问地址,结合环境的前置路径 形成完整路径,减少 API 的维护量;
数据类型 目前仅支持 JSON 格式;
JSON 字段层级前缀,格式为 x.y.z,根据 API 类型有 2 种情况
若 API 类型是
提供数据
,则表示从接口返回 JSON 的哪一层解析业务数据;
例如下 JSON,则前缀需设置为 data;
若 API 类型是
消费数据
,则表示调用接口传递 JSON 数据时 需增加的属性名;
同上示例,若设置为 data 则向接口发送的 JSON 如下:
调试 API
点击上方的调试
按钮,打开调试页面;
选择可调用接口的所在环境,可看到接口完整地址;
点击运行
按钮,可查看调用接口的结果,包括响应状态、耗时和响应体;
项目管理
项目管理 主要包括项目信息维护、运行环境、集成数据项和任务的管理,可以实现项目内的数据集成;
创建项目
点击项目管理的新增
按钮,再填写项目的编号、名称和描述 提交即可;
集成管理
点击项目右侧的集成管理
进入
集成页面 包含环境、数据项、集成任务 三部分;
新增数据项
点击+新增数据项
按钮,填写数据编号、名称和字段信息,并设置某个或多个字段的组合 作为数据的唯一标识;
新增环境
点击+环境
按钮,跳转到环境新增页面,填写环境信息,如下图:
添加成功后,再回到项目的集成管理;
任务管理
选择环境后,会显示数据项在所选环境的概况信息;
点击操作列的任务管理
,可以看到任务管理页面;
页面分为左右两部分,左侧是提供数据的任务、右侧是消费数据的任务;
新增任务
新增提供数据任务
填写任务名称
选择
提供数据
类型的 API选择任务周期
字段映射中 填写对应的接口字段名,接口字段可空 表示未提供该数据字段数据;
新增消费数据任务
操作同上,区别是 可选的 API 为消费数据类型的接口;
任务操作
任务状态,
灰色
表示未启动、绿色
表示运行中、红色
表示异常;启动任务,点击
▶
图标启动任务,启动成功后 任务背景色变为绿色;停止任务,点击
‖
图标停止任务;单次执行,点击
⟳
图标可立即执行一次该任务,显示该提示表示任务开始执行
任务日志,点击
🕔
图标查看任务执行日志,如下图:
点击 + 号 可展开查看日志详情
编辑任务,点击
✎
图标显示任务编辑页面,若任务处于运行中 会显示提示
删除任务,点击
🗑️
图标删除任务,若任务处于运行中 则不能删除,会显示提示
数据管理
从全局范围 管理所有数据项,以便快速查找,由于脱离了项目和环境 因此只有基本信息的维护;
任务管理
从全局范围 管理所有的数据同步任务,以便快速查找和调试,由于脱离的项目 暂不支持新增功能,其他功能同前;
环境管理
从全局范围 管理环境信息,以便快速查找;
版权声明: 本文为 InfoQ 作者【LIEN】的原创文章。
原文链接:【http://xie.infoq.cn/article/032e16dd46c6b332e5db87f06】。文章转载请联系作者。
评论