写点什么

[自研开源] MyData 使用手册 v0.7.1

作者:LIEN
  • 2024-03-07
    江苏
  • 本文字数:1884 字

    阅读完需:约 6 分钟

[自研开源] MyData 使用手册v0.7.1

版本介绍

MyData v0.7.1 版本主要提供 在项目范围内多个环境的数据集成,通过定时任务调用应用的 API 获取、存储和消费业务数据;

系统架构



  • 采用前后端分离的模式,前端使用 Sword 框架开发,后端使用 SpringBlade 框架的 Boot 版本开发;

  • 系统分为 3 个服务,分别是:管理服务、任务服务、业务数据服务;

  • 管理服务,提供数据集成的管理功能;

  • 任务服务,根据任务配置调用第三方接口,分别实现:调用接口获取数据并交由数据服务存储 和 从数据服务读取数据并调用接口消费数据;

  • 业务数据服务,封装 MongoDB 实现自定义标准数据的存储和动态扩展;

功能介绍

登录系统

默认租户 id 是 6 个 0,账密 admin/admin,填写验证码 点击登录按钮;



数据融合

以下介绍实现数据集成的过程,示例内容为 模拟 3 个应用之间的数据集成;

应用管理

应用管理 用于维护应用信息,以便集成时 了解数据的来源和去向;

示例中 添加了 3 个应用,其中 hr 系统作为用户数据的来源,oa 和 pm 系统消费用户数据



API 管理

API 管理 用于维护接口信息,以便任务通过调用 API 传输数据;

  1. 新增 API


  • API 类型的 提供数据 表示该接口返回数据、消费数据 表示该接口接收数据;

  • 相对路径 是指接口不包含 ip 和端口的访问地址,结合环境的前置路径 形成完整路径,减少 API 的维护量;

  • 数据类型 目前仅支持 JSON 格式;

  • JSON 字段层级前缀,格式为 x.y.z,根据 API 类型有 2 种情况

  • 若 API 类型是提供数据,则表示从接口返回 JSON 的哪一层解析业务数据;

例如下 JSON,则前缀需设置为 data;

{    "code": 200,    "success": true,    "data": [{        "createUser": -1,        "createTime": "",        "updateUser": -1,        "updateTime": "",        "status": -1,        "isDeleted": 0,        "id": 1,        "userCode": "user_001",        "userName": "用户11",        "birthday": "2000-01-01 00:00:00",        "age": 1,        "salary": 111.00        },        ...    ],    "msg": "操作成功"}
复制代码


  • 若 API 类型是消费数据,则表示调用接口传递 JSON 数据时 需增加的属性名;

同上示例,若设置为 data 则向接口发送的 JSON 如下:

{    "data": [{        "createUser": -1,        "createTime": "",        "updateUser": -1,        "updateTime": "",        "status": -1,        "isDeleted": 0,        "id": 1,        "userCode": "user_001",        "userName": "用户11",        "birthday": "2000-01-01 00:00:00",        "age": 1,        "salary": 111.00        },        ...    ]}
复制代码


  1. 调试 API

点击上方的调试按钮,打开调试页面;

选择可调用接口的所在环境,可看到接口完整地址;


点击运行按钮,可查看调用接口的结果,包括响应状态、耗时和响应体;


项目管理

项目管理 主要包括项目信息维护、运行环境、集成数据项和任务的管理,可以实现项目内的数据集成;

  1. 创建项目

点击项目管理的新增按钮,再填写项目的编号、名称和描述 提交即可;



  1. 集成管理

点击项目右侧的集成管理进入


集成页面 包含环境、数据项、集成任务 三部分;


  1. 新增数据项

点击+新增数据项按钮,填写数据编号、名称和字段信息,并设置某个或多个字段的组合 作为数据的唯一标识;


  1. 新增环境

点击+环境按钮,跳转到环境新增页面,填写环境信息,如下图:

添加成功后,再回到项目的集成管理;


  1. 任务管理

选择环境后,会显示数据项在所选环境的概况信息;


点击操作列的任务管理,可以看到任务管理页面;

页面分为左右两部分,左侧是提供数据的任务、右侧是消费数据的任务;


  1. 新增任务

  • 新增提供数据任务


  • 填写任务名称

  • 选择提供数据类型的 API

  • 选择任务周期

  • 字段映射中 填写对应的接口字段名,接口字段可空 表示未提供该数据字段数据;

  • 新增消费数据任务

操作同上,区别是 可选的 API 为消费数据类型的接口;


  1. 任务操作


  • 任务状态,灰色 表示未启动、绿色 表示运行中、红色 表示异常;

  • 启动任务,点击图标启动任务,启动成功后 任务背景色变为绿色;

  • 停止任务,点击图标停止任务;

  • 单次执行,点击图标可立即执行一次该任务,显示该提示表示任务开始执行 

  • 任务日志,点击🕔图标查看任务执行日志,如下图:

点击 + 号 可展开查看日志详情

  • 编辑任务,点击图标显示任务编辑页面,若任务处于运行中 会显示提示 

  • 删除任务,点击🗑️图标删除任务,若任务处于运行中 则不能删除,会显示提示 


数据管理

从全局范围 管理所有数据项,以便快速查找,由于脱离了项目和环境 因此只有基本信息的维护;



任务管理

从全局范围 管理所有的数据同步任务,以便快速查找和调试,由于脱离的项目 暂不支持新增功能,其他功能同前;



环境管理

从全局范围 管理环境信息,以便快速查找;



发布于: 刚刚阅读数: 5
用户头像

LIEN

关注

还未添加个人签名 2020-04-25 加入

还未添加个人简介

评论

发布
暂无评论
[自研开源] MyData 使用手册v0.7.1_开源_LIEN_InfoQ写作社区