袋鼠云产品功能更新报告 02 期丨有亿点点走心!
不知不觉间,2022 年的脚步已经走到了倒数第二个月。临近年末,我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化,例如基线告警、数据服务平台新增 TDengine 数据源支持、行级权限根据用户属性实现动态赋权。
以下为袋鼠云产品功能更新报告第二期内容,更多探索,请继续阅读。
数栈 DTinsight
离线开发平台
1. 支持对接 Trino 引擎
创建项目时支持对接 Trino 引擎,支持创建和运行 Trino 任务。
2. 个人账号支持绑定 Kerberos 认证
数栈支持对用户或用户组绑定 Kerberos 证书,并支持以用户级 / 用户组级 Kerberos 账号进行任务提交。
3. 基线告警
基线是一组任务的管理单位,被纳入同一组基线的任务一般需要相同的产出时间。一条基线被纳入监控后,该基线中的任务及其所有上游的任务都会被自动监控。
基线在基线管理中开启时,每天晚上 24 点会生成第二天的基线实例,以对第二天的基线上任务所产生的实例进行监控。
例子:如下图,设一条基线包含任务 D、E,则 D、E 及其上游的 A、B 都会被纳入监控。
如果某任务的下游没有被纳入基线的任务(例如 C),则即使该任务异常,智能监控也不会报警。
4. 安全审计增加类目
5.NULL 可以选择识别为 NULL
数据同步任务中,FTP 作为源数据源时,NULL 可以选择识别为 NULL 或者空字符串
6. 整库同步可以选择同步任务存放目录
7. 其他优化项
・在 IDE 中进行任务切换时,会记住上次代码浏览位置
・postgresql、db2、greenplum、kingbase、mysql、oceanbase、oracle、sqlserber、tidb 等任务,存储函数使用 select * from procedure() /select procedure()调用时,在调度不会执行的问题修复
・表查询结果限制,所有 SQL 任务数据查询结果默认仅显示 1000 条
・数据同步任务当 HDFS 分区不存在时,高级配置中可配置是否报错
具体说明:通过指定高级配置中 failedIfPathNotExist 的状态,来配置是否进行报错提示:
若 failedIfPathNotExist=true,则报错;若 failedIfPathNotExist=false,则不报错
8. 技术改造
・统计数据流量统计优化
・SQL 加密解密防止某些关键字被拦
・支持 spark UDF
・inceptor 同步支持直接读写文件的方式去进行数据同步
实时开发平台
1. 产品首页改造
在原来只有项目入口和帮助手册入口的基础上,新增了更多运维信息。帮助用户进入产品后,不需要一个个进入项目,可以直观的看到目前项目运行情况、当前需要处理什么问题,提高产品可用性。
2. 任务运行日志推送
在【任务开发 - 任务设置】页面,支持将任务运行日志推送至外部 Kafka,运维人员可基于日志信息做更丰富的日志分析、任务监控等工作。
3. 优化项目
・PyFlink 任务在创建时可以引用第三方 python 包
・Flink1.12 兼容 TiDB Connector
・Flink1.10/1.12 兼容开启 SASL 认证的 Kafka Connector
・优化日志打印格式,避免出现 /n/t 等字符
・Source Connector 新增支持了 RocketMQ
数据服务平台
1.【生成 API】新增 TDengine 数据源支持
TDengine 是一款高性能、分布式、支持 SQL 的时序数据库,广泛运用于物联网、工业互联网、车联网、IT 运维、金融等领域。除核心的时序数据库功能外,TDengine 还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。
目前 EasyAPI 支持 TDengine 基本 SQL 语句的查询功能,可以在「生成 API」-「自定义 SQL 模式」DQL 模式下创建 TDengine API 服务。
2.【API 市场】增加批量导出功能
支持 API 市场 API 的批量导出,用户可先在测试环境中进行 API 调试,无误后在 API 市场批量导出 API,再在正式环境中导入 API,提高效率。
3.【API 调用情况】新增下载日志功能
「API 管理」API 调用情况 调用明细 / 错误明细模块增加「下载日志」功能,可以通过设置调用条件下载 7 天内的日志数据,方便用户进行明细查看,调用统计。
4.【生成 API】in、not in 操作符增加分隔符配置
之前的版本当进行 in、not in 操作符查询数据时,默认入参参数为逗号分隔。存在特殊业务场景入参参数中包含逗号的情况,导致入参分隔错误。
当前版本中,针对 in、not in 操作符,可以自定义选择英文 “,”、“|”、“/”、“:”、“;” 五种分隔符,以满足不同客户业务场景需求。
数雁 EasyDigit
客户数据洞察平台(原智能标签平台)
1.【授权】- 标签 / 实体 / 群组 / 目录细粒度权限控制
用户痛点:标签、实体、群组等属于企业数据资源的一部分,随着资源持续维护、资产沉淀,对资源的权限控制提出了更高的要求,本次新增的授权功能能够实现灵活的权限控制。
新增功能说明:给用户 / 用户组 / 部门 / 角色授予当前资源的权限,可授权的资源包括标签、实体、群组、目录,可授予的权限包括可查看、可编辑权限,也可以将资源设置为全员公开可查看 / 可编辑,实现细粒度的权限控制。
2.【行级权限】- 根据用户属性实现动态赋权
用户痛点:行级权限 用来控制用户对标签数据的访问权限,当某个用户被设置了行级权限后,只能查看在权限规则内设置的标签数据。
新增功能说明:
・支持针对用户属性动态设置权限规则,如 1000 条结果数据,用户 A 查看 200 条,用户 B 查看 500 条
・单个权限标识可设多条权限规则,且最大支持 5 个层级,条件之间支持配置 “且”、“或” 关系
・权限的适用成员可指定用户、用户组、部门、角色,且支持针对用户属性动态设置适用成员
3.【多值标签】- 标签值分隔去重
多值标签 的值由一个或多个值组合构成,多个值之间由分隔符进行分隔(系统固定为英文逗号),可在实体 / 关系创建时指定标签是否多值。
多值型标签的操作符包括【包含部分、包含所有、不包含、精确匹配、模糊匹配、不匹配、有值、无值】,可选的是分隔并去重后的标签值。其中:
・包含所有:若选择多个标签值,筛选结果将同时符合所有标签值,即多个标签值的筛选结果之间使用交集运算;
・包含部分:若选择多个标签值,筛选结果将至少符合其中一个标签值,即多个标签值的筛选结果之间使用并集运算。
4.【组织架构】- 引入多层级部门
组织架构 是一个组织整体的结构,是企业内部开展业务、落实管理的基本要素。标签系统支持根据多层级的组织架构添加用户,并根据部门进行标签授权、行级权限的控制。
5.【批量操作】- 发布 / 更新交互升级
・批量发布:分类展示可发布、无法发布的标签,并说明标签无法发布的原因,降低操作门槛
・批量更新:分类展示可更新、无法更新的标签,并说明标签无法更新的原因,降低操作门槛
6.【通用模板】- 查询模板设置
设置查询维度通用模板,并直接应用于标签圈群、上传本地群组、群组交并差选查询维度的地方,用户可以在模板的基础上增删查询维度,减少操作成本。
7.【导出描述】- 导出数据时可填描述
用户在导出数据时可填写描述信息,系统将描述信息记录在审计日志中。
8. 其他优化项
・标签圈群支持重置条件
・字典数据最大支持 2000 条
版权声明: 本文为 InfoQ 作者【数栈DTinsight】的原创文章。
原文链接:【http://xie.infoq.cn/article/e405441c893069e8e5d854a16】。文章转载请联系作者。
评论