写点什么

数据管理优化,支持从 API 和对象存储更新数据集|ModelWhale 版本更新

作者:ModelWhale
  • 2024-06-14
    上海
  • 本文字数:1976 字

    阅读完需:约 6 分钟

数据管理优化,支持从 API 和对象存储更新数据集|ModelWhale 版本更新

一年一端午,一岁一安康。端午佳节临近, ModelWhale 也带来了新一轮的版本更新,期待为大家带来更优质的使用体验。

本次更新中,ModelWhale 主要进行了以下功能迭代:

  • 新增 从对象存储更新数据集(专业版✓ 团队版✓ )

  • 新增 从 API 更新数据集(专业版✓ 团队版✓ )

  • 新增 上传文件夹以创建数据集(专业版✓ 团队版✓ )

  • 新增 支持搜索数据集内的数据文件(专业版✓ 团队版✓ )

  • 新增 上传文件夹到 IDE 代码编辑器(专业版✓ 团队版✓ )

  • 新增 用户级、项目级的环境变量管理(专业版✓ 团队版✓ )

  • 新增 站外 API 使用离线任务(专业版✓ 团队版✓ )

  • 新增 回看组织公告(团队版✓)

01 新增 从对象存储更新数据集(专业版✓团队版✓ )

ModelWhale 支持接入客户自有的“对象存储”到平台中进行数据调用,同时支持对“对象存储”内的数据进行预览查看、制作数据集(或定时数据集)、追溯数据使用情况,以及安全的数据共享。

当“对象存储”的数据有更新时,你也可以从“对象存储”中选择文件以更新已有数据集,实现统一的数据管理、研究流程的持续进行。示例:此前你从“对象存储”选取了 3 个文件作为“实验数据”分析;新的实验数据更新进对象存储后,你可以勾选新数据、然后保存到“实验数据”数据集。



02 新增 从 API 更新数据集(专业版✓团队版✓ )

如果你的数据存储在“第三方系统”并已有一套严格的数据使用权限设计,ModelWhale 也支持继承已有权限管控:原有权限不会失效,亦无需在分析平台再次配置权限。填写 API 相关信息后,即可在平台实现对这些数据产品的调用分析(平台也支持从 API 创建数据集)。

当“第三方系统”的数据有更新时,你也可以从“第三方系统”中选择文件以更新已有数据集,实现统一的数据管理、研究流程的持续进行。示例:此前你从“第三方系统”选取了 3 个文件作为“实验数据”分析;新的实验数据更新进对象存储后,你可以勾选新数据、然后保存到“实验数据”数据集。



03 新增 上传文件夹以创建数据集(专业版✓ 团队版✓ )

本地保存管理的数据,往往存在层级结构,比如:城市中心站/2024 年/1 月气温.csv。将数据迁移到平台(创建平台数据集)时,现已支持上传一整个文件夹(保留文件结构),以便你无缝衔接工作流。

在平台完成数据处理后,你也可以在运行时(Notebook、IDE、Canvas)内将结果导出为数据集,这时:同样支持勾选文件夹(保留文件结构)导出。

(1)工作台

(2)运行时内


04 新增 支持搜索数据集内的数据文件( 专业版✓团队版✓ )

文件夹和数据文件的名称通常有一定规范和含义(i.e 城市中心站 20240604),溯源时我们习惯通过“名称”搜索找到某一个具体的数据文件。现 ModelWhale 已增强其搜索能力:支持在工作台、运行时(Notebook、Canvas)搜索数据集内的数据文件。即使文件可能位于多层文件夹下、数据量较大,依然可以被快速搜索找到。

(1)运行时内

(2)工作台 - 空间


05 新增 上传文件夹到 IDE 代码编辑器( 专业版✓ 团队版✓)

对于文件级的数据输入输出、其他脚本处理流程,建议使用 ModelWhale IDE 代码编辑器。除了支持与 Git 关联管理外,本地文件上传时,现已支持在 project 目录下上传文件夹以进行多个文件的批量上传


06 新增 用户级、项目级的环境变量管理( 专业版✓ 团队版✓ )

ModelWhale 支持通过“环境变量”管理敏感信息(比如数据库密码、模型 API Key、个人账号 Token 等)避免泄密:

  • 用户级的环境变量:建议存放个人 Token 、模型 API Key 等敏感信息(可在“个人设置”中设置);

  • 项目级的环境变量:可以配置 git 信息、Kernel 变量、用户名等(在“运行设置”中设置);

注:环境变量支持通过“大写字母+下划线+数字”组合;如有冲突,“项目级”环境变量将覆盖“用户级”。

(1)用户级的环境变量

(2)项目级的环境变量


07 新增 站外 API 使用离线任务( 专业版✓ 团队版✓ )

如果你的数据处理、模型训练需要持续运行较长时间,可以使用 ModelWhale “离线任务” 功能云端托管运行:我们会为你跑完整个项目、记录运行版本,你也可以实时查看运行结果、资源使用情况、系统日志。

现已支持在站外通过 API 使用该功能(i.e 你可以在本地电脑中将代码托管至 ModelWhale 离线任务运行),使用时请在网站完成信息填写,然后即可一键【复制配置项】写入你的代码项目中。具体 API 使用指南,可参考用户手册。

(1)追踪离线任务

(2)配置离线任务

08 新增 回看组织公告( 团队版✓ )


平台提供“组织公告”功能,供管理员向组织成员发布平台消息(i.e 某个数据库的连接方式说明),现已支持查看历史公告。



以上,就是本期 ModelWhale 版本更新的全部内容。


点击链接进入 Modelwhale 官网,免费试用 ModelWhale 专业版(个人研究)团队版(组织协同),获赠 CPU、GPU 算力!(建议使用 pc 端体验试用)

若对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎联系产品顾问交流(咨询备注“产品咨询”)。

用户头像

ModelWhale

关注

个人数据分析工具,组织数据科学协同平台 2022-07-29 加入

ModelWhale 将数据管理、建模分析、模型训练管理、算力资源管理等功能深度整合,通过逐级开放的数据基础设施、 Jupyter Notebook 和 Canvas 两种分析界面、即开即用的云端分析环境,使数据驱动的研究更便捷高效。

评论

发布
暂无评论
数据管理优化,支持从 API 和对象存储更新数据集|ModelWhale 版本更新_人工智能_ModelWhale_InfoQ写作社区