数据管理优化,支持从 API 和对象存储更新数据集|ModelWhale 版本更新
![数据管理优化,支持从 API 和对象存储更新数据集|ModelWhale 版本更新](https://static001.geekbang.org/infoq/ad/ad316b4baae98e31e36ceb621d6266af.jpeg)
一年一端午,一岁一安康。端午佳节临近, ModelWhale 也带来了新一轮的版本更新,期待为大家带来更优质的使用体验。
本次更新中,ModelWhale 主要进行了以下功能迭代:
新增 从对象存储更新数据集(专业版✓ 团队版✓ )
新增 从 API 更新数据集(专业版✓ 团队版✓ )
新增 上传文件夹以创建数据集(专业版✓ 团队版✓ )
新增 支持搜索数据集内的数据文件(专业版✓ 团队版✓ )
新增 上传文件夹到 IDE 代码编辑器(专业版✓ 团队版✓ )
新增 用户级、项目级的环境变量管理(专业版✓ 团队版✓ )
新增 站外 API 使用离线任务(专业版✓ 团队版✓ )
新增 回看组织公告(团队版✓)
01 新增 从对象存储更新数据集(专业版✓团队版✓ )
ModelWhale 支持接入客户自有的“对象存储”到平台中进行数据调用,同时支持对“对象存储”内的数据进行预览查看、制作数据集(或定时数据集)、追溯数据使用情况,以及安全的数据共享。
当“对象存储”的数据有更新时,你也可以从“对象存储”中选择文件以更新已有数据集,实现统一的数据管理、研究流程的持续进行。示例:此前你从“对象存储”选取了 3 个文件作为“实验数据”分析;新的实验数据更新进对象存储后,你可以勾选新数据、然后保存到“实验数据”数据集。
![](https://static001.geekbang.org/infoq/99/99e4bec57498df7f29ba53cbbf55a67d.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/01/01550965bbcfa4e19fd86f09a4930db5.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/e4/e4106c24823a93040793a5f792381270.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
02 新增 从 API 更新数据集(专业版✓团队版✓ )
如果你的数据存储在“第三方系统”并已有一套严格的数据使用权限设计,ModelWhale 也支持继承已有权限管控:原有权限不会失效,亦无需在分析平台再次配置权限。填写 API 相关信息后,即可在平台实现对这些数据产品的调用分析(平台也支持从 API 创建数据集)。
当“第三方系统”的数据有更新时,你也可以从“第三方系统”中选择文件以更新已有数据集,实现统一的数据管理、研究流程的持续进行。示例:此前你从“第三方系统”选取了 3 个文件作为“实验数据”分析;新的实验数据更新进对象存储后,你可以勾选新数据、然后保存到“实验数据”数据集。
![](https://static001.geekbang.org/infoq/1e/1e9b289fdac5ce40ba976ab3bde9ff10.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/f4/f4c0abb77c4fb0bce740daca1467d5aa.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/b0/b0f7bd006388bfbc5a1b944970ee5224.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
03 新增 上传文件夹以创建数据集(专业版✓ 团队版✓ )
本地保存管理的数据,往往存在层级结构,比如:城市中心站/2024 年/1 月气温.csv。将数据迁移到平台(创建平台数据集)时,现已支持上传一整个文件夹(保留文件结构),以便你无缝衔接工作流。
在平台完成数据处理后,你也可以在运行时(Notebook、IDE、Canvas)内将结果导出为数据集,这时:同样支持勾选文件夹(保留文件结构)导出。
(1)工作台
![](https://static001.geekbang.org/infoq/44/44c38d11c3bc5d99eea67b9c928605a9.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
(2)运行时内
![](https://static001.geekbang.org/infoq/65/6506ad6c51a55f36174670eeaf8f2168.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/01/0153766657b92b453b39a7ab9fb90767.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
04 新增 支持搜索数据集内的数据文件( 专业版✓团队版✓ )
文件夹和数据文件的名称通常有一定规范和含义(i.e 城市中心站 20240604),溯源时我们习惯通过“名称”搜索找到某一个具体的数据文件。现 ModelWhale 已增强其搜索能力:支持在工作台、运行时(Notebook、Canvas)搜索数据集内的数据文件。即使文件可能位于多层文件夹下、数据量较大,依然可以被快速搜索找到。
(1)运行时内
![](https://static001.geekbang.org/infoq/d6/d6d4c28b2b1fcadb7353850b77e3dac3.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
(2)工作台 - 空间
![](https://static001.geekbang.org/infoq/ac/acb8d34fe4796c20623e4d30f4d09c5d.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/be/beeddf9ee6295be4a3d50009309eb8a6.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
05 新增 上传文件夹到 IDE 代码编辑器( 专业版✓ 团队版✓)
对于文件级的数据输入输出、其他脚本处理流程,建议使用 ModelWhale IDE 代码编辑器。除了支持与 Git 关联管理外,本地文件上传时,现已支持在 project 目录下上传文件夹以进行多个文件的批量上传。
![](https://static001.geekbang.org/infoq/b6/b6c692ac63434acb12043aa192b43349.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/82/826e6f3fa499de3c86c2c7b7eb9f078f.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
06 新增 用户级、项目级的环境变量管理( 专业版✓ 团队版✓ )
ModelWhale 支持通过“环境变量”管理敏感信息(比如数据库密码、模型 API Key、个人账号 Token 等)避免泄密:
用户级的环境变量:建议存放个人 Token 、模型 API Key 等敏感信息(可在“个人设置”中设置);
项目级的环境变量:可以配置 git 信息、Kernel 变量、用户名等(在“运行设置”中设置);
注:环境变量支持通过“大写字母+下划线+数字”组合;如有冲突,“项目级”环境变量将覆盖“用户级”。
(1)用户级的环境变量
![](https://static001.geekbang.org/infoq/df/df02e5efa47b70c650770ea1c041ecb5.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
(2)项目级的环境变量
![](https://static001.geekbang.org/infoq/29/294875643f2f16c7be741706fcb4a0ca.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/a4/a440c547c90c937cb911e20201c151f6.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
07 新增 站外 API 使用离线任务( 专业版✓ 团队版✓ )
如果你的数据处理、模型训练需要持续运行较长时间,可以使用 ModelWhale “离线任务” 功能云端托管运行:我们会为你跑完整个项目、记录运行版本,你也可以实时查看运行结果、资源使用情况、系统日志。
现已支持在站外通过 API 使用该功能(i.e 你可以在本地电脑中将代码托管至 ModelWhale 离线任务运行),使用时请在网站完成信息填写,然后即可一键【复制配置项】写入你的代码项目中。具体 API 使用指南,可参考用户手册。
(1)追踪离线任务
![](https://static001.geekbang.org/infoq/2f/2f5060071b09f0c3778cc861696a6bd0.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
(2)配置离线任务
![](https://static001.geekbang.org/infoq/fb/fbf688af0c37a543e4a8cf11991584cc.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
08 新增 回看组织公告( 团队版✓ )
平台提供“组织公告”功能,供管理员向组织成员发布平台消息(i.e 某个数据库的连接方式说明),现已支持查看历史公告。
![](https://static001.geekbang.org/infoq/7a/7a7b910ff7d11ad613559a45be78b8bc.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/09/09d779d91ba9d2f3d7abee40378249d1.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/a4/a40be2e0296c33835affe25022c4becc.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
以上,就是本期 ModelWhale 版本更新的全部内容。
点击链接进入 Modelwhale 官网,免费试用 ModelWhale 专业版(个人研究)或团队版(组织协同),获赠 CPU、GPU 算力!(建议使用 pc 端体验试用)
若对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎联系产品顾问交流(咨询备注“产品咨询”)。
评论