数据管理优化，支持从 API 和对象存储更新数据集｜ModelWhale 版本更新

一年一端午，一岁一安康。端午佳节临近， ModelWhale 也带来了新一轮的版本更新，期待为大家带来更优质的使用体验。

本次更新中，ModelWhale 主要进行了以下功能迭代：

• 新增 从对象存储更新数据集（专业版✓ 团队版✓ ）

• 新增 从 API 更新数据集（专业版✓ 团队版✓ ）

• 新增 上传文件夹以创建数据集（专业版✓ 团队版✓ ）

• 新增 支持搜索数据集内的数据文件（专业版✓ 团队版✓ ）

• 新增 上传文件夹到 IDE 代码编辑器（专业版✓ 团队版✓ ）

• 新增 用户级、项目级的环境变量管理（专业版✓ 团队版✓ ）

• 新增 站外 API 使用离线任务（专业版✓ 团队版✓ ）

• 新增 回看组织公告（团队版✓）

01 新增 从对象存储更新数据集（专业版✓团队版✓ ）

ModelWhale 支持接入客户自有的“对象存储”到平台中进行数据调用，同时支持对“对象存储”内的数据进行预览查看、制作数据集（或定时数据集）、追溯数据使用情况，以及安全的数据共享。

当“对象存储”的数据有更新时，你也可以从“对象存储”中选择文件以更新已有数据集，实现统一的数据管理、研究流程的持续进行。示例：此前你从“对象存储”选取了 3 个文件作为“实验数据”分析；新的实验数据更新进对象存储后，你可以勾选新数据、然后保存到“实验数据”数据集。

02 新增 从 API 更新数据集（专业版✓团队版✓ ）

如果你的数据存储在“第三方系统”并已有一套严格的数据使用权限设计，ModelWhale 也支持继承已有权限管控：原有权限不会失效，亦无需在分析平台再次配置权限。填写 API 相关信息后，即可在平台实现对这些数据产品的调用分析（平台也支持从 API 创建数据集）。

当“第三方系统”的数据有更新时，你也可以从“第三方系统”中选择文件以更新已有数据集，实现统一的数据管理、研究流程的持续进行。示例：此前你从“第三方系统”选取了 3 个文件作为“实验数据”分析；新的实验数据更新进对象存储后，你可以勾选新数据、然后保存到“实验数据”数据集。

03 新增 上传文件夹以创建数据集（专业版✓ 团队版✓ ）

本地保存管理的数据，往往存在层级结构，比如：城市中心站/2024 年/1 月气温.csv。将数据迁移到平台（创建平台数据集）时，现已支持上传一整个文件夹（保留文件结构），以便你无缝衔接工作流。

在平台完成数据处理后，你也可以在运行时（Notebook、IDE、Canvas）内将结果导出为数据集，这时：同样支持勾选文件夹（保留文件结构）导出。

（1）工作台

（2）运行时内

04 新增 支持搜索数据集内的数据文件（ 专业版✓团队版✓ ）

文件夹和数据文件的名称通常有一定规范和含义（i.e 城市中心站 20240604），溯源时我们习惯通过“名称”搜索找到某一个具体的数据文件。现 ModelWhale 已增强其搜索能力：支持在工作台、运行时（Notebook、Canvas）搜索数据集内的数据文件。即使文件可能位于多层文件夹下、数据量较大，依然可以被快速搜索找到。

（1）运行时内

（2）工作台 - 空间

05 新增 上传文件夹到 IDE 代码编辑器（ 专业版✓ 团队版✓）

对于文件级的数据输入输出、其他脚本处理流程，建议使用 ModelWhale IDE 代码编辑器。除了支持与 Git 关联管理外，本地文件上传时，现已支持在 project 目录下上传文件夹以进行多个文件的批量上传。

06 新增 用户级、项目级的环境变量管理（ 专业版✓ 团队版✓ ）

ModelWhale 支持通过“环境变量”管理敏感信息（比如数据库密码、模型 API Key、个人账号 Token 等）避免泄密：

• 用户级的环境变量：建议存放个人 Token 、模型 API Key 等敏感信息（可在“个人设置”中设置）；

• 项目级的环境变量：可以配置 git 信息、Kernel 变量、用户名等（在“运行设置”中设置）；

注：环境变量支持通过“大写字母+下划线+数字”组合；如有冲突，“项目级”环境变量将覆盖“用户级”。

（1）用户级的环境变量

（2）项目级的环境变量

07 新增 站外 API 使用离线任务（ 专业版✓ 团队版✓ ）

如果你的数据处理、模型训练需要持续运行较长时间，可以使用 ModelWhale “离线任务” 功能云端托管运行：我们会为你跑完整个项目、记录运行版本，你也可以实时查看运行结果、资源使用情况、系统日志。

现已支持在站外通过 API 使用该功能（i.e 你可以在本地电脑中将代码托管至 ModelWhale 离线任务运行），使用时请在网站完成信息填写，然后即可一键【复制配置项】写入你的代码项目中。具体 API 使用指南，可参考用户手册。

（1）追踪离线任务

（2）配置离线任务

08 新增 回看组织公告（ 团队版✓ ）

平台提供“组织公告”功能，供管理员向组织成员发布平台消息（i.e 某个数据库的连接方式说明），现已支持查看历史公告。

以上，就是本期 ModelWhale 版本更新的全部内容。

点击链接进入 Modelwhale 官网，免费试用 ModelWhale 专业版（个人研究）或团队版（组织协同），获赠 CPU、GPU 算力！（建议使用 pc 端体验试用）

若对 ModelWhale 有任何建议、疑问，或有试用续期需求，欢迎联系产品顾问交流（咨询备注“产品咨询”）。