写点什么

模型输出可保存为数据集、支持配置社区活动作为课程作业|ModelWhale 版本更新

作者:ModelWhale
  • 2024-11-28
    上海
  • 本文字数:2131 字

    阅读完需:约 7 分钟

模型输出可保存为数据集、支持配置社区活动作为课程作业|ModelWhale 版本更新

一年好景君须记,最是橙黄橘绿时,ModelWhale 新一轮版本更新来啦,期待为大家带来更优质的使用体验!

本次更新中,ModelWhale 主要进行了以下功能迭代:

数据管理

  • 数据流转:模型输出结果,新增保存为平台数据集

  • 数据治理:数据描述文档,新增解析为元数据

教学管理

  • 新增配置社区活动作为课程作业

  • 新增按课程批量停用学生账号

  • 支持在线播放 .mov 格式视频

工具使用

  • 模型服务迭代,新增支持更改服务依赖的算力、数据等字段

  • Canvas 低代码分析,新增释放端口输出

  • 在线代码项目、数据集,支持申请编辑权限

  • 算力使用(软件环境选择)的体验优化

算力管理

  • 单次使用时长,新增最小 1 小时的选项设置

  • 模型服务,新增“最小副本数”设置的权限控制

存储管理:新增支持超算数据的对接管理(私有化)

其他优化

  • 视频标注,新增支持模型打标

  • 课程作业列表,新增支持按作业名称排序

  • 私有化代币充值接口,新增支持按 OrgAccount(成员工号)充值

  • 和鲸社区:新首页和医学学习路径已上线、数据科学学习路径(气象、经管、通用)已更新


01 数据管理

(1)数据流转:模型输出结果,新增保存为平台数据集

ModelWhale 的模型网页应用已支持将算法结果制作为平台数据集,实现平台内数据资产的流转管理。用户不再需要将结果文件下载到本地,再二次回传到平台进行工作流的衔接。

Tips:该应用页面也无需算法工程师进行 Web 前端开发,只需鼠标点选即可完成创建。



(2)数据治理:数据描述文档,新增解析为元数据

ModelWhale 元数据系统支持以 FAIR 原则进行数据治理。人工逐个配置数据的元数据字段是繁琐的,平台现已支持自动解析数据描述文档(YAML 格式)为元数据,大大降低人工操作成本。




02 教学管理

(1)新增配置社区活动作为课程作业

和鲸社区拥有丰富的教学实训资源,老师在 ModelWhale 平台开展课程教学时,可以选择这些社区资源作为课程作业布置给学生完成。这些社区活动配有完整评审系统,支持自动为学生出分;自此,老师无需再花时间用于设计作业细节、批改作业的事情上,大大降低教学负担。





(2)新增按课程批量停用学生账号

课程结束后,老师可以将历史学生账号批量停用、移出组织,释放组织席位。



(3)支持在线播放 .mov 格式视频



03 工具使用

(1)模型服务迭代,新增支持更改服务依赖的算力、数据等字段 ModelWhale 模型服务支持将模型封装为 API 服务接口。服务开发过程中、使用过程中,算法工程师可以对更多的服务依赖(算力、数据等)进行调整更新,以获取满意的使用效果,持续对外提供稳定、健壮的服务能力。



(2)Canvas 低代码分析,新增释放端口输出

用户可以使用 Canvas 低代码工具分析业务数据。当 Canvas Flow 工作流中涉及较多组件、处理的数据量大、处理步骤多时,可能会造成内存溢出造成使用问题。因此,我们设计了“端口释放”功能:你可以设置“当「组件 A」运行结束后,释放「组件 B」的输出”,以达到内存及时释放的目的。示例 Flow 中用户正在进行数据分析、其中输入数据比较大,因此设置了“当「数据拆分」运行结束后,释放「读取 csv 文件」组件的结果输出”。




(3)在线代码项目、数据集,支持申请编辑权限

项目、数据分享时的最低使用权限分别是【可查看】、【可使用】。如希望获得更高协作权限,用户现可以自行申请。




(4)算力使用(软件环境选择)的体验优化

ModelWhale 是云端算力调度平台:用户点选所需的“计算资源(如:2 核 8G)”、“镜像(预置环境)”即可快速完成运行分析环境的构建。我们支持使用“时长”或“虚拟代币(和鲸社区鲸币)”进行算力的计费和使用,组织管理员可以按需选择。

Tips:私有化平台支持接入客户私有算力统一管理,包括异地异构算力、HPC 集群。





04 算力管理

(1)单次使用时长,新增最小 1 小时的选项设置

单次使用时长,是用户进入运行时后可持续运行的时间(假设可用时长余额充足)。为避免学生忘记关掉浏览器造成的算力消耗,老师可以将该时长设置为 1 小时。到时间后,平台将自动断开资源连接(如果用户不再手动续时)。



(2)模型服务,新增“最少副本数”设置的权限控制

将服务最小副本数设置为 1 后,平台将预留 1 台实例持续运行该服务,减少每次激活服务后的用户等待时间。为避免算力滥用,管理员可以将该权限仅开放给高级工程师。



05 存储管理

新增支持超算数据的对接管理(私有化)

用户可以在 ModelWhale 使用 HPC 的高性能算力和存储空间。由于 HPC 集群数据访问的高安全性,用户跨平台的数据增删改查曾一度是个问题。现 ModelWhale 已提供超算数据对接能力,用户可以在网站直接访问超算集群中的数据,对此进行预览、下载、上传等操作,大大提升用户体验和工作效率。





此外,我们也进行了以下功能迭代:

  • 视频标注,新增支持模型打标

  • 教学实训,新增支持按名称排序作业列表、按学号排序学生列表

  • 私有化代币充值接口,新增支持按 OrgAccount(成员工号)充值

  • 和鲸社区:新首页和医学学习路径已上线、数据科学学习路径(气象、经管、通用)已更新

以上,就是本期 ModelWhale 版本更新的全部内容。


欢迎您进入 Modelwhale 官网,免费试用 Modelwhale 专业版(个人研究)团队版(组织协同),获赠 CPU、GPU 算力!(建议使用 pc 端体验试用)

若对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎点击这里,产品顾问 MoMo 很高兴为你服务、与你交流(咨询备注“产品咨询”)。

用户头像

ModelWhale

关注

个人数据分析工具,组织数据科学协同平台 2022-07-29 加入

ModelWhale 将数据管理、建模分析、模型训练管理、算力资源管理等功能深度整合,通过逐级开放的数据基础设施、 Jupyter Notebook 和 Canvas 两种分析界面、即开即用的云端分析环境,使数据驱动的研究更便捷高效。

评论

发布
暂无评论
模型输出可保存为数据集、支持配置社区活动作为课程作业|ModelWhale 版本更新_Python_ModelWhale_InfoQ写作社区