模型训练、结果存储、API 调用的系列优化|ModelWhale 版本更新
蜂飞蝶舞,万物并秀,明媚的春光中 ModelWhale 带来新一轮的版本更新,期待为大家带来更优质的使用体验。
本次更新中,ModelWhale 主要进行了以下功能迭代:
新增 IDE 中使用训练记录(专业版✓ 团队版✓)
新增 从实例写入(更新)NAS 数据(团队版✓)
新增 模型 API Key 鉴权(专业版✓ 团队版✓)
新增 课程激活码(团队版✓)
算力计时统计、计费精确到 0.1h(基础版✓ 专业版✓ 团队版✓)
01 新增 IDE 中使用训练记录(专业版✓团队版✓ )
模型训练过程中容易出现过拟合和欠拟合问题,降低模型泛化能力,因此我们往往需要进行不同的参数尝试和调整。ModelWhale “训练记录”调用 mwutils(Python),可以有效辅助模型训练,支持比较多次实验的结果,维度包括 Best Epoch、Validation Loss、Train Loss、Validation Accuracy、Train Accuracy 以及 CPU、Memory 的资源使用情况。如你更习惯使用 MLFlow,平台也支持使用 MLFlow 进行模型训练的过程追踪、参数比对。这些模型训练记录功能支持,除了可以在 Notebook 中使用外,现已支持在 IDE 中使用。
mwutils 训练记录
![](https://static001.geekbang.org/infoq/19/19d9d8d036d48b70e3ba5a4cb89c7b82.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/81/8167754948728da33e129edbbd3d0b6c.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
MLFlow 训练记录
![](https://static001.geekbang.org/infoq/b5/b5755149263bd6d1852c257a95d91124.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/62/62612fead33984ea1f97f00a7f344b41.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/6b/6ba690030f7d30b21f20a7c0e047d6ac.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
02 新增 从实例写入(更新)NAS 数据(团队版✓ )
NAS 适用于进行大文件的存储和管理,比如大模型训练用数据。平台 NAS 配有目录级的权限管理,可由 NAS 管理员对数据资产、存储空间进行灵活的分发。在实例(Notebook、IDE、Canvas 运行时)中完成数据分析、模型训练后,现已支持直接将结果文件保存回 NAS,实现对资产的统一管理。
![](https://static001.geekbang.org/infoq/2b/2bbd9cd5212c13724cf04c0834e65757.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/35/358e8a2ad705b15c64469d840f39a413.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
03 新增 模型 API Key 鉴权 (专业版✓ 团队版✓ )
在 ModelWhale 平台完成模型训练后,你可以使用「模型服务」功能将其封装为一个 API 或一个网页应用:前者适用于在代码中调试使用(兼容业内主流的 API 使用范式),后者适用于给零代码基础的用户分享和应用。如开启鉴权,授权用户需要自行生成 API Key,并传入 header 中以通过鉴权检验。
![](https://static001.geekbang.org/infoq/20/20d8eb58d530b8fb131191b330db9fdd.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/b1/b1a1f4be36086b4c758df5cc3e9e686b.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/cd/cd647194b2b2df5d4c8752c59d774f9b.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
04 新增 课程激活码( 团队版✓ )
在 ModelWhale 实训教学平台完成课程搭建后,老师可以创建激活码以批量邀请学生进入平台上课。创建激活码时,还可以配置一定数量的计算资源,以便学生快速开展实践探索。学生输入激活码后,即可进入对应课程、获得配置的算力资源。
![](https://static001.geekbang.org/infoq/cf/cfc1b124d563b476a28bbda0a655ec5c.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/21/21b38200f5b3659ba01a105423a1db40.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/67/67d09bb7437a9be7987b6aab295e7c21.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
05 算力计时统计、计费精确到 0.1h( 基础版✓ 专业版✓ 团队版✓ )
ModelWhale 平台提供多种即开即用的算力资源,以供你高效开展数据研究工作。点击【运行】后,平台将为你调度算力、构建软件分析环境。实例关闭后,平台将进行计费结算。现算力的用量统计已从原本的 0.5h 精确到 0.1h 。社区鲸币的计费账单,也将按照新的统计口径计费结算。
![](https://static001.geekbang.org/infoq/a4/a468ef62eae987669eb577cc0089709e.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/22/2278c0cc1708e9791d9689999a4aa015.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
![](https://static001.geekbang.org/infoq/2c/2ce82ee1b4ea03776723da13799a8da6.webp?x-oss-process=image%2Fresize%2Cp_80%2Fformat%2Cpng)
以上,就是本期 ModelWhale 版本更新的全部内容。
点此链接进入 Modelwhale 官网,免费试用 Modelwhale 专业版(个人研究)或团队版(组织协同),获赠 CPU、GPU 算力!(建议使用 pc 端体验试用)
若对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎联系产品顾问 MoMo很高兴为你服务、与你交流(咨询备注“产品咨询”)。
版权声明: 本文为 InfoQ 作者【ModelWhale】的原创文章。
原文链接:【http://xie.infoq.cn/article/817eb763f083982855cd2d6b6】。未经作者许可,禁止转载。
评论