暑意至盛，最是葱茏。ModelWhale 带来了新一轮的版本更新，期待为大家带来更优质的使用体验。

本次更新中，ModelWhale 主要进行了以下功能迭代：

新增 姿态估计的视频标注（团队版✓ ）

模型应用（表单应用）

• 新增 选择平台数据集作为推断输入（专业版✓ 团队版✓ ）

• 新增 返回文件下载（团队版✓ ）

模型应用（自定义应用）

• 新增 “模型应用”发布到门户（团队版✓ ）

• 新增 从 Canvas 发布“模型应用”（专业版✓ 团队版✓ ）

模型服务

• 新增 init 大模型加载方法（专业版✓ 团队版✓ ）

• 新增 支持更新服务模板（专业版✓ 团队版✓ ）

• 全面支持 API Key 鉴权（专业版✓ 团队版✓ ）

• 新增 RPM 和 大模型 TPM 监控（专业版✓ 团队版✓ ）

• 优化 模型库、服务、数据的关联创建（专业版✓ 团队版✓ ）

• 新增 算力支持鲸币付费（专业版✓ 团队版✓ ）

评估任务

• 新增 模型评审的“文件 + 数据”大小限制（团队版✓ ）

• 新增 提交结果的输出格式限制、唯一标识符（团队版✓ ）

新增 双架构（x86 和 arm）算力集群的自定义镜像适配（私有化 ✓）

01 新增 姿态估计的视频标注（团队版✓ ）

经标注处理的数据，可以更好地使用在数据研究、模型训练等场景。ModelWhale 平台支持工具化完成数据标注的全流程处理，减少多次工具使用、多种格式转换、多次数据转移的繁琐步骤。在视频标注能力上，本期新增【姿态估计】的标注类型：

• 标注前，你需要通过配置关键点（keypoint）和填写连接设置（明确连接线起点、终点分别对应的 keypoint）来定义实体的 skeleton，比如：标注“小白鼠”时，定义关键点为“头部”、“颈部”、“身体”、“尾巴”，并设置关键点之间的连接关系。

• 标注时，你需要先选中一个实体标签（比如“小白鼠”），描边圈出目标对象。圈好后，平台会自动在分割区域内生成该实体的关键点与 skeleton，你可以手动调整关键点至正确的位置。如果实体的某部分没有出现在当前帧，你可以选中对应关键点，通过键盘 backspace 键删除该点；如误删，也可在图层栏通过恢复初始按钮，恢复初始 skeleton 结构。

（1）开始视频标注

(2）配置标注任务

02 模型应用（表单应用）：新增 选择平台数据集作为推断输入、返回文件下载

ModelWhale REST 模型服务支持在创建 API 后再发布为可交互的表单应用前端，现已支持选择平台数据集作为推断输入、返回文件下载。举例：调用者可以选择多个文献数据作为推断输入，然后返回经模型处理后的表格数据、图表、论文等等（注：返回“什么文件”供调用者下载，需要由模型开发者提前在模型中定义，具体可参考开发指南）。

（1）选择平台数据集作为推断输入（专业版✓ 团队版✓ ）

（2）返回文件下载（团队版✓ ）

03 模型应用（自定义应用）：新增 支持发布到门户，从 Canvas 拖拽工具创建

ModelWhale 模型服务支持发布自定义应用（直接渲染模型自带的前端框架），适用于对前端展示、交互有更高要求的使用场景。技术开源社区（如 github）的模型项目分享，项目作者通常会提供 web 框架（如 gradio）的 demo；你也可以调整该配置文件，实现灵活的前端展示。

（1）新增 网页应用发布到门户（团队版✓ ）

现组织门户已支持将网页应用进行公开展示。开发者可自行申请公开、管理者可以进行自主配置。

（2）新增 从 Canvas 发布“模型应用”（专业版✓ 团队版✓ ）

除已支持在 Notebook、IDE 中发布外，现 Canvas 拖拽工具也已新增该入口：使用时，平台会自动拉取 Canvas 算法组件中的代码脚本，生成该应用依赖的模型文件。

Tips：发布前，请确保该 Canvas 工作流可以跑通，符合你的模型推断预期。

04 模型服务：监控、鉴权、创建及更新优化 （专业版✓ 团队版✓ ）

平台「模型服务」支持将模型（Python、R 模型）发布为 【API】或【应用】 ，前者适用于在代码中调试使用（兼容业内主流的 API 使用范式），后者适用于给零代码基础的用户分享和应用。

（1）新增 init 初始化加载方法

创建 Python 模型服务时，可以使用 ModelWhale 平台提供的模板框架进行模型推理加载。现已增加 init 初始化加载方法：如果存在“时间开销较大的一次性加载函数（比如加载大模型）”，建议开发者在 index.py 文件中定义 init 方法。

具体可参考服务开发指南手册：

https://www.heywhale.com/docs/org_admin/workbench/model.html

（2）新增 支持更新服务模板

如果你的模型已部署在业务环境、模型应用已对外交付/引用，创建新的模型服务（API）可能会造成替换成本。现模型服务已支持在不改变原 API 的情况下更新模板，确保模型服务的丝滑升级和更新。

（3）全面支持 API Key 鉴权

平台的模型服务 API 使用与业内主流规范一致，现已支持在调用模型服务接口时，传入 API Key 进行鉴权认证。在模型服务详情页，你可以生成自己的 API Key。为保护你的隐私和数据安全，请不要泄露你的 API Key 给任何人使用。

注：原 query 明文鉴权已不再支持，历史调用代码需要按照新的鉴权方式调整。

（4）新增 RPM 和 大模型 TPM 监控

RPM，Request Per Minute，是模型每分钟处理的请求数。TPM，Token Per Minute 是大模型每分钟（输入+输出）的 Token 数。ModelWhale 模型服务已新增这两个指标的监控，满足普通模型和大模型的监控诉求。开发者还可以基于这些监控信息，对模型进行扩容机制的调整，比如：RPM、TPM 比较多的模型，可以考虑增加最小副本数（缩短模型启动时间）、配置比较小的扩容阈值（在请求增多时及时扩容）。

（5）优化 模型库、服务、数据的关联创建

在 ModelWhale 创建模型服务时，现已经支持选择“模型库/模型”作为模型文件，同时关联平台内的数据集、NAS 作为模型推理数据，实现开发者平台资产的顺利流转应用、ModelOps 流程的顺利衔接。

（6）新增 模型服务算力支持鲸币付费

ModelWhale 公有云与和鲸社区关联，用户可以使用社区鲸币进行 ModelWhale 工具的算力消费，现模型服务算力也已支持使用鲸币计费（注：是否开启该功能，由组织管理员管控）。

05 评估任务：新增 模型评审的“文件+数据”大小限制、提交结果的输出格式限制 （团队版✓ ）

模型效果检验贯穿整个模型生命周期：训练时通过“历史数据”检验，业务应用后通过“真实使用数据”检验。平台【评估任务】支持通过多种业务指标（评审算法）自动化检验模型效果。算法工程师提交“模型输出文件”或“模型服务应用”后，可即时获得模型评分、反馈；而，每个检验任务的配置（i.e 使用哪个检验指标、任务运行算力、提交格式规范）均可以由任务管理员（小组主管）按业务需求设计。

（1）新增 模型评审的“文件+数据”大小限制

进行模型评审时，支持对模型服务的文件及数据大小进行限制。以比赛场景举例，比赛主办方往往希望限制模型的大小，在统一标准下评估各位选手的算法水平。

（2）新增 提交结果的输出格式限制、唯一标识符

评审任务支持限制选手的提交格式，确保评审的顺利进行、计算得出评估分数。

• 开启格式检验后，平台会自动根据评审指标的配置（由指标开发者声明）限制提交文件的格式。

• 如果指标没有格式限制，评审任务管理员也可以指定提交格式，比如手动输入：仅支持 xls,xlsx,gz 格式的文件提交。

注：当提交文件格式限制为 csv、excel、json 时，评审任务配置时新增【唯一标识符】的必选项：用于标识提交文件中的 id 变量。评审指标开发者需要将指定的 id 变量（比如 ID）写在 config 中，运行评审任务时平台会基于任务配置选择“对应变量（比如 ID）”作为 id 列，确保评审数据的对应匹配。

06 新增 双架构（x86 和 arm）算力集群的自定义镜像适配（私有化✓ ）

ModelWhale 私有化平台支持同时接入客户自有的 x86 和 arm 架构的算力集群：客户采买计算节点/机器时，无需再考虑平台能否适配的问题。

开发要素之一的环境镜像，对不同算力架构/芯片敏感，比如 x86 算力无法使用 arm 镜像、arm 镜像需要在 arm 机器上才能构建（x86 同理）。为此，平台内镜像环境的自定义搭建、使用、更新也均进行了适配处理，确保工程师和开发者可以在平台内丝滑完成自己的工作流。

以上，就是本期 ModelWhale 版本更新的全部内容。

点击此处进入 Modelwhale 官网，免费试用 ModelWhale 专业版（个人研究）或团队版（组织协同），获赠 CPU、GPU 算力！（建议使用 pc 端体验试用）

若对 ModelWhale 有任何建议、疑问，或有试用续期需求，欢迎联系我们，产品顾问 MoMo 很高兴为你服务、与你交流（咨询备注“产品咨询”）。