3D 模型分割新方法解放双手！不用人工标注，只需一次训练，未标注类别也能识别｜港大 & 字节

3D 模型分割现在也解放双手了！

香港大学和字节梦幻联动，搞出了个新方法：

不需要人工标注，只需要一次训练，就能让 3D 模型理解语言并识别未标注过的类别。

比如看下面这个例子，未标注的（unannotated）黑板和显示器，3D 模型经过这个方法训练之后，就能很快“抓准”目标进行划分。

再比如，给它分别输入 sofa、cough 这类同义词刁难一下，也是轻松拿下。

甚至连浴室（bathroom）这类抽象分类也能搞定。

这个新方法名叫 PLA （Point-Language Assocation），是一种结合点云（目标表面特性的海量点集合）和⾃然语⾔的方法。

目前，该论文已经被 CVPR 2023 接收。

不过话说回来，不需要⼈⼯标注，只进行⼀次训练，同义词抽象分类也能识别……这可是重重 buff 叠加。

要知道一般方法使用的 3D 数据和⾃然语⾔并不能够直接从⽹上免费获取，往往需要昂贵的⼈⼯标注，而且一般方法也⽆法根据单词之间的语义联系识别新类别。

那 PLA 又是如何做到的呢？一起来看～

具体原理

其实说白了，要成功实现 3D 模型划分，最重要的一步就是让 3D 数据也能理解⾃然语⾔。

专业点来说，就是要给 3D 点云引⼊⾃然语⾔的描述。

那怎么引入？

鉴于目前 2D 图像的划分已经有比较成功的方法，研究团队决定从 2D 图像入手。

首先，把 3D 点云转换为对应的 2D 图像，然后作为 2D 多模态⼤模型的输⼊，并从中提取对于图像的语⾔描述。

紧接着，利⽤图⽚和点云之间的投影关系，图⽚的语言描述也就自然能够关联到 3D 点云数据了。

并且，为了兼容不同粒度的 3D 物体，PLA 还提出了多粒度的 3D 点云-⾃然语⾔关联方法。

对于整个 3D 场景⽽⾔，PLA 将场景对应所有图⽚提取的语⾔描述进⾏总结，并⽤这个总结后的语⾔关联整个 3D 场景。

对于每个图像视⻆对应的部分 3D 场景⽽⾔，PLA 直接利⽤图像作为桥梁来关联对应的 3D 点云和语⾔。

对于更加细粒度的 3D 物体⽽⾔，PLA 通过⽐较不同图像对应点云之间的交集和并集，以及语⾔描述部分的交集和并集，提供了⼀种更加细粒度的 3D-语⾔关联⽅式。

这样一来，研究团队就能够得到成对的 3D 点云-⾃然语⾔，这一把直接解决了人工标注的问题。

PLA 用得到的“3D 点云-⾃然语⾔”对和已有的数据集监督来让 3D 模型理解检测和分割问题定义。

具体来说，就是利⽤对⽐学习来拉近每对 3D 点云-⾃然语⾔在特征空间的距离，并推远不匹配的 3D 点云和⾃然语⾔描述。

讲了这么多原理，那 PLA 在具体分割任务中表现到底如何？

语义分割任务超越基准 65%

研究⼈员通过测试 3D 开放世界模型在未标注类别的性能作为主要衡量标准。

先是在 ScanNet 和 S3DIS 的语义分割任务上，PLA 超过以前的基线⽅法 35%～65%。

在实例分割任务中，PLA 也有提升，对比之前的方法，PLA 提升幅度 15%～50%不等。

研究团队

这个项目的研究团队来自香港大学的 CVMI Lab 和字节跳动。

CVMI Lab 是香港大学的一个人工智能实验室，实验室 2020 年 2 月 1 日成立。

研究范围涵盖了计算机视觉与模式识别，机器学习/深度学习，图像/视频内容分析以及基于机器智能的工业大数据分析。

论⽂地址:https://arxiv.org/pdf/2211.16312.pdf

项⽬主⻚:https://github.com/CVMI-Lab/PLA

丁润语 投稿

本文源自：“量子位”公众号

卡奥斯开源社区是为开发者提供便捷高效的开发服务和可持续分享、交流的 IT 前沿阵地，包含技术文章、群组、互动问答、在线学习、大赛活动、开发者平台、OpenAPI 平台、低代码平台、开源项目等服务，社区使命是让每一个知识工人成就不凡。

官网链接：Openlab.cosmoplat—打造工业互联网顶级开源社区