写点什么

AI 顶会 NeurIPS 收录:淘系技术自研 3D AI 算法

  • 2022 年 5 月 10 日
  • 本文字数:822 字

    阅读完需:约 3 分钟


3D 研究是目前业界最热门的课题之一,是打造 3D 智能世界的核心基础。在探索 3D 数字化家居建设的过程中,阿里巴巴淘系技术部最新提出的 2D 图搜 3D 模型(IBSR)方案受到学界认可,相关论文已被国际人工智能顶会 NeurIPS 2020 录用发表。


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy8zM1AyRmRBbmp1OXptWUFhWlJWdzFZU2JQREJxcFlzOTRhWms1UDV2WklIY0ZZWWl 《一线大厂 Java 面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 jdXNLVmlja3FkaEQ1amJlYVhaaWFXSUt4ODBZcE1GeldtZGZwbmRwQS82NDA?x-oss-process=image/format,png)


IBSR 旨在根据 2D 图片从给定 3D 池子里搜索出图片里物体对应的 CAD 模型。随着 3D CAD 模型数量迅速增长,研究设计高精度 IBSR 系统意义重大。 其有利于快速还原真实三维场景,也在数据库驱动的 3D 模型重建问题中扮演着至关重要的角色。解决 IBSR 问题的通用思路是将 2D 图与 3D 模型映射到同一空间,并学习相似度度量函数。过去几年,包括卡耐基梅隆大学,麻省理工,斯坦福大学等顶级学府都纷纷建立 IBSR 基准数据集,并投入相关研究。


动机





IBSR 最大的难点在于如何克服 2D 图与 3D 模型的 appearance gap,并解耦出无纹理信息干扰的统一几何表面特征表达。我们发现 IBSR 问题有一些特别的性质,包括(1)3D 模型通常都是独立的个体(类别);(2)同一个 3D 模型现实中可能会对应不同纹理表面。这些特性在过去都未被很好的建模学习,使得传统方法在精细 3D 模型推荐上表现不尽如人意。


方法概述





针对这些特性,阿里巴巴淘系技术提出了纹理合成驱动的多视角度量学习架构。具体来说,我们设计纹理生成的条件对抗生成网络 (cGAN) 来为度量学习创造困难三元组 (Hard Triplets),使网络在训练过程中能有效抑制 2D 图丰富纹理的不利干扰,从而更关注于物体的几何细节特点。同时,为了使网络学习几何表面特征更容易,我们利用显著性与视角注意力机制来尽可能消除 2D 图片杂乱背景与无约束的投影视角干扰。


实验结果





用户头像

还未添加个人签名 2022.04.13 加入

还未添加个人简介

评论

发布
暂无评论
AI 顶会 NeurIPS 收录:淘系技术自研3D AI 算法_Java_爱好编程进阶_InfoQ写作社区