AI 顶会 NeurIPS 收录：淘系技术自研 3D AI 算法

3D 研究是目前业界最热门的课题之一，是打造 3D 智能世界的核心基础。在探索 3D 数字化家居建设的过程中，阿里巴巴淘系技术部最新提出的 2D 图搜 3D 模型（IBSR）方案受到学界认可，相关论文已被国际人工智能顶会 NeurIPS 2020 录用发表。


IBSR 旨在根据 2D 图片从给定 3D 池子里搜索出图片里物体对应的 CAD 模型。随着 3D CAD 模型数量迅速增长，研究设计高精度 IBSR 系统意义重大。 其有利于快速还原真实三维场景，也在数据库驱动的 3D 模型重建问题中扮演着至关重要的角色。解决 IBSR 问题的通用思路是将 2D 图与 3D 模型映射到同一空间，并学习相似度度量函数。过去几年，包括卡耐基梅隆大学，麻省理工，斯坦福大学等顶级学府都纷纷建立 IBSR 基准数据集，并投入相关研究。

动机

IBSR 最大的难点在于如何克服 2D 图与 3D 模型的 appearance gap，并解耦出无纹理信息干扰的统一几何表面特征表达。我们发现 IBSR 问题有一些特别的性质，包括（1）3D 模型通常都是独立的个体（类别）；（2）同一个 3D 模型现实中可能会对应不同纹理表面。这些特性在过去都未被很好的建模学习，使得传统方法在精细 3D 模型推荐上表现不尽如人意。

方法概述

针对这些特性，阿里巴巴淘系技术提出了纹理合成驱动的多视角度量学习架构。具体来说，我们设计纹理生成的条件对抗生成网络 (cGAN) 来为度量学习创造困难三元组 (Hard Triplets)，使网络在训练过程中能有效抑制 2D 图丰富纹理的不利干扰，从而更关注于物体的几何细节特点。同时，为了使网络学习几何表面特征更容易，我们利用显著性与视角注意力机制来尽可能消除 2D 图片杂乱背景与无约束的投影视角干扰。

实验结果