「悟道·视界」视觉大模型系列，6 项领先成果技术详解

作者：硬科技星球

2023-06-27
陕西
本文字数：4635 字
阅读完需：约 15 分钟

日前，智源「悟道·视界」通用视觉大模型系列，带来计算机视觉多任务处理能力方面的 6 项国际领先技术，迎接通用视觉智能曙光降临，包括：

在多模态序列中补全一切的多模态大模型 Emu
最强十亿级视觉基础模型 EVA
一通百通、分割一切的视界通用分割模型
首创上下文图像学习技术路径的通用视觉模型 Painter
性能最强开源 CLIP 模型 EVA-CLIP
简单 prompt（提示）即可视频编辑的 vid2vid-zero 零样本视频编辑技术

“悟道·视界”

通用视觉大模型系列开源地址：

EVA 代码和论文

Github 项目地址

https://github.com/baaivision/EVA

论文地址

https://arxiv.org/abs/2211.07636

EVA-CLIP 代码和论文

Github 项目地址

https://github.com/baaivision/EVA/tree/master/EVA-CLIP

论文地址

https://arxiv.org/abs/2303.15389

Painter 代码和论文

Github 项目地址

https://github.com/baaivision/Painter

论文地址

https://arxiv.org/abs/2212.02499

「视界通用分割模型」代码和论文

Github 项目地址

https://github.com/baaivision/Painter

论文地址

https://arxiv.org/abs/2304.03284

Demo 地址

https://huggingface.co/spaces/BAAI/SegGPT

vid2vid-zero 代码和论文

Github 项目地址

https://github.com/baaivision/vid2vid-zero

论文链接

https://arxiv.org/abs/2303.17599

Demo 地址

https://huggingface.co/spaces/BAAI/vid2vid-zero

Emu：在多模态序列中补全一切的多模态大模型

多模态输入，多模态输出。

Emu 作为业界首个多模态-to-多模态的多模态大模型，可以接受和处理不同模态的数据，并输出想要的多模态类别。

基于多模态上下文学习技术路径，从图文、交错图文、交错视频文本等海量多模态序列中学习。训练完成后，Emu 能在多模态序列的上下文中补全一切，对图像、文本和视频等多种模态的数据进行感知、推理和生成，实现多轮图文对话、视频理解、精准图像认知、文图生成、多模态上下文学习、视频问答和图图生成等多模态能力。

在零样本 COCO 图像描述性能方面，Emu 超越 Flagmingo-80B，取得 109 分。相比其他多模态模型，可以准确识别出莫奈的日出印象；可以完成少样本图文理解，以两个图文对为例，可自动完成对应任务；还可根据图片或视频进行问答和多轮对话。

在生成能力方面，可以根据任意长度文本生成图像；在图图生成方面，可以自动推理生成新的图片；在多模态上下文生成方面，可以根据文本-图片作为 prompt，生成融合了上下文的新图片。

EVA：最强十亿级视觉基础模型

通用性是大模型能力的重要指标，亦是研究难点所在。如何让通用视觉模型，在更高效的同时更简单？语义学习和几何结构学习是解决视觉问题的两大关键点。

将最强十亿级视觉基础模型 EVA 正是将最强语义学习（CLIP）与最强几何结构学习（MIM）结合，再将标准的 ViT 模型扩大规模至 10 亿参数进行训练，一举在 ImageNet 分类、COCO 检测分割、Kinetics 视频分类等广泛的视觉感知任务中取得当时最强性能。

视觉预训练模型 EVA 的命名来源于论文标题“Exploring the Limits of Masked Visual Representation Learning at Scale”相关字母的简化，意为探索遮蔽视觉表征学习的极限。

EVA 模型把以“视觉为中心”作为建模思想，将语义学习（CLIP）与几何结构学习（MIM）结合，仅使用标准的 ViT 模型，并将其规模扩大到十亿参数（1-Billion）进行训练。

模型训练方法是使用图像-文本对齐（即 CLIP）的视觉特征作为 MIM 的预测目标，模型设计思路有两个特点：

高效，EVA 仅使用开源的纯图像数据即可进行掩码预测任务，不需要预训练阶段重新学习语义以及不需要巨量的成对有标注数据。相比而言，主流标杆性模型（ViT-g、SwinV2、CoCa 等）仍依赖于冗长的有监督或弱监督训练，以及不可公开访问的数亿级有标签数据。

简单，EVA 不需要特殊设计网络结构。使用简单的网络结构—标准的 ViT-g，而无需额外特殊设计的算子，使得其非常容易的迁移到广泛的下游任务，并且可以和其他模态共享。

经过实验，模型在 ImageNet 分类、COCO 检测分割、Kinetics 视频分类等广泛的视觉感知任务中取得当前最强性能。

如上图，ImageNet 图像分类中取得 89.7%的 top-1 准确率；Kinetics-700 视频动作识别取得 82.9%的 top-1 准确率；COCO 目标检测取得 64.7 mAP、实例分割取得 55.5 mAP；LVIS 的实例分割取得 55.0 mAP；语义分割的 COCO-stuff 取得 53.4 mIoU、ADE-20K 取得 62.3 mIoU。

Painter 通用视觉模型：首创「上下文视觉学习」技术路径

图像理解图像、图像解释图像，图像输出图像。将 NLP 中的上下文学习概念引入视觉模型，是智源对通用智能的新探索。

通用视觉模型 Painter , 将“以视觉为中心”作为建模核心思想，将图像作为输入和输出，从而获得上下文视觉信息，完成不同的视觉任务。

通用视觉模型 Painter 的设计思路是将大多数视觉任务看成”图像修复问题“，即给定输入（“缺失”）图像，预测输出是“修复“过的图像。这保持了像素之间的空间关系，确保每个输出图像的像素仍然代表相关任务的输出。

图注：掩蔽建模流程图

Painter 的建模要素可以归纳为三部分：输入、架构以及损失函数。

输入为图像。任务输入和输出都是图像，会随机遮蔽任务输出图像，并训练模型重构缺失（被遮蔽掉）的像素。研究人员发现，遮蔽比例为 75%效果最好。

损失函数采用简单的回归损失。研究人员发现，Smooth l1 损失能帮助模型取得最好的性能。

架构采用基本的 ViT（vision Transformer）作为编码器。具体来说，神经网络头部（head）由两个线性层（每个是 1×1 卷积），一个 3×3 卷积层组成。

模型目前可完成 7 种主流视觉任务，已经在深度估计、语义分割等核心视觉任务中性能“大幅超越同类”，相比同类模型具有 11%~25% 的性能提升，超过了图灵奖得主 Geoffrey Hinton 团队的 Pix2Seqv2，艾伦 AI 研究所的视觉通用模型 Unified-IO 和谷歌的 UViM。

「视界」通用分割模型：一通百通，分割一切

「视界通用分割模型」基于通用模型 Painter 开发，是首个利用视觉提示（prompt）完成任意分割任务的通用视觉模型，一通百通、分割一切。

从影像中分割出各种各样的对象，是视觉智能的关键里程碑。今年年初，智源视界分割模型与 Meta 的 SAM 模型同时发布，点亮通用视觉曙光。

它将分割任务视为一种通用的视觉感知格式，即通过将它们转化为图像的相同格式来适应不同种类的分割数据；同时，模型训练被构造为一个在上下文中的着色问题，即目标是只根据上下文，来着色相应的区域，而不是依赖特定的颜色，这使得模型更灵活和可泛化。

图注：「视界通用分割模型」训练框架

总的来说「视界通用分割模型」在基础模型 Painter 做了三点主要创新：

1.上下文随机着色方法。首先随机采样与输入图像“相似”的图像，然后从目标图像中随机抽取一组颜色，并将每种颜色映射到一个随机颜色，如此可得到两对图像，被定义为上下文对。从而打破了原始图像中的颜色关联，迫使模型“放弃”颜色信息依赖，更多依赖依赖上下文信息。

2.上下文集成方法。两种集成方案：空间集成，将多个示例图像拼接在一起，并将它们调整到与单个示例相同的大小；特征集成，将多个示例在批处理维度上进行组合，并独立计算。两种集成方式让模型可以使用多个示例，从而提供更准确和具体的上下文信息。

3.上下文微调方法。冻结整个模型，并初始化一个可学习的图像张量作为输入上下文。在训练过程中，只有这个可学习的图像张量会被更新，其他的训练过程保持不变。从而能以灵活的方式适应特定的任务或数据集。

图注：针对某一数据集自动构建一个对应的 prompt，或者针对一个房间来构建专用 prompt。

以上技术让「视界通用分割模型」具备输入任意数量的 prompt，以及对特定场景优化专用 prompt 的能力。即「视界通用分割模型」解锁了上下文推理能力，训练完成后无需微调，只需提供示例即可自动推理并完成对应分割任务。

图注：（左上）少量 prompt 实验、（右上）零样本迁移能力测试、（下）视频目标分割指标

实验结果也显示了模型强大的能力。例如模型只需少数 prompt 示例，在 COCO 和 PASCAL 数据集上取得最优性能；模型的零样本场景迁移实验中，模型在少样本语义分割测试集 FSS-1000 上，在无需训练的情况下取得最佳性能；另外，无需视频训练数据，模型可直接进行视频物体分割，并取得和专门优化的模型相当的性能。

EVA-CLIP：性能最强开源 CLIP 模型

零样本学习是指仅通过描述让 AI“认出”未见过的物体，是评价模型泛化能力的重要指标。多模态预训练模型 CLIP 作为零样本学习基础模型，广受业界认可。

智源视觉团队于 2023 年初发布的 EVA-CLIP 5B 版本，创造了零样本学习性能新高度：超越此前最强的 OpenCLIP 模型，在 ImageNet1K 零样本 top1 达到最高的 82.0% 准确率。

而去年发布的 EVA-CLIP 1B 版本，今年才被 Meta 发布的 DINOv2 模型追平 ImageNet kNN 准确率指标。

EVA-CLIP 是一系列模型的总称，集成了当前新兴的几种模型训练技术，包括用 EVA 预训练模型进行初始化，用 LAMB 优化器加速模型，用 FLIP 技术节省训练时间等等。具体而言，模型有两种集成思路：

1.EVA 预训练 + LAMB 优化器让 CLIP 模型表现更加强大。

视觉预训练模型 EVA 能将语义学习（CLIP）与几何结构学习（MIM）结合，在标准模型基础上，将规模扩大到十亿参数（1-Billion）进行训练。EVA 模型的输入为有遮盖的图像，但遮盖部分能重构 CLIP 模型对应位置，从而获得高效、简单的可泛化模型。

LAMB 优化器专门面向大批量（batch）训练，考虑到它自适应的学习率和动量参数设置的优势，为避免泛化差距难题，研究员认为 LAMB 优化器比 Adam、RMSprop 更适合训练大规模 CLIP 模型。

2，FlashAttention 机制+ FLIP 加速让 CLIP 模型训练更迅速。

FlashAttention 算法可以在执行更少的内存/访问的基础之上，在加速和节省内存的基础上计算精确注意力。研究员使用该机制训练 CLIP 时可以提升 15%-30%的训练速度。

FLIP 旨在通过简单的图像掩蔽提升 CLIP 的训练速度，带来性能提升。实践中，研究员随机掩蔽了 50%的图像标签，减少一半的时间复杂度。

实验结果表现，50 亿参数量的 EVA-CLIP 模型，零样本分类和检索的性能全面提升。在 ImageNet1K 零样本 top1 准确率达到了 82.0%，高于此前最佳 OpenCLIP 的 80%；在 MS COCO 上实现了 75.0% 的 zero-shot 图像检索（Recall@5）。

同时，EVA-CLIP 兼顾了泛化能力和鲁棒性。例如 EVA-CLIP 与 27 个零样本图像分类基准的对比，效果最好的 EVA-CLIP 达到了平均 77.5 的 Top-1 准确率，模型泛化能力业界领先。EVA-02-CLIP-E/14+在 ImageNet 系列和 ObjectNet 的所有 6 个基准测试中获得了平均 80.9%的准确率，这充分证实了鲁棒性。