单样本学习计算任务的新方法

在过去的十年中，深度学习系统在人工智能任务中取得了显著成功，但其应用往往具有局限性。例如，一个训练用于识别猫和狗的计算机视觉系统需要大量重新训练才能开始识别鲨鱼和海龟。

元学习旨在将机器学习系统转变为通用系统。元学习模型在一系列相关任务上进行训练，不仅学习如何执行这些任务，还学习如何学习执行它们。这样，它可以通过少量标记训练示例适应新任务，大幅减少劳动密集型数据标注的需求。

在国际学习表征会议（ICLR 2020）上，我们提出了一种改进元学习任务性能的方法，而无需增加数据标注要求。关键思想是调整元学习过程，使其能够利用少量未标记数据以及传统的标记示例。

直觉是，即使没有标签，这些额外数据仍包含大量有用信息。例如，假设一个在陆地动物（如猫和狗）图像上训练的元学习系统正在适应识别水生动物。未标记的水生动物图像（即未指明动物是鲨鱼还是海龟的图像）仍然可以告诉模型一些关于学习任务的信息，例如水下照片典型的光照条件和背景颜色。

在实验中，我们在物体识别元学习任务上将通过我们的方法训练的模型与 16 种不同的基线进行了比较。我们发现，我们的方法在单样本学习（即仅从一个标记示例中学习新的物体分类任务）上的性能提高了 11%至 16%，具体取决于底层神经网络的架构。

元学习中的关键创新包括：

1. 在元训练期间，不学习单一的全局模型，而是训练一个辅助神经网络，基于相应的支持集为每个任务生成局部模型。

2. 在元训练期间，还训练第二个辅助网络以利用查询集的未标记数据。然后，在元测试期间，可以使用查询集微调局部模型，提高性能。

传统元学习系统可能从全局模型定义的点开始搜索（初始化步骤），然后使用支持集的标记数据向新任务对应的设置方向工作（适应步骤）。而我们的方法中，初始化网络基于支持集中的数据选择搜索起点，然后利用查询集的未标记数据向最优设置方向工作。更准确地说，第二个辅助神经网络估计查询集数据隐含的梯度。

尽管我们的系统在单样本学习任务上击败了所有 16 个基线，但在五样本学习（即每个新任务使用五个示例进行学习）上，有几个基线系统表现优于我们的系统。这些基线系统使用的方法与我们的方法互补，我们相信结合这些方法可以进一步降低错误率。这是我们未来将探索的多个扩展方向之一。更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手