主动学习（Active Learning）简介综述汇总以及主流技术方案

作者：汀丶

2022-11-07
浙江
本文字数：10366 字
阅读完需：约 34 分钟

0.引言

在机器学习(Machine learning)领域，监督学习(Supervised learning)、非监督学习(Unsupervised learning)以及半监督学习(Semi-supervised learning)是三类研究比较多，应用比较广的学习技术，wiki 上对这三种学习的简单描述如下：

监督学习：通过已有的一部分输入数据与输出数据之间的对应关系，生成一个函数，将输入映射到合适的输出，例如分类。
非监督学习：直接对输入数据集进行建模，例如聚类。
半监督学习：综合利用有类标的数据和没有类标的数据，来生成合适的分类函数。

其实很多机器学习都是在解决类别归属的问题，即给定一些数据，判断每条数据属于哪些类，或者和其他哪些数据属于同一类等等。这样，如果我们上来就对这一堆数据进行某种划分(聚类)，通过数据内在的一些属性和联系，将数据自动整理为某几类，这就属于非监督学习。如果我们一开始就知道了这些数据包含的类别，并且有一部分数据(训练数据)已经标上了类标，我们通过对这些已经标好类标的数据进行归纳总结，得出一个“数据-->类别” 的映射函数，来对剩余的数据进行分类，这就属于监督学习。而半监督学习指的是在训练数据十分稀少的情况下，通过利用一些没有类标的数据，提高学习准确率的方法。

我们使用一些传统的监督学习方法做分类的时候，往往是训练样本规模越大，分类的效果就越好。但是在现实生活的很多场景中，标记样本的获取是比较困难的，这需要领域内的专家来进行人工标注，所花费的时间成本和经济成本都是很大的。而且，如果训练样本的规模过于庞大，训练的时间花费也会比较多。那么有没有办法，能够使用较少的训练样本来获得性能较好的分类器呢？主动学习(Active Learning)为我们提供了这种可能。主动学习通过一定的算法查询最有用的未标记样本，并交由专家进行标记，然后用查询到的样本训练分类模型来提高模型的精确度。

1.主动学习简介

主动学习是指对需要标记的数据进行优先排序的过程，这样可以确定哪些数据对训练监督模型产生最大的影响。
主动学习是一种学习算法可以交互式查询用户(teacher 或 oracle)，用真实标签标注新数据点的策略。主动学习的过程也被称为优化实验设计。
主动学习的动机在于认识到并非所有标有标签的样本都同等重要。

主动学习是一种策略/算法，是对现有模型的增强。而不是新模型架构。主动学习背后的关键思想是，如果允许机器学习算法选择它学习的数据，这样就可以用更少的训练标签实现更高的准确性。——Active Learning Literature Survey, Burr Settles。通过为专家的标记工作进行优先级排序可以大大减少训练模型所需的标记数据量。降低成本，同时提高准确性。

主动学习不是一次为所有的数据收集所有的标签，而是对模型理解最困难的数据进行优先级排序，并仅对那些数据要求标注标签。然后模型对少量已标记的数据进行训练，训练完成后再次要求对最不确定数据进行更多的标记。

通过对不确定的样本进行优先排序，模型可以让专家（人工）集中精力提供最有用的信息。这有助于模型更快地学习，并让专家跳过对模型没有太大帮助的数据。这样在某些情况下，可以大大减少需要从专家那里收集的标签数量，并且仍然可以得到一个很好的模型。这样可以为机器学习项目节省时间和金钱!

1.1 active learning 的基本思想

主动学习的模型如下:

A=(C,Q,S,L,U)，

其中 C 为一组或者一个分类器，L 是用于训练已标注的样本。Q 是查询函数，用于从未标注样本池 U 中查询信息量大的信息，S 是督导者，可以为 U 中样本标注正确的标签。学习者通过少量初始标记样本 L 开始学习，通过一定的查询函数 Q 选择出一个或一批最有用的样本，并向督导者询问标签，然后利用获得的新知识来训练分类器和进行下一轮查询。主动学习是一个循环的过程，直至达到某一停止准则为止。这个准则可以是迭代次数，也可以是准确率等指标达到设定值

在各种主动学习方法中，查询函数的设计最常用的策略是：不确定性准则（uncertainty）和差异性准则（diversity）。 不确定性越大代表信息熵越大，包含的信息越丰富；而差异性越大代表选择的样本能够更全面地代表整个数据集。

对于不确定性，我们可以借助信息熵的概念来进行理解。我们知道信息熵是衡量信息量的概念，也是衡量不确定性的概念。信息熵越大，就代表不确定性越大，包含的信息量也就越丰富。事实上，有些基于不确定性的主动学习查询函数就是使用了信息熵来设计的，比如熵值装袋查询（Entropy query-by-bagging）。所以，不确定性策略就是要想方设法地找出不确定性高的样本，因为这些样本所包含的丰富信息量，对我们训练模型来说就是有用的。

那么差异性怎么来理解呢？之前说到或查询函数每次迭代中查询一个或者一批样本。我们当然希望所查询的样本提供的信息是全面的，各个样本提供的信息不重复不冗余，即样本之间具有一定的差异性。在每轮迭代抽取单个信息量最大的样本加入训练集的情况下，每一轮迭代中模型都被重新训练，以新获得的知识去参与对样本不确定性的评估可以有效地避免数据冗余。但是如果每次迭代查询一批样本，那么就应该想办法来保证样本的差异性，避免数据冗余。

从上图也可以看出来，在相同数目的标注数据中，主动学习算法比监督学习算法的分类误差要低。这里注意横轴是标注数据的数目，对于主动学习而言，相同的标注数据下，主动学习的样本数>监督学习，这个对比主要是为了说明两者对于训练样本的使用效率不同：主动学习训练使用的样本都是经过算法筛选出来对于模型训练有帮助的数据，所以效率高。但是如果是相同样本的数量下去对比两者的误差，那肯定是监督学习占优，这是毋庸置疑的。

1.2active learning 与半监督学习的不同

很多人认为主动学习也属于半监督学习的范畴了，但实际上是不一样的，半监督学习和直推学习(transductive learning)以及主动学习，都属于利用未标记数据的学习技术，但基本思想还是有区别的。

如上所述，主动学习的“主动”，指的是主动提出标注请求，也就是说，还是需要一个外在的能够对其请求进行标注的实体(通常就是相关领域人员)，即主动学习是交互进行的。

而半监督学习，特指的是学习算法不需要人工的干预，基于自身对未标记数据加以利用。

2.主动学习基础策略(小试牛刀)

2.1 常见主动学习策略

在未标记的数据集上使用主动学习的步骤是：

首先需要做的是需要手动标记该数据的一个非常小的子样本。
一旦有少量的标记数据，就需要对其进行训练。该模型当然不会很棒，但是将帮助我们了解参数空间的哪些领域需要首标记。
训练模型后，该模型用于预测每个剩余的未标记数据点的类别。
根据模型的预测，在每个未标记的数据点上选择分数
一旦选择了对标签进行优先排序的最佳方法，这个过程就可以进行迭代重复:在基于优先级分数进行标记的新标签数据集上训练新模型。一旦在数据子集上训练完新模型，未标记的数据点就可以在模型中运行并更新优先级分值，继续标记。
通过这种方式，随着模型变得越来越好，我们可以不断优化标签策略。

2.1.1 基于数据流的主动学习方法

基于流(stream-based)的主动学习中，未标记的样例按先后顺序逐个提交给选择引擎，由选择引擎决定是否标注当前提交的样例，如果不标注，则将其丢弃。

在基于流的主动学习中，所有训练样本的集合以流的形式呈现给算法。每个样本都被单独发送给算法。算法必须立即决定是否标记这个示例。从这个池中选择的训练样本由 oracle（人工的行业专家）标记，在显示下一个样本之前，该标记立即由算法接收。

于基于流的算法不能对未标注样例逐一比较，需要对样例的相应评价指标设定阈值，当提交给选择引擎的样例评价指标超过阈值，则进行标注，但这种方法需要针对不同的任务进行调整，所以难以作为一种成熟的方法投入使用。

2.1.2 基于数据池的主动学习方法

基于池(pool-based)的主动学习中则维护一个未标注样例的集合，由选择引擎在该集合中选择当前要标注的样例。

在基于池的抽样中，训练样本从一个大的未标记数据池中选择。从这个池中选择的训练样本由 oracle 标记。

2.1.3 基于查询的主动学习方法

这种基于委员会查询的方法使用多个模型而不是一个模型。

委员会查询(Query by Committee)，它维护一个模型集合(集合被称为委员会)，通过查询（投票）选择最“有争议”的数据点作为下一个需要标记的数据点。通过这种委员会可的模式以克服一个单一模型所能表达的限制性假设（并且在任务开始时我们也不知道应该使用什么假设）。

有两个假设前提：

所有模型在已标注数据上结果一致
所有模型对于未标注结果样本集存在部分分歧

2.2 不确定性度量

识别接下来需要标记的最有价值的样本的过程被称为“抽样策略”或“查询策略”。在该过程中的评分函数称为“acquisition function”。该分数的含义是：得分越高的数据点被标记后，对模型训练后的产生价值就越高。有很多中不同的采样策略，例如不确定性抽样，多样性采样等，在本节中，我们将仅关注最常用策略的不确定性度量。

不确定性抽样是一组技术，可以用于识别当前机器学习模型中的决策边界附近的未标记样本。这里信息最丰富的例子是分类器最不确定的例子。模型最不确定性的样本可能是在分类边界附近的数据。而我们模型学习的算法将通过观察这些分类最困难的样本来获得有关类边界的更多的信息。

让我们以一个具体的例子，假设正在尝试建立一个多类分类，以区分 3 类猫，狗，马。该模型可能会给我们以下预测：

{    "Prediction": {        "Label": "Cat",        "Prob": {            "Cat": 0.9352784428596497,            "Horse": 0.05409964170306921,            "Dog": 0.038225741147994995,        }    }}

复制代码

这个输出很可能来自 softmax，它使用指数将对数转换为 0-1 范围的分数。

2.2.1 最小置信度：（Least confidence)

最小置信度=1（100％置信度）和每个项目的最自信的标签之间的差异。

虽然可以单独按置信度的顺序进行排名，但将不确定性得分转换为 0-1 范围，其中 1 是最不确定的分数可能很有用。因为在这种情况下，我们必须将分数标准化。我们从 1 中减去该值，将结果乘以 N/（1-N），n 为标签数。这时因为最低置信度永远不会小于标签数量（所有标签都具有相同的预测置信度的时候)。

让我们将其应用到上面的示例中，不确定性分数将是：（1-0.9352） *（3/2）= 0.0972。

最小置信度是最简单，最常用的方法，它提供预测顺序的排名，这样可以以最低的置信度对其预测标签进行采样。

2.2.2 置信度抽样间距（margin of confidence sampling）

不确定性抽样的最直观形式是两个置信度做高的预测之间的差值。也就是说，对于该模型预测的标签对比第二高的标签的差异有多大？这被定义为：

同样我们可以将其转换为 0-1 范围，必须再次使用 1 减去该值，但是最大可能的分数已经为 1 了，所以不需要再进行其他操作。

让我们将置信度抽样间距应用于上面的示例数据。“猫”和“马”是前两个。使用我们的示例，这种不确定性得分将为 1.0 - （0.9352–0.0540）= 0.1188。

2.2.3 抽样比率（Ratio sampling）

置信度比是置信度边缘的变化，是两个分数之间的差异比率而不是间距的差异的绝对值。

2.2.4 熵抽样（Entropy Sampling）

应用于概率分布的熵包括将每个概率乘以其自身的对数，然后求和取负数:

让我们在示例数据上计算熵：

得到 0 - sum（–0.0705，–0.0903，–0.2273）= 0.3881

除以标签数的 log 得到 0.3881/ log2（3）= 0.6151

3.主动学习方法归类

3.1 基于不确定性的主动学习方法

基于不确定性的主动学习方法将最小化条件熵作为寻找判定函数的依据。

Bayesian Active Learning for Classification and Preference Learning（论文 2011 年）通过贪婪地找到一个能使当前模型熵最大程度减少的数据点 x，但由于模型参数维度很高，直接求解困难，因此在给定数据 D 和新增数据点 x 条件下，模型预测和模型参数之间的互信息。

Deep Bayesian Active Learning with Image Data（论文，代码 2017 年）中实现了这一思路，过程如下：

（1）从整体的数据中选一个子集作为初始训练集，来训练任务模型（分类，分割等等）

（2）用训好的模型在剩余未标注的图像上以 train 模式跑多组预测，记录对每个样本的输出。

（3）计算对每个样本的熵作为不确定性分数。

（4）从大到小依次选择下一组数据标注好后加入训练集，更新训练模型（在上一代模型上 fine-tuning），直到满足停止条件。

考虑到深度学习中，不能每次选一个数据样本就重新训练一次模型，而是以批数据的形式进行训练，BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning（论文 2019 年）中，把原来的一个样本变成了一批样本。

3.2 基于最近邻和支持向量的分类器的方法

基于不确定性的主动学习方法依赖模型预测的分类概率来确定模型对该样本的不确定性，但这个概率并不可靠，因为使用 softmax 分类器的神经网络并不能识别分布外样本，且很容易对 OOD 样本做出过度自信的预测。

OOD（Out of Distribution(OOD) detection 指的是模型能够检测出 OOD 样本，而 OOD 样本是相对于 In Distribution(ID) 样本来说的。传统的机器学习方法通常的假设是模型训练和测试的数据是独立同分布的(IID, Independent Identical Distribution)，这里训练和测试的数据都可以说是 In Distribution(ID) 。在实际应用当中，模型部署上线后得到的数据往往不能被完全控制的，也就是说模型接收的数据有可能是 OOD 样本，也可以叫异常样本(outlier, abnormal)。

基于深度模型的Out of Distribution(OOD)检测相关方法介绍

在主动学习中，初始阶段使用非常少的标注样本训练模型，意味着大量的未标注样本可能都是 OOD 样本，若模型过早的给这部分样本一个过度自信的预测概率，就可能使我们错失一些有价值的 OOD 样本。如图所示，初始训练阶段，模型缺乏虚线框以外的区域的训练数据，但 softmax 分类器仍然会对这些区域给出很自信的预测，导致选择新的待标注样本时，图中的 q 点会被忽略，而若 q 点正好不是 class B，则会影响主动学习的性能。

3.2.1 NNClassifier

针对这个问题NNclassifier中设计了一个基于最近邻和支持向量的分类器来取代 softmax, 使模型能对远离已有训练数据的区域产生较高的不确定性。

具体而言，每类训练学习 N 个支持向量，基于样本特征与各类的支持向量之间的距离，就可以定义分类概率为与这 N 个支持向量的核函数的最大距离：

$p_c\left(f_x\right)=\max n \delta\left(-d\left(f_x, m{c, n}\right)\right)$

定义了新的可以意识到 OOD 样本的分类器之后，作者给出了对应的主动学习策略：

Rejection confidence，用于度量远离所有支持向量的样本，如图(b)所示;confusion confidence，用于度量远离支持向量以及同时靠近多个不同类支持向量的样本，如图©所示。

3.2.2 RBF network + Gradient Penalty

Amersfoort用 RBF 神经网络来促使网络具有良好的 OOD 样本不确定性，同时给出了基于梯度范数的双边正则来削弱特征崩溃(feature collapse)的问题。与 NNClassifier 相同，本文的作者也定义了一个与各类特征距离的函数 K 来帮助检测 OOD 样本，损失函数同样定义成逐类的二值交叉熵。不同于 NNClassifier 的是，这里的距离是每个样本与该类样本的指数滑动平均得到的。 $K_{c} (f_{θ} (x), e_{c}) = exp (- ∣ W_{c} f_{θ} (x) - e_{c} ∣_{2}^{2} / (2 n σ^{2}))$

另一个不同点在于本文加入了一个双边梯度正则项。$\max \left(0,\left|\operatorname{grad}z \sum_c K{\mathrm{c}}\right|_F^2-1\right)$

这个正则项的作用有两个，一个是保证平滑性，也就是相似的输入有相似的输出，这个是由 max()中的梯度部分保证的，而梯度-1 则起到避免特征崩溃的作用，也就是相比单纯的使用特征范数正则，-1 能够避免模型将很多不同的输入映射到完全相同的特征，也就是 feature collapse。

3.3 基于特征空间覆盖的方法

接下来主要介绍基于特征空间覆盖的主动学习代表性工作：coreset。coreset 的主要贡献：给出了基于特征空间覆盖的主动学习算法的近似损失上界；证明了新添加的样本在能够缩小标注样本对剩余样本的覆盖半径时，才能提高近似效果。

coreset 认为主动学习目标就是缩小核心集误差，即主动学习选出的样本损失与全体样本损失之间的差别。

我们在主动学习挑选新样本时，并不知道样本的标签，也就没法直接求核心集损失。作者把核心集损失的上界转换做剩余训练样本与挑选出的标注样本间的最大距离。因此，主动学习问题等价于选择添加一组标注样本，使得其他样本对标注样本集的最大距离 $δ_{s}$ 最小，也就是 k-center 集覆盖问题。如图所示，蓝色为挑选出的标注样本，红色为其他样本。

3.4 基于对抗学习的方法

3.4.1VAAL

Variational Adversarial Active Learning（地址 2019 年）描述了一种基于池的半监督主动学习算法，它以对抗的方式（关于对抗学习的详细介绍参见这里）隐式地学习了这种采样机制。与传统的主动学习算法不同，VAAL 与任务无关，也就是说，它不依赖于试图获取标注数据的任务的性能。VAAL 使用变分自编码器(VAE)和训练好的对抗网络来学习潜在空间，以区分未标注和标注的数据。

核心思想本文的出发点可以理解如下：之前很多方法的 uncertainty 都是基于模型的，也就是说需要有个分割/分类等模型计算预测结果，然后从结果的好坏去分析相应的被预测样本的价值。而本文的 uncertainty 是基于数据本身的，也就是说并非基于预测结果本身去分析，而是直接基于样本自身的特征去处理。

核心思想：利用 VAE 对已标注的数据和未标注的数据进行编码。因此，对于一个未标注的数据，如果其编码向量与潜在空间中向量的差异足够大，那么我们就认为该样本是有价值的。

而对于样本的选择，是通过一个对抗网络来实现的，该对抗网络被用来区分一个样本是已标注还是未标注。因此上文的 VAE 还有一个额外的任务，即他的编码要让判别器难以区分已经标注还是没有标注。

网络结构 VAE 和对抗网络之间的最大最小博弈是这样进行的：VAE 试图欺骗对抗网络去预测，所有的数据点都来自已标注池；对抗网络则学习如何区分潜在空间中的不相似性。其结构如下：

VAE 和对抗网络之间的最大最小博弈是这样进行的：VAE 试图欺骗对抗网络去预测，所有的数据点都来自已标注池；对抗网络则学习如何区分潜在空间中的不相似性。其结构如下：

主动学习策略

一开始随机选择 10%的图像开始训练，此时记训练的网络为版本 1。对于版本 1，训练会迭代 max_iterations 次，与一般网络训练过程的差别在于每个 iteration 除了训练"任务模型"外，还得去训练 VAE 与判别器。而当迭代结束后，训练得到的"任务模型"其实与直接随机抽取 10%的图像训练没有区别，因为 VAE 与判别器只对下一个网络版本有贡献。
利用 VAE 与判别器内包含的经验，一次性抽取 5%的新数据加入训练集，此时开始训练网络版本 2。而这里特别关键的一点是，版本 2 仍然是从预训练 VGG 开始从头训练的(而非在版本 1 的基础上继续 finetune)。至此一直迭代到选取 50%的数据结束。

模型特点本文的强化学习有点"离线"的味道，即最后选取出的 50%数据可以很轻松的迁移至其他模型中，选择的过程只依赖 VAE 与判别器，而与具体的任务无关。

此外该模型训练十分耗时——从 10%逐步提升 5%至 50%，相当于顺序训练了 9 个相同的模型，再考虑训练 VAE 与判别器的耗时，训练该主动学习框架的所需时间可能高达原有基础网络的 10 倍。

3.4.2SRAAL

SRAAL（论文 https://openaccess.thecvf.com/content_CVPR_2020/html/Zhang_State-Relabeling_Adversarial_Active_Learning_CVPR_2020_paper.html）是 VAAL 的一个改进版。在 VAAL 中，判别器的训练的时候只有两种状态，标注/未标注。SRAAL 的作者认为这样忽略了一些信息，有时候任务模型已经能很确信的对某个未标注样本做预测了，就应该降低选择这个样本的优先级。

为了实现这个思路，作者给出了一个任务模型预测不确定度的计算函数，用这个函数的输出结果作为生成对抗网络的判别器训练过程中，无标注样本的标签，而不用简单的个一个二值变量。

3.4.3ARAL

VAAL 有效的一个关键的因素实际上是同时利用标注/无标注的样本共同训练产生特征映射，而不像之前基于特征的 coreset 等主动学习方法，仅用标注数据训练产生特征。

ARAL（https://arxiv.org/abs/1912.09720 2019.11）更进一步，也用这些个无标注样本来训练任务模型(如分类器)本身，整体仍然是在 VAAL 基础上做的，只是增加了 cgan 的判别器来实现半监督训练任务模型。整体来说，基于池的主动学习用标注样本来训练任务模型，合成的主动学习标注合成的样本来训练任务模型。

相比之下，VAAL 用标注数据训练任务模型，用所有数据来训练产生特征；ARAL 用所有的训练数据，合成数据来训练任务模型、产生特征映射。相当于使用了半监督的学习方法，与和之前纯基于监督训练的主动学习方法比较自然有所提升。

4.融合不确定性和多样性的学习方法☆

之前介绍了基于不确定性的方法，以及基于多样性的方法。接下来我们来看看融合两者的方法。就动机而言，如果只用不确定性标准来选样本，在批量选择的场景中，很容易出现选到冗余样本的问题。而在深度学习中，由于训练开销的缘故，通常都采用批主动学习，所以为了提高主动学习的效率，就得考虑批量选择高不确定性样本时的多样性问题。而从多样性样本选择方法的角度来说，单纯的特征空间覆盖算法不能区分模型是否已经能很好预测某部分样本，会限制这类方法所能达到的上限。

融合不确定性和多样性的思路主要有三种：

完全延续信息论的分析思路，也就是 batchBALD，在批量选择的过程中不采取每个样本互信息直接相加，而用求并的方法来避免选到冗余样本;
先用不确定性标准选出大于 budget size 的候选集，再用集覆盖的思路来选择特征差异大的样本；
是 2 的扩展，通过在梯度嵌入空间聚类来选样本，从而避开人工给定候选样本集大小的问题。

4.1 信息论思路

第一种从理论上来看很优雅，从信息论的角度推出怎么在批量选择的场景里选到对模型参数改善最有效的一组样本。但计算复杂度很高，可能并不是很实用，该论文中的实验部分也都是在很小的数据集上完成的。

4.2 构建候选集+大差异样本——SA

这类方法实现起来最简单，非常启发式。整个主动学习分两步来做，第一步先用不确定性(熵，BALD 等)选超出主动学习 budget size 的候选样本集，在用多样性的方法，选择能最好覆盖这个候选集的一组样本。

SA 2017 用 Bootstrapping 训练若干个模型，用这些模型预测的 variance 来表示不确定性，之后再用候选集中样本特征相似度来选取与已经选到的样本差异最大的样本，就类似 coreset-greedy 的做法。

CoreLog 2021 基于 Proper Scoring Rules 给了表示不确定性的度量，先选出不确定性大的前 k%个样本，再用 kmeans 聚类来选择多样的样本。

这种结合的方式没毛病，但有个小的问题，很难说清咋确定这个候选集大小，到底多大能算作高不确定性，能丢到候选集里。

4.3 梯度嵌入空间——badge☆

badge：https://arxiv.org/abs/1906.03671 2020 和第二类方法的思路很像，不确定性的用模型参数就某个样本的梯度大小来表示，多样性用 kmeans++来保证。但这个方法很巧妙的地方在于，通过把这个问题丢到梯度嵌入空间来做（而不像第二类方法在样本的特征空间保证多样性），使样本的多样性和不确定性能同时得到保证。

梯度范数大小表示不确定性很好理解，和之前用熵之类的指标来表示不确定性类似，模型预测的概率小，意味着熵大，也意味着如果把这样本标了，模型要有较大的变化才能拟合好这个样本，也就是求出来的梯度大。梯度表示多样性，是这类方法的独特之处，用梯度向量来聚类，选到的差异大的样本就变成：让模型参数的更新方向不同的样本，而不是样本特征本身不同。

在用梯度表示了不确定性和多样性之后，怎么来选一批既有高不确定性，又不同的样本呢？badge 的做法是 Kmeans++聚类，第一个样本选梯度范数最大的样本，之后依据每个样本梯度与选到的样本梯度的差的范数来采样新的样本。这里注意这个差是两个向量的差，所以自然的避免了重复的选到梯度方向接近且范数都比较大的一组样本。