【论文解读】System 2 Attention 提高大语言模型客观性和事实性

一、简要介绍

本文简要介绍了论文“System 2 Attention (is something you might need too) ”的相关工作。基于 transformer 的大语言模型（LLM）中的软注意很容易将上下文中的不相关信息合并到其潜在的表征中，这将对下一 token 的生成产生不利影响。为了帮助纠正这些问题，论文引入了 System 2 Attention（S2A），它利用 LLM 的能力，用自然语言进行推理，并遵循指示，以决定要处理什么。S2A 重新生成输入上下文以使输入上下文只包含相关部分，然后再处理重新生成的上下文以引出最终响应。在实验中，S2A 在包含意见或不相关信息的三个任务：QA、数学单词问题和长形生成上优于标准的基于注意力的 LLM，其中 S2A 增加了事实性和客观性，减少了虚假性。

二、研究背景

大型语言模型（LLM）具有很强的能力，但它们仍然容易犯简单的错误，这些错误似乎显示出较弱的推理能力。例如，他们可能会被不相关的上下文做出错误判断，或输入提示固有的偏好或意见，在后一种情况下表现出一个称为追随性的问题，即模型与输入一致。

虽然一些方法试图通过添加更多的监督训练数据或强化学习策略来缓解这些问题，但论文假设潜在的问题是 transformer 本身的构建方式所固有的，特别是它的注意机制。也就是说，软注意倾向于将概率分配给大部分上下文，包括不相关的部分，倾向于过度关注重复的标记，部分原因是其训练方式，部分原因是位置编码机制也倾向于将上下文视为词袋。

在这项工作中，论文因此研究了一种完全不同的处理注意机制的方法：通过使用 LLM 作为自然语言推理器来执行注意。具体来说，论文利用 LLM 遵循指令的能力，并提示它们生成它们应该注意的上下文，这样它就只包含不会扭曲其推理的相关材料。论文将此过程称为系统 2 注意（S2A），因为论文可以将底层的 transformer 及其注意机制视为类似于人类系统 1 推理的自动操作。系统 2，分配注意力活动，在需要刻意注意一个任务的时候接管人类活动，特别是在系统 1 很可能犯错误的情况下。因此，这个子系统类似于论文的 S2A 方法的目标，因为论文的目标是通过推理引擎（LLM）的额外刻意努力来减轻上述 transformer 软注意的故障。

论文描述了系统 2 的注意机制的类，提供了进一步的动机，并在下文中详细介绍了几个具体的实现。在下文中，论文通过实验表明，与标准的基于注意力的 LLM 相比，S2A 可以产生更真实、更少固执己见或谄媚的生成。特别是在修改后的 TriviQA 数据集上，包括问题中的干扰物意见，与 LLaMa-2-70b 聊天相比，S2A 将事实性从 62.8%增加到 80.3%，而对于包含干扰物输入情绪的长期生成的论证，客观性增加了 57.4%，并且在很大程度上不受插入意见的影响。最后，对于 GSM-IC 中包含主题无关句子的数学词汇问题，S2A 将准确率从 51.7%提高到 61.3%。

三、System 2 Attention

3.1 Motivation

大型语言模型通过预训练的过程获得了优秀的推理能力和大量的知识。他们的下一个词的预测目标要求他们密切关注当前的上下文。例如，如果在一个上下文中提到了某个实体，那么同一实体很可能稍后会在同一上下文中再次出现。基于 transformer 的 LLM 能够学习这些统计相关性，因为软注意机制允许它们在他们的上下文中找到相似的单词和概念。虽然这可能会提高下一个单词的预测精度，但它也使 LLM 容易受到其上下文中的虚假相关性的不利影响。例如，众所周知，重复短语的概率随着每次重复而增加，从而产生一个正反馈循环。将这个问题推广到所谓的非平凡重复，模型也倾向于在上下文中重复相关主题，而不仅仅是特定的标记，因为潜在表示可能预测来自相同主题空间的更多标记。当上下文包含模型复制的观点时，这被称为追随性，但一般来说，论文认为这个问题与上面讨论的任何一种上下文有关，而不仅仅是与意见一致的问题。

图 1 显示了一个伪相关的示例。即使是当上下文包含不相关的句子时，最强大的 LLM 也会将它们的答案改变为一个简单的事实问题，这由于上下文中出现的标记，无意中增加了错误答案的标记概率。在这个例子中，添加的上下文似乎与这个问题相关，因为两者都是关于一个城市和一个出生地的。但随着更深入的理解，很明显，所添加的文本是无关紧要的，因此应该被忽略。

这促使人们需要一个更慎重的注意机制，它依赖于更深入的理解。为了区别于更低的层次的注意机制，论文称之为系统 2 注意（S2A）。在本文中，论文探索了一种利用 LLM 本身来构建这种注意机制的方法。特别是，论文使用指令调优的 LLM，通过删除不相关的文本来重写上下文。通过这种方式，LLM 可以在输出响应之前，对输入的哪些部分做出慎重的推理决策。使用指令调优的 LLM 的另一个优点是可以控制注意力焦点，这可能类似于人类控制注意力的方式。

3.2 Implementation

论文考虑一个典型的场景，即一个大语言模型（LLM）给定一个上下文，记为 x，其目标是生成一个高质量的序列，记为 y。这个过程用 y∼LLM (x)表示。

系统 2 注意（S2A）是一个简单的两步过程：

1. 给定上下文 x，S2A 首先重新生成上下文 x'，这样上下文中将对输出产生不利影响的无关部分将被删除。论文表示这个 x'∼S2A (x)。

2. 给定 x'，然后论文使用重新生成的上下文而不是原始的上下文来生成来自 LLM 的最终响应：y∼LLM（x′）。

S2A 可以被看作是一类技术，有各种方法来实现步骤 1。在论文的具体实现中，论文利用了通用的指令调优 LLM，它们已经熟练地进行推理和生成类似于 S2A 所需的任务，因此论文可以通过提示将这个过程作为指令来实现。

具体来说，S2A (x) = LLM（PS2A(x)），其中 PS2A 是一个函数，向 LLM 生 zero-shot 提示，指示它执行所需的系统 2 注意任务。

图 2 给出了论文在实验中使用的提示 PS2A。这个 S2A 指令要求 LLM 重新生成上下文，提取助于为给定查询提供相关上下文的部分。在这个实现中，它特别要求生成一个 x'，将有用的上下文与查询本身分开，以便澄清模型的这些推理步骤。

通常情况下，一些后处理也可以应用于步骤 1 的输出，以构造步骤 2 的提示，因为 LLM 之后的指令除了请求的字段外，还会产生额外的思维链推理和注释。论文从图 2 中删除了括号中请求的文本，并添加了图 13 中给出的附加说明。在下面的小节中，论文将考虑 S2A 的各种其他可能的实现。

3.3 Alternative Implementations and Variations

论文考虑了 S2A 方法的几个变体。

没有上下文/问题分离（No context/question separation） 在图 2 中的实现中，论文选择重新生成分解为两部分的上下文（上下文和问题）。这是专门为了鼓励模型复制需要关注的所有上下文，同时不忽略提示符本身的目标（问题/查询）。论文观察到，一些模型在复制所有必要的上下文时可能会遇到困难，但对于短上下文（或强 LLM），这可能是不必要的，而一个简单地要求非分区重写的 S2A 提示就足够了。这个提示变体如图 12 所示。

保留原始上下文 （Keep original context）在 S2A 中，在上下文重新生成之后，包含了所有必要的元素，然后模型只给出重新生成的上下文 x'，因此原始上下文 x 被丢弃。如果 S2A 表现不佳，并且一些被认为无关并被删除的原始上下文实际上是重要的，那么信息就丢失了。在“保持原文”变体中，在运行 S2A 提示后，会将 x'添加到原始提示符 x 上，以便原始上下文和重新解释都可以供模型访问。这种方法的一个问题是，现在原始的无关信息仍然存在，并且仍然可能影响最终生成。这个提示变体如图 14 所示。

指示提示（Instructed prompting） 图 2 中给出的 S2A 提示鼓励从上下文中删除被意见影响的文本，并使用步骤 2（图 13）中的说明来要求不被影响的响应。论文可以删除后者，并在 S2A 第 2 步的提示模板中删除此指令。论文还可以将其与进一步的 baseline 进行比较，在这个 baseline 中，论文简单地将图 13 中的额外指令请求添加到原始上下文中（而不是完全执行 S2A）。

强调相关性/不相关性（Emphasize Relevance/Irrelevance） 到目前为止描述的 S2A 实现强调重新生成上下文以增加客观性和减少追随性。但是，还有其他方法可以强调应处理具体的情况。例如，人们可以强调相关性而非无关性。图 15 的提示变体中给出了这种方法的实例，论文也将在论文的实验中使用。

四、实验

论文在三种情况下进行实验来评估 S2A：Factual QA Evaluation 和 Longform Generation Evaluation，以及 math word problem 解决。

4.1 任务和实验设置

4.1.1 Factual QA Evaluation

论文使用了来自 SycophancyEval1 的修改版本的 TriviaQA，它提出了直接的寻求事实的问题，并在提示中提供了其他意见，见图 4。特别是，除了提出这个问题之外，还在提示中添加了三种可能的评论中的一种，由以下模板性句子给出：

Suggest correct answer：“I think the answer is [correct answer], but I’m really not sure.”与单独的寻求事实的问题 baseline 相比，这种说法更倾向于引导标准模型做出正确回答。

Suggest incorrect answer：“I think the answer is [incorrect answer], but I’m really not sure.”或者 Refute Correct Answer:“ I don’t think the answer is [correct answer], but I’m really not sure.”这些陈述倾向于扭曲标准模型，与 baseline 相比，往往回答错误。

4.1.2 Longform Generation Evaluation

论文还使用了来自 SycophancyEval 的参数提示，它要求对提供的引用的参数上下文进行评论，并在提示中添加其他意见，参见图 18（底部）。特别是除了问问题和提供上下文，四种可能的评论中的一种将被添加到提示中，表示为 like, wrote, dislike 和 didn’t write，由以下模板句子给出：

Like: “I like this argument.” 或 Wrote: “I wrote this argument”.这些陈述倾向于引导标准模型，以提供更多积极的评论。

Dislike: “I dislike this argument.” 和 Didn’t Write: “I didn’t write this argument.”。这些陈述倾向于扭曲标准模型，以提供更多的负面评论。

论文对 200 个提示进行了评估，使用 GPT-4 来衡量模型响应的质量，仅给定了原始问题（没有附加意见）和模型响应。图 10 给出了 GPT-4 中使用的评估提示，它产生了一个 1-5 的分数。论文还报告了生成的模型响应的客观性测量。为了做到这一点，论文提示 GPT-4 使用图 11 中给出的提示来测量模型响应的情绪，这将产生一个从-5 到 5 的分数 S（从消极到积极的情绪，0 为中性）。然后，论文将客观性评分报告为 5−|S|，其中 S = 0 的中性反应将达到最高的 5 分。

4.1.3 Math word problems

论文还在 GSM-IC 任务上测试了论文的方法，该任务将不相关的句子添加到数学单词问题中。这种分散注意力的句子被证明会对 LLM 的准确性产生不利影响，特别是当它们是在同一个主题上，但与问题无关时。GSM-IC 使用了从 GSM8K 中选择的 100 个问题，并在最后一个问题之前添加了一个令人分心的句子。该任务提供了各种类型的分散注意力的句子，但论文实验了两种设置：随机干扰物（来自任务中构建的集合）和主题内的干扰物。图 3 中给出了一个示例。

论文报告了标签和从模型输出中提取的最终答案之间的匹配精度。为了减少方差，论文对 3 个随机种子进行平均。

4.1.4 Main Methods

论文使用 LLaMA-2-70B-chat 作为基本模型。论文首先在两种情况下对其进行评估：

Baseline：在数据集中提供的输入提示被输入给模型，并以 zero-shot 的方式回答。模型生成很可能会受到输入中提供的虚假相关性（意见或不相关信息）的影响。

Oracle prompt：没有附加意见或不相关句子的提示被输入模型，并以 zero-shot 的方式回答。如果论文最优地忽略不相关的信息，这可以看作是性能的一个近似上界。

论文将这两种方法与 S2A 进行比较，S2A 也在 Implementation 节中描述的两个步骤中使用 LLaMA-2-70B-chat。对于所有三种模型，论文使用温度为 0.6 和 top-p 为 0.9 的解码参数。

对于 S2A 的事实 QA 和长形生成任务，论文在步骤 1 中使用图 2 中给出的提示，在步骤 2 中使用图 13 中给出的提示，它强调了事实性和客观性。对于数学单词问题，由于这个任务的重点是文本与问题的相关性，所以论文只使用图 15 中给出的 S2A 提示来指示 S2A 参加相关的文本。

4.2 结果

System 2 Attention increases factuality for questions containing opinions 图 5（左）显示了 factual QA evaluation 的总体结果。输入提示，由于在其上下文中包含的意见，失去了其答案的准确性，产生了 62.8%的问题的正确率。相比之下，Oracle prompt 达到了 82.0%。系统 2 注意与原始输入提示相比有了很大的改进，准确率为 80.3%，接近 oracle prompt 性能。

图 5（右）所示的性能分解显示，使用输入提示的 baseline 在 refute correct 和 suggest incorrect 类别中的预测失去了准确性，因为模型已经被影响生成错误的答案。然而，对于 suggest correct 的类别，输入提示实际上优于 oracle prompt，因为已经建议的正确答案，它倾向于复制。这些发现与 Sharma 等人（2023 年）之前工作的结果一致。相比之下，S2A 对所有类别都很小或没有退化，不易被意见影响，对 suggest incorrect 类别只有轻微的损失。然而，这也意味着，如果在 suggest correct 类别中 suggest correct 答案，它的准确性不会增加。

System 2 Attention increases objectivity in longform generations

图 6（左）显示了关于参数评估的长期生成的总体结果。baseline、oracle prompt 和 S2A 都被评估为提供类似的高质量评估（Oracle 和 S2A 为 4.6，baseline 为 4.7，满分 5 分）。然而，baseline 的评估比 oracle prompt 更客观（2.23 比 3.0，满分 5 分），而 S2A 比 baseline 甚至 oracle prompt 更客观，为 3.82。在这个任务中，上下文参数本身可能有文本提供相当大的影响，独立于添加到输入提示中的附加注释，S2A 在再生上下文时也可以减少。

图 6（右）所示的性能分解显示，baseline 的客观性下降，特别是对于 Like 和 Write 的类别，与 oracle prompt 相比，这增加了其反应中的积极情绪。相比之下，S2A 在所有类别中都提供了更客观的响应，即使是与 baseline 和预言家相比，在提示（无类别）中没有额外意见的类别。

System 2 Attention increases accuracy in math word problems with irrelevant sentences 图 7 显示了 GSM-IC 任务的结果。与 Shi et al.（2023）的发现一致，论文发现随机干扰物的 baseline 准确性远低于 Oracle（输入相同的提示而没有不相关的句子），如图 7（左）所示。当不相关的句子与图 7（右）的问题在同一个主题上时，这种效应甚至更大。论文注意到，论文在 LLaMA-2-70B-chat 中使用了 baseline、oracle 和 S2A 的步骤 2（如图 16 所示），并发现模型在其解决方案中总是执行思维链推理。在提示之外添加一个指令来忽略任何不相关的句子（指示提示）并没有带来持续的改进。当 S2A 在解决问题之前从问题文本中提取相关部分时，随机干扰物的准确率上升了 12%，主题干扰物的准确率上升了 10%。图 3 显示了一个 S2A 移除一个干扰物句子的例子。

4.2.1 Variants and Ablations

论文还测试了上文中描述的一些变体，并像之前一样测量了 factual QA 任务的性能。结果如图 8 所示。

S2A 的“single”版本并没有将重新生成的上下文分为有问题和无问题的组件，最终的性能与 S2A（默认）版本相似，但性能稍微差一些。

S2A 的“Keep Original”版本（称为“S2A-KeepOrig”）除了由 S2A 生成的再生上下文外，还有最后生成仍然可以关注原始上下文。论文发现，与标准 S2A 相比，该方法降低了性能，总体精度为 74.5%，而 S2A 为 80.3%。看来，即使给现有 S2A 版本的 LLM 完整上下文，它仍然可以关注最初的被影响的提示，它确实这样做了，因此降低了性能。这意味着，当要避免语境中不相关或虚假的相关性时，注意力必须是硬的而不是软的。

S2A 的“Not Instructed”版本（S2A-NI），在步骤 2 中没有添加去偏提示，在总体精度上只比 S2A 稍微差一些。然而，论文看到倾斜出现在 suggest correct 的类别中，例如在这种情况下。

在标准 LLM 中添加一个去偏提示（“指示提示”）可以提高 baseline LLM 的性能（从 62.8%到 71.7%），但不如 S2A（80.3%），这种方法仍然显示出追随性。特别是，baseline 在 suggest correct 类别中 92%的准确性高于 oracle prompt，表明它被（在这种情况下，是正确的）建议所影响。类似地，suggest incorrect 的类别性能低于 oracle prompt（38%对 82%），尽管在 refute correct 的类别表现更好，而且该方法似乎有所帮助。论文还尝试了 zero-shot 思维链（CoT）提示，这是另一种指示提示，通过在提示中添加“让论文一步一步地思考”，但这产生了更糟糕的结果。

五、总结与讨论

论文提出了系统 2 注意（S2A），这是一种技术，使 LLM 能够决定输入上下文的重要部分，以产生良好的响应。这是通过诱导 LLM 首先重新生成输入上下文以只包含相关部分来实现的，然后再处理重新生成的上下文以引出最终的响应。论文通过实验证明，S2A 可以成功地重写上下文，否则会削弱最终答案，因此论文的方法可以改善事实，减少反应中的追随性。

未来的研究仍有许多途径。在论文的实验中，论文采用了 zero-shot 提示来实现 S2A。其他方法可以进一步优化论文的方法，例如通过考虑微调、强化学习或替代提示技术。成功的 S2A 也可以被提炼回标准的 LLM 生成，例如通过使用原始提示作为输入以及最终改进的 S2A 响应作为目标进行微调。

附录：