多推理几步，生成式 AI 会变得更聪明吗？

本文是我研究生成式 AI 的第四篇学习笔记，文末有已发布的其他几篇笔记的链接，有兴趣的同学可以了解一下。

从“推理”到“更聪明”的假设

我们在上一篇笔记中讨论了为什么生成式 AI 的工作机制被称为“推理”而不是“预测”。简单来说，这不仅是因为模型在生成过程中需要综合上下文信息，动态调整输出逻辑，还因为它的表现更像是在模仿人类的推导过程，而不是简单的计算统计学概率。

不过，当我理解了这个“推理”的概念后，又产生了一个想法：如果 AI 能够多推理几步，会不会变得更聪明？毕竟聪明的人类的思考常常是多层次的，而不是仅仅依靠单次推导完成所有任务。这样，我们是否能让生成式 AI 更接近人类的思维模式？

研究过后发现，事实好像真的是这个样子。

多推理几步：如何让生成式 AI 更聪明？

这个问题的核心在于“多推理”的概念。简单来说，就是将复杂任务分解成多个步骤，让 AI 通过层层递进的方式逐步解决问题。这种方法不仅让模型的回答更符合逻辑，也能让我们更直观地看到它的推理过程，降低生成错误的概率。

目前，这一想法已经成为 AI 领域的共识。无论是通过人为设计，还是借助框架工具，行业内已经开发出多种方法来实现显式的多步推理。下面，我们具体看看如何做到这一点。

实现多层推理：从框架到方法

1. LangChain：多步推理的应用框架

如果目标是“多层推理”，那么 LangChain 就是目前的热门实现方式之一。LangChain 是一个用于构建复杂任务的生成式 AI 框架，能够帮助开发者设计多步骤的推理流程。例如：

• 在回答问题前，调用外部 API 查询相关知识；

• 分析图像后，再生成一段与上下文相关的文字；

• 将复杂的任务拆解为多步操作，每一步都调用模型完成特定子任务。

这种分步式的逻辑，显然比单步生成更贴近人类的思维方式，也更适用于处理复杂任务。

2. 链式思维（Chain of Thought, CoT）

链式思维是一种大模型应用的方法，它通过在模型生成内容的过程中显式分解任务，将复杂问题转化为一系列子问题，让 AI 逐步推导出答案。

举例：

• 问题：一个火车上有 5 节车厢，每节车厢有 8 个人，最后一节车厢的人数减少了一半。请问车上总共有多少人？

• 普通模型的回答：40（计算可能错误，逻辑不清晰）。

• 链式思维的推导：

• 每节车厢有 8 个人。

• 5 节车厢中，前 4 节车厢总人数是 8 × 4 = 32 人。

• 最后一节车厢的人数是 8 ÷ 2 = 4 人。

• 总人数是 32 + 4 = 36 人。

通过这种逐步推导的方式，AI 的回答不仅正确率更高，还更容易被用户理解和信服。

3. 工具增强：让推理更“智慧”

除了分步推导，AI 还能结合工具进行多层次推理。例如：

• 在需要复杂数学运算时调用计算器（了解 AI 大模型历史的同学应该知道，早期的 ChatGPT 遇到数学问题时是在“猜”结果，而不是真的在做数学计算）；

• 通过知识库查询外部信息；

• 对图像进行处理后生成文字描述。

这种“工具增强”思路，显著提升了 AI 在多层推理任务中的能力。

最新大模型中的多层推理表现：o1 与 o3

OpenAI 发布的 o1 和 o3 模型，在多层推理能力上也做了许多尝试。相较于早期的模型，这两款模型表现出更强的推理深度和任务分解能力。

1. o1 与 o3 的改进

• 上下文保持能力：这两款模型能够在长文本生成任务中保持一致性，将上下文信息整合得更加流畅，尤其是在处理跨主题的对话时，展现出更好的逻辑性。

• 多模态能力：o3 在处理多模态任务（如图像+文本）时，表现得尤为出色。通过将图像信息作为输入，它可以基于图片生成更具语义深度的文字描述，这本质上也是一种多层推理。

• 复杂问题分解：在回答逻辑性较强的问题时，o1 和 o3 通过结合链式思维和上下文记忆能力，展现出更优越的表现。

2. 与专业领域模型的对比

在 o1 和 o3 之前，许多垂直领域的大模型已经尝试过类似的思路。

例如：

• 法律领域模型：通过分解法律条款的逻辑关系，为用户生成更为精准的法律意见。

• 医学领域模型：基于病症描述，逐步分析潜在疾病原因，并给出诊疗建议。

相比这些领域模型，o1 和 o3 的优势在于更通用、更灵活，同时还能支持跨领域推理。它们的目标不是在某一垂直领域做到极致，而是为更广泛的任务提供高质量的推理能力。

我们对“多层推理”的误解

尽管多层推理看起来能让 AI 变的更聪明，但它的能力仍然有很多限制。

1. AI 的“推理”不是真正的思考

1. 生成式 AI 的每一步“推理”，本质上仍然是基于概率的生成过程。它通过从海量数据中学习得来的模式模拟逻辑，而不是像人类那样真正“理解”问题。

2. 多层次推理不等于绝对准确

1. 即便是多层次推理，也可能在某些步骤中出现偏差，导致最终结果不可靠。例如，链式思维方法在处理数学问题时，可能因为中间步骤的错误影响最终答案。

3. 多推几步并不总是更高效

1. 在某些情况下，多层推理可能会增加模型的计算成本和响应时间，反而降低用户体验。

多层推理的未来

多层推理是生成式 AI 迈向更高水平的关键路径之一。通过链式思维、任务分解、工具增强等方法，AI 在许多复杂任务中的表现已经大大提升。o1 和 o3 的发布则标志着通用大模型在多层推理能力上的进化，为未来的应用带来了更多可能性。

不过，我们也需要认识到，这种“推理”并不是真正意义上的智能思考，本质还是基于统计规律的动态生成过程。未来，如何结合符号逻辑、知识图谱等技术，进一步提升模型的推理深度，将成为 AI 发展的重要方向。

生成式 AI 学习笔记

1. 生成式 AI 的基本操作：预测下一个 token（Next-token Prediction）

• 从 GPT 到 o3：Next-token Prediction 的核心奥秘（上）
  

• 从 GPT 到 o3：Next-token Prediction 的核心奥秘（下）
  

2. 真的不是靠猜吗？

• 为什么生成式 AI 的工作被称为“推理”而不是“预测”？