Memento：基于记忆无需微调即可让大语言模型智能体持续学习的框架

2025-11-30
广东
本文字数：25258 字
阅读完需：约 83 分钟

大语言模型智能体（LLM Agent）是一类利用大语言模型通过交互、推理和决策来自主执行复杂任务的系统，通常具备访问外部工具、记忆系统或环境的能力。与被动响应单一提示的传统 LLM 不同，LLM 智能体采用主动且迭代的运行模式，在明确目标的引导下执行任务。这类系统正被广泛部署为跨领域的自主问题解决器，OpenAI 的 Deep Research 智能体便是典型代表。

当前 LLM 智能体的构建主要遵循两种学习范式，但是都存在根本性限制。第一种范式基于专门化框架构建智能体，采用固定工作流程和硬编码推理逻辑。虽然这种方法在特定任务上表现良好，但缺乏必要的灵活性，部署后智能体保持静态状态，无法整合在线信息或适应新出现的情况。

第二种范式专注于通过参数调优更新底层 LLM 本身，包括监督微调和强化学习等方法。这种方式虽然能够实现更灵活的行为模式，但需要承担高昂的计算成本。这两种构建自适应智能体的方法要么过于僵化，依赖静态的手工制作反思工作流程，要么计算密集，需要对 LLM 模型参数进行梯度更新。

Memento 的核心理念

面对如何构建能够在动态环境中持续学习而无需承担微调成本的 LLM 智能体这一挑战，Memento 提供了创新解决方案。该框架通过基于记忆的在线强化学习实现低成本持续适应，完全避免了对 LLM 的微调需求。

Memento 的设计理念源于人类学习机制的模拟。人类在处理经验时会将每次经历情景轨迹，在巩固过程中将其提炼为抽象规则，通过多巴胺驱动的信用分配机制进行选择性强化，并在面临类似问题时通过基于案例或类比的推理进行检索。

基于这一观察，LLM 智能体不再依赖微调基础模型，而是利用外部记忆存储包含成功和失败标签的历史轨迹，从类似的过往经验中汲取指导信息进行决策。这一机制的理论基础是基于案例的推理（Case-Based Reasoning, CBR），这是一种具有心理学基础的学习策略，有充分证据表明人类经常通过回忆类似情况来解决问题。

技术实现架构

Memento 通过构建非参数化的即时框架来实现基于案例的推理，具体实例化为基于记忆的马尔可夫决策过程（Memory-based MDP）的规划器-执行器架构。该系统包含三个核心组件：规划器、工具增强执行器，以及用于存储历史轨迹作为情景记忆的动态案例库。

与标准马尔可夫决策过程不同，Memento 将记忆直接整合到决策过程中。给定当前状态，CBR 模块检索相关案例并通过 LLM 进行重用和适配，这一过程类似于典型的强化学习流程。基于案例的推理智能体根据当前状态和有限的历史案例记忆做出决策，使用案例检索策略为给定状态生成历史案例的概率分布，进而影响 LLM 的行动选择。CBR 智能体的策略通过软 Q 学习算法进行学习和更新。

具体架构实现为规划器-执行器，在基于案例的规划（上面的阶段 1）和基于工具的执行（阶段 2）之间交替运行。规划器是一个由案例记忆模块增强的基于 LLM 的 CBR 智能体，该模块同时支持写入操作（记录新案例并在线优化 Q 函数）和读取操作（通过学习的检索策略检索案例以实现自适应案例选择）。执行器则是基于 LLM 的 MCP 客户端，通过 MCP 协议调用托管在 MCP 服务器上的外部工具。

在 Deep Research 场景，Memento 通过 M-MDP 方法实现有状态的提示工程。智能体需要通过迭代式环境交互、外部工具调用、外部信息检索以及异构数据处理来解决复杂的长期任务，系统在基于案例的规划和基于工具的执行两个核心阶段间持续交替。

实验结果与性能评估

实验在四个基准数据集上进行全面评估。GAIA 基准测试长期工具使用能力，DeepResearcher 评估实时网络研究性能，SimpleQA 检验事实准确性，HLE 则专注于长尾学术推理能力。系统采用规划器-执行器架构，使用 GPT-4.1 作为规划器，o4-mini 作为默认执行器（GAIA 基准使用 o3），并配备完整的工具支持。

实验结果显示 Memento 在 GAIA 验证集上取得第一名（87.88% Pass@3），在私有测试排行榜上达到 79.40%的成绩。在 DeepResearcher 数据集上实现 66.6% F1 分数和 80.4% PM 指标，超越了当前最先进的基于训练的系统。基于案例的记忆机制在分布外任务上带来 4.7 到 9.6 个绝对百分点的提升，在 SimpleQA 基准上达到 95.0% PM。

这一方法代表了 LLM 智能体基于案例持续学习的首次尝试，在 GAIA 基准上实现顶级性能，为 Deep Research 智能体的持续适应提供了具有原则性的框架支撑。

总结

Memento 通过其基于记忆的学习范式实现了重要突破，支持自适应在线搜索而无需更新模型权重。该方法将深度研究智能体形式化为基于记忆的 MDP，在规划器-执行器框架内实现，利用情景案例库记录和检索轨迹以实现持续策略改进。作为该领域的开创性工作，Memento 为未来智能体系统的发展奠定了重要基础。

创作场景

Memento：基于记忆无需微调即可让大语言模型智能体持续学习的框架

Memento 的核心理念

技术实现架构

实验结果与性能评估

总结

郝培强

评论