强化学习中慢速网络学习更快

在深度强化学习（RL）优化新解决方案时，若优化器倾向于靠近先前解决方案（即目标网络），将显著提升学习效率。某中心科学团队在 NeurIPS 2022 会议上提出新型优化器，通过近端更新技术应对 RL 特有的噪声干扰，确保神经网络权重平滑缓慢地变化。

核心机制

1. 双网络架构

2. 目标网络：保留上一轮迭代的权重解

3. 在线网络：通过最小化 DQN 目标函数寻找新解

4. 近端更新会推动在线网络向目标网络靠拢，其引力强度可调节以适配不同噪声环境

5. 性能优势

6. 在 55 款 Atari 基准测试中：

7. DQN Pro 和 Rainbow Pro 版本分别超越原算法

8. Rainbow Pro 实现 40%相对性能提升

9. 参数更新幅度实验显示，近端更新使权重变化更平缓（见图表对比）

理论验证

研究团队将 DQN 建模为连续优化问题序列，证明当在线网络与目标网络距离较大时，近端更新会优先缩小两者差距。这种设计既能保持标准 DQN 更新的特性，又能有效抑制噪声带来的不稳定更新。

开源与展望

相关源代码已在 GitHub 发布。该成果表明，针对深度 RL 特点设计的优化算法改进能带来显著性能增益，为后续优化器研究提供了新方向。更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手