写点什么

联邦学习中的持续学习技术

作者:qife
  • 2025-07-28
    福建
  • 本文字数:436 字

    阅读完需:约 1 分钟

联邦学习与持续学习的结合

联邦学习使分布式设备能够利用本地数据贡献全局模型,同时保护数据隐私;持续学习则要求模型在新数据到来时不断更新。两者的结合面临关键挑战——如何避免"灾难性遗忘",即新数据训练导致模型遗忘旧知识。

梯度多样性样本选择法

我们提出两种样本保留策略:


  1. 非协调式:各设备本地优化梯度多样性,选择使梯度方向差异最大化的 N 个样本

  2. 协调式:通过服务器协调全局梯度优化,特别适用于小容量设备(N=20 时表现最优)


将 NP 难的整数规划问题松弛为分数系数优化,通过迭代计算实现高效求解。协调式方法通过梯度聚合保护数据隐私,仅需 1-4 次迭代即可收敛。

实验验证

在 EMNLP 2023 公布的实验结果中:


  • N≥50 时,非协调式方法显著优于基线

  • N=20 时,协调式方法相对准确率提升 12%

  • N≤10 时传统随机采样更具优势


该方法为不同存储容量的边缘设备提供了自适应解决方案,相关代码已开源。


图示:协调式方法通过服务器聚合各设备梯度信息,计算全局最优样本保留策略更多精彩内容 请关注我的个人公众号 公众号(办公 AI 智能小助手)公众号二维码


办公AI智能小助手


用户头像

qife

关注

还未添加个人签名 2021-05-19 加入

还未添加个人简介

评论

发布
暂无评论
联邦学习中的持续学习技术_机器学习_qife_InfoQ写作社区