联邦学习中的持续学习技术
联邦学习与持续学习的结合
联邦学习使分布式设备能够利用本地数据贡献全局模型,同时保护数据隐私;持续学习则要求模型在新数据到来时不断更新。两者的结合面临关键挑战——如何避免"灾难性遗忘",即新数据训练导致模型遗忘旧知识。
梯度多样性样本选择法
我们提出两种样本保留策略:
非协调式:各设备本地优化梯度多样性,选择使梯度方向差异最大化的 N 个样本
协调式:通过服务器协调全局梯度优化,特别适用于小容量设备(N=20 时表现最优)
将 NP 难的整数规划问题松弛为分数系数优化,通过迭代计算实现高效求解。协调式方法通过梯度聚合保护数据隐私,仅需 1-4 次迭代即可收敛。
实验验证
在 EMNLP 2023 公布的实验结果中:
N≥50 时,非协调式方法显著优于基线
N=20 时,协调式方法相对准确率提升 12%
N≤10 时传统随机采样更具优势
该方法为不同存储容量的边缘设备提供了自适应解决方案,相关代码已开源。
图示:协调式方法通过服务器聚合各设备梯度信息,计算全局最优样本保留策略更多精彩内容 请关注我的个人公众号 公众号(办公 AI 智能小助手)公众号二维码

办公AI智能小助手
评论