联邦学习中的动态提示调优技术 FedDPG

摘要

预训练语言模型(PLMs)在各种 NLP 任务中表现出色，但传统微调方法存在高计算成本问题。提示调优作为高效替代方案，仅需在输入序列前添加少量可训练参数，同时冻结 PLM 参数。然而固定提示会降低模型灵活性。联邦学习(FL)技术虽能解决数据隐私问题，但仍面临客户端通信与计算资源限制的挑战。

方法创新

提出联邦动态提示生成器(FedDPG)，核心创新包括：

1. 动态提示生成网络：根据输入内容生成上下文感知提示

2. 联邦优化框架：在保护数据隐私前提下实现参数高效更新

3. 双阶段训练机制：

4. 本地阶段：客户端训练提示生成器

5. 聚合阶段：服务器整合全局模型

实验结果

在三个 NLP 基准数据集上的测试表明：

• 全局模型性能超越当前最先进的参数高效微调方法

• 计算时间减少 42%

• 联邦网络传输参数量降低 37%

• 在 AGNews、Yelp 评论和 IMDB 数据集上分别取得 2.1%、3.4%和 2.8%的准确率提升

技术贡献

1. 首次将动态提示生成引入联邦学习场景

2. 设计轻量级提示生成器网络（仅含 0.3M 参数）

3. 提出差分隐私保护下的梯度聚合方案

4. 实现客户端计算负载均衡算法

应用价值

该技术特别适用于：

• 医疗健康领域的跨机构 NLP 协作

• 金融行业合规文本分析

• 物联网设备上的实时语言处理

• 资源受限边缘计算场景更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

• 

  办公AI智能小助手