亚马逊 ICML 2023 论文技术速览

自适应神经计算

通过动态调整神经网络计算量适配输入特征，该技术被应用于流式语音识别场景：

• 《流式神经转换器的自适应非因果注意力机制》提出基于输入复杂度动态控制 lookahead 窗口的 Transformer 变体

多臂老虎机问题

解决探索-利用困境的新算法：

• 《延迟反馈下的对抗性 MDP 策略优化》改进延迟 bandit 反馈的遗憾界

• 《组合动作线性上下文激励探索》提出新的探索奖励机制

• 扩散模型驱动的 Thompson 采样框架实现更高效探索

差分隐私

大规模模型隐私保护技术突破：

• 《低成本大模型差分隐私优化》通过梯度裁剪重构实现 90%通信开销降低

• 基于局部敏感哈希的快速核密度估计方法提升隐私统计效率

分布偏移

提出首个支持标签边际分布偏移的基准测试集 RLSbench，突破传统域适应假设限制

可解释 AI

《高维正则化模型的代表点选择》开发基于影响函数的训练样本归因方法

超图神经网络

从超图能量函数推导出新型神经网络架构，解决多元关系建模问题

超参数优化

采用保形分位数回归替代高斯过程，提升贝叶斯优化样本效率

（完整技术细节请参阅原文论文）更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手