多分支注意力机制在表格数据中的精准应用

表格数据天然具有显著的特征异质性，但现有基于 Transformer 的方法缺乏专门机制来处理这一特性。为此，我们提出 MAYA 框架——一种基于编码器-解码器的 Transformer 架构。

核心创新

编码器设计：

• 提出多分支注意力机制(MBA)，构建多个并行注意力分支

• 对各分支特征进行平均融合，有效整合异构特征

• 通过参数共享控制参数量增长

协作学习：

• 采用动态一致性权重约束

• 生成更具鲁棒性的特征表示

解码器设计：

• 利用交叉注意力机制

• 无缝整合表格数据与对应标签特征

• 双注意力机制同时捕获实例内和实例间交互

实验验证

在广泛的基准数据集测试表明：

• 在表格分类和回归任务中

• 优于当前最先进的 Transformer 方法

• 19 页论文包含 3 组实验图表佐证

该研究为处理表格数据的特征异质性提供了新的技术路径，相关代码已开源。更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手