写点什么

模型并行之 Embedding 表

  • 2025-05-24
    上海
  • 本文字数:819 字

    阅读完需:约 3 分钟

模型并行之 Embedding 表

Embedding 在推荐模型中承担着将用户、物品及上下文信息映射为低维稠密向量的核心任务,通过捕捉潜在语义关联和协同过滤信号,为推荐系统提供可计算的特征表达基础。其向量化表征能力不仅解决了高维稀疏数据难以直接建模的问题,更能通过隐式关系挖掘支撑用户兴趣建模和相似度计算,这种稠密向量空间的连续性特征为后续针对不同行为序列、场景维度或兴趣簇的 Embedding 切片分析提供了可行性,例如基于时间衰减、行为类型或属性聚类的切片方式可进一步细化用户意图的动态表征。


接下来以一个案例为例介绍有关 Embedding 表的 5 种切分方式: Table WiseColumn WiseRow WiseTable Wise&Row Wise网格切分。(前提 :假设用户有 128 个特征,每个特征的 Dim 是 128,注:下图中 Devicexx 表示不同的主机或服务器,Rankx****x 表示同一个主机上的不同卡)


  • Table Wise 切分:表示将所有 embedding 表放置在一个同一个 device 上的同个 Rank 上,其余的 Rank 和 Device 不放置。


  • Row Wise 切分 :表示将 Embedding 表按照 key 的维度进行切分。注意::图右方的 Device 一般指的是不同的服务器,也可根据表的大小与需要进行设置到同一个 Device。


  • Column Wise****切分 :表示将 Embedding 表按列(Embedding Dim)切分到不同的 Rank 上,一个 Embedding Dim 维度为 128 均分切到 4 张卡上变成[0~31, 32~63,64~95,96~127]。也就是每一个 Rank 分别获取每个特征的{[0, 31],[32, 63], [64, 95], [96, 127]}。注意 :图中上方的 Device 一般指的是不同的服务器,也可根据表的大小与需要进行设置到同一个 Device。


  • Table Wise&Row Wise :组合切分方式,将 Table Wise 与 Row Wise 进行结合,其表示将表放置在一个主机上,在该主机上的 rank 之间进行行式拆分。


网格切片:其组合了 Table Wise、Row Wise 和 Column Wise 三种,表示先将 Embedding 表按照 Column Wise 切片,然后再将 CW 分片后的结果以 TWRW 方式放置在主机上。


数据并行并行之 Embedding 表:数据并行表示每个 Rank 中都保留整个表的副本。


用户头像

还未添加个人签名 2024-12-19 加入

还未添加个人简介

评论

发布
暂无评论
模型并行之Embedding表_永荣带你玩转昇腾_InfoQ写作社区