写点什么

Large Scale Distributed Deep Networks 论文记录

用户头像
闲云野鹤
关注
发布于: 刚刚
Large Scale Distributed Deep Networks论文记录

问题介绍

针对机器学习中大模型的训练的场景,论文考虑在多 CPU 核心上开展大规模多参数深度网络的训练难题,提出了 DistBelief 框架,框架主要包括两个算法:

1.Downpour SGD

即分布式环境下的 SGD,SGD 即常用的随机梯度下降算法

2.Sandblaster

分布式的 Batch 方法实现框架


DisBelief 并行模型

Downpour SGD


传统的 SGD 计算在本质上是线性的(sequential),所以无法直接用于大规模数据集的训练

解决思路:

  1. 拆分训练集,不同训练集采用相同 model 进行训练

  2. model 之间通过中心化参数服务器进行通信,参数服务器也分 shards

  3. 异步:model 副本独立运行,参数服务器 shard 也独立

分布式系统,分而治之思路

Sandblaster L-BFGS

todo

发布于: 刚刚阅读数: 2
用户头像

闲云野鹤

关注

州亦难添诗亦难改,然闲云孤鹤,何天而不可飞 2017.01.02 加入

闲言碎语,杂七杂八

评论

发布
暂无评论
Large Scale Distributed Deep Networks论文记录