Large Scale Distributed Deep Networks 论文记录

问题介绍

针对机器学习中大模型的训练的场景，论文考虑在多 CPU 核心上开展大规模多参数深度网络的训练难题，提出了 DistBelief 框架，框架主要包括两个算法：

1.Downpour SGD

即分布式环境下的 SGD，SGD 即常用的随机梯度下降算法

2.Sandblaster

分布式的 Batch 方法实现框架

DisBelief 并行模型

Downpour SGD

传统的 SGD 计算在本质上是线性的（sequential），所以无法直接用于大规模数据集的训练

解决思路：

1. 拆分训练集，不同训练集采用相同 model 进行训练

2. model 之间通过中心化参数服务器进行通信，参数服务器也分 shards

3. 异步：model 副本独立运行，参数服务器 shard 也独立

分布式系统，分而治之思路

Sandblaster L-BFGS

todo