0 人感兴趣 · 1 次引用
即使我们可以利用反向传播来进行优化,但是训练过程中仍然会出现一系列的问题,比如鞍点、病态条件、梯度消失和梯度爆炸,对此我们首先提出了小批量随机梯度下降,并且基于批量随机梯度下降的不稳定的特点,继续对其做出方向和学习率上的优化。
生命中任何一件事都值得全力以赴
InfoQ签约作者
我的工作是常年写bug|公众号:编程架构之美
⚡InfoQ签约作者
企业数据库创新实践者