写点什么

学习率

0 人感兴趣 · 2 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/ef/ef22d6fa64cd85f515d3620961ba0c34.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深度学习基础入门篇 [六]:模型调优,学习率设置(Warm Up、loss 自适应衰减等),batch size 调优技巧,基于方差放缩初始化方法。

用户头像
汀丶
04-20

学习率是训练神经网络的重要超参数之一,它代表在每一次迭代中梯度向损失函数最优解移动的步长,通常用表示。它的大小决定网络学习速度的快慢。在网络训练过程中,模型通过样本数据给出预测值,计算代价函数并通过反向传播来调整参数。重复上述过程,使得模型

https://static001.geekbang.org/infoq/95/958a8c5ae5caa23606d194964b12c67e.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

图解 OneFlow 的学习率调整策略

用户头像
OneFlow
2022-06-23

学习率调整策略(learning rate scheduler),其实单独拎出每一个来看都不难,但是由于方法较多,上来就看文档容易一头雾水, 以OneFlow v0.7.0为例,oneflow.optim.lr_scheduler模块中就包含了14种策略。

学习率_学习率技术文章_InfoQ写作社区