学习率_学习率技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

学习率

0 人感兴趣 · 2 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/ef/ef22d6fa64cd85f515d3620961ba0c34.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深度学习基础入门篇 [六]：模型调优，学习率设置（Warm Up、loss 自适应衰减等），batch size 调优技巧，基于方差放缩初始化方法。

04-20

学习率是训练神经网络的重要超参数之一，它代表在每一次迭代中梯度向损失函数最优解移动的步长，通常用表示。它的大小决定网络学习速度的快慢。在网络训练过程中，模型通过样本数据给出预测值，计算代价函数并通过反向传播来调整参数。重复上述过程，使得模型

人工智能深度学习学习率 warmup batchsize

https://static001.geekbang.org/infoq/95/958a8c5ae5caa23606d194964b12c67e.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

图解 OneFlow 的学习率调整策略

2022-06-23

学习率调整策略（learning rate scheduler），其实单独拎出每一个来看都不难，但是由于方法较多，上来就看文档容易一头雾水，以OneFlow v0.7.0为例，oneflow.optim.lr_scheduler模块中就包含了14种策略。

前沿技术学习率调整策略

1

玩转社区

Q&A

优质合集

精选文章

企业号社区

行业技术资讯

三周年

征文活动