深度学习基础入门篇 [六]：模型调优，学习率设置（Warm Up、loss 自适应衰减等），batch size 调优技巧，基于方差放缩初始化方法。

汀丶人工智能

04-20

学习率是训练神经网络的重要超参数之一，它代表在每一次迭代中梯度向损失函数最优解移动的步长，通常用表示。它的大小决定网络学习速度的快慢。在网络训练过程中，模型通过样本数据给出预测值，计算代价函数并通过反向传播来调整参数。重复上述过程，使得模型