恒源云 (Gpushare)_【炼丹必备】调参心法（说人话系列）

不行了，临下班前看见社群里有个小哥哥发了一大段话，太太太……搞笑了！！！

为啥明明很深奥的道理，到他笔下就那么的……接底气？？？？

这我可就不想急着下班了，我得让大家一起快乐啊😂

这个分享就叫：说人话系列

内容来源：【炼丹必备】调参心法

创作者：阿洲

完整内容如下：

理想状态下，我们最想看到的是训练损失下降，验证损失下降，并且验证损失大于训练损失，当然理想很丰满，现实很骨感，一起来看看以下常见的情况和思路分析把。

A：训练损失下降，验证损失下降，但是验证损失小于训练损失。这种情况最需要注意的就是查看一下验证集的数据，确保验证集数据不会太少或者是太简单了。

B： 训练损失下降，验证损失不变甚至开始上升了，这种情况就是模型训练过拟合啦，说明模型开始自以为是了，成绩太好可能是题太简单了，所以需要增加难度了，比如增加点 dropout rate。

C： 训练损失不变，验证损失下降。啥？平时作业都做不利索，考试的时候你考第一？查，这小子肯定作弊了！赶紧查查训练集和验证集的数据把。

D：训练损失不变，验证损失也不变，怎么了，躺平了是吧？可能确实是难度太大了，降低点学习率吧，咱学慢点，别步子迈的太大了，batch size 也调下来点，慢点吃，别塞着了。还可以看看一些非正常情况，比如你数据的 label 都是错的，或者 Loss 函数都写错了，那这就别怪我躺平了，真学不了。

E：训练损失不变，验证损失上升，恭喜你，遇到疑难杂症了，我帮不了，解铃还须系铃人，自己再好好查查数据集把，一般人遇不到这种情况。

F： 训练损失上升，打住打住，我不想听你验证损失怎么了，你这训练损失上升，反向学习给谁看呢？反向学习还能学的这么认真？赶紧给我停下来，看看是什么样【天才】的网络设计，或者是什么狗屁不通的超参组合，我劝你耗子尾汁。

G: 损失值出现了 nan, 你小子老实交代，是不是自己设计了一个 loss 函数？赶紧查查看把，什么？你没设计？那你看看你数据里面是不是就有 nan 呀？什么？也没有？那难道是梯度爆炸了？也，也不是？神仙难救，神仙难救啊！

关于调参炼丹，您有啥独门秘籍，说出来给咱开开眼呗，别藏着掖着啦。