前言：

本文是个人在 B 站自学李沐老师的实用机器学习课程【斯坦福 2021 秋季中文同步】的学习笔记，感觉沐神讲解的非常棒 yyds。

多超参数调整：

在实际工业场景中，训练一个模型通常需要调整很多超参数，数据科学家和机器学习专家也是会花费很多时间在调参上。可以从以下方法来进行：

• 从一个好的基线（good baseline）开始，比如：选择质量高的工具包，里面有一些很好地参数可供参考；如果研究和论文相关联的话，可以参考论文的超参数设置。

• 固定其他参数，调整一个超参数的值，重新训练并观察模型的性能变化

• 重复多次，观察模型的性能变化，找到思路：

• 哪些超参数是重要的

• 模型对超参数敏感度

• 超参数的最优选取范围

实验管理：

当进行模型调参时，会进行很多实验，而且周期可能也很长，所以做好实验管理（比如：超参数的保存等）是必要的，以便于日后进行查看和调参。

• 最简单的方法就是把参数日志保存为 text 文本，或者把参数值放进 excel 中

• 工具：tensorboard 或者 weights&bias:https://wandb.ai/home
  

复现不是一个简单的事，和很多因素有关：

• 环境（硬件设备，软件版本等）

• 代码

• 随机种子

自动调参：

摩尔定律在机器学习领域还是适用的，因此，计算成本在下降，而人力成本在提高。所以为了降低开支，少用人力多用机器来完成。而且现在机器自动调参做的也比较好了。

Automated Machine Learning(AutoML):

• 超参数优化（HPO）：通过搜索的办法来找到一组好的超参数集合

• 神经网络架构搜索（NAS）：构造一个好的神经网络模型来更好的拟合问题和数据。