Ai 调参炼丹,一篇就够了
1 超参数优化
调参即超参数优化,是指从超参数空间中选择一组合适的超参数,以权衡好模型的偏差(bias)和方差(variance),从而提高模型效果及性能。常用的调参方法有:
人工手动调参
网格/随机搜索(Grid / Random Search)
贝叶斯优化(Bayesian Optimization)
注:超参数 vs 模型参数差异 超参数是控制模型学习过程的(如网络层数、学习率); 模型参数是通过模型训练学习后得到的(如网络最终学习到的权重值)。
2 人工调参
手动调参需要结合数据情况及算法的理解,优化调参的优先顺序及参数的经验值。
不同模型手动调参思路会有差异,如随机森林是一种 bagging 集成的方法,参数主要有 n_estimators(子树的数量)、max_depth(树的最大生长深度)、max_leaf_nodes(最大叶节点数)等。(此外其他参数不展开说明) 对于 n_estimators:通常越大效果越好。参数越大,则参与决策的子树越多,可以消除子树间的随机误差且增加预测的准度,以此降低方差与偏差。 对于 max_depth 或 max_leaf_nodes:通常对效果是先增后减的。取值越大则子树复杂度越高,偏差越低但方差越大。
3 网格/随机搜索
网格搜索(grid search),是超参数优化的传统方法,是对超参数组合的子集进行穷举搜索,找到表现最佳的超参数子集。
随机搜索(random search),是对超参数组合的子集简单地做固定次数的随机搜索,找到表现最佳的超参数子集。对于规模较大的参数空间,采用随机搜索往往效率更高。
4 贝叶斯优化
贝叶斯优化(Bayesian Optimization)与网格/随机搜索最大的不同,在于考虑了历史调参的信息,使得调参更有效率。(高维参数空间下,贝叶斯优化复杂度较高,效果会近似随机搜索。)
4.1 算法简介
贝叶斯优化思想简单可归纳为两部分:
高斯过程(GP):以历史的调参信息(Observation)去学习目标函数的后验分布(Target)的过程。
采集函数(AC): 由学习的目标函数进行采样评估,分为两种过程: 1、开采过程:在最可能出现全局最优解的参数区域进行采样评估。 2、勘探过程:兼顾不确定性大的参数区域的采样评估,避免陷入局部最优。
4.2 算法流程
算法进阶公众号阅读原文可访问Github源码
版权声明: 本文为 InfoQ 作者【泳鱼】的原创文章。
原文链接:【http://xie.infoq.cn/article/616179e9683a33a0363d661f3】。文章转载请联系作者。
评论