写点什么

交叉验证

用户头像
Qien Z.
关注
发布于: 2021 年 05 月 30 日
交叉验证

交叉验证

交叉验证 Cross Validation,有的时候也称作循环估计 Rotation Estimation,是在统计学上将数据样本切割成较小子集的方法,该理论是由 Seymour Geisser 提出的。


  • 交叉验证的过程又叫做调参,在 AI 建模中起着非洲重要的做用哪个。

  • K 折交叉验证 K-fold cross-validation 时最常用的交叉验证方法,K 值是根据具体情况而定的。

  • 对于参数组合,交叉验证时可以并行化的。

  • 在交叉验证时,不能使用测试数据来做模型训练!!!

  • 数据量较少时,可以考虑更大的 K 值,这样可以确保训练模型有较多的数据,在极端的情况,可以使用留一法交叉验证。

留一法 Leave-one out 交叉验证适合于数据量较少的样本。因为每一次它只留一个样本来做验证,但是它会循环 N 次。所以一个数据当中,如果有 N=18 个样本,那就是循环 N 次,K=N。


Holdout 也是验证的一种,不过它不是交叉验证,因为数据没有交叉。

最大似然估计 MLE 与最大后验估计 MAP

最大似然估计是最大化 P(D|θ),D 表示观测到的样本,θ表示模型的参数。

最大后验估计是最大化 P(θ|D),也就是最大化后验概率。

当数据量很少时,先验概率 P(θ)就显得很重要,避免了太大的偏差。

L2 的正侧对应的是先验服从高斯分布


L1 正侧对应的是先验服从拉普拉斯 Laplace 分布


当数据量越来越多时,最大后验估计逐步逼近于最大似然估计,先验的作用也会逐步减弱。


发布于: 2021 年 05 月 30 日阅读数: 8
用户头像

Qien Z.

关注

Everything is all 2020.04.10 加入

接受反驳&不接受被定义

评论

发布
暂无评论
交叉验证