交叉验证

交叉验证 Cross Validation，有的时候也称作循环估计 Rotation Estimation，是在统计学上将数据样本切割成较小子集的方法，该理论是由 Seymour Geisser 提出的。

• 交叉验证的过程又叫做调参，在 AI 建模中起着非洲重要的做用哪个。

• K 折交叉验证 K-fold cross-validation 时最常用的交叉验证方法，K 值是根据具体情况而定的。

• 对于参数组合，交叉验证时可以并行化的。

• 在交叉验证时，不能使用测试数据来做模型训练！！！

• 数据量较少时，可以考虑更大的 K 值，这样可以确保训练模型有较多的数据，在极端的情况，可以使用留一法交叉验证。

留一法 Leave-one out 交叉验证适合于数据量较少的样本。因为每一次它只留一个样本来做验证，但是它会循环 N 次。所以一个数据当中，如果有 N=18 个样本，那就是循环 N 次，K=N。

Holdout 也是验证的一种，不过它不是交叉验证，因为数据没有交叉。

最大似然估计 MLE 与最大后验估计 MAP

最大似然估计是最大化 P(D|θ)，D 表示观测到的样本，θ表示模型的参数。

最大后验估计是最大化 P(θ|D)，也就是最大化后验概率。

当数据量很少时，先验概率 P(θ)就显得很重要，避免了太大的偏差。

L2 的正侧对应的是先验服从高斯分布

L1 正侧对应的是先验服从拉普拉斯 Laplace 分布

当数据量越来越多时，最大后验估计逐步逼近于最大似然估计，先验的作用也会逐步减弱。