李宏毅《机器学习》丨 5. Tips for neural network design（神经网络设计技巧）
Author：AXYZdong
自动化专业 工科男
有一点思考，有一点想法，有一点理性！
定个小小目标，努力成为习惯！在最美的年华遇见更好的自己！
更多精彩文章前往：👉 个人主页
一、局部最小值与鞍点
Optimization Fails because .....
local minima（局部最小值）
saddle point（鞍点）
二、批次与动量
Optimization with Batch
Gradient Descent + Momentum
三、自动调整学习速率
RMSProp(root mean square prop，均方根)学习原理∶在自适应梯度基础上引入了衰减因子，在梯度累积的时候，会对“过去”与“现在”做一个平衡，通过超参数进行调节衰减量。适合处理非平稳目标（也就是与时间有关的)，对于 RNN 效果很好。
Adam(Adaptive momentum optimization，自适应动量优化)是目前深度学习中最流行的优化方法，它结合了自适应梯度善于处理稀疏梯度和均方根善于处理非平稳目标的优点，适用于大数据集和高维空间。
四、损失函数的影响
主要是对分类任务的影响。
五、批次标准化
批次标准化（Batch Normalization），改变不同特征的范围（changing landscape）。
六、总结
Datawhale 组队学习，李宏毅《机器学习》Task5. Tips for neural network design（神经网络设计技巧）。包括局部最小值与鞍点、批次与动量、自动调整学习速率、损失函数的影响和批次标准化。李老师课程中对数学的原理讲得很清楚，不过对于侧重应用可以不求甚解，知道设计的技巧即可。
本次的分享就到这里
如果我的文章对你有帮助、如果你喜欢我的文章内容，请 “点赞” “评论” “收藏” 一键三连哦！
听说 👉 点赞 👈 的人运气不会太差，每一天都会元气满满呦！^ _ ^
码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了👉 关注 👈我哦！
如果以上内容有任何错误或者不准确的地方，欢迎在下面👇留个言。或者你有更好的想法，欢迎一起交流学习~~~
版权声明: 本文为 InfoQ 作者【AXYZdong】的原创文章。
原文链接:【http://xie.infoq.cn/article/8268a45b996e4193831240bcf】。文章转载请联系作者。
没有伞的孩子要学会奔跑！ 2020.06.01 加入
自动化专业 工科男 有一点思考，有一点想法，有一点理性。 定个小小目标，努力成为习惯。
评论