李宏毅《机器学习》丨 4. Deep Learning（深度学习）

Author：AXYZdong

自动化专业 工科男

有一点思考，有一点想法，有一点理性！

定个小小目标，努力成为习惯！在最美的年华遇见更好的自己！

更多精彩文章前往：👉 个人主页

一、深度学习发展历史

• 1958: Perceptron (linear model)

• 1969: Perceptron has limitation

• 1980s: Multi-layer perceptronDo not have significant difference from DNN today

• 1986: BackpropagationUsually more than 3 hidden layers is not helpful

• 1989: 1 hidden layer is “good enough”, why deep?

• 2006: RBM initialization (breakthrough)

• 2009: GPU

• 2011: Start to be popular in speech recognition

• 2012: win ILSVRC image competition

二、深度学习三个步骤

2.1 Step1：神经网络（Neural network）

以神经元（neuron）为基本单位，通过神经元之间的互相连接，建立神经网络。

神经元之间有很多不同的连接方式，这样就会产生不同的结构（structure）。

• 完全连接前馈神经网络：相邻层神经元之间都有连接，而且传递的方向是由后往前传。

▲ 完全连接前馈神经网络

深度（Deep）的理解

Deep = Many hidden layer

• 2012 AlexNet：8 层

• 2014 VGG：19 层

• 2014 GoogleNet：22 层

• 2015 Residual Net：152 层

• 101 Taipei：101 层

▲ 深度层数的发展

矩阵计算（Matrix Operation）

随着层数变多，错误率降低，随之运算量增大，通常都是超过亿万级的计算。对于这样复杂的结构，我们一定不会一个一个的计算，对于亿万级的计算，使用 loop 循环效率很低。因此，利用矩阵计算（Matrix Operation）提高运算的速度以及效率。

▲ 矩阵计算（Matrix Operation）

FAQ（Frequently Asked Questions）

• 多少层？ 每层有多少神经元？

• 结构可以自动确定吗？

• 我们可以设计网络结构吗？

▲ FAQ

2.2 Step2：模型评估（Goodness of function）

对于模型的评估，我们一般采用损失函数来反应模型的好差，所以对于神经网络来说，我们采用交叉熵（cross entropy）函数来对损失进行计算，通过调整参数，让交叉熵误差越来越小。

▲ 损失示例

2.3 Step3：选择最优函数（Pick best function）

• 梯度下降（Gradient Descent）：李宏毅《机器学习》丨 3. Gradient Descent（梯度下降）
  

• 反向传播（Backpropagation）：BP（Back Propagation）神经网络——原理篇
  

三、深度学习思考

为什么要用深度学习，深层架构带来哪些好处？那是不是隐藏层越多越好？

▲ 隐藏层越多越好？

▲ 普遍性定理

四、总结

Datawhale 组队学习，李宏毅《机器学习》Task4. Deep Learning（深度学习）。主要包括深度学习发展历史、深度学习三个步骤：神经网络 模型评估 选择最优函数、深度学习思考。

本次的分享就到这里

如果我的文章对你有帮助、如果你喜欢我的文章内容，请 “点赞” “评论” “收藏” 一键三连哦！

听说 👉 点赞 👈 的人运气不会太差，每一天都会元气满满呦！^ _ ^

码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了👉 关注 👈我哦！

如果以上内容有任何错误或者不准确的地方，欢迎在下面👇留个言。或者你有更好的想法，欢迎一起交流学习~~~