前言：

本文是个人在 B 站自学李沐老师的实用机器学习课程【斯坦福 2021 秋季中文同步】的学习笔记，感觉沐神讲解的非常棒 yyds。

从人工抽取特征到特征学习：

在神经网络没有兴起之前，数据的特征通常需要人工完成，把数据的特征抽取成模型需要的类型和样式。深度学习兴起之后，就不需要人工抽取特征了，而是用神经网络以学习的形式来从原生数据中抽取特征。

特点：

• 神经网络需要更大数量级的数据和计算量

• 神经网络架构建模数据结构特征

• 多层感知机

• 卷积神经网络

• 循环神经网络

• Transformers

从线性模型到多层感知机（MLP）：

单层感知机：

• 有一个全连接层（dense layer），这一层有可以学习的参数$\text{W}\in {\text{R}}^{m\times n},\text{b}\in {\text{R}}^m$，这里的$m$是输出向量的长度，$n$代表输入特征的维度。这个全连接层计算输出$\text{y}=\text{W}\text{x}+\text{b}\in {\text{R}}^m$。

• 线性回归：可以认为是一个有着一个输出维度的全连接层

• softmax 回归：可以认为是有着 m 个输出维度的全连接层+softmax 算子

因此线性模型可以可以统一表示为下图的形式：

线性模型的统一表示

多层感知机：

多层感知机就是有多个全连接层的感知机，而且全连接层之间有激活函数(activation)，作用：就是进行非线性处理，因为如果没有全连接层进行非线性处理，不管有多少层全连接层，这个模型始终是个线性模型。非线性模型对复杂数据特征可以更好地拟合其规律。

多层感知机有以下特征：

• 激活函数：激活函数对每一个神经元的输出数据都会进行非线性处理。

• sigmod(x)=$\frac{1}{1+exp(-x)}$，ReLU(x) = $max(x,0)$等

• 激活函数的存在导致模型变为非线性模型

• 多个隐藏层堆叠：多组（dense+activation）组成更深的模型

• 超参数：

• 隐藏层的数量

• 每一层隐藏层的神经元个数

• 等等

多层感知机的图示：

多层感知机图示