深度学习公式推导（2）：激活函数与偏置

上一节讲到神经元接受到信号量以后点火的公式：

x1、x2、x3 是否有信号输入，w1 、w2、w3 是信号量的权重，θ 是点火的阀值，最后得到的结果 y 表示是否点火， 结果 0 表示 不点火， 结果 1 表示点火。

激活函数

虽然通过上面的公式我们可以得到 y 是否点火，这里有一个假设，也就是 y 只有两种结果，也就是点火或者是不点火。

所以，上面的公式是一个阶跃函数，结果是 0 和 1，也就是线性函数。

但是在实际情况中 y 点火这件事情是存在概率的，例如 64% 的机率点火，有 36%的机率不点火。为了达到这个效果就需要将 线性函数转化成非线性函数，这里就需要引入激活函数，激活函数可以将点火这件事的概率描述清楚。

如果说我们将这个激活函数称作 a 的话，那么就将公式变为如下样子：

具体的激活函数 a，可以用 Sigmoid 函数来代替。

当引入 Sigmoid 函数之后，会把 y 的结果设定为从 0 到 1 之间的数字，无论 x 的取值是多少，这样就把线性函数变成了非线性函数，描述 y 发射的概率问题。这里不对 Sigmoid 函数进行深入的讨论，大家只要知道 Sigmoid 是一种激活函数，在这里可以描述发射概率问题。（当然在其他场景也有不同的描述）

偏置

根据上面激活函数的折腾，我们得到了如下的公式；

其实这个公式就是把之前的函数 u 改成了 a（激活函数）。

由于公式中的 θ 前面有一个“-”（符号），为了计算方便将其进行替换成 b，b 就等于 “-θ”，这样公式就变成如下的样子：

上图中的 b 就是偏置，有了这个概念以后神经元图就改成如下的样子：

如上图所示，除了原来的输入，还加入了一个偏置量 b。

那么加权输入 z 的表达式就可以看成如下的公式：

将上面的公式进行进一步的转换， 就变成了如下两个向量的内积形式。计算机擅长内积的计算，因此按照这种解释，计算就变容易了。