深度学习公式推导(1):神经元的数学公式

在上节中我们说了神经元是如何接受信号,并且发射点火从而影响其他神经元的,下面先来复习一下整个过程。

如上图所示,神经元点火的过程。
(i) 神经元接受来自其他多个神经元的信号,这些信号会作为该神经元的输入。
(ii) 如果信号量之和达到了神经元点火的阈值,神经元就会触发点火。
也即是说神经元的输出有两种情况,点火或者不点火,我们用数字信号 0 表示不点火, 1 表示点火。

如上图所示,y 代表神经元的输出 0(无输出信号),1(有输出信号)。同样,作为神经元的输入,也存在有信号输入(1)和无信号输入(0),我们用 x1、x2、x3 来表示,这三个值也有可能是 0 或者是 1.
输入的信号可以通过 0,1 表示是否输入,但是每个信号量大小是不一样的,因此我们这里为其设置权重,分别对应三个输入的三个信号量的权重分别是就是 w1,w2,w3.
于是就得到如下公式:


当 w(权重)和 x (是否有信号) 相乘以后求和小于某一个阀值(θ)的时候,说明没有达到点火的条件,此时的 y=0。 反之如果 wx 相乘的和大于等于 (θ)的时候,说明满足点火的条件也就是 y =1.
接着,我们将上面的公式,在坐标轴上画出来。

如上图所示,横轴是

纵轴是 y。当横轴的值大于 θ 的时候 y 值为 1,反之为 0。
然后再对上图进行变换,将整个图像向右平移θ 个单位。

也就是将横轴变为

同时将上面的公式设为 z。
那么神经元点火的公式就变成如下:

这里用函数 u 和变量

得到了 y。
再对其进行简化,由于 z 代表

,所以得到 y=u(z)

如上表所示,当 wx 相乘的和小于θ的时候 推出 z 小于 0, u(z) 函数结果为 0 ,y=0 说明不点火。
当 wx 相乘的和大于θ的时候 推出 z 大于 0, u(z) 函数结果为 1 ,y=1 说明点火。
版权声明: 本文为 InfoQ 作者【崔皓】的原创文章。
原文链接:【http://xie.infoq.cn/article/fc1f944229e0950e92d14f889】。文章转载请联系作者。
评论