神经网络激活函数为什么要使用非线性函数?

用户头像
王坤祥
关注
发布于: 2020 年 08 月 13 日
神经网络激活函数为什么要使用非线性函数?

▍什么是激活函数

在神经元中,输入的inputs通过加权求和,然后被作用了一个函数,这个函数就是激活函数 Activation Function。激活函数在神经网络中的位置如图所示:

▍为什么要用非线性函数

要解释这个问题,可以反过来思考一下,为什么激活函数不能使用线性函数



如果使用线性函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。加深神经网络的层数就没有什么意义了。线性函数的问题在于不管加深层数到多少,总是存在与之等效的「无隐藏层」的神经网络。为了稍微直观的理解这一点,考虑下面一个简单的例子。



存在一个线性函数f(x)=kx(k≠0)作为激活函数,将y=f(f(f(x)))对应三层的神经网络。很明显可以想到同样的处理可以由y=ax(a=k^3),一个没有隐藏层的神经网络来表示。该例子仅仅是一个近似,实际中的神经网络的运算要比这个例子复杂很多,但不影响结论的成立。也就是说,使用线性激活函数时,无法发挥多层网络带来的优势。



相反如果使用非线性函数,激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。



以上!



好好学习,天天向上!



发布于: 2020 年 08 月 13 日 阅读数: 37
用户头像

王坤祥

关注

日拱一卒,功不唐捐。 2017.10.17 加入

不懂热能的低温工程师不是好程序猿

评论

发布
暂无评论
神经网络激活函数为什么要使用非线性函数?