常用激活函数整理
那么有哪些常用的激活函数呢？
1. Sigmoid函数。sigmoid函数的公式和图形如下：
2. Tanh函数。tanh函数的公式和图形如下：
3. ReLU函数。sigmoid和tanh有一个共同的缺点，就是当输入数据的绝对值比较大时，神经网络的学习速度就会很慢。这是因为，学习速度跟激活函数的偏导数(斜率)有关，偏导数越大，学习速度就越快。而sigmoid和tanh在输入绝对值越来越大时，斜率越来越小，直至变为0。因此，学界又提出了一个新的激活函数——ReLU（Rectified Linear Unit），即整流线性单元。 该激活函数目前被广泛使用，它具有非线性的特性，并且不会同时激活所有的神经元，在输入为负值的情况下，会输出0，也就是说有部分神经元不会被激活，从而使得网络变得稀疏，这对计算是非常有效率的。
如有侵权请及时联系我们处理，转载请注明出处来自
推荐文章
科技快看 网站地图广州壹创集信息科技有限公司 版权所有 粤ICP备2021122624号
