深度学习之激活函数VIP专享

1.简述在神经元的数学模型中，轴突所携带的信号（例如：xO）通过突触进行传递，由于突触的强弱不一，假设我们以 w0 表示，那么我们传到下一个神经元的树突处的信号就变成了 w0x0。其中突触强弱（参数 w）是可学的，它控制了一个神经元对另一个神经元影响的大小和方向（正负）。然后树突接收到信号后传递到神经元内部（cellbody），与其他树突传递过来的信号一起进行加和，如果这个和的值大于某一个固定的阈值的话，神经元就会被激活，然后传递冲激信号给树突。在数学模型中我们假设传递冲激信号的时间长短并不重要,只有神经元被激活的频率用于传递信息。我们将是否激活神经元的函数称为激活函数（activationfunctionf），它代表了轴突接收到冲激信号的频率。2. 意义激活函数是用来引入非线性因素的。网络中仅有线性模型的话，表达能力不够。比如一个多层的线性网络，其表达能力和单层的线性网络是相同的。网络中卷积层、池化层和全连接层都是线性的，所以，需要在网络中加入非线性的激活函数层。3. 性质激活函数一般具有一下性质：非线性：弥补线性模型的不足；处处可导：反向传播时需要计算激活函数的偏导数，所以要求激活函数除个别点外，处处可导；单调性：当激活函数是单调的时候，单层网络能够保证是凸函数；输出值的范围：当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更显著；当激活函数的输出是无限的时候，模型的训练会更加高效，不过在这种情况下，一般需要更小的learningrate。4.常见激活函数不同的激活函数效果有好有坏，一般比较常见的激活函数有 sigmoid、tanh 和Relu，其中 Relu 由于效果最好，现在使用的比较广泛。Sigmoid 函数Sigmoid 函数表达式为：它将输入值映射到［0,1］区间内，其函数图像如下图：从数学上来看，非线性的 Sigmoid 函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。从神经科学上来看,中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。sigmoid 的优点在于输出范围有限，所以数据在传递的过程中不容易发散。Sigmoid 有一个十分致命的缺点就是它的导数值很小（sigmoid 函数导数图像如下图），其导数最大值也只有 1/4,而且特别是在输入很大或者很小的时候,其导数趋近于 0。这直接导致的结果就是在反向传播中，梯...