深度学习讲稿[五篇材料]卷积神经网络是受灵长类动物视觉神经机制的启发而设计的一种具有深度学习能力的人工神经网络。卷积神经网络属于深度学习架构，其釆用了局部连接、权值共享和子釆样操作，使得需要训练的权值参数减少，因此，卷积神经网络可以在层数较多的情况下，仍然具有良好的表现。除此之外，卷积神经网络还有平移、缩放不变性等诸多优点。卷积神经网络在模拟人类视觉方面效果显著，当输入是图像时，卷积神经网络的这个优点表现的会更为明显，因为图像可以直接作为卷积神经网络的输入，有效地避免了传统算法中的特征提取和数据重建过程，提高了算法效率。卷积神经网络的学习方式，在一般情况下，会釆用有监督的学习或者逐层无监督学习方式。逐层无监督学习存在训练繁琐，时间较长，且训练得到的特征与具体任务不相关等问题；而有监督的学习存在梯度弥散，训练样本不足等问题。下面我讲一下卷积神经网络的结构。卷积层是卷积神经网络的核心组成部分，其具有局部连接和权值共享特征。卷积层所完成的行为就是前一层的一个或者多个特征图作为输入与一个或者多个卷积核进行卷积操作，产生一个或者多个输出。为了使神经网络具有非线性的拟合性能，须要将得到的结果输入一个非线性的激活函数，通过该函数映射后最终得到卷积层的输出特征图。左图是卷积的示意图。子采样层的作用是对卷积层输出的特征图进行采样，如右图所示，采样层是以采样区域的大小为步长来进行扫描采样，而不是连续的。每个子区域经过子采样之后，对应输出特征图中的一个神经元，神经元的值有一个计算公式在这里我就不赘述了。经过卷积神经网络逐层提取到的特征可以输入任何对于权值可微的分类器。这样使得整个卷积神经网络可以采用梯度下降法等基于梯度的算法进行全局训练。下面我们详细介绍一下在卷积神经网络和其他神经网络中都使用比较广泛的softmax分类器和在分类任务中表现优秀的支持向量机。softmax分类第1页共4页器其原理来源于softmax回归模型，而softmax模型是将logistic回归模型推广到多分类问题上得到的，softmax分类器属于有监督的分类器，但是很多时候，该分类器也可以和深度学习模型或者是无监督学习模型一起连接使用。支持向量机是一种有监督的学习方法（分类器），与模式识别、计算机视觉有着紧密的联系，已广泛地应用于统计分类以及回归分析。支持向量机属于线性分类器，其优点是能够同时实现最大化几何边缘区与最小化经验误差，因此支持向量机也被称为最大边缘区分类器（maximalmarginclassifier）。对于卷积神经网络的训练，包括人工神经网络的训练，经过多年的发展，主要有三种方式，即完全有监督方式[29，30]完全无监督方式[31]和有监督与无监督方式相结合的方式。有监督学习是属于机器学习中的一种学习方法，可以从已标记的训练集样本中学习到映射函数。在有监督的学习中，每一个训练样本都包括一个输入对象（通常是以向量的形式表示）和一个理想的输出值，该理想输出值也被称为监督信号。监督学习算法通过对数据分析，进而学习到一个映射函数，该函数能用于映射新的数据样本。一个理想的情况是，对于新的数据样本，该映射函数能正确的给出其类别标签。在卷积神经网络中，通常采用有监督的方法直接进行训练，有监督的方法最常用的是基于梯度的方法。一般采用的是批处理随机梯度下降法。与有监督学习相对应的是无监督学习，无监督学习并不要求输入的训练数据带有标签，其主要目的在于从无标签的数据中找到隐藏的、更加抽象的结构。在模式识别和计算机视觉领域，采用无监督学习算法来提取特征已经有很长时间的应用历史了。无监督学习的方法，如稀疏自动编码机、限制玻尔兹曼机、高斯混合模型、主成分分析和k均值等在计算机视觉领域都有着大量的应用。可将具体的无监督学习算法看做一个黑盒子，其功能是从数据中学习到可以将输入数据映射为一个新的特征向量的映射关系。卷积神经网络采用上述框架进行逐层无监督学习，有效解第2页共4页决了训练样本不足的问题。随着机器学习的迅速发展，无监督学习算法也越来越多，在卷积神经网络的发展方面，今后的可能的发展方向是研究更加适合在卷积神...
