从小白到大神卷积神经网络概述实战:手写数字识别分类卷积神经网络结构6
2第六章卷积神经网络6
4训练卷积神经网络6
1卷积神经网络概述起源与发展结构基础首个CNN现代CNN雏形训练深层CNN大规模数据识别爆发发展1962年1980年1989年2006年2012年现今感受野概念提出神经认知机权值共享下采样逐层预训练Alexnet6
2卷积神经网络结构特征提取分类器CNN输入层卷积层池化层早期典型CNN结构图6-1卷积神经网络的典型结构提升网络准确率增加神经网络层数参数倍增计算量巨大6
2卷积神经网络结构局部感受野及权值共享局部感受野+权值共享+下采样解决办法6
2卷积神经网络结构局部感受野及权值共享感受野:每个神经元其实只需对上一层图像的局部区域进行感知,而不需要对全局图像进行感知权值共享:使与图像进行局部连接的所有神经元使用同一组参数图6-2全连接(左)与局部连接(右)6
2卷积神经网络结构卷积层卷积过程是用一个大小固定的卷积核按照一定步长输入矩阵进行点积运算,将卷积结果输入激活函数得到矩阵称为特征图
卷积公式:图6-3卷积层计算示意图(1)6
2卷积神经网络结构卷积计算6
2卷积神经网络结构激活函数激活函数可以达到“有目的”的提取图像信息的效果图6-4常见激活函数6
2卷积神经网络结构池化层(下采样)池化操作将语义上相似的特征合并起来,常取对应区域的最大值、平均值图6-5最大池化示意图6
3训练卷积神经网络数据增强数据增强就是通过某些图像处理的方法扩充现有的训练样本常用的方法有:几何变换:镜像翻转,随机切割,旋转缩放等像素变换:调整亮度、对比度,添加噪声等6
3训练卷积神经网络归一化归一化是将不同范围的值映射到相同的固定范围中,减小样本间的差异
网络的前面几层发生微小的改变,那么后面几层就会被累积放大
而一旦某层的输入数据分布发生改变,网络就需要去适应学习这个