第十章认知计算与深度学习***01.人工神经网络03.CNN在NLP的应用卷积神经网络02.CNN层次结构神经元、激活函数、神经网络人工神经网络卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用神经元神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。神经网络的每个神经元如下：其对应的公式：卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用激活函数激活函数是用来加入非线性元素的，因为线性模型的表达能力不够。并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除数据冗余），这是解决非线性问题的关键。常用的非线性激活函数有sigmoid、tanh、relu等等，前两者sigmoid/tanh比较常见于全链接层，后者relu常见于卷积层。sigmoid的函数表达式如下：卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用激活函数sigmoid的函数表达式如下：sigmoid函数的功能是相当于把一个实数压缩至0到1之间。卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用神经网络将单个神经元组织在一起，便形成了神经网络。最左边的原始输入信息称之为输入层，最右边的神经元称之为输出层（上图中输出层只有一个神经元），中间的叫隐藏层。卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用神经网络增加多个中间层，即为深度神经网络（DNN）输入层、卷积层、池化层、全连接层CNN层次结构卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用神经网络到卷积神经网络我们知道神经网络结构如刚才所述，那卷积神经网络和它是什么关系呢？卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用卷积神经网络卷积神经网络依旧是层级网络，但层的功能和形式做了变化。卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用什么是卷积运算？卷积最早来自于信号系统理论。物理意义：一个函数在另一个函数上的加权叠加。最容易的理解方式就是把卷积想象成作用于矩阵的一个滑动窗口函数。见图6.gif卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用层级结构☺数据输入层/Inputlayer☺卷积计算层/CONVlayer☺ReLU激励层/ReLUlayer☺池化层/Poolinglayer☺全连接层/FClayer卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用数据输入层/Inputlayer有3种常见的数据处理方式：☺去均值把输入数据各个维度都中心化到☺归一化幅度归一化到同样的范围☺PCA/白化用PCA降维白化是对数据每个特征轴上的幅度归一化卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用数据输入层/Inputlayer去均值与归一化卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用卷积神经网络卷积神经网络依旧是层级网络，但层的功能和形式做了变化。卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用卷积计算层/CONVlayer☺局部关联每个神经元看做一个filter。窗口(receptivefield)滑动，filter对局部数据计算图6.gif卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用卷积计算层/CONVlayer深度：同一个数据窗口内的数据和下一层连接的神经元的个数步长：数据窗口，每一次滑动的步长，要挪动多少格。填充值：数据不能刚好挪到最后的边界上，所以我在数据周围补上一圈0.卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用卷积计算层/CONVlayer☺参数共享机制假设每个神经元连接数据窗的权重是固定的。图6.gif卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用卷积层/CONVlayer☺固定每个神经元连接权重，可以看做模板。每个神经元只关注一个特性☺需要估算的权重个数减少:AlexNet1亿=>3.5w☺一组固定的权重和不同窗口内数据做内积:卷积图7.gif卷积神经网络01.人工神经网络02.CNN层次结构03.CNN在NLP的应用卷积神经网络卷积神经网络依旧是层级网络，但层的功能和形式做了变化。卷积神经网络01.人工神经网络02.CNN层次结构03...
