神经网络考试重点1、熵和信息的关系、性质，什么叫熵，条件熵、联合熵、互信息之间的关系，K-L散度的定义（K-L极小等于极大似然估计）。第十章答：熵H(X)：表示每一个消息所携带的信息的平均量。在H(X)中X不是H(X)的变量，而是一个随机变量的标记。条件熵：给定Y时X的条件熵为H(X|Y)=H(X,Y)—H(Y)具有性质：0<=H(X|Y)<=H(X)条件熵H(X|Y)表示在观测到系统输出Y后，对X保留的不确定性度量。H(X,Y)是X和Y的联合熵，由XYy),(log),(-YH(X,xyxpyxp）定义，其中，p(x,y)是离散随机变量X和Y的联合概率质量函数，而x和y表示它们各自的字母表。互信息：I(X;Y)=H(X)—H(X|Y)=XYy)()(),(log),(xypxpyxpyxp熵是互信息的一个特例。熵H(X)表示在没有观测系统输出前我们对系统输入的不确定性，条件熵H(X|Y)表示在观测到系统输出后对系统的不确定性，差H(X)—H(X|Y)表示观察到系统输出之后我们对系统输入的不确定性的减少。信息的属性：（1）X和Y的互信息具有对称性：I(X;Y)=I(Y;X)（2）X和Y的互信息总是非负的：0Y)I(X;（3）X和Y的互信息也可以用Y的熵表示为：I(X;Y)=H(Y)—H(Y|X)定义)(Xfx和)(Xgx的K-L散度为：dxXgXfXfgDxxxxfx)()(log)(I(X;Y)=YXff|DYX,f总的来说，X和Y之间的互信息等于联合概率密度函数),(,yxfYX以及概率密度函数)(Xfx和)(Yfy的乘积的K-L散度。2、ICA原理，推导过程、数学模型、降维。简述PCA原理（第一个成分如何得来，第一、二个成分关系），推导过程（方差最大）。ICA与PCA的差异。答：ICA的原理：无噪声信号模型为：X=As，其中，A为信号混合矩阵，x是N维观测信号向量，s是M(N>M)维原始信号向量。X=kA.s/k信号S放大k倍与A的相应列缩小k倍的结果相同，从而决定了ICA得到的信号存在强ICA和PCA的差异：个性和共性。3、SVM的基本原理（PPT）、数学模型（线性可分、线性不可分的原理和模型）。答：支持向量机（SVM）的主要思想是建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘被最大化。更精确说，支持向量机是结构风险最小化方法的近似实现。4、什么是竞争，怎样体现竞争与合作的关系，以及竞争的原理及过程。答：自组织神经网络是神经网络最富有魅力的研究领域之一，它能够通过其输入样本学会检测其规律性和输入样本相互之间的关系，并且根据这些输入样本的信息自适应调整网络，使网络以后的响应与输入样本相适应。竞争型神经网络的神经元通过输入信息能够识别成组的相似输入向量；自组织映射神经网络通过学习同样能够识别成组的相似输入向量，使那些网络层中彼此靠得很近的神经元对相似的输入向量产生响应。与竞争型神经网络不同的是，自组织映射神经网络不但能学习输入向量的分布情况，还可以学习输入向量的拓扑结构，其单个神经元对模式分类不起决定性作用，而要靠多个神经元的协同作用才能完成模式分类。5、RBF网络模型、原理，XOR问题，正则化网络（）答：1、RBF的定义：在神经网络的背景下，隐藏单元提供一个“函数”集，该函数集在输入模式（向量）扩展至隐藏空间时为其构建了一个任意的“基”；这个函数集中的函数就被称为径向基函数。2、RBF网络的构成：包括三层，每一层都有着完全不同的作用。第一层为输入层，输入层由一些源点（感知单元）组成，将网络与外界环境连结起来；第二层为隐藏层，作用是从输入空间到隐藏空间之间进行非线性变换，在大多数情况下隐藏层具有较高的维数；第三层为输出层，是线性的，为作用与输入层的激活模式（信号）提供响应。3、原理：当用RBF神经网络来解决一个复杂的模式分类任务时，问题的基本解决可以通过用非线性方式将其变换到一个高维空间。它的潜在合理性来自模式可分性的cover定理，基本描述如下：将复杂的模式分类问题非线性地投射到高维空间将比投射到低维空间更肯呢过是线性可分的。4、XOR问题：5、正则化的基本思想：通过某些含有解的先验知识的非负的辅助泛函来使解稳定。将正则化参数视为一个指示器，用来指示所给的数据集作为确定解）（xF的样本的充分性。特别是在极限情况下，当0时，表明改问题不受约束，问题解）（xF完全决定于所给的样本。另一方面，当时，表明仅由算子D所定义的先验光滑条件就足以得到问...
