下载后可任意编辑基于负熵最大化的 FastICA 算法一．算法原理：独立重量分析（ICA）的过程如下图所示：在信源中各重量相互独立的假设下，由观察通过结婚系统把他们分离开来，使输出逼近。图 1-ICA 的一般过程ICA 算法的讨论可分为基于信息论准则的迭代估量方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。基于信息论的方法讨论中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估量算法。如 FastICA 算法, Infomax 算法，最大似然估量算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。本实验主要讨论 FastICA 算法。1. 数据的预处理 一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立重量的提取过程，而且，通常情况下，数据的白化处理能大大增强算法的收敛性。若一零均值的随机向量满足，其中：为单位矩阵，我们称这个向量为白化向量。白化的本质在于去相关，这同主重量分析的目标是一样的。在 ICA 中 ， 对 于 为 零 均 值 的 独 立 源 信 号， 有 ：，且协方差矩阵是单位阵，因此，源信号是白色的。对观测信号，我们应该寻找一个线性变换，使投影到新的子空间后变成白化向量，即：下载后可任意编辑 （2.1）其中，为白化矩阵，为白化向量。利用主重量分析，我们通过计算样本向量得到一个变换其中和分别代表协方差矩阵的特征向量矩阵和特征值矩阵。可以证明，线性变换满足白化变换的要求。通过正交变换，可以保证。因此，协方差矩阵： （2.2）再将式代入，且令,有 （2.3）由于线性变换连接的是两个白色随机矢量和，可以得出一定是一个正交变换。假如把上式中的看作新的观测信号，那么可以说，白化使原来的混合矩阵简化成一个新的正交矩阵。证明也是简单的： （2.4）其实正交变换相当于对多维矢量所在的坐标系进行一个旋转。在多维情况下，混合矩阵是的，白化后新的混合矩阵由于是正交矩阵，其自由度降为，所以说白化使得 ICA 问题的工作量几乎减少了一半。白化这种常规的方法作为 ICA 的预处理可以有效地降低问题的复杂度，而且算法简单，用传统的 PCA 就可完成。用 PCA 对观测信号进行白化的预处理使得原来所求的解混合矩阵退化成一个正交阵，减少了 ICA 的工作量。此外，PCA 本身具有降维功能，...
