主成分分析PCA(含有详细推导过程以与案例分析matlab版)VIP免费

主成分分析法(PCA)在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。I.主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望)(1FVar越大，表示1F包含的信息越多。因此在所有的线性组合中所选取的1F应该是方差最大的，故称1F为第一主成分。如果第一主成分不足以代表原来p个变量的信息，再考虑选取2F即第二个线性组合，为了有效地反映原来信息，1F已有的信息就不需要再出现在2F中，用数学语言表达就是要求0),(21FFCov，称2F为第二主成分，依此类推可以构造出第三、四⋯⋯第p个主成分。（二）主成分分析的数学模型对于一个样本资料，观测p个变量pxxx,,21，n个样品的数据资料阵为：npnnppxxxxxxxxxX212222111211pxxx,,21其中：pjxxxxnjjjj,2,1,21主成分分析就是将p个观测变量综合成为p个新的变量（综合变量），即ppppppppppxaxaxaFxaxaxaFxaxaxaF22112222121212121111简写为：pjpjjjxxxF2211pj,,2,1要求模型满足以下条件：①jiFF,互不相关（ji，pji,,2,1,）②1F的方差大于2F的方差大于3F的方差，依次类推③.,2,1122221pkaaakpkk于是，称1F为第一主成分，2F为第二主成分，依此类推，有第p个主成分。主成分又叫主分量。这里ija我们称为主成分系数。上述模型可用矩阵表示为：AXF，其中pFFFF21pxxxX21pppppppaaaaaaaaaaaaA21212222111211A称为主成分系数矩阵。(三)主成分分析的几何解释假设有n个样品，每个样品有二个变量，即在二维空间中讨论主成分的几何意义。设n个样品在二维空间中的分布大致为一个椭园，如下图所示：图1主成分几何解释图将坐标系进行正交旋转一个角度，使其椭圆长轴方向取坐标1y，在椭圆短轴方向取坐标2y，旋转公式为cos)sin(sincos212211jjjjjjxxyxxynj2,1写成矩阵形式为：nnyyyyyyY2222111211XUxxxxxxnn2222111211cossinsincos其中U为坐标旋转变换矩阵，它是正交矩阵，即有IUUUU,1，即满足1cossin22。经过旋转变换后，得到下图的新坐标：图2主成分几何解释图新坐标21yy有如下性质：(1)n个点的坐标1y和2y的相关几乎为零。(2)二维平面上的n个点的方差大部分都归结为1y轴上，而2y轴上的方差较小。1y和2y称为原始变量1x和2x的综合变量。由于n个点在1y轴上的方差最大，因而将二维空间的点用在1y轴上的一维综合变量来代替，所损失的信息量最小，由此称1y轴为第一主成分，2y轴与1y轴正交，有较小的方差，称它为第二主成分。II.主成分分析法(PCA)推导一、主成分的导出根据主成分分析的数学模型的定义，要进行主成分分析，就需要根据原始数据，以及模型的三个条件的要求，如何求出主成分系数，以便得到主成分模型。这就是导出主成分所要解决的问题。1、根据主成分数学模型的条件①要求主成分之间互不相关，为此主成分之间的协差阵应该是一个对角阵。即，对于主成分，AXF其协差阵应为，AXAXAXAXAXVarFVar)()()()(=p212、设原始数据的协方差阵为V，如果原始数据进行了标准化处理后则协方差阵等于相关矩阵，即有，XXRV3、再由主成分数学模型条件③和正交矩阵的性质，若能够满足条件③最好要求A为正交矩阵，即满足IAA于是，将原始数据的协方差代...