最近想知道特征值、特征值到底有什么物理意义,搜到了这篇文章,共享一下。。。 来源: 孙哲的日志 [1. 特征的数学意义] 我们先考察一种线性变化,例如 x,y 坐标系的椭圆方程可以写为x^2/a^2+y^2/b^2=1,那么坐标系关于原点做旋转以后,椭圆方程就要发生变换。我们可以把原坐标系的(x,y)乘以一个矩阵,得到一个新的(x',y')的表示形式,写为算子的形式就是(x,y)*M=(x',y')。这里的矩阵 M 代表一种线性变换:拉伸,平移,旋转。那么,有没有什么样的线性变换 b(b 是一个向量),使得变换后的结果,看起来和让(x,y)*b 像是一个数 b 乘以了一个数字 m*b? 换句话说,有没有这样的矢量 b,使得矩阵 A*b 这样的线性变换相当于 A 在矢量 b 上面的投影 m*b? 如果有,那么 b 就是 A 的一个特征向量,m 就是对应的一个特征值。一个矩阵的特征向量可以有很多个。特征值可以用特征方程求出,特征向量可以有特征值对应的方程组通解求出,反过来也一样。例如,设 A 为 3 阶实对称矩阵,a1=(a,-a,1)T 是 Ax=0 的解,a2=(a,1,-a)T 是(A+E)x=0 的解,a≠2,则常数 a=? 因为 a1=(a,-a,1)T是 Ax=0 的解,说明 a1=(a,-a,1)T 是 A 的属于 0 的特征向量,a2=(a,1,-a)T 是(A+E)x=0 的解,说明 a2=(a,1,-a)T 是 A 的属于-1的特征向量。实对称矩阵属于不同特征值的特征向量式正交的,所以a^2-a-a=0,a≠2,所以 a=0。 还是太抽象了,具体的说,求特征向量的关系,就是把矩阵A 所代表的空间,进行正交分解,使得A 的向量集合可以表示为每个向量a在各个特征向量上面的投影长度。例如 A 是m*n 的矩阵,n>m,那么特征向量就是m 个(因为秩最大是m),n 个行向量在每个特征向量E上面有投影,其特征值 v 就是权重。那么每个行向量现在就可以写为Vn=(E1*v1n,E2*v2n...Em*vmn),矩阵变成了方阵。如果矩阵的秩更小,矩阵的存储还可以压缩。再: 由于这些投影的大小代表了A 在特征空间各个分量的投影,那么我们可以使用最小 2 乘法,求出投影能量最大的那些分量,而把剩下的分量去掉,这样最大限度地保存了矩阵代表的信息,同时可以大大降低矩阵需要存储的维度,简称 PCA方法。 举个例子,对于 x,y 平面上的一个点(x,y),我对它作线性变换,(x,y)*[1,0;0,-1],分号代表矩阵的换行,那么得到的结果就是(x,-y),这个线性变换相当于关于横轴 x 做镜像。我们可以求出矩阵[1,0;0,-1]的特征向量有两个,[1,0]和[0,1],也...