最近想知道特征值、特征值到底有什么物理意义，搜到了这篇文章，共享一下。。。 来源： 孙哲的日志 [1. 特征的数学意义] 我们先考察一种线性变化，例如 x,y 坐标系的椭圆方程可以写为x^2/a^2+y^2/b^2=1，那么坐标系关于原点做旋转以后，椭圆方程就要发生变换。我们可以把原坐标系的(x,y)乘以一个矩阵，得到一个新的(x',y')的表示形式，写为算子的形式就是(x,y)*M=(x',y')。这里的矩阵 M 代表一种线性变换：拉伸，平移，旋转。那么，有没有什么样的线性变换 b(b 是一个向量)，使得变换后的结果，看起来和让(x,y)*b 像是一个数 b 乘以了一个数字 m*b? 换句话说，有没有这样的矢量 b，使得矩阵 A*b 这样的线性变换相当于 A 在矢量 b 上面的投影 m*b? 如果有，那么 b 就是 A 的一个特征向量，m 就是对应的一个特征值。一个矩阵的特征向量可以有很多个。特征值可以用特征方程求出，特征向量可以有特征值对应的方程组通解求出，反过来也一样。例如，设 A 为 3 阶实对称矩阵，a1=(a,-a,1)T 是 Ax=0 的解，a2=(a,1,-a)T 是(A+E)x=0 的解，a≠2,则常数 a=? 因为 a1=(a,-a,1)T是 Ax=0 的解,说明 a1=(a,-a,1)T 是 A 的属于 0 的特征向量，a2=(a,1,-a)T 是(A+E)x=0 的解，说明 a2=(a,1,-a)T 是 A 的属于-1的特征向量。实对称矩阵属于不同特征值的特征向量式正交的，所以a^2-a-a=0,a≠2,所以 a=0。 还是太抽象了，具体的说，求特征向量的关系，就是把矩阵A 所代表的空间，进行正交分解，使得A 的向量集合可以表示为每个向量a在各个特征向量上面的投影长度。例如 A 是m*n 的矩阵,n>m，那么特征向量就是m 个(因为秩最大是m)，n 个行向量在每个特征向量E上面有投影，其特征值 v 就是权重。那么每个行向量现在就可以写为Vn=(E1*v1n,E2*v2n...Em*vmn)，矩阵变成了方阵。如果矩阵的秩更小，矩阵的存储还可以压缩。再: 由于这些投影的大小代表了A 在特征空间各个分量的投影，那么我们可以使用最小 2 乘法，求出投影能量最大的那些分量，而把剩下的分量去掉，这样最大限度地保存了矩阵代表的信息，同时可以大大降低矩阵需要存储的维度，简称 PCA方法。 举个例子，对于 x,y 平面上的一个点(x,y)，我对它作线性变换，(x,y)*[1,0;0,-1]，分号代表矩阵的换行，那么得到的结果就是(x,-y)，这个线性变换相当于关于横轴 x 做镜像。我们可以求出矩阵[1,0;0,-1]的特征向量有两个，[1,0]和[0,1]，也...
